Une carte de la génération maxwell, ça ne m'étonne même pas.
Tu as pris Ubuntu 16.04 LTS ou la version 17.10 ?
Si tu avais essayé avec la 16.04, tente avec la 17.10, ça passera peut-être mieux (le pilote intégré étant plus récent).
Si ça ne passe toujours pas, il faudrait depuis grub désactiver le pilote nouveau (depuis le menu grub, il faut appuyer sur e pour éditer l'entrer et ajouter :
rd.driver.blacklist=nouveau
et ensuite faire ctrl + x pour démarrer avec l'entrée modifiée.
La gestion d'OpenGL sera alors émulé par le cpu (moins performant), mais ça devrait fonctionner