"La diversité humaine est un enjeu central pour le développement de l’intelligence artificielle": c'est le titre d'un long article de Morgane Tual du 30/07/2018 paru dans Le Monde dans sa rubrique "PIXELS".

Elle y développe comment la reconnaissance faciale est dimensionnée essentiellement sur des "prototypes" d'hommes blancs, faisant abstraction des femmes et des "gens de couleur", ce facteur se retrouvant dans l'intégration de ces deux derniers groupes dans le recrutement tant dans les études scientifiques que dans les emplois correspondants.

A l'aide de nombreuses citations, elle y donne de nombreux exemples de ces situations. A lire pour ceux que le sujet intéresse. 

Oui, quand on fait travailler l'IA sur un jeu de données biaisée (et la société actuelle l'est) l'apprentissage automatique renforce les biais

Tout à fait.

C'est à cause de cela que  le bot twitter de Microsoft a été tourné en IA raciste.

Microsoft a fini par désactiver le bot.