Oui, trouver des failles avec des LLM n'est pas trivial.

Il faut orienter le LLM sur des pistes.

Les développeurs de Firefox quand il a eu accès à Claude Mythos n'ont pas réussi à lui faire trouver des failles avec une analyse du code de Firefox sans instructions spécifiques.

Les failles dans Firefox ont été trouvées quand les développeurs ont demandé de tester des contextes particuliers, qu'ils connaissaient comme étant à risque.

Bref, à priori, il faut encore des experts en sécurité pour aider le LLM à trouver des failles.