Anthropic's Mythos Only Found 1 Real CURL Vulnerability
La vidéo analyse le retour d’expérience de Daniel Stenberg, créateur de cURL, sur l’utilisation du modèle d’IA Anthropic Claude (Mythos) pour la recherche de vulnérabilités, concluant que le battage médiatique autour de cet outil est largement marketing et que son...
SYNTHÈSE STRUCTURÉE
Contexte : l’accès à Mythos via Project Glasswing
Daniel Stenberg a obtenu un accès à Mythos via Project Glasswing, un programme d’Anthropic, relayé par la Linux Foundation et géré par Alpha Omega. L’accès direct a été retardé, et il a finalement reçu un rapport généré par un tiers utilisant le modèle. « I signed the contract for getting access and then nothing happened. Weeks went past and I was told there was a hiccup somewhere and access was delayed. » Cette anecdote illustre les difficultés pratiques d’accès à ces outils, même pour un projet majeur comme cURL.
Résultats du scan Mythos : un seul CVE de faible sévérité
Le rapport initial annonçait cinq vulnérabilités de sécurité confirmées. Après analyse par l’équipe de sécurité de cURL, seules une a été retenue comme vulnérabilité réelle, les autres étant des faux positifs ou des bugs non critiques. « Once my cURL security team fellows and I had poked in this short list for a number of hours and dug into the details, we had trimmed the list down and were left with one confirmed vulnerability. » Ce CVE unique sera classé « faible sévérité » et publié avec la version 8.21.0. Daniel précise que « the floor is not going to make anyone grasp for breath », soulignant le décalage entre le marketing et la réalité.
Comparaison avec les autres outils d’IA déjà utilisés
Avant Mythos, cURL utilisait déjà plusieurs outils d’IA (Aisle, ZeroPath, OpenAI Codex Security) qui ont généré entre 200 et 300 corrections de bugs, dont une douzaine de CVE. Mythos n’a pas démontré de supériorité significative : « I see no evidence that this setup finds issues to any particular higher or more advanced degree than the other tools have done before Mythos. » Les bugs trouvés sont du même type que ceux déjà identifiés par les outils existants.
La qualité des rapports dépend de l’expertise humaine
Daniel insiste sur le fait que l’IA est un outil d’augmentation, pas un remplacement. Les meilleurs résultats viennent de chercheurs expérimentés qui comprennent le code et savent utiliser l’IA de manière ciblée. « When someone is actually a professional, they’re an engineer, they’re a vulnerability expert, they actually understand a problem space, using a tool can massively improve what you can do in that space. » Il compare cela à l’arrivée des synthétiseurs en musique : un outil puissant entre les mains d’un expert, mais limité pour un novice.
Le problème des rapports non vérifiés et du bug bounty
Le bug bounty de cURL a été interrompu en raison d’un afflux de rapports générés par IA, souvent non vérifiés et de mauvaise qualité. « The reason those were a problem is firstly, they were not saying they were using AI. Secondly, most of them were just imaginary issues by people who were trying to abuse a bug bounty. » La suppression de l’incitation financière a drastiquement réduit ces rapports de faible qualité, comme le montrent les statistiques de 2025.
L’IA comme complément aux méthodes traditionnelles
cURL utilise l’IA en complément des méthodes classiques : analyse statique, fuzzing, options strictes du compilateur, et revues humaines. Les outils comme GitHub Copilot et Augment Code sont utilisés pour les revues de pull requests, non pour remplacer les relecteurs humains mais comme « an extra set of eyes ». Daniel note que « our mergers would be worse without them », reconnaissant leur utilité pour détecter des problèmes que les humains pourraient manquer.
Limites des IA actuelles : pas de nouvelles classes de vulnérabilités
Un constat important : les IA actuelles ne découvrent pas de nouvelles catégories de vulnérabilités. « We have not seen any AI so far report a vulnerability that would somehow be of a novel kind or something totally new, so a new class of vulnerabilities that has never been found by a person. » Elles se contentent de trouver de nouveaux exemples de problèmes déjà connus, ce qui reste utile mais moins révolutionnaire que promu.
Recommandation : utiliser l’IA, mais avec discernement
Daniel recommande d’utiliser l’IA pour l’analyse de code, mais en étant conscient de ses limites. « Not using AI code analyzers in your project means that you leave adversaries and attackers time and opportunity to find and exploit the flaws you don’t find. » Il encourage les projets à adopter ces outils, tout en maintenant une approche critique et en vérifiant systématiquement les résultats.
CONCEPTS CLÉS
- Project Glasswing : Programme d’Anthropic offrant un accès à ses modèles d’IA à des projets open source critiques via la Linux Foundation.
- Alpha Omega : Organisation gérant la distribution des accès aux modèles d’IA pour les projets open source dans le cadre de Project Glasswing.
- Faux positif : Résultat d’analyse signalant un problème qui n’en est pas un après vérification humaine.
- CVE (Common Vulnerabilities and Exposures) : Identifiant unique pour une vulnérabilité de sécurité publique.
CONCLUSION
Le message principal est que l’IA, y compris les modèles avancés comme Mythos, est un outil utile mais pas révolutionnaire pour la recherche de vulnérabilités. Son efficacité dépend crucialement de l’expertise humaine qui l’utilise et de la vérification systématique des résultats. Le battage médiatique autour de ces outils ne correspond pas à la réalité terrain, où ils se révèlêtre des compléments précieux mais limités aux méthodes traditionnelles. Pour un administrateur système, cela signifie qu’il est prudent d’intégrer l’IA dans les processus de sécurité, mais sans négliger les compétences humaines et les méthodes éprouvées.