I Spent 1.5 Billion AI Tokens on Absolute Slop

SYNTHÈSE STRUCTURÉE

L’expérience : un port massif avec GPT-4o

L’intervenant, connu pour son utilitaire Windows WinUtil écrit en PowerShell, voulait créer une version .NET avec une parité de fonctionnalités. Il possédait déjà un squelette de projet de 5 000 lignes. Il a confié à GPT-4o (modèle « 5.6 soul high ») la tâche d’ajouter les fonctionnalités manquantes à partir d’un cahier des charges. Le résultat : 169 310 lignes de code ajoutées, soit 170 000 lignes au total, pour un coût estimé à 10 000 $ en tokens. « Holy schnikes, Batman. That is an absolute ton of code. »

Le code devient inmaintenable

Avec 170 000 lignes, le projet n’est plus compréhensible ni gérable par un humain. L’intervenant souligne que « the project’s no longer yours. You don’t know what’s up, you don’t know what’s down. When you look at the code base, it is no longer maintainable. » Il compare avec son projet original de 10 000 lignes, bien structuré et facile à modifier. L’IA a généré une masse de code inutile, comme 20 000 lignes de tests Pester pour des fonctionnalités qui n’en avaient pas besoin.

Les bugs résiduels impossibles à corriger

L’interface générée fonctionnait en apparence, mais présentait des bugs subtils : un bouton « acrylic blur » indiquait « non appliqué » alors qu’il l’était, la page de configuration des tweaks avait des problèmes d’inspection d’état, et les mises à jour ne fonctionnaient pas du tout. L’intervenant explique que « you’re relying on an LLM prompt to fix this. At this point, the code is pretty much unreadable, unmaintainable. » Sans pouvoir lire ni comprendre le code, impossible de corriger ces bugs.

Le mythe des 10 % restants

L’intervenant évoque un mème populaire : « the last 10% took up more than 60-70% of the time. » Il affirme que c’est toujours vrai, mais qu’avec une dette technique massive générée par l’IA, ce dernier 10 % devient impossible à atteindre. « If AI can’t fix it, you’re kind of screwed. You’re basically relying on it 100% with no safety net. »

Git : l’outil indispensable

L’intervenant insiste sur l’importance de Git pour ce genre d’expérience. Il montre comment il a pu revenir à l’état initial du projet avec git reset --hard et git clean -fd, effaçant les 170 000 lignes générées. « If you don’t understand Git, you should not be doing any of this. Git is the very first thing and is so important to understand. It will save your bacon so much. »

Le problème n’est pas le modèle, c’est vous

L’intervenant prend la responsabilité : « The problem isn’t the models. The problem is me. My ideas, how I instructed it, and then just letting it run wild without proper checkpoints. » Il explique que pour un grand projet, il faut des points de contrôle réguliers, une approche par phases, et une validation humaine à chaque étape. L’IA ne peut pas penser la structure à votre place.

L’IA comme pair programmeur, pas comme remplaçant

L’intervenant distingue deux usages : pour les petits projets (sites web, tableaux de bord), l’IA est excellente. Pour les grands projets, elle doit être utilisée comme un outil de révision de code ou de débogage. « It’s fantastic at fixing really nuanced bugs. But it will never replace the programmer. It will never replace the developer. » Il recommande de l’utiliser pour accélérer le travail, pas pour le faire à votre place.

Le piège du « vibe coding » pour les non-développeurs

L’intervenant met en garde contre la tendance des non-techniciens (CEO, managers) à « vibe up something and then handing it off to a development staff. » Il affirme que c’est l’inverse qui doit se produire : les développeurs créent un prototype, puis le présentent à la direction. « Normal people still can’t make software. Let’s just be real here. »

Les leçons pour l’industrie

L’intervenant conclut que l’IA est un outil puissant, mais qu’elle nécessite une maîtrise des fondamentaux : pensée critique, compréhension de la structure, utilisation de Git, et validation humaine. « You have to think through these projects. You have to think through these problems before it encounters them. » Sans cela, on risque de produire du code inmaintenable et de vendre un produit qui ne fonctionne pas.

CONCEPTS CLÉS

• Token : Unité de mesure pour l’entrée/sortie d’un modèle de langage. 1,5 milliard de tokens représente un volume énorme, correspondant à des centaines de milliers de pages de texte.
• Pester : Framework de test pour PowerShell. L’IA a généré 20 000 lignes de tests Pester inutiles, illustrant le manque de discernement du modèle.
• Git reset –hard : Commande Git qui réinitialise le dépôt à un commit précédent, effaçant toutes les modifications non commitées. Utilisée ici pour annuler les 170 000 lignes générées.
• Dette technique : Accumulation de code mal conçu ou mal structuré qui rend les modifications futures plus coûteuses. L’IA a généré une dette technique massive en produisant du code illisible.
• Pair programming : Pratique où deux développeurs travaillent ensemble sur le même code. L’intervenant recommande d’utiliser l’IA comme un pair programmeur, pas comme un remplaçant.

CONCLUSION

Cette expérience de 10 000 $ et 170 000 lignes de code inmaintenables illustre une vérité fondamentale : l’IA est un outil puissant, mais elle ne remplace pas la pensée critique, la maîtrise des fondamentaux du développement et la validation humaine. Pour les grands projets, l’IA doit être utilisée comme un accélérateur, pas comme un substitut. Les développeurs doivent garder le contrôle de la structure, utiliser Git pour pouvoir revenir en arrière, et valider chaque étape. Sans cela, on risque de produire du code inmaintenable, de vendre un produit défectueux, et de perdre du temps et de l’argent. Comme le dit l’intervenant : « It’s not about the models. It’s about you, your ideas, your skill, your software development ability. »