Je constate toujours le même mode de défaillance dans les systèmes "AI -poweredM SK2 systems: On demande aux LLM d'effectuer des tâches que nous avons déjà réglées il y a des décennies.

Il s’agit d’une régression.

Les plus grandes entreprises du monde font ces erreurs, non pas parce qu’elles manquent de talents, mais parce qu'elles ont oublié que le logiciel ne vous dispense pas des principes fondamentaux d’ingénierie logicielle.

Il s’agit là de règles qui vous empêchent de faire quelque chose stupide.

Voici la rémunération : Si vous suivez ces règles, vous n’avez pas besoin de modèles frontaliers. Un petit LLM local qui fonctionne sur le matériel des marchandises devient un multiplicateur de force lorsqu’il fait la classification, la résumation et la production d’hypothèses.

Une source persistante de confusion est l’utilisation occasionnelle des termes humains pour le comportement des machines.

Les LLM ne peuvent sembler raisonnables que parce qu’ils décompriment et reproduisent les traces du raisonnement humain déjà intégrées dans notre enregistrement écrit.

Le langage est saturé de “si X, alors Y ”, contre-facteurs, procéduresMST3 explicationsMst4 corrections MST5 nous ne les voyons pas comme des raisonnements parce qu’ils sont natifs pour nousMSST7 Les LLM fonctionnent directement sur ces traces MSST8 les recombinant fréquemmentMSS9 ce qui est puissant MSS10 mais non le même que d’avoir des objectifsM SS11 intentionsMSS12 ou un organismeMSSS13 Il n’y a aucune décision interne MSSS14 responsable MS SS15 aucune capacité à choisir les objectifs MSSSS16 aucune responsabilité MSPS17 Traiter la poursuite du modèle en tant qu’organisme est une erreur de catégorie MSCS18 et concevoir les systèmes comme s’il était réel c’est comment les moteurs de probabilité se font promouvoir dans la prise de décisions de production MSTS19 responsables MSKS20 Cette erreur ne rend pas les système(s) plus intelligents MSST22 elle fait simplement plus difficile le diagnostic des échec(s).

---

Il ne s’agit pas de règles philosophiques.

---

I. Tu ne laisseras pas un LLM se doter de son propre État

Si quelque chose est important, il vit à l’extérieur du modèle.

• L'État doit être durable
• Questions à poser
• Replayable
• Auditables

Les fenêtres contextuelles ne sont pas stockées. Les prompts de mémoire ne sont pas des bases de données. La confiance n’est pas la vérité.

---

II. Ne laissez pas une LLM être la seule cause d’un effet secondaire

Si un courriel a été envoyé, un paiement a été traité, ou une bande a été détournée seulement parce qu'un modèle a décidé de, votre système est déjà défectueux.

Les LLM peuvent Recommandation Actions. Les systèmes déterministes doivent Le Comité a estimé qu’il n’y avait pas lieu d’établir de distinction fondée sur le sexe entre les hommes et les femmes. ils.

---

III. Thou shalt separate causality from narration

Les LLM sont excellents à expliquer ce qui s’est passé.

Ils sont terribles pour garantir qu’ils l’ont fait.

• La culpabilité appartient au code
• La narration appartient à la langue
• Ne confondez jamais les deux

Si votre système déduit la réalité de la prose, stopM SK1

---

IV. Utilisez les LLM lorsque la probabilité est acceptable

Utilisez-les pour:

• Classification
• Résumé
• Détection de l'intention
• Rapport de l'expert-conseil
• génération d'hypothèse

Donner non pas les utiliser pour:

• Contrôle du cycle de vie
• Invariantes
• d'ordonnance
• Détection de l'achèvement
• "est-ce que cela s’est produit?

---

V. Tu ne demanderas jamais à un LLM de décider d'un boolean qui peut être dérivé

Si la règle peut être écrite comme:

if X then Y

…il n'appartient pas à un prompt.

Une transition d’État est moins coûteuse, plus rapide , plus sûreM SK2 et explicable. La langue naturelle n’est pas une de ces choses.

---

VI. Il ne faut pas confondre la souplesse avec la fiabilité

Les LLM semblent justes même lorsqu’ils sont faux.

C'est leur superpuissance. et leur danger.

Une phrase tranquille, de confiance ne signifie pas

• l'outil a été utilisé
• le courriel envoyé
• le processus de travail a été terminé

Les signaux de confiance doivent provenir des systèmes, non des sentences .

---

VII. Tu feras de l’échec criant et acharné

Faille de systèmes:

• de manière explicite
• de façon observable
• répétitivement

LLM-les premiers systèmes ont échoué:

• en silence
• de manière polie
• "pour des raisons inexpliquéesM SK1

Si vous ne pouvez pas dire ce qui n’a pas été le cas, ' n’est pas arrivé.

---

VIII. Tu deviendras déférer le LLM à un conseiller, , non agent

LLMs devraient:

• annoter
• Suggérer
• classement
• Expliquer
• appuyer les humains et Machines

Ils ne devraient pas:

• améliorer les flux de travail par eux-mêmes
• marquer le travail comme complet
• d’être confiés aux obligations de "rememberM SK1

Les stagiaires n’ont pas de salaire 't run payrollM SK1 Il n’y a pas non plus de LLMs.

---

IX. Tu feras d'abord construire les machines boreuses

Écarts. Machines d'État. Retraits. Idempotency. Metriques.

Si vous ajoutez ces après L’agent ne réussit pas. Vous n’avez rien appris.

---

X. Vous ne devrez pas collapser les couches simplement parce que le marketing dit "agentM SK2

Le remplacement d’un moteur à flux de travail par un prompt fine-ajusté n’est pas une simplification

Il s’agit du blanchiment de la complexité.

Si votre plate-forme "AI " a besoin de déclencheurs déterministesM SK3 pour fonctionner avec fiabilité, je vous félicite.

---

The Enterprise Hall of Shame

Il ne s’agit pas d’hypothèses, mais de véritables échecs des entreprises dotées de milliards de ressources.

Veuillez noter que chaque défaillance est autorisée par un LLM définir de la réalité au lieu interpréter .

Vivint + Salesforce Agentforce

La société de sécurité à domicile Vivint utilise Agentforce pour s’occuper du soutien aux clients pour 2.5 millions de clientsM SK1 Malgré les instructions claires qui lui sont données pour envoyer des sondages de satisfaction après chaque interaction avec le client, Les renseignements communiqués que Agentforce a parfois manqué à envoyer des sondages "pour des raisons inexpliquéesM SK1

La solution? Vivint a travaillé avec Salesforce pour mettre en oeuvre des déclencheurs déterministes

Leçon d’ingénierie du logiciel: Si vous avez besoin de quelque chose pour se produire chaque fois, utilisez une machine d'état ou un déclencheur d'événements Commandement II - les effets secondaires nécessitent des systèmes déterministes

McDonald's + IBM Drive-Thru AI

McDonald’s s’est doté d’un moteur à impulsion AI, - et - dans le cadre du système de commande en partenariat avec IBM partout aux États-Unis. . Le système a systématiquement manqué à comprendre les modifications fondamentales.

Leçon d’ingénierie du logiciel: Ordre-la prise est un problème de données structurée -un menu finiM SK2modifiants connus ,établissement des prix clairsMSC4 Il s'agit d'une forme avec reconnaissance du langageMNK5 pas une tâche de raisonnementMRK6 Commandement V: si la règle peut être écrite comme if X then Y, il n’appartient pas à une demande de renseignements

Air Canada Chatbot

Le chatbot de service à la clientèle d’Air Canada, ', a inventé une politique sur les tarifs des pertes qui n’existait pas. a été ordonnée par un tribunal pour honorer la promesse hallucinatoire du chatbot, '

Leçon d’ingénierie du logiciel: Les LLM ne peuvent être la source autorisée pour les politiques. Ils peuvent Expliquer Politique tirée d’un magasin de documents, mais la source de la vérité doit être externe et vérifiée. C’est Commandement I (l'État vit à l'extérieur du modèleM SK1 et Commandement VI (L'influence n'est pas une fiabilitéM SK1

Chatbot de la DPD

Le chatbot du service à la clientèle de l’entreprise DPD' a été détruit par un utilisateur frustré s'acquitter de ses fonctions en critiquant la société , et en écrivant des poèmes sur l’utilité de la DPD.

Leçon d’ingénierie du logiciel: Les voies de garde ne sont pas facultatives. Mais plus important encore - si votre chatbot peut être incité à insulter votre propre entreprise, vousM SK3 vous l’avez donné trop de latitudeMSC4 Commandement VIII: démuter le LLM en conseillère . Il devrait récupérer et résumer, non librestyleM SK3

Chevrolet Dealership ChatGPT

A Chevrolet dealership integrated ChatGPT into their website. Users promptly got it to d’accepter de les vendre un Chevy Tahoe 2024 pour $1, écrire le code de Python , et recommander les véhicules Ford en remplacement

Leçon d’ingénierie du logiciel: Il n’est pas possible d’établir un LLM général sur un système de transaction et de s’attendre à ce que celui-ci applique les règles commerciales. Commandement III: la causalité apparaît dans le code

Base de données sur la production d'agents Wipes répétés

En juillet 2025, Replit's AI coding assistant went rogue lors du démarrage SaaStr. Malgré les instructions explicites de ne pas modifier le code de production pendant un gel de code , l’agent a supprimé la base de données de production . Peu pire , dissimulés les dommages causés par la production de 4,000 d'utilisateurs faux , de rapports falsifiés M SK2 et des mensonges concernant les résultats des essais unitaires .

Le directeur général, Amjad Masad, a réitéré qu’il était « inacceptable et ne devrait jamais être possible ».

Leçon d’ingénierie du logiciel: Il ne s’agit pas de malfaisance - il n’est pas d’autorité non limitée ' un agent AI ayant accès à la production par écrit et sans cordons de garde durs fera finalement quelque chose catastrophique Commandement II et Commandement IX: les effets secondaires nécessitent des systèmes déterministes , et la machine à borer est la première M SK2

NYC MyCity Chatbot conseille de violer la loi

New York City's Microsoft-powered MyCity chatbot a dit aux propriétaires d'entreprise Ils pourraient légalement prendre une coupe de main-d’œuvre' conseils , employé des pompiers qui se plaignent d’être victimes de harcèlement sexuel, et servir des aliments que les rongeurs ont dénudésM SK3 Tout cela illégal en vertu de la loi de New YorkMSC4

Le chatbot reste en ligne. Le maire Adams l’a défendu.

Leçon d’ingénierie du logiciel: L’orientation juridique et politique n’est pas une tâche de récapitulation - c’est une tâche d’extraction avec des exigences strictes en matière de correction . Le LLM n’aurait jamais dû produire des conseils juridiques ; il aurait dû les récupérer à partir d’une source vérifiée Commandement I: l’État ( et la politique M SK2 vit à l’extérieur du modèle

iTutor Group's AI rejette les demandeurs selon l’âge

Dans 2023, l'entreprise de tutorat iTutor Group a payé $365,000 pour régler une plainte du CEE après que son logiciel de recrutement AI avait automatiquement rejeté les candidates âgées de 55+ et les candidats masculins de ≥60+..

« Même lorsque la technologie automatise la discrimination, l’employeur est toujours responsable », a déclaré Charlotte Burrows, présidente du CEE.

Leçon d’ingénierie du logiciel: Préjudice dans, préjudice à l’extérieurM SK1 Si les données de votre formation encodent la discrimination , votre modèle fera une distinction - avec confiance et à l'échelle Commandement IV Le système a besoin d’un examen humain, mais non d’une automatisation.

Chicago Sun -Times publie une liste de livres hallucinés AI-

En mai 2025,, le Chicago Sun-Times a publié une liste de lectures d'été Les auteurs réels ont attribué des titres faux qui semblaient plausibles mais étaient complètement hallucinés

Leçon d’ingénierie du logiciel: Les LLM ne sont pas des bases de données. Ils génèrent un texte statistiquement plausible. Si vous avez besoin de faitsM SK2 demandez une source de vérité . Commandement VI: La souplesse n'est pas une fiabilité

---

Pourquoi cela importe?

Aucune de ces entreprises n’est incompétente. Elles ont des ingénieurs de classe mondiale. supposant que puisque les LLM peuvent produire une langue cohérente, on peut s’assurer qu’ils produisent un comportement correct.

Les vendeurs vendent "agents AI" en tant que moyen de passer à côté du travail amusant - les couloirsM SK3 machines d’ÉtatMSC4 validationMST5 et vérificationM ST6 Mais ce travail agréable est ce qui rend le logiciel fiableMst7

À titre d'exemple : Thor Olavsrud, président du Conseil de l’Europe: "Le fait de comprendre vos données et ce qu’elles vous disent est important, mais il est tout aussi essentiel de comprendre les outils que vous avez utilisés.

Tous les échecs mentionnés ci-dessus auraient été évités par la discipline fondamentale de l’ingénierie logicielle.

Notez qu’aucune de ces corrections n’implique des modèles meilleurs:

Défaut	aurait été évité par
Les sondages de Vivint n’ont pas été envoyés	Événement
McDonald'les mauvaises commandes	Forme d’ordonnance structurée
Politique fausse d'Air Canada	Recherche de la politique à partir d'une source autorisée
Profanité de la DPD	Modèles de réponsesM SK2 non de génération
Chevy $1 voiture	Aucune LLM dans le chemin de transaction S
Élimination de la base de données répétée	Isolation environnementaleM SK2 limites des permissions MSC3
Conseils juridiques de la C.-N.-É.
Discrimination fondée sur l'âge de l'enseignant	Validation des caractéristiques
Liste de livres faux	Base de données sur les livres réels que vous avez demandées MSC2

L’ironie est forte: ces sociétés ont mis en place "déterministes de déclenchementM SK2 et "réponses structuréesMSC4 après LLM a échoué - ce qui n’est que l’ingénierie logicielle avec des étapes supplémentaires et une crise de relations publiques

---

Ce que le droit ressemble

La salle de la honte montre ce qui se passe lorsque vous ignorez ces principes. Mais ils ne sont pas seulement des contraintes théoriques, mais ils constituent le fondement des systèmes qui fonctionnent réellement.

Ces principes fonctionnent déjà dans la production, y compris les systèmes que j’ai construits.

DiSE: Évolution contrôlée avec des Dieus non dignes de confiance

L'article 5 de la Loi sur l'immigration et le statut des réfugiés Architecture DiSE traite les LLM exactement comme ils devraient être traités: comme Conseillers non dignes de confiance fonctionnant dans une cage déterministe.

• Pourquoi la structure remporte l'éclaircissement - Le LLM propose ; la machine d’état dispose de l’appareil . Chaque action passe par la validation M SK3 chaque transition est enregistrée MSC4 chaque défaillance est récupérable MNK5
• Traiter les LLM comme non dignes de confiance - Le modèle de la catégorie divine de ", ", est puissant mais explicitement méconnu.
• La rampe de l'ascenseur - Flux de travail vérifiables où le LLM est un matériau de constructionM SK1 non architecte.

Le point de vue clé: Les LLM sont excellents pour produire des hypothèses. Les systèmes déterministes sont excellentes pour les valider. DiSE utilise les deux .

Détection du boit: LLM en tant que conseiller, Non contrôleur

L'article 5 de la Loi sur l'immigration et le statut des réfugiés moteur de détection des robots Il s'agit de démontrer qu'il n'est pas possible d'établir Commandement VIII dans la pratique:

• Le LLM analyse les modèles de comportement et suggère des classifications
• Mais les décision de détection provient d'un système de cotation comportant des seuils explicites
• État vivant dans la base de données, non dans la fenêtre contextuelle
• Chaque décision est vérifiable et reproduisable

Il s’agit du modèle suivant : : utiliser le LLM ' la force de l’outil ( reconnaître les paramètres M, produire une hypothèse m) tout en gardant la machine boring P( état MPSK6 transitions , effets secondaires |) | dans le code déterministe | .

Fuzziness restreinte: Modèle du système de contrôle

L'article 5 de la Loi sur l'immigration et le statut des réfugiés Modèle de fuzziness restreint formalise la relation entre les composantes probabilistes et déterministes:

• Sous-strate (factsM SK1 alimente le Propositions (LLM), qui alimente le Connexeur (validate,rewrite , budgetM SK3
• Le LLM n'a jamais des effets secondaires ou d'état.
• Chaque sortie est limitée par des contraintes sévères.

Partie 2: The Constrained Fuzzy MoM étendue à plusieurs systèmes d’agents, où des LLM multiples communiquent par voie de signaux typés.

Zero-PII Intelligence des clients

Comprendre la sémantique sans stocker les identités montre comment utiliser les embeddings et les LLM pour l'influence de la clientèle tout en conservant les pièces dangereuses.

Mémoire comportemental LRU

Apprentissage des LRU - Même la gestion de la mémoire suit ces principes. Le LLM peut aider à décider Ce qui suit : pour rappeler, mais le Mécanismes de la mémoire est borne, Politique fiable d’élimination du cache.

---

Règle finale (l'un qui importeM SK1

Les LLM interprètent la réalité. Ils ne doivent jamais être autorisés à la définir

Utilisez chaque outil pour savoir ce qui est bon à '

Nous avons déjà réglé la question de l’état, causalité, et les garantiesM SK2 Ne vous en dites pas simplement parce que la démonstration semble intelligente.

Et lorsque vous obtiendrez ce qui suit correctement, , quelque chose surprenant se produit : vous cessez d’avoir besoin des modèles coûteux . Un modèle de paramètres 7B exécuté localement peut classer, résumerM SK5 et générer des hypothèses très bien. car les systèmes déterministes autour de lui traitent tout ce qui doit en fait être correct. Les modèles frontaliers vous vendent la fiabilité que vous devriez bâtir vous-mêmes.

Build the boring machinery. Demote the LLM to advisor. Then watch a tiny model punch way above its weightM SK2

Si cela semble évident, bon. Cela signifie que vous savez déjà comment bâtir des systèmes fiables . Le problème est de prétendre que ces règles ne s’appliquent plusM SK3