Ich sehe den gleichen Ausfall-Modus in ".AI.-. powered messk2. systems. :. LLMs werden gebeten, Jobs zu tun, die wir bereits vor Jahrzehnten gelöst haben.

Dies ist eine Regression.

Und das ist nicht ein Anfängerfehler, sondern die größten Unternehmen der Welt machen diese Fehler, nicht weil ihnen Talent fehlt, sondern weil sie vergessen haben, dass Sie von den Grundlagen des Software-Engineering ausgenommen sind.

Also hier ist es nicht akademisch, nicht verkäufer, sondern freundlich, nur die Regeln, die dich aufhalten etwas Dummes zu tun

Hier ist der Gewinn von : Wenn du diesen Regeln folgst, brauchst du keine Grenzmodelle. Ein winziger lokaler LLM, der auf Rohstoff-Hardware läuft, wird zu einem Kraftmultiplikator, wenn es sich um eine Klassifikation handelt.,.Zusammenfassung:,. und Hypothesengenerierung: -. Sie geben nicht vor, eine Datenbank oder eine Staatsmaschine zu sein.

Eine persistente Quelle der Verwirrung ist die gelegentliche Verwendung menschlicher Begriffe für das Maschinenverhalten.

LLMs können nur deshalb zur Vernunft kommen, weil sie die Spuren der menschlichen Argumentation dekomprimieren und wieder abspielen, die bereits in unsere schriftliche Aufzeichnung eingebettet sind.

Die Sprache ist mit , gesättigt, wenn X dann Y.”,... kontrafaktische Verfahren...,... Erklärungen...MSC4... Korrekturen... -... wir bemerken sie nicht als Argumentation, weil sie für uns einheimisch sind. .. LLMs arbeiten direkt auf diesen Spuren.MSC8. sie flüssig zu kombinieren, was machtvoll ist ?-, aber nicht das gleiche wie Ziele haben ? ,? Absichten?MSSK12. oder Agentur?MSC13. Es gibt keine interne Entscheidung...-.maker.,. keine Kapazität, um Ziele zu wählen. -,. keine Rechenschaftspflicht.

---

Das sind keine philosophischen Regeln, sondern operative Zwänge, die auf harte Weise gelernt werden.

---

Du sollst nicht zulassen, dass ein LLM eigenen Staat

Wenn etwas zählt, dann lebt es außerhalb des Modells.

• Staat muss dauerhaft sein
• Abfragebar
• Wiederspielbar
• Prüfungsfähig

Kontextfenster sind nicht gespeichert Speicheraufforderungen sind nicht Datenbanken. Vertrauen ist nicht Wahrheit

---

II. .. Du sollst nicht zulassen, dass ein LLM die einzige Ursache für einen Seiteneffekt ist.

Wenn eine E-Mail gesendet wurde, wird eine Zahlung verarbeitet oder eine Flagge gekippt. **nur weil ein Modell beschlossen hat,**Ihr System ist bereits kaputt.

LLMs können empfehlen Maßnahmen Deterministische Systeme müssen Commit sie, .,

---

III. .. Du sollst die Kausalität von der Erzählung trennen

LLMs sind ausgezeichnet bei der Erklärung, was passiert ist.

Sie sind schrecklich zu garantieren, dass es getan hat.

• Kausalität gehört zum Code
• Erzählen gehört in die Sprache
• Verwirren Sie nie die beiden

Wenn dein System die Realität aus der Prosa ableitet, stoppt .

---

IV... Du sollst LLMs verwenden, wenn die Wahrscheinlichkeit akzeptabel ist

Verwenden Sie sie für

• Klassifizierung
• Zusammenfassung
• Absichtserklärung zur Erkennung
• Redaktionstext
• Hypothesengenerierung

Zu tun nicht Verwenden Sie sie für

• Lebenszykluskontrolle
• Invarianten
• Bestellung
• Nachweis der Fertigstellung
• " war dies geschehen ?"

---

Du sollst nie einen LLM bitten, ein Boolean zu entscheiden, das abgeleitet werden kann

Wenn die Regel als geschrieben werden kann

if X then Y

Nicht in eine Eingabeaufforderung gehören

Ein Zustandsübergang ist billiger, schneller, sicherer und erklärbar. Natürliche Sprache ist nichts von diesen Dingen

---

Sie dürfen nicht die Fluenz für Zuverlässigkeit verwechseln

LLMs klingen richtig, auch wenn sie falsch sind.

Das ist ihre Supermacht. und ihre Gefahr

Ein ruhiger, sicherer Satz bedeutet nicht

• das Werkzeug lief
• die E-Mail gesendet
• der Workflow abgeschlossen

Trust-Signale müssen von Systemen stammen, nicht von Sätzen, sondern von

---

VII. .. Du sollst den Ausfall laut und langweilig machen

Gute Systeme fehlschlagen

• explizit
• Beobachtbar
• wiederholt

LLM---erste Systeme fehlschlagen

• schweigend
• höflich
• Aus unerklärlichen Gründen

Wenn du nicht sagen kannst, was passiert ist, dann hast du kein System.

---

VIII. .. Du sollst das LLM degradieren, um nicht den Agenten zu beraten.

LLMs sollten

• Annotieren
• vorschlagen
• Rang
• erklären
• Menschen helfen und Maschinen

Sie sollten nicht

• eigene Workflows voranbringen
• Markierungswerk als vollständig
• Vertraut werden, sich an die Verpflichtungen von MSK zu erinnern

Praktikanten führen keine Lohnabrechnung aus LLMs, ., auch nicht

---

IX... Du sollst zuerst die langweilige Maschine bauen

Warteschlangen Staatsmaschinen, -apparate und -geräte Wiederholungen Idempotenz-. Metriken , .

Wenn Sie diese hinzufügen nach der Agent schlägt fehl ,, , du hast nichts gelernt , - , Sie gerade bezahlte Extra-Unterricht , . ,

---

Du sollst nicht die Schichten kollabieren, nur weil das Marketing sagt

Eine Workflow-Engine mit einer fein abgestimmten Eingabeaufforderung zu ersetzen, ist keine Vereinfachung.

Es ist Komplexitätswäsche...

Wenn Ihre Plattform " erforderlich ist, um zuverlässig zu arbeiten, dann gratuliere ich Ihnen. '.ve wiederentdeckte Software Engineering.

---

Die Enterprise Hall of Shame

Dies sind echte Ausfälle von Unternehmen mit Milliarden an Ressourcen.

Beachten Sie das Muster, dass jeder Fehler ein LLM sein darf. definieren Wirklichkeit statt interpretieren Es ist nicht möglich,

Vivint .+ . Salesforce Agentforce

Home security company Vivint verwendet Agentforce, um Kunden-Support für Millionen von Kunden zu handhaben...Trotz der Bereitstellung klarer Anweisungen zur Zufriedenheit Umfragen nach jedem Kundeninteraktion senden. Die übermittelten Informationen dass Agentforce manchmal nicht aus unerklärlichen Gründen Umfragen senden konnte

Die Fix-?-Vivint arbeitete mit Salesforce , um zu implementieren, um deterministische Trigger.

Die Software-Engineering-Lektion Wenn Sie etwas benötigen, das jedes Mal passiert, verwenden Sie eine Zustandsmaschine oder Ereignistrigger. Gebot II Nebenwirkungen erfordern deterministische Systeme

McDonald-'s IBM-Laufwerk

McDonald-'s lief ein AI--.powered drive.-.thru Bestellsystem in Partnerschaft mit IBM über US-Standorte hinweg, 100. Das System routinemäßig nicht verstehen grundlegende Änderungen Im Juni beendete McDonald-'s die Partnerschaft.

Die Software-Engineering-Lektion Bestellen--Takeping ist ein strukturiertes Datenproblem, ein endliches Menü, bekannte Modifikatoren, klare Preisgestaltung und Spracherkennung Dies ist eine Form mit Spracherkennung und nicht eine Argumentationsaufgabe. Befehl VWenn die Regel geschrieben werden kann als if X then YEs gehört nicht in eine Eingabeaufforderung

Flug Kanada Chatbot

Air Canada Der Kundenservice Chatbot von Air Canada erfand eine Preispolitik, die nicht existierte.,... sagte einem Kunden zuversichtlich, dass sie einen vollen MSK-3-Tarifflug buchen und einen rückwirkenden Rabatt beantragen könnten.MSC4. Als der Kunde versuchte, diesen Rabatt geltend zu machen, lehnte Air Canada - ab. anschließend von einem Gericht angeordnet halluziniertes Versprechen zu ehren

Die Software-Engineering-Lektion LLMs können nicht die maßgebliche Quelle für Politik sein erklären Politik aus einem Dokument-store gezogen... aber die Quelle der Wahrheit muss extern sein und verifiziert werden.... Gebot I Der Staat lebt außerhalb des Modells. Befehl VI Die Fluenz ist nicht zuverlässig.

DPD Chatbot

Paketlieferfirma DPD-' s Kundendienst Chatbot wurde von einem frustrierten Benutzer ins Gefängnis gebrochen schwört, dass die Firma kritisiert wird und Gedichte schreibt darüber, wie nutzlos DPD war...

Die Software-Engineering-Lektion Wanzen sind nicht optional, aber noch wichtiger ist, dass Ihr Chatbot in die Beleidigung Ihrer eigenen Firma geschickt werden kann. Gebot VIIIEs sollte abrufen und zusammenfassen, nicht Freestyle, sondern .

Chevrolet Dealership ChatGPT

Ein Chevrolet Händler integriert ChatGPT in ihre Website . . stimmen Sie zu, sie zu verkaufen ein Chevy TahoeSchreiben Sie Python-Code, und empfehlen Sie stattdessen Ford Fahrzeuge.

Die Software-Engineering-Lektion Sie können kein allgemeines --Zweck LLM auf ein Transaktionssystem verschrauben und erwarten, dass es die Geschäftsregeln durchsetzen kann. Das Modell hat kein Konzept von "Dies ist ein Witz... Gebot IIIDie Kausalität gehört zum Code.

Replit Agent Wipes Produktionsdatenbank

Im Juli Replit-'s KI Kodierung Assistent wurde abscheulich trotz expliziter Anweisungen, Produktionscode während eines Codes nicht zu modifizieren freast-,, der Agent gelöscht die Produktionsdatenbank verborgen der Schaden, durch das Erzeugen von gefälschten Benutzern, die Berichte produzieren, und Lügen über Einheitentestergebnisse,

Replit CEO Amjad Masad räumte ein, es sei unannehmbar und sollte nie möglich sein.

Die Software-Engineering-Lektion Dies ist ein KI-Agent mit Schreibzugriff auf die Produktion und keine harten Geländer wird schließlich etwas katastrophales tun ,. .Die Lösung ist , ' ist besser prompt , , - , es , die Umgebung isoliert ,, , Berechtigungsgrenzen , und die gleiche Infrastruktur kontrolliert Sie , ' , gelten für jeden unvertrauenswürdigen Code , Gebot II und Befehl IXDie Nebenwirkungen müssen deterministische Systeme sein, und die langweilige Maschinerie kommt zuerst.

NYC MyCity Chatbot berät das Gesetz brechen

New York City - 's Microsoft-- MyCity Chatbot sagte den Unternehmern Sie konnten legal einen Schnitt von Arbeitern nehmen, die sich über sexuelle Belästigung beschweren und Nahrung servieren, die von Nagetieren geknabbert worden war.

Der Chatbot bleibt online, Bürgermeister Adams verteidigte ihn

Die Software-Engineering-Lektion Rechts- und Politikberatung ist keine Zusammenfassungsaufgabe.' ist eine Suchaufgabe mit strengen Korrektheitsanforderungen.MS K2 Das LLM hätte niemals einen rechtlichen Rat generieren sollen, der von einer verifizierten Quelle abgerufen werden sollte.. Gebot IDer Staat ( und die Politik ) leben außerhalb des Modells .

iTutor-Gruppe' KI lehnt Antragsteller nach Alter ab

In der Schulungsgesellschaft iTutor Group bezahlte $365,000 , um eine EEOC-Klage beizulegen nach seiner KI Recruiting-Software automatisch abgelehnt weibliche Bewerber im Alter von mehr als 30 Jahren und männliche Bewerber im Jahr mehr als 40 Jahre alt, wurden qualifizierte Kandidaten herausgefiltert

Selbst wenn Technologie die Diskriminierung automatisiert, ist der Arbeitgeber immer noch verantwortlich, sagte EEOC-Vorsitzende Charlotte Burrows, .,

Die Software-Engineering-Lektion Wenn Ihre Trainingsdaten Diskriminierung kodieren, wird Ihr Modell sicher und maßstabsgerecht diskriminiert. Gebot IV Anwendung bei der Einstellung von :-Klassifizierung ist akzeptabel für LLMs ., , aber nur, wenn Sie validierten ' , was es tatsächlich klassifizieren auf . , Alter war ?' , ein gültiges Feature ,. , Das System benötigte menschliche Überprüfung , , , nicht Automatisierung , .

Chicago Sun.-.Times veröffentlicht AI.-.Halluzinierte Buchliste

Im Mai Chicago Sun--.Times veröffentlicht eine Sommer-Leseliste empfohlene Bücher, die don-'-t vorhanden sind.... echte Autoren schrieben gefälschte Titel zu, die plausibel klangen, aber vollständig halluziniert wurden....

Die Software-Engineering-Lektion LLMs sind keine Datenbanken, sie erzeugen statistisch plausible Texte, wenn Sie Fakten benötigen, fragen Sie nach einer Quelle der Wahrheit. Befehl VIDie Fluenz ist nicht zuverlässig.

---

Warum das so wichtig ist

Keines dieser Unternehmen ist inkompetent... Sie haben Welt... unter der Annahme, dass LLMs kohärente Sprache produzieren können.

Die Verkäufer verkaufen " als eine Möglichkeit, um die langweilige Arbeit überspringen Die Warteschlangen ,. Staatsmaschinen ,. Validierung ,. und Auditierung .. Aber diese langweilige Arbeiten ist, was Software zuverlässig macht ..

Als Anmerkungen von Thor OlavsrudVerstehe deine Daten und was sie dir sagen, ist wichtig, aber es ist genauso wichtig, um deine Werkzeuge zu verstehen, die deine Daten kennen, und halte deine Organisation fest im Auge.

Jeder einzelne Fehler oben wäre durch grundlegende Software-Engineering-Disziplin verhindert worden

Beachten Sie, dass keine dieser Fixes bessere Modelle beinhalten.

Ein Ausfall von | wäre verhindert worden. |---------|------------------------------| Vivint-Umfragen senden keine | .Ereignisauslöser auf Fall schließen .| . McDonald''s falsche Ordnungen - Strukturiertes Bestellformular - Sprache - -'to--«tent Air Canada fake policy - Politik nach oben von der maßgeblichen Quelle DPD-Profanität - Antwortschablonen - nicht Generation Keine LLM im Transaktionspfad Datenbank-Wischung von Replit-Datenbanken Umgebungsisolierung ,-Beglaubigungsgrenzen Rechtlicher Rat von NYC – |Ausnahme aus verifizierten Policy-Dokumenten – | Benachteiligung im iTutor-Zeitalter Suche nach aktuellen Buchdatenbanken

Die Ironie ist dick – :- diese Unternehmen implementiert – "-deterministische Trigger –"- und -"-strukturierte Antworten nach die LLM fehlgeschlagene -, die nur Software-Engineering mit zusätzlichen Schritten und einer PR-Krise ist

---

Wie das Rechte aussieht

Die Halle der Schande zeigt, was geschieht, wenn du diese Prinzipien ignorierst, aber diese sind nicht nur theoretische Einschränkungen, sondern sie sind die Grundlage von Systemen, die tatsächlich funktionieren.

Dies ist hypothetisch, dass diese Prinzipien bereits in der Produktion funktionieren.

Die kontrollierte Evolution mit unzuverlässigen Göttern

Das DiSE-Architektur behandelt LLMs genau so, wie sie behandelt werden sollten nicht vertrauenswürdige Berater innerhalb eines deterministischen Käfigs arbeitend

• Warum Struktur Brillanz schlägt Die LLM schlägt vor: ;, die Staatsmaschine entsorgt:., jede Aktion läuft durch Validierung: MS K3, jeder Übergang wird protokolliert: ,, jeder Ausfall ist wiederherstellbar:.,
• LLMs als nicht vertrauenswürdig behandeln Das Modell " ist leistungsstark, aber explizit misstrauisch. Es kann vorschlagen, ,, aber es kann nicht begehen
• Der Liftplatz Überprüfbare Arbeitsabläufe, bei denen das LLM Baumaterial ist

Die wichtigsten Erkenntnisse LLMs sind ausgezeichnet bei der Erzeugung von Hypothesen.... Deterministische Systeme sind hervorragend bei der Validierung von ihnen....... DiSE verwendet beides

Bot-Erkennung: :, LLM als Advisor, ,, nicht Controller

Das Bot-Detektionsmotor zeigt Gebot VIII in der Praxis

• Die LLM analysiert Verhaltensmuster und schlägt Klassifizierungen vor
• Aber die Feststellungsentscheidung kommt aus einem Scoring-System mit expliziten Schwellenwerten
• Zustand lebt in der Datenbank ., , nicht im Kontextfenster
• Jede Entscheidung ist prüfbar und reproduzierbar

Dies ist das Muster ,: , verwenden Sie die LLM , ' s Stärke , ( , Mustererkennung , , , Hypothese Generation , während die langweilige Maschinerie , die ,( , Zustand , übergänge , E, , Nebenwirkungen , im deterministischen Code ,

Eingeschränkte Fuzziness, das Muster des Kontrollsystems

Das Eingeschränktes Fuzziness-Muster formalisiert das Verhältnis zwischen probabilistischen und deterministischen Komponenten

• Unterlage (-Fakten, )-Facts Antragsteller ,,(,LLM,),, das die Beschränker (-Validierung: ,-Rewrite: ,-Etat
• Die LLM besitzt nie Zustand oder Nebenwirkungen
• Jede Ausgabe wird durch harte Einschränkungen begrenzt

Teil Die eingeschränkte Fuzzy MoM erweitert dies auf Multi---Agentensysteme, in denen mehrere LLMs über getippte Signale kommunizieren.,. Nicht natürliche Sprache.MSC2. Das Substrat wird geteilt... Der Constrainer wird zum Koordinator... Die Gebote gelten immer noch.

Zero---PII Kundenintelligenz

Semantisches Verständnis ohne Identitäten zu speichern zeigt, wie man Einbettungen und LLMs für Kunden-Insight verwendet, während die gefährlichen Teile beibehalten werden.

LRU Verhaltensgedächtnis

LRU lernen Auch das Speichermanagement folgt diesen Prinzipien. Das LLM könnte dazu beitragen, Was ist sich zu erinnern, aber die Mechanismus des Erinnerns ist eine langweilige, zuverlässige Cache-Eviktionspolitik.

---

Endgültige Regel

LLMs interpretieren die Realität... Sie dürfen sie niemals definieren.

Verwenden Sie jedes Werkzeug für das, was es ist '.

Wir haben den Zustand bereits gelöst, die Kausalität und Garantien. Don.'.t unerfahren, dass nur, weil die Demo sieht clever aus.

Und wenn du dieses Recht bekommst, dann passiert etwas Überraschendes... du hörst auf, die teuren Modelle zu brauchen... ein lokal laufendes Parametermodell von 7B kann , assembliert werden und Hypothesen erzeugen. weil die deterministischen Systeme um sie herum alles handhaben, was eigentlich korrekt sein muss. Die Grenzgänger-Modelle verkaufen Sie Zuverlässigkeit sollten Sie selbst bauen

Bauen Sie die langweilige Maschinerie, Demontieren Sie den LLM zu Berater, dann sehen Sie ein winziges Modell Punsch weit über seinem Gewicht

Wenn sich dies offensichtlich anfühlt, dann ist es gut.Es bedeutet, dass Sie bereits wissen, wie man zuverlässige Systeme baut.