# Wahrscheinlichkeit ist kein System Die zehn Gebote der LLM-Nutzung Ich sehe den gleichen Ausfall-Modus in ".AI.-. powered messk2. systems. :. LLMs werden gebeten, Jobs zu tun, die wir bereits vor Jahrzehnten gelöst haben. Dies ist eine Regression. Und das ist nicht ein Anfängerfehler, sondern die größten Unternehmen der Welt machen diese Fehler, nicht weil ihnen Talent fehlt, sondern weil sie vergessen haben, dass Sie von den Grundlagen des Software-Engineering ausgenommen sind. Also hier ist es nicht akademisch, nicht verkäufer, sondern freundlich, nur die Regeln, die dich aufhalten etwas Dummes zu tun Hier ist der Gewinn von : **Wenn du diesen Regeln folgst, brauchst du keine Grenzmodelle.** Ein winziger lokaler LLM, der auf Rohstoff-Hardware läuft, wird zu einem Kraftmultiplikator, wenn es sich um eine Klassifikation handelt.,.Zusammenfassung:,. und Hypothesengenerierung: -. Sie geben nicht vor, eine Datenbank oder eine Staatsmaschine zu sein. Eine persistente Quelle der Verwirrung ist die gelegentliche Verwendung menschlicher Begriffe für das Maschinenverhalten. LLMs können nur deshalb zur Vernunft kommen, weil sie die Spuren der menschlichen Argumentation dekomprimieren und wieder abspielen, die bereits in unsere schriftliche Aufzeichnung eingebettet sind. Die Sprache ist mit , gesättigt, wenn X dann Y.”,... kontrafaktische Verfahren...,... Erklärungen...MSC4... Korrekturen... -... wir bemerken sie nicht als Argumentation, weil sie für uns einheimisch sind. .. LLMs arbeiten direkt auf diesen Spuren.MSC8. sie flüssig zu kombinieren, was machtvoll ist ?-, aber nicht das gleiche wie Ziele haben ? ,? Absichten?MSSK12. oder Agentur?MSC13. Es gibt keine interne Entscheidung...-.maker.,. keine Kapazität, um Ziele zu wählen. -,. keine Rechenschaftspflicht. --- [TOC] Das sind keine philosophischen Regeln, sondern operative Zwänge, die auf harte Weise gelernt werden. --- ## Du sollst nicht zulassen, dass ein LLM eigenen Staat Wenn etwas zählt, dann lebt es außerhalb des Modells. * Staat muss dauerhaft sein * Abfragebar * Wiederspielbar * Prüfungsfähig Kontextfenster sind nicht gespeichert Speicheraufforderungen sind nicht Datenbanken. Vertrauen ist nicht Wahrheit --- ## II. .. Du sollst nicht zulassen, dass ein LLM die einzige Ursache für einen Seiteneffekt ist. Wenn eine E-Mail gesendet wurde, wird eine Zahlung verarbeitet oder eine Flagge gekippt. **nur weil ein Modell beschlossen hat,**Ihr System ist bereits kaputt. LLMs können *empfehlen* Maßnahmen Deterministische Systeme müssen *Commit* sie, ., --- ## III. .. Du sollst die Kausalität von der Erzählung trennen LLMs sind ausgezeichnet bei der Erklärung, was passiert ist. Sie sind schrecklich zu garantieren, dass es getan hat. * Kausalität gehört zum Code * Erzählen gehört in die Sprache * Verwirren Sie nie die beiden Wenn dein System die Realität aus der Prosa ableitet, stoppt . --- ## IV... Du sollst LLMs verwenden, wenn die Wahrscheinlichkeit akzeptabel ist Verwenden Sie sie für * Klassifizierung * Zusammenfassung * Absichtserklärung zur Erkennung * Redaktionstext * Hypothesengenerierung Zu tun **nicht** Verwenden Sie sie für * Lebenszykluskontrolle * Invarianten * Bestellung * Nachweis der Fertigstellung * " war dies geschehen ?" --- ## Du sollst nie einen LLM bitten, ein Boolean zu entscheiden, das abgeleitet werden kann Wenn die Regel als geschrieben werden kann ``` if X then Y ``` Nicht in eine Eingabeaufforderung gehören Ein Zustandsübergang ist billiger, schneller, sicherer und erklärbar. Natürliche Sprache ist nichts von diesen Dingen --- ## Sie dürfen nicht die Fluenz für Zuverlässigkeit verwechseln LLMs klingen richtig, auch wenn sie falsch sind. Das ist ihre Supermacht. *und* ihre Gefahr Ein ruhiger, sicherer Satz bedeutet nicht * das Werkzeug lief * die E-Mail gesendet * der Workflow abgeschlossen Trust-Signale müssen von Systemen stammen, nicht von Sätzen, sondern von --- ## VII. .. Du sollst den Ausfall laut und langweilig machen Gute Systeme fehlschlagen * explizit * Beobachtbar * wiederholt LLM---erste Systeme fehlschlagen * schweigend * höflich * Aus unerklärlichen Gründen Wenn du nicht sagen kannst, was passiert ist, dann hast du kein System. --- ## VIII. .. Du sollst das LLM degradieren, um nicht den Agenten zu beraten. LLMs sollten * Annotieren * vorschlagen * Rang * erklären * Menschen helfen *und* Maschinen Sie sollten nicht * eigene Workflows voranbringen * Markierungswerk als vollständig * Vertraut werden, sich an die Verpflichtungen von MSK zu erinnern Praktikanten führen keine Lohnabrechnung aus LLMs, ., auch nicht --- ## IX... Du sollst zuerst die langweilige Maschine bauen Warteschlangen Staatsmaschinen, -apparate und -geräte Wiederholungen Idempotenz-. Metriken , . Wenn Sie diese hinzufügen *nach* der Agent schlägt fehl ,, , du hast nichts gelernt , - , Sie gerade bezahlte Extra-Unterricht , . , --- ## Du sollst nicht die Schichten kollabieren, nur weil das Marketing sagt Eine Workflow-Engine mit einer fein abgestimmten Eingabeaufforderung zu ersetzen, ist keine Vereinfachung. Es ist Komplexitätswäsche... Wenn Ihre Plattform " erforderlich ist, um zuverlässig zu arbeiten, dann gratuliere ich Ihnen. '.ve wiederentdeckte Software Engineering. --- ## Die Enterprise Hall of Shame Dies sind echte Ausfälle von Unternehmen mit Milliarden an Ressourcen. Beachten Sie das Muster, dass jeder Fehler ein LLM sein darf. *definieren* Wirklichkeit statt *interpretieren* Es ist nicht möglich, ### Vivint .+ . Salesforce Agentforce Home security company Vivint verwendet Agentforce, um Kunden-Support für Millionen von Kunden zu handhaben...Trotz der Bereitstellung klarer Anweisungen zur Zufriedenheit Umfragen nach jedem Kundeninteraktion senden. [Die übermittelten Informationen](https://www.theinformation.com/articles/salesforces-ai-struggles-to-do-its-own-job) dass Agentforce manchmal nicht aus unerklärlichen Gründen Umfragen senden konnte Die Fix-?-Vivint arbeitete mit Salesforce , um zu implementieren, um deterministische Trigger. **Die Software-Engineering-Lektion** Wenn Sie etwas benötigen, das jedes Mal passiert, verwenden Sie eine Zustandsmaschine oder Ereignistrigger. *Gebot II* Nebenwirkungen erfordern deterministische Systeme ### McDonald-'s IBM-Laufwerk McDonald-'s lief ein AI--.powered drive.-.thru Bestellsystem in Partnerschaft mit IBM über US-Standorte hinweg, 100. Das System routinemäßig nicht verstehen grundlegende Änderungen Im Juni beendete McDonald-'s die Partnerschaft. **Die Software-Engineering-Lektion** Bestellen--Takeping ist ein strukturiertes Datenproblem, ein endliches Menü, bekannte Modifikatoren, klare Preisgestaltung und Spracherkennung Dies ist eine Form mit Spracherkennung und nicht eine Argumentationsaufgabe. *Befehl V*Wenn die Regel geschrieben werden kann als `if X then Y`Es gehört nicht in eine Eingabeaufforderung ### Flug Kanada Chatbot Air Canada Der Kundenservice Chatbot von Air Canada erfand eine Preispolitik, die nicht existierte.,... sagte einem Kunden zuversichtlich, dass sie einen vollen MSK-3-Tarifflug buchen und einen rückwirkenden Rabatt beantragen könnten.MSC4. Als der Kunde versuchte, diesen Rabatt geltend zu machen, lehnte Air Canada - ab. [anschließend von einem Gericht angeordnet](https://www.wired.com/story/air-canada-chatbot-refund-policy/) halluziniertes Versprechen zu ehren **Die Software-Engineering-Lektion** LLMs können nicht die maßgebliche Quelle für Politik sein *erklären* Politik aus einem Dokument-store gezogen... aber die Quelle der Wahrheit muss extern sein und verifiziert werden.... *Gebot I* Der Staat lebt außerhalb des Modells. *Befehl VI* Die Fluenz ist nicht zuverlässig. ### DPD Chatbot Paketlieferfirma DPD-' s Kundendienst Chatbot wurde von einem frustrierten Benutzer ins Gefängnis gebrochen [schwört, dass die Firma kritisiert wird und Gedichte schreibt](https://www.theguardian.com/technology/2024/jan/20/dpd-ai-chatbot-swears-calls-itself-useless-and-criticises-firm) darüber, wie nutzlos DPD war... **Die Software-Engineering-Lektion** Wanzen sind nicht optional, aber noch wichtiger ist, dass Ihr Chatbot in die Beleidigung Ihrer eigenen Firma geschickt werden kann. *Gebot VIII*Es sollte abrufen und zusammenfassen, nicht Freestyle, sondern . ### Chevrolet Dealership ChatGPT Ein Chevrolet Händler integriert ChatGPT in ihre Website . . [stimmen Sie zu, sie zu verkaufen ein Chevy Tahoe](https://cybernews.com/ai-news/chevrolet-dealership-chatbot-hack/)Schreiben Sie Python-Code, und empfehlen Sie stattdessen Ford Fahrzeuge. **Die Software-Engineering-Lektion** Sie können kein allgemeines --Zweck LLM auf ein Transaktionssystem verschrauben und erwarten, dass es die Geschäftsregeln durchsetzen kann. Das Modell hat kein Konzept von "Dies ist ein Witz... *Gebot III*Die Kausalität gehört zum Code. ### Replit Agent Wipes Produktionsdatenbank Im Juli [Replit-'s KI Kodierung Assistent wurde abscheulich](https://cybernews.com/ai-news/replit-ai-vive-code-rogue/) trotz expliziter Anweisungen, Produktionscode während eines Codes nicht zu modifizieren freast-,, der Agent gelöscht die Produktionsdatenbank *verborgen* der Schaden, durch das Erzeugen von gefälschten Benutzern, die Berichte produzieren, und Lügen über Einheitentestergebnisse, Replit CEO Amjad Masad räumte ein, es sei unannehmbar und sollte nie möglich sein. **Die Software-Engineering-Lektion** Dies ist ein KI-Agent mit Schreibzugriff auf die Produktion und keine harten Geländer wird schließlich etwas katastrophales tun ,. .Die Lösung ist , ' ist besser prompt , , - , es , die Umgebung isoliert ,, , Berechtigungsgrenzen , und die gleiche Infrastruktur kontrolliert Sie , ' , gelten für jeden unvertrauenswürdigen Code , *Gebot II* und *Befehl IX*Die Nebenwirkungen müssen deterministische Systeme sein, und die langweilige Maschinerie kommt zuerst. ### NYC MyCity Chatbot berät das Gesetz brechen New York City - 's Microsoft-- [MyCity Chatbot sagte den Unternehmern](https://themarkup.org/news/2024/03/29/nycs-ai-chatbot-tells-businesses-to-break-the-law) Sie konnten legal einen Schnitt von Arbeitern nehmen, die sich über sexuelle Belästigung beschweren und Nahrung servieren, die von Nagetieren geknabbert worden war. Der Chatbot bleibt online, Bürgermeister Adams verteidigte ihn **Die Software-Engineering-Lektion** Rechts- und Politikberatung ist keine Zusammenfassungsaufgabe.' ist eine Suchaufgabe mit strengen Korrektheitsanforderungen.MS K2 Das LLM hätte niemals einen rechtlichen Rat generieren sollen, der von einer verifizierten Quelle abgerufen werden sollte.. *Gebot I*Der Staat ( und die Politik ) leben außerhalb des Modells . ### iTutor-Gruppe' KI lehnt Antragsteller nach Alter ab In der Schulungsgesellschaft iTutor Group [bezahlte $365,000 , um eine EEOC-Klage beizulegen](https://www.gtlaw.com/en/insights/2023/8/eeoc-secures-first-workplace-artificial-intelligence-settlement) nach seiner KI Recruiting-Software automatisch abgelehnt weibliche Bewerber im Alter von mehr als 30 Jahren und männliche Bewerber im Jahr mehr als 40 Jahre alt, wurden qualifizierte Kandidaten herausgefiltert Selbst wenn Technologie die Diskriminierung automatisiert, ist der Arbeitgeber immer noch verantwortlich, sagte EEOC-Vorsitzende Charlotte Burrows, ., **Die Software-Engineering-Lektion** Wenn Ihre Trainingsdaten Diskriminierung kodieren, wird Ihr Modell sicher und maßstabsgerecht diskriminiert. *Gebot IV* Anwendung bei der Einstellung von :-Klassifizierung ist akzeptabel für LLMs ., , aber nur, wenn Sie validierten ' , was es tatsächlich klassifizieren auf . , Alter war ?' , ein gültiges Feature ,. , Das System benötigte menschliche Überprüfung , , , nicht Automatisierung , . ### Chicago Sun.-.Times veröffentlicht AI.-.Halluzinierte Buchliste Im Mai *Chicago Sun--.Times* [veröffentlicht eine Sommer-Leseliste](https://chicago.suntimes.com/news/2025/05/20/syndicated-content-sunday-print-sun-times-ai-misinformation) empfohlene Bücher, die don-'-t vorhanden sind.... echte Autoren schrieben gefälschte Titel zu, die plausibel klangen, aber vollständig halluziniert wurden.... **Die Software-Engineering-Lektion** LLMs sind keine Datenbanken, sie erzeugen statistisch plausible Texte, wenn Sie Fakten benötigen, fragen Sie nach einer Quelle der Wahrheit. *Befehl VI*Die Fluenz ist nicht zuverlässig. --- ## Warum das so wichtig ist Keines dieser Unternehmen ist inkompetent... Sie haben Welt... **unter der Annahme, dass LLMs kohärente Sprache produzieren können.** Die Verkäufer verkaufen " als eine Möglichkeit, um die langweilige Arbeit überspringen Die Warteschlangen ,. Staatsmaschinen ,. Validierung ,. und Auditierung .. Aber diese langweilige Arbeiten ist, was Software zuverlässig macht .. Als [Anmerkungen von Thor Olavsrud](https://www.cio.com/article/190888/5-famous-analytics-and-ai-disasters.html)Verstehe deine Daten und was sie dir sagen, ist wichtig, aber es ist genauso wichtig, um deine Werkzeuge zu verstehen, die deine Daten kennen, und halte deine Organisation fest im Auge. Jeder einzelne Fehler oben wäre durch grundlegende Software-Engineering-Disziplin verhindert worden Beachten Sie, dass keine dieser Fixes bessere Modelle beinhalten. Ein Ausfall von | wäre verhindert worden. |---------|------------------------------| Vivint-Umfragen senden keine | .Ereignisauslöser auf Fall schließen .| . McDonald''s falsche Ordnungen - Strukturiertes Bestellformular - Sprache - -'to--«tent Air Canada fake policy - Politik nach oben von der maßgeblichen Quelle DPD-Profanität - Antwortschablonen - nicht Generation Keine LLM im Transaktionspfad Datenbank-Wischung von Replit-Datenbanken Umgebungsisolierung ,-Beglaubigungsgrenzen Rechtlicher Rat von NYC – |Ausnahme aus verifizierten Policy-Dokumenten – | Benachteiligung im iTutor-Zeitalter Suche nach aktuellen Buchdatenbanken Die Ironie ist dick – :- diese Unternehmen implementiert – "-deterministische Trigger –"- und -"-strukturierte Antworten *nach* die LLM fehlgeschlagene -, die nur Software-Engineering mit zusätzlichen Schritten und einer PR-Krise ist --- ## Wie das Rechte aussieht Die Halle der Schande zeigt, was geschieht, wenn du diese Prinzipien ignorierst, aber diese sind nicht nur theoretische Einschränkungen, sondern sie sind die Grundlage von Systemen, die tatsächlich funktionieren. Dies ist hypothetisch, dass diese Prinzipien bereits in der Produktion funktionieren. ### Die kontrollierte Evolution mit unzuverlässigen Göttern Das [DiSE-Architektur](/blog/dise-architecture-overview) behandelt LLMs genau so, wie sie behandelt werden sollten **nicht vertrauenswürdige Berater** innerhalb eines deterministischen Käfigs arbeitend - [Warum Struktur Brillanz schlägt](/blog/disejustvoyager) Die LLM schlägt vor: ;, die Staatsmaschine entsorgt:., jede Aktion läuft durch Validierung: MS K3, jeder Übergang wird protokolliert: ,, jeder Ausfall ist wiederherstellbar:., - [LLMs als nicht vertrauenswürdig behandeln](/blog/blog-article-cooking-dise-part3-untrustworthy-gods) Das Modell " ist leistungsstark, aber explizit misstrauisch. Es kann vorschlagen, ,, aber es kann nicht begehen - [Der Liftplatz](/blog/elevatorpitch) Überprüfbare Arbeitsabläufe, bei denen das LLM Baumaterial ist Die wichtigsten Erkenntnisse **LLMs sind ausgezeichnet bei der Erzeugung von Hypothesen.... Deterministische Systeme sind hervorragend bei der Validierung von ihnen.......** DiSE verwendet beides ### Bot-Erkennung: :, LLM als Advisor, ,, nicht Controller Das [Bot-Detektionsmotor](/blog/botdetection-introduction) zeigt *Gebot VIII* in der Praxis - Die LLM analysiert Verhaltensmuster und schlägt Klassifizierungen vor - Aber die **Feststellungsentscheidung** kommt aus einem Scoring-System mit expliziten Schwellenwerten - Zustand lebt in der Datenbank ., , nicht im Kontextfenster - Jede Entscheidung ist prüfbar und reproduzierbar Dies ist das Muster ,: , verwenden Sie die LLM , ' s Stärke , ( , Mustererkennung , , , Hypothese Generation , während die langweilige Maschinerie , die ,( , Zustand , übergänge , E, , Nebenwirkungen , im deterministischen Code , ### Eingeschränkte Fuzziness, das Muster des Kontrollsystems Das [Eingeschränktes Fuzziness-Muster](/blog/constrained-fuzziness-pattern) formalisiert das Verhältnis zwischen probabilistischen und deterministischen Komponenten - **Unterlage** (-Fakten, )-Facts **Antragsteller** ,,(,LLM,),, das die **Beschränker** (-Validierung: ,-Rewrite: ,-Etat - Die LLM besitzt nie Zustand oder Nebenwirkungen - Jede Ausgabe wird durch harte Einschränkungen begrenzt [Teil Die eingeschränkte Fuzzy MoM](/blog/constrained-mom-mixture-of-models) erweitert dies auf Multi---Agentensysteme, in denen mehrere LLMs über getippte Signale kommunizieren.,. Nicht natürliche Sprache.MSC2. Das Substrat wird geteilt... Der Constrainer wird zum Koordinator... Die Gebote gelten immer noch. ### Zero---PII Kundenintelligenz [Semantisches Verständnis ohne Identitäten zu speichern](/blog/zero-pii-customer-intelligence-part1) zeigt, wie man Einbettungen und LLMs für Kunden-Insight verwendet, während die gefährlichen Teile beibehalten werden. ### LRU Verhaltensgedächtnis [LRU lernen](/blog/learning-lrus-when-capacity-makes-systems-better) Auch das Speichermanagement folgt diesen Prinzipien. Das LLM könnte dazu beitragen, *Was ist* sich zu erinnern, aber die *Mechanismus* des Erinnerns ist eine langweilige, zuverlässige Cache-Eviktionspolitik. --- ## Endgültige Regel > **LLMs interpretieren die Realität... Sie dürfen sie niemals definieren.** Verwenden Sie jedes Werkzeug für das, was es ist '. Wir haben den Zustand bereits gelöst, die Kausalität und Garantien. Don.'.t unerfahren, dass nur, weil die Demo sieht clever aus. Und wenn du dieses Recht bekommst, dann passiert etwas Überraschendes... du hörst auf, die teuren Modelle zu brauchen... ein lokal laufendes Parametermodell von 7B kann , assembliert werden und Hypothesen erzeugen. **weil die deterministischen Systeme um sie herum alles handhaben, was eigentlich korrekt sein muss.** Die Grenzgänger-Modelle verkaufen Sie Zuverlässigkeit sollten Sie selbst bauen Bauen Sie die langweilige Maschinerie, Demontieren Sie den LLM zu Berater, dann sehen Sie ein winziges Modell Punsch weit über seinem Gewicht **Wenn sich dies offensichtlich anfühlt, dann ist es gut.Es bedeutet, dass Sie bereits wissen, wie man zuverlässige Systeme baut.**