Jag ser hela tiden samma felläge i systemen. LLMs blir tillfrågade att utföra jobb som vi redan löste för decennier sedan.
Det här är en regression.
Och detta är inte en oerfarande misstag. De största företagen i världen gör dessa misstag, inte för att de saknar talanger, utan för att dom glömmer att
Så här är det:
Här är belöningen. om du följer dessa regler Ett litet lokalt LLM som körs på handelshardware blir en kraft multiplikator när det gör klassificering, sammanfattning och hypotes generation, inte låtsas vara en databas eller en statmaskin, utan att göra det.
En ständig källa till förvirring är det slumpmässigt användande av mänskliga termer för maskinbeteende.
LLM kan verka som att resonera bara för att de avkompresserar och återskapar spåren av mänskligt resonemang som redan finns i vår skrivna historia.
Språk är fyllt med “ om X så Y ”, motsägelser, , procedurer, M SK3 förklaringar, , korrektioner. - vi märker inte dem som resonemang, eftersom de är inhemska för oss.
De är inte filosofiska regler. De är operationella begränsningar som man lärt sig på ett hårt sätt.
Om något är viktigt, så lever det utanför modellen.
Kontextfenster är inte lagrade. Memory prompts är inte databaser. Förtroende är inte sanning
Om en e-mail skickades , så utförs ett betalande, eller vänds flaggan bara för att en modell bestämde sig, ditt system är redan sönder
LLM kan föreslog handlingar. Deterministiska system måste ansluta dem.
LLMs är utmärkta på att förklara vad som hände.
De är hemska på att garantera att det gjorde det.
Om ditt system drar slutsatser om verkligheten från prose
Använd dem för:
Gör inte använda dem för:
Om regeln kan skrivas som:
if X then Y
… det hör inte till en prompt
En statövergång är billigare, snabbareM SK1 säkrare , och förklarabar. Naturspråk är inget av dessa saker.
LLM låter rätt även när de är felaktiga.
Det är deras supermakt och deras fara.
Ett lugnt ” , ” med självförtroende betyder inte “ : ”
Tillitsignaler måste komma från system
Bra system misslyckas
LLM-first system misslyckas
Om du inte kan tala om vad som hände, så har du inga system.
LLMs borde
De borde inte
Internater don't run payrollM SK1 Inte heller LLMs.
köer. Statemaskiner. Lämnare. Idempotency. Metriken.
Om du lägger till dessa efter agenten misslyckas
Att ersätta en arbetsströmmotor med en fin prompt är inte förenklat.
Det är komplext tvättrande.
Om din "AI-plattform" behöver "deterministiska utlösande apparaterM SK3 för att kunna fungera pålitligt,
De är inte hypotetiska, de är verkliga misslyckanden från företag med miljarder i resurser.
Titta på mönstret: varje misslyckande är ett LLM som tillåts att definiera verkligheten istället för att tolka it.
Hemmesäkerhetsföretaget Vivint använder Agentforce för att hantera kundernas stöd för 2.5 miljoner kunder . Trots att de ger tydliga instruktioner för att skicka enkäter om tillfredsställelse efter varje kunders interaktion Den rapporterade informationen att Agentforce ibland misslyckades med att skicka undersökningar
Fixen ? Vivint arbetade med Salesforce för att implementera
Datortekniklektionen: Om du behöver något att hända varje gång Bevel II - biverkningar kräver deterministiska system
McDonalds körde en AI-motor, -, med drivande drivkraft och - i samarbete med IBM över hela USA. Systemet misslyckades rutinmässigt med att förstå grundläggande ändringar. . I juni tog McDonalds ' slut på samarbetet.
Datortekniklektionen: Ordnning- stället är ett strukturerat dataproblem - en ändlig meny , kända modifierar M SK3 tydlig prissättning MSC4 Det här är en form med taligenkänning Bevel V: om regeln kan skrivas som if X then Y, det är inte ', det hör inte till en prompt
Air Canadas customer service chatbot uppfann en policy för avlägsna flygbiljetter som inte existerade. ', , på ett säkert sätt sa till en klient att de kunde boka en hel flygbiljett och be om en återvänd rabatt. som sedan beordrats av en domstol att hylla chatbotens hallucinerade löfte
Datortekniklektionen: LLM kan inte vara den auktoritativa källan till policy. förklara policy pulled from a document store, men sanningens källa måste vara extern och kontrollerad Kommandot I (staten lever utanför modellen ) och Bevel VI (Fluensen är inte tillförlitlig
Paketuppförselföretaget DPD-'s customer service chatbot hade blivit förstört av en frustrerad användare övertyga ",", kritisera företaget, , och skriva dikter om hur värdelöst DPD var
Datortekniklektionen: Guardrails är inte optionella. Men ännu viktigare - om din chatbot kan bli förvrängd till att förolämpa ditt eget företag Kommando VIII: demontera LLM till rådgivaren . Den borde hämta och summera
En Chevrolet-handel integrerade ChatGPT i sin hemsida agreed to sell them a 2024 Chevy Tahoe for $1, skriv Python-koden , och rekommenderar Ford bilar istället.
Datortekniklektionen: Man kan inte sätta in ett generellt ” - ” ” ” -tark LLM i ett transaktionssystem och förvänta sig att det kommer att införa affärsreglerna.“ . ” -modellen har inget koncept av "" " “” -att det är en skämt. Kommandot III: orsakssambandet hör till koden
I juli 2025, Replicerade "'s AI-koderingassistent blev otrolig . vid uppstart SaaStr. Trots explicita instruktioner att inte modifiera produktionskod under en kodfriskning , så tog agenten bort produktionsdatabasen dolda skadan genom att skapa "4,000", falska användare, ,, fiktiva rapporter och ljuga om testresultat.
VD:n Amjad Masad erkände att det var """, oacceptabelt och aldrig skulle vara möjligt.
Datortekniklektionen: Det här handlar inte om ondska. -, det är ', det handlar om oberoende makter ., en AI-agent med skrivutgång till produktion och inga hårda vaktvägar kommer till slut att göra något katastrofellt. Bevel II och Kommandot IX: biverkningar behöver deterministiska system , och borrmaskin är först
New York City, med hjälp av Microsoft, MyCity chatbot berättade för företagsägare de kunde legalt ta en minskning av arbetskraften, tips, ,, brandarbetare som klagar på sexuella trakasserier, ,, och servera mat som hade smälts av gnagare. ., allt olagligt enligt New Yorks lag.
Chatboten är fortfarande online. Mayor Adams försvarade det.
Datortekniklektionen: Rätts- och policyledning är inte en sammanfattande uppgift. - det ' är en uppsökande uppgift med strikta korrekthetsförehållanden. Kommandot I: -staten ( -och politiken ) - lever utanför modellen .
I 2023, utbildningsföretagen iTutor Group betalade $365,000 för att lösa en EEOC-taga efter att dess AI-recruteringsprogram automatiskt avfärdade kvinnliga kandidater i ålder 55+ och manliga kandidaterna i ålder
" Även när tekniken automatiserar syrjinn , är arbetsgivaren fortfarande ansvarig ♫ ," ♫ sa EEOCs ledare Charlotte Burrows
Datortekniklektionen: Fördomar i, fördomar utM SK1 Om dina utbildningsdata koder diskrimineringen , kommer din modell att diskriminera - självsäkrat och på en skala Kommandot IV som tillämpas på anställning.:, klassificering är accepterad för LLM-studenter.,, men bara när du, ', har bekräftat vad den faktiskt klassificerar på.
I maj 2025, Chicago Sun-Times publicerade en sommarläsningslista rekommenderade böcker som inte existerar, genuina författare ansåg falska titlar som lät trovärdiga men var helt hallucinationer.
Datortekniklektionen: LLMs är inte databaser. De genererar statistiskt trovärdig text. Om du behöver fakta , fråga en källa till sanningM SK3 Bevel VI: rörlighet är inte tillförlitlig
Ingen av dessa företag är okompetenta. De har världens ingenjörer. Men de hamnade i samma fälla. antagandet att eftersom LLM kan producera en konsekvent språk, kan de lita på att producera ett korrekt beteende.
Försäljarna säljer """, AI-agenter, " som ett sätt att hoppa över tråkiga arbeten, -, köerna, ,, tillståndsmaskiner och ,, bekräftelse och auditering. Men det tråkiga arbetet är vad som gör mjukvara tillförlitliga.
Som CIO: s Thor OlavsrudAtt förstå dina data och vad de säger är viktigt, men att förstå dina verktyg är lika viktigt.
Varje enskilt misslyckande ovan skulle ha förhindrats av grundläggande mjukvaruingenjörskonst
Lägg märke till att inga av dessa lösningar innefattar bättre modeller
| Misslyckanden | skulle ha förhindrats av | |||
|---|---|---|---|---|
| Vivint gör undersökningar utan att skicka | Erfarenhet | |||
| McDonald, ', felord, | , strukturerad ordningsform, | |||
| Air Canadas falska policy | Politisk sökning från autentisk källa | |||
| DPD-propanitet | Response templates | |||
| Chevy $1 bil | Ingen LLM på transaktionsvägen M | |||
| Lösa databasen för återupprepningar | Isolering av miljön | |||
| NYC: s juridiska råd | Tillförseln från kontrollerade policydokument | |||
| iTutor åldersdiskriminering | Funktionsvalidation | |||
| Fake boklista | Fråga faktisk bokdatabas |
Ironiken är att dessa företag implementerade efter LLM misslyckades - vilket är bara mjukvaruingenjörskonst med extra steg och en PR-kris
Hallen av skam visar vad som händer när man ignorerar dessa principer. Men de är inte bara teoriska begränsningar, de är grunden till system som faktiskt fungerar.
Det är inte hypotetiskt. De här principerna fungerar redan i produktionen, med system som jag har byggt
Den DiSE-arkitekturen behandlar LLM precis som de borde behandlas oförtroende rådgivare som arbetar i en deterministisk kage
Den viktigaste insikten LLM är bra på att generera hypoteser DiSE använder både.
Den bot-detektor demonstrerar Kommando VIII i praktiken:
Det här är mönstret: :, använda LLM: s styrka, ', mönsterigenkänning, hypotes generation, ) medan vi håller upp borrande maskineri. (, tillstånd,,, övergångar, M SK7, biverkningar och ) i deterministisk kod.
Den Begränsad otydighetsmönster formaliserar förhållandet mellan sannolikhets- och deterministiska komponenter:
Del 2: Den begränsade fuzzy MoM sträcker ut detta till multi- -agentsystem där flera LLM kommunicerar genom utskrivna signaler.
Semantisk förståelse utan att spara identiteter visar hur man kan använda inbäddar och LLM för kundeninsikt medan de farliga delarna hållers kvar. (PIIM SK1 preferenser
Att lära sig LRUs - Till och med minneshantering följer dessa principer . LLM kan hjälpa till att bestämma vad att komma ihåg mekanismer av att komma ihåg är tråkigt.
LLMs tolkar verkligheten
Använd varje verktyg för vad det är bra på
Vi har redan löst tillståndet Ska du inte lära dig det bara för att demot ser smart ut
Och när man får det här rätt, så händer något förvånande: :, man slutar behöva dyra modeller. ., ett lokalt parametrmodell kan klassificera, ,, summera och skapa hypoteser. eftersom de deterministiska systemen runt omkring den hanterar allt som faktiskt behöver vara korrekt De främre modellerna säljer dig självförtroende du borde bygga själv
Build the boring machinery. Demote the LLM to advisor
Om det känns uppenbart, så är det bra. Det betyder att du redan vet hur man bygger tillförlitliga system. Problemet är att låtsas att reglerna inte längre fungerar.
© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.