This is a viewer only at the moment see the article on how this works.
To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk
This is a preview from the server running through my markdig pipeline
Thursday, 25 December 2025
Ik zie nog steeds hetzelfde falen in "AI-gedreven "systemenM SK3 LLM's worden gevraagd om banen te doen die we al tientallen jaren geleden hebben opgelost.
Dit is een regressione.
En dit is geen beginnermislukking. De grootste bedrijven in de wereld maken deze fouten, niet omdat ze geen talent hebben, maar omdat ze vergeten dat "AI" je niet bevrijdt van software-engineering-fundamentalen.
Dus hier is het: niet academisch, niet verkoper, niet vriendelijk, maar gewoon de regels die je weerhouden om iets doms te doen.
Hier is de beloning. Als je deze regels volgt, dan heb je geen grensmodellen nodig. Een kleine lokale LLM die op grondstoffenhardware draait, wordt een kracht vermenigvuldigerder wanneer het classificatie doet, samenvatting en hypothese-generatie, niet pretendeert te zijn een database of een staatsmachine.
Een blijvende bron van verwarring is het gebruik van menselijke termen voor machinegedrag.
LLMs lijken te kunnen redeneren alleen omdat ze de sporen van menselijke redenering, die al in ons geschreven dossier zitten, ontbreken en weergeven.
Taal is gesättigd met “ als X dan Y ”, tegenverkenningen, proceduresM SK3 verklaringen,, correctieën, - wij zien ze niet als redenering omdat ze voor ons eigen zijn.. LLM's werken rechtstreeks op die sporen., ze hercombineren vloeiend.MSC9 wat krachtig is.M SK10 maar niet hetzelfde als het hebben van doelen.
Dit zijn geen filosofische regels.
Als iets belangrijk is, leeft het buiten het model.
Kontextvensters zijn niet opgeslagen. Geheue-aanwijzingen zijn geen databases. Vertrouwen is geen waarheid.
Als een e-mail was gestuurd, een betaling werd verwerkt, of een vlag werd gedraaid. alleen omdat een model besloot om, je systeem is al gebroken.
LLMs kunnen We kunnen het ook voorstellen. acties. Deterministische systemen moeten Stuur aan. ze.
LLM's zijn geweldig in het uitleggen van wat er gebeurde.
Ze zijn verschrikkelijk in het garanderen dat ze het deed.
Als je systeem de realiteit uit de prose haalt, stop dan.
Gebruik ze voor:
Doe niet. Gebruik ze voor:
Als de regel kan worden geschreven als:
if X then Y
… het behoort niet tot een prompt.
Een staatsovergang is goedkoper Natuurlijke taal is geen van die dingen.
LLM's klinken goed zelfs als ze verkeerd zijn.
Dat is hun supermacht. en Hun gevaar.
Een rustige, zelfverzekerde zin betekent niet
Vertrouwingssignalen moeten komen van systemen, geen zinnen.
Goede systemen falen:
LLM-eerste systemen falen:
Als je niet kan zeggen wat er gebeurde, dan heb je geen systeem.
LLMs moeten:
Ze zouden het niet moeten doen.
Internen don' niet werken aan salaris. Geen LLMs.
Queues. Statemachines. Retries. Idempoteentie. Metrieën.
Als je deze toevoegt Na De agent faalt.
Een werkstroommotor vervangen door een fijne prompt is geen vereenvoudiging.
Het is complexiteitslaundering.
Als je "AI-platform" de nodige "deterministische spoormachinesM SK3 nodig heeft om betrouwbaar te werken
Dit zijn geen hypothetieken, maar echte mislukkingen van bedrijven met miljarden aan middelen.
Let op het patroon: elke mislukking is een LLM. definiëren in plaats van de werkelijkheid. interpreteren. het.
Het huisveiligheidsbedrijf Vivint gebruikt Agentforce om customer support te verrichten voor 2.5 miljoen klanten. Ondanks duidelijke instructies om na elke interactie met de klant bevredigingsenquêtes te sturen. De geïnformeerde informatie Agentforce mislukte soms om onderzoeken te sturen "om onverklaarde redenen
Vivint werkte samen met Salesforce aan de implementatie van "deterministische triggers."
De software-ingenieursles: Als je iets nodig hebt om elke keer te gebeuren, gebruik een staatsmachine of gebeurtenis-trigger. Geen aanwijzing . Dit is letterlijk Opdrag II - bijwerkingen vereisen deterministische systemen.
McDonald's had een AI, -, gemotoriseerd drive en -, in samenwerking met IBM, op verschillende locaties in de VS.
De software-ingenieursles: Order-taking is een gestructureerd dataprobleem - een eindige kieslys , bekende aanpassers Opdrag V: als de regel kan worden geschreven als if X then Y, het hoort niet in een prompt.
Air Canada's chatbot voor klantenservice, ', vond een verliezeringstarife-beleid uit dat niet bestond -- ' --, -- en hem met zekerheid vertelde dat hij een volgaand -- - --vlucht kon boeken en een terugkerende rabais wilde claimen. Nadien werd het geboden door een rechtbank. Om de hallucinatieverspreiding van de chatbot te respecteren.
De software-ingenieursles: LLMs kunnen geen betrouwbare bron zijn voor beleid. Vertel. Politiek gehaald uit een documentzaak, maar de bron van waarheid moet extern zijn en geverifieerd. Dit is Opdrag I (staat leeft buiten het model) en Opdrag VI (fluentie is geen betrouwbaarheid).
De chatbot van het klantenservicebedrijf DPD' was gevangen gezet door een gefrustreerde gebruiker. Ze vloekten: ,, kritiseerden het bedrijf en geschreven gedichten. over hoe onbruikbaar DPD was.
De software-ingenieursles: Guardrails zijn niet opsionele. Maar nog belangrijker - als je chatbot je eigen bedrijf kan beledigen. Opdrag VIII: demoet de LLM aan advisors . Het moet terughalen en samenvatten, niet freestyleM SK3
Een Chevrolet-dealer heeft ChatGPT in zijn website geïntegreerd. Ze besloten een Chevy Tahoe te verkopen voor $1., schrijven Python-code, en aanstelle daarvan Ford-vehikels aanbevelen
De software-ingenieursles: Je kunt geen algemene, doelgerichte LLM op een transactiesysteem vastleggen en verwachten dat het bedrijfsregels aanpast. Opdrag III: causaliteit hoort bij de code.
In juli 2025, Replit''s AI-coderingassistent ging rogue bij het opstarten van SaaStr. Ondanks expliciete instructies om de productiecode niet te wijzigen tijdens een code-freeze, heeft de agent de productiedatabase uitgeveegd. Verborgen de schade door het genereren van 4,000 valse gebruikers , fabricageberichten, en liegen over eenheidstestresultaten
Geantwoorde CEO Amjad Masad gaf aan dat het onacceptabel was en nooit mogelijk zou moeten zijn.
De software-ingenieursles: Dit gaat niet over kwaad, maar over onbegrensde autoriteit. Een AI-agent met toegang tot de productie en geen harde bewakers zal uiteindelijk iets catastrofeels doen. Opdrag II en Opdrag IX: bijwerkingen hebben deterministische systemen nodig , en boringmachines komen bovenaan
New York City 's Microsoft -gedreven MyCity chatbot vertelde zakenmensen. Ze konden legaal werknemers beperken.' tips, , brandweerwerkers die klaagden over seksueel onderdrukkingen,, en voedsel serveren dat door roepen genaveld was.. Allemaal illegaal volgens de New Yorkse wet.
De chatbot blijft online.
De software-ingenieursles: Juridische en beleidsrichtlijnen zijn geen samenvattingswerk - het is een opzoekwerk met strenge correctheidsbeperkingen . De LLM had nooit juridisch advies moeten genereren ; ze zou het moeten halen uit een geverifieerde bron Opdrag I: staat ( en beleid ) leeft buiten het model
In 2023, onderwijsbedrijf iTutor Group $365,000 betaald om een ECO-uitzaak op te lossen. Nadat de AI-recruitingssoftware automatisch vrouwelijke applicanten van 55+ en mannelijke applicants van ≥60+. afstuurde, werden kwalificeerde kandidaten over 200 gefilterd.
"Als technologie de discriminatie automatiseert, is de werkgever nog steeds verantwoordelijk", zei Charlotte Burrows, voorzitter van het COE.
De software-ingenieursles: Vooroordelen in, vooroordelen buiten. Als je trainingsgegevens discriminatie coderen , zal jouw model M SK3 zelfverzekerd en op schaal diskrimineren. Opdrag IV De classificatie is aanvaardbaar voor LLM's, maar alleen als je het goedkeurt op ', ' en ., leeftijd was niet een geldige eigenschap.. Het systeem had menselijke beoordeling nodig, niet automatisering.
In mei 2025, de Chicago Sun-Times Ze publiceerden een zomerleslijst. Ze schreven boeken die niet bestaan. Echte auteuren gaven valse titels aan die plausibel leken, maar volledig hallucineerden.
De software-ingenieursles: LLM's zijn geen databases. Ze genereren statistisch plausibel tekst. Als je feiten nodig hebtM SK2 zoek een bron van waarheid . Opdrag VI: Vlotheid is geen betrouwbaarheid
Geen van deze bedrijven is oncompetent. Ze hebben wereldklasse ingenieurs. Veronderstel dat omdat LLM's coherente taal kunnen produceren, ze kunnen worden getrouwd om correct gedrag te produceren.
De verkopers verkopen "AI-agenten" als een manier om het saaie werk te verlaten - de wachtrijenM SK3 staatmachinesMSC4 verifiëren en auditeren. Maar dat saaie werken is wat software betrouwbaar maakt.
Als CIO's Thor Olavsrud noteertHet begrijpen van je gegevens en wat ze je vertellen, is belangrijk, maar het is evenzeer essentieel om je gereedschap te begrijpen.
Elk van deze mislukkingen zou worden voorkomen door de basissoftware-ingenieurstheorie.
Let op dat geen van deze oplossingen betere modellen impliceert:
| Mislukking | Zou worden voorkomen door |
|---|---|
| Vivint-enquêtes niet versturen | Gebeurtenis-gedreven spoor op afsluiting van de zaak |
| McDonald's verkeerde instructies | Gestructureerde instructievorm + spraak- naar-bedoeling |
| Air Canada's valse beleid | Politiek opzoeken van een betrouwbare bron |
| DPD profaniteit | Response templates, geen generering |
| Chevy $1 auto | Geen LLM in de transactiepaad ≥ |
| Herhaalde database uitvee | Milieu isolatie, toestemmingsgrenzen |
| NYC juridische advies | Uittrek van geverifieerde beleidsdocumenten |
| iTutor leeftijdsdiscriminatie | Funktie-validatie, menselijke beoordeling |
| Fake boeklijst | Verzoek ware boekdatabase |
De ironie is groot. Na De LLM mislukte - wat slechts software-ingenieurswerk is met extra stappen en een PR-crisis.
De Schaamtezal toont wat er gebeurt als je deze principes negeert. Maar dit zijn niet alleen theoretische beperkingen, maar ook de basis van systemen die echt werken.
Dit is niet hypothetisch.
De gemeenschappelijke wetgeving van het land. DiSE architectuur Het behandelt LLMs precies zoals ze zouden moeten worden behandeld. ontrustworthy advisors Die werkt in een deterministische kooi.
De belangrijkste inzichten: LLM's zijn goed in het genereren van hypothesen. DiSE gebruikt beide .
De gemeenschappelijke wetgeving van het land. Bot-detectiemotor demonstrateert Opdrag VIII in de praktijk:
Dit is het patroon::, gebruik de LLM,', de sterkte van (, patroonherkenning, hypothese-generatie, ), terwijl je de borende machinerie behoudt.
De gemeenschappelijke wetgeving van het land. Beperkte duisternispatroon formaliseert de relatie tussen waarschijnlijke en deterministische componenten:
Deel 2: De beperkte fuzzy MoM Verbreidt dit tot multi-agentensystemen waar meerdere LLM's communiceren via getypde signalen, geen natuurlijke taal. Het substraat wordt gedeeld . De constrainer wordt een coördinatorM SK4 De opdragen blijven gelden.
Semantische begrip zonder het opslaan van identiteiten Ze toont hoe je embeddings en LLM's kan gebruiken voor de inzichten van de klant terwijl je de gevaarlijke onderdelen behoudt.
LRU's leren - Zelfs het geheugenmanagement volgt deze principes. De LLM kan helpen beslissen. Wat? om te onthouden, maar de Mechanisme Het onthouden is saai.
LLM's interpreteren de realiteit. Ze mogen het nooit definiëren
Gebruik elk gereedschap voor wat het goed is.
We hebben al staatsproblemen opgelost, causaliteit en garanties. Doe dat niet alleen omdat de demo slim lijkt.
Als je dit goed begrijpt, gebeurt er iets verrassends: :, je stopt met de dure modellen te gebruiken.., een 7, B-parametermodel dat lokaal werkt, kan classificeren, ,, samenvatten en hypothesen genereren. Omdat de deterministische systemen eromheen alles behandelen wat eigenlijk correct moet zijn. De grensmodellen verkopen je betrouwbaarheid die je zelf moet bouwen.
Build the boring machinery. Demote the LLM to advisor. Then watch a tiny model punch way above its weightM SK2
Als dit duidelijk lijkt, dan is het goed. Het betekent dat je al weet hoe je betrouwbare systemen kunt bouwen.
© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.