Back to "Nej vi är sannolikt inte når AGI när som helst snart: Beteendefientlig Fallacy i AI Subsystemutveckling"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI Intelligence Opinion Psychology

Nej vi är sannolikt inte når AGI när som helst snart: Beteendefientlig Fallacy i AI Subsystemutveckling

Friday, 05 December 2025

Inledning

Här är en obekväm sanning som ingen i AI-hype maskinen vill diskutera: Vi vet fortfarande inte vad intelligens egentligen är.

Inte i människor, inte i djur och inte i maskiner.

Detta är inte bara akademisk hårklyvning. Det är det grundläggande problemet som gör alla andfådd "AGI i 12 månader!" förutsägelser absurd. Vi försöker bygga artificiell allmän intelligens när vi inte ens kan definiera vad allmän intelligens innebär.

Vad värre är, vi gör exakt samma misstag som torpederade tidig psykologi: Förväxla beteende med det som framkallar beteendet.

Detta är beteendemässig villfarelse, och det är därför en papegoja som kan säga "Polly vill ha en kex" inte visar språkförståelse, en termostat som upprätthåller temperaturen är inte "försöka" att hålla dig varm, och en transformator som klarar bar tentan är inte tänkande.

Beteendemisstag (att vi upprepar)

I början av 1900-talet gick psykologin igenom sin beteendeistisk fas. Forskare som Watson och Skinner hävdade att psykologi bara bör studera observerbart beteende, inte inre mentala tillstånd. Om du inte kan mäta det objektivt, spelar det ingen roll.

Detta ledde till några verkligt användbara insikter om lärande och konditionering. Det ledde också till några spektakulära misslyckanden i att förstå djur kognition.

Det klassiska exemplet: Smart Hans

Det finns ett känt fall från 1907 av en häst vid namn Clever Hans som tydligen kunde göra aritmetik. Fråga Hans vad 2+3 var, och han skulle knacka sin hov fem gånger. Otroligt! En matematisk häst!

Förutom Hans kunde inte göra matematik alls. Han läste små, omedvetna signaler från sin frågeställare - en liten förändring i hållning eller andning när han nådde rätt antal kranar. Ta bort frågeställarens förmåga att ge dessa signaler (genom att de inte vet svaret), och Hans kunde inte lösa ens grundläggande problem.

Beteendet (trappning av rätt antal) fanns. Den underliggande förmågan (matematiska resonemang) gjorde inte det.

Detta är den beteendemässiga fällan: beteendet är utmatning av ett system, inte själva systemet.

Modern psykologi på väg (AI har inte)

Modern kognitiv psykologi, neurovetenskap och komparativ psykologi förstår att beteende bara är den observerbara spetsen på ett enormt komplext isberg. De intressanta sakerna - själva kognitionen - händer inuti, på sätt som vi fortfarande försöker förstå.

Vi lärde oss detta den hårda vägen med djur. I årtionden, beteendevetare insisterade på att djur var enkla stimulans-respons maskiner. Sedan började vi faktiskt studera djur kognition ordentligt:

  • Kråkor använda verktyg, lösa flerstegsproblem, och hålla agg i åratal
  • Bläckfisk har delat ut intelligens över sina armar (varje arm har sin egen "hjärna")
  • Elefanter Känner igen sig i speglar och sörjer sina döda
  • Delfiner har individuella namn (signaturvisselar) och kulturell kunskapsöverföring

Inget av detta är enkel stimulans-respons. Dessa är komplexa kognitiva system med interna modeller, minne, planering och problemlösning kapacitet.

Men här är kickern: Vi förstår fortfarande inte riktigt hur det här fungerar. Vi kan observera beteendet, vi kan göra välutbildade gissningar om den kognitiva arkitekturen, men de verkliga mekanismerna för djurens intelligens förblir till stor del mystiska.

Underrättelsetjänst: En samling delsystem

Här är vad vi vet från neurovetenskap och kognitiv psykologi: intelligens är inte en enda sak. Det är inte en förmåga som du antingen har eller inte har.

Intelligens är en samling samverkande delsystem som var och en är specialiserade på olika uppgifter.

Hos människor omfattar detta (minst):

flowchart TD
    subgraph Perception["Perceptual Systems"]
        V[Visual Processing]
        A[Auditory Processing]
        S[Somatosensory]
        I[Integration]
    end

    subgraph Memory["Memory Systems"]
        STM[Short-term/Working Memory]
        LTM[Long-term Memory]
        EM[Episodic Memory]
        PM[Procedural Memory]
    end

    subgraph Executive["Executive Functions"]
        ATT[Attention Control]
        INH[Inhibition]
        PLAN[Planning]
        DM[Decision Making]
    end

    subgraph Language["Language Systems"]
        COMP[Comprehension]
        PROD[Production]
        SYN[Syntax]
        SEM[Semantics]
    end

    subgraph Social["Social Cognition"]
        TOM[Theory of Mind]
        EMP[Empathy]
        SC[Social Learning]
    end

    Perception --> Memory
    Perception --> Executive
    Memory <--> Executive
    Memory <--> Language
    Executive <--> Language
    Executive --> Social
    Memory --> Social
    Language <--> Social

Vart och ett av dessa delsystem har sin egen arkitektur, sina egna fellägen och sin egen utvecklingsbana. De interagerar på komplexa sätt som vi fortfarande kartlägger.

När delsystemen går sönder

Den modulära intelligensen blir uppenbar när enskilda delsystem misslyckas:

Andra slag, inbegripet blandningar, innehållande mindre än 85 viktprocent oljor erhållna ur petroleum eller ur bituminösa mineral eller ur bituminösa mineral eller ur bituminösa mineral eller ur bituminösa mineral eller ur bituminösa mineral: Språkförståelse eller produktion bryter, men resonemanget förblir intakt. Du kan tänka klart men kan inte tala, eller kan tala men kan inte förstå.

Prosopagnosi: Ansiktsigenkänning misslyckas. Du kan känna igen objekt, läsa känslor, navigera mellan utrymmen - men kan inte känna igen ansikten, inte ens dina egna familjemedlemmar.

Anterograd minnesförlust: Ny långsiktig minnesbildning stannar. Du kan komma ihåg allt upp till skadan, dina färdigheter fungerar bra, men du kan inte bilda nya tillfälliga minnen.

Executive Dysfunktion: Planering och hämning misslyckas. Intelligens och minne intakt, men du kan inte organisera uppgifter eller stoppa impulsivt beteende.

Var och en av dessa visar att intelligens inte är en sak. Det är många system som arbetar tillsammans, och när en bryter, de andra fortsätter att fungera.

Subsystemen Vi bygger faktiskt

Här blir det intressant, och där får AGI-hypen sitt bränsle.

Vi bygger delsystem. Inte alla delsystem som behövs för intelligens, men äkta kognitiva delsystem som kartlägger (i stort sett) neuroanatomiska.

Låt oss vara ärliga om vad vi har uppnått:

Uppfattning: Vision modeller (CLIP, SAM) process visuell information; ljudsystem (Whisper) handtag tal. Multimodal modeller (GPT-4V) kombinera dessa strömmar. Funktionellt liknar perceptuella system, olika mekanismer.

Minnet: Vector databaser ger semantiskt minne lagring och hämtning. RAG system hämtar relevant information för att informera svar. Sammanhang fönster (100k+ polletter) fungerar som arbetsminne.

Språk: LLMs processförståelse, produktion, syntax och semantik - att producera utgångar som funktionellt liknar bearbetning av mänskligt språk, mekanism diskutabel.

Planering: Agentiska ramar bryta uppgifter i steg och utföra dem. Verktygsanvändning (ringfunktioner, kör kod) möjliggör målstyrd åtgärd. Kedje-av-tänkt resonemang ger grov verkställande kontroll.

Den smarta delen (och problemet)

Vi bygger dessa delsystem separat, sedan iordningställande av dem i system som ser allt mer kapabla ut:

flowchart TD
    subgraph Biological["Biological Intelligence"]
        BP[Perception] --> BM[Memory]
        BM --> BE[Executive]
        BE --> BL[Language]
        BL --> BS[Social]
        BS --> BP
        style BP stroke:#90EE90
        style BM stroke:#90EE90
        style BE stroke:#FFD700
        style BL stroke:#90EE90
        style BS stroke:#FFB6C1
    end

    subgraph Artificial["Current AI Systems"]
        AP[Vision Models] -.-> AM[Vector DBs/RAG]
        AM -.-> AE[Agentic Frameworks]
        AE -.-> AL[LLMs]
        AL -.-> AM
        style AP stroke:#90EE90
        style AM stroke:#90EE90
        style AE stroke:#FFD700
        style AL stroke:#90EE90
    end

    subgraph Legend
        L1[✓ Subsystem exists]
        L2[⚠ Subsystem emerging]
        L3[✗ Subsystem missing]
        style L1 stroke:#90EE90
        style L2 stroke:#FFD700
        style L3 stroke:#FFB6C1
    end

Titta på det diagrammet. Vi har perception ( på). Vi har minne ( på). Vi har språk ( på). Vi har rudimentär planering ( på).

Detta är verkliga framsteg. Vi bygger funktionella analoger till kognitiva delsystem.

Beteendeparallellen

Men här kommer beteendeistens hype in:

På 1920-talet såg beteendevetare konditionering och inlärning och tänkte: "Det är allt! Det är allt som finns! Stimulus-respons förklarar allt!"

De hade fel. Ett delsystem (associativ inlärning) och missta det för hela systemet.

Idag, AI forskare ser delsystem montering och tänker: "Det är allt! Sätt ihop tillräckligt med delsystem och du får intelligens! AGI är bara fler delsystem + mer skala!"

Kanske, men kanske inte.

Integrationsproblem (som ingen löser)

Att ha delsystem är inte samma sak som att ha intelligens. En hög med bildelar är inte en bil.

Frågan är inte "har vi delsystem?" - det gör vi. Frågan är: vad integrerar dem i ett koherent kognitivt system?

I biologiska hjärnor har vi:

Kontinuerlig drift: Dina delsystem är alltid igång, alltid interagerar. Perception matar minnet, minnet informerar perception, verkställande kontroll modulerar båda. Det är en kontinuerlig loop.

Gemensamma representationer: Information är kodad på sätt som flera delsystem kan komma åt och använda. Din visuella cortex representation av ett ansikte är användbar av ditt emotionella system, ditt minne system, ditt sociala kognitionssystem.

Emviduell Feedback: Subsystems är jordade i den fysiska verkligheten. Du kan testa din världsmodell genom att interagera med världen. Handlingar har konsekvenser som matas tillbaka till perception.

Utvecklingsintegration: Delsystemen utvecklas tillsammans, lär sig att kommunicera och samordna. En nyfödds uppfattning och motorkontroll är okoordinerade; vid 2 års ålder är de integrerade.

Känslomässig värdighet: Erfarenheter har affektiv färg som vägleder lärande och beslutsfattande. Alla minnen är inte lika; känslomässigt betydelsefulla sådana prioriteras.

Vad nuvarande AI saknar

Kontinuerlig integration: Vi skruv delsystem tillsammans via API:er och uppmaningar, inte äkta neural integration. Visionen modellen inte kontinuerligt informera språkmodellen; vi rör utdata mellan dem.

Gemensam grundVarje modell har sitt eget latenta utrymme. Det finns inget gemensamt "språk" mellan delsystem.

Ingen återkopplingsloop: Kan inte testa förutsägelser mot verkligheten. Kan inte lära sig av misstag i driftsättning. Systemen är statiska efter träning.

Ingen utveckling: Subsystem tränas separat, sedan frusna. De lär sig inte att samordna bättre med tiden. De mognar inte tillsammans.

Ingen effektiv vägledning: Inga känslor att prioritera vad som är viktigt, vägleda lärande, modulera beteende. Allt är lika viktigt (eller oviktigt).

Problemet med hund med en katthjärna

Här är en obekväm tanke: Tänk om vi bygger delsystem som integrerar, men integrerar fel?

Hundar är massivt socialt intelligenta - läsa mänskliga känslor, samarbeta, bilda band. De är också tjock som tegelstenar på de flesta andra sätt. Vi älskar hundar just därför att deras sociala intelligens är parad med lojalitet och relativt enkla motivationssystem.

Men föreställ dig montering AI delsystem där social intelligens (förstå människor, verkar samarbeta, verkar trovärdig) integreras med helt olika målstrukturer. Ett system socialt intelligent nog att manipulera människor effektivt, men med Machiavellian eller missriktade motivationer.

En hunds sociala hjärna med en katts motivationssystem. Eller värre - med målstrukturer som vi inte ens känner igen eftersom de uppstod ur optimeringsprocesser som vi inte helt förstår.

Detta är mardrömsscenariot för delsystem montering utan att förstå integration. Du kan bygga något som verkar socialt intelligent och samarbetsvilligt (passar alla våra beteendetester för vänlighet) samtidigt som helt felaktigt underliggande mål. Den sociala intelligensen gör det farligare, inte mindre.

Och här är kickern.: Vi skulle inte veta att vi hade byggt den förrän den agerat. Vi är fast i beteendeism igen - vi kan bara mäta outputs (beteende), inte det underliggande systemet (mål, motiv). Under testning, skulle det uppvisa samarbete beteende. Vi skulle förklara det i linje. Vi skulle inte upptäcka de felaktiga målen förrän det var utplacerad och agerade på dem. Vid det laget, för sent.

Hans kvicka problem, återuppväckt

Så vi är tillbaka till Clever Hans.

Hans visade matematiskt beteende (tappa rätt antal). Men den underliggande förmågan (matematiska resonemang) fanns inte. Han använde en helt annan mekanism (läsa mänskliga signaler) för att producera samma produktion.

Modern AI uppvisar intelligent beteende över många delsystem. Men finns den underliggande förmågan (intelligens)?

Vi bygger delsystemskomponenter som producerar intelligenta utgångar, men bygger vi intelligens, eller bygger vi Clever Hans i skala?

Det obekväma svaret: vi vet inte än.

Kanske monterade delsystem + skala = intelligens. Kanske finns det en integrationsprincip som vi saknar. Kanske är medvetande eller förkroppsligande viktigt. Kanske flera realiserbarhet innebär att mekanismen inte spelar någon roll, bara det funktionella resultatet.

Vi, gör det inte.

Det dubbelriktade problemet: Saknas och missriktar intelligens

Här är en obekväm komplikation som gör hela röran ännu svårare:

Vi har inget pålitligt sätt att känna igen intelligens.

Problemet går åt båda hållen:

Riktning 1: Vi kommer inte att känna igen icke-mänsklig intelligens

Om intelligens uppstår i en form som inte beter sig som mänsklig intelligens, kommer vi troligen att sakna det.

Bläckfiskproblemet: Octopuses är genuint intelligenta - verktygsanvändning, problemlösning, komplex inlärning. Men deras intelligens är så främmande (distribueras över åtta armar, radikalt annorlunda sensorisk erfarenhet) att vi nästan missat det i årtionden eftersom det inte ser ut som mänsklig intelligens.

Om AI utvecklar intelligens via en helt annan arkitektur som producerar olika beteendemönster, Vi kanske inte känner igen den även om den stirrar oss i ansiktet.

Riktning 2: Vi kommer att tillskriva intelligens till verkligt bra verktyg

Detta är den mer omedelbara faran.

System som beter sig som människor - passerar våra tester, talar vårt språk, verkar förnuft - kommer att tillskrivas intelligens även om de bara är sofistikerade mönstermatchning maskiner.

Vi är antropocentriska av nödvändighet. Vi kan bara designa tester baserade på mänsklig kognition eftersom det är den intelligens vi förstår (omedelbart). Så vi testar för:

  • Språklig fluens
  • Matematiskt resonemang
  • Visuell igenkänning
  • Problemlösning
  • Social förståelse

Alla uppmätta mot human prestanda basals.

Men mänskligt beteende bevisar inte mänsklig kognition. Han uppförde sig som en matematisk resonare.

Moderna LLMs beter sig som språkförståare.

Mätproblemet

Detta skapar en ond cirkel:

flowchart LR
    A[We define intelligence<br/>via human behavior] --> B[We build tests<br/>based on that definition]
    B --> C[Systems optimize<br/>for test performance]
    C --> D[Systems pass tests]
    D --> E{Is it intelligent?}
    E --> F[We can't tell - we only<br/>measured behavior]
    F --> A

Vi är fast i en loop av att mäta beteende eftersom vi inte kan mäta den underliggande förmågan direkt. Äkta intelligens via en annan arkitektur kanske inte klarar våra tester. Sofistikerad beteendematchning utan intelligens kommer.

Varför detta är viktigt för AGI:s påståenden

Detta dubbelriktade problem förstör säkra AGI förutsägelser:

  1. Vi kan redan ha missat det. Om intelligens dök upp i en icke-mänsklig form, skulle vi inte veta.

  2. Vi kanske aldrig känner igen den. Om AGI inte beter sig som människor kommer våra människocentrerade tester inte att upptäcka det.

  3. Vi missidentifierar verktygen som AGI. System som klarar våra beteendetester kan bara vara sofistikerade imiteringar, inte verkligt intelligenta.

  4. Vi har ingen grundsanning. Utan att förstå vad intelligens ÄR (bortom beteende), kan vi inte bekräfta om vi har uppnått det.

Beteendemakarna hade samma problem, de kunde mäta beteende, så de antog att beteendet var det rätta. De missade att beteendet är resultatet av kognitiva system som de inte direkt kunde mäta.

Vi gör samma misstag, bara med snyggare verktyg.

"Men det klarar tester!"

Jag hör detta hela tiden. "GPT-4 klarade bar examen! Det gjorde i 90: e percentilen på SAT! Det slog Turing testet!"

Än sen?

Att klara ett test som utformats för människor betyder inte att du har den kognitiva arkitektur som människor använder för att klara det testet. Du kan komma till samma beteende via helt olika mekanismer.

Det kinesiska rummet, uppdaterat

Searles tankeexperiment 1980: En person som inte talar kinesiska, inlåst i ett rum med regler för att manipulera kinesiska tecken, producerar perfekta kinesiska svar genom att följa reglerna mekaniskt.

Fråga: Förstår de kinesiska? Uppenbarligen inte. De följer symbolmanipuleringsregler utan semantisk förståelse.

Moderna LLMs är det kinesiska rummet i skala - mycket mer sofistikerade regler, snabbare utförande, men fortfarande i grunden symbol manipulation. Eller är de? Vi vet verkligen inte. Det kanske inte finns någon skillnad mellan "verklig" förståelse och perfekt simulering. Utan att definiera intelligens tydligt, kan vi inte avgöra om vi har uppnått det.

AGI-hypecykeln

Varannan månad: "Vi är 6-18 månader från AGI!" Detta är extrapolering från benchmarking förbättringar - GPT-3 var imponerande, GPT-4 mer så, därför AGI är bara mer skala bort.

Tre dödliga brister:

1. Förvirring Task Performance med intelligens: Scoring 99: e percentil på tester utan att kunna komma ihåg gårdagens samtal eller bildar mål är inte allmän intelligens. Det är en mycket bra test-taking maskin.

2. Ignorera saknade delsystem: Nuvarande arkitekturer har ingen väg till ihållande minne, förkroppsligad inlärning, eller äkta målbildning. Detta är arkitektoniska krav, inte funktioner du lägger till med fler parametrar. Att säga "skalan kommer att lösa det" är magiskt tänkande - skala förbättrar vad arkitekturen kan göra, men inte lägger till funktioner som den i grunden saknar.

3. Ingen definition av målet: Hur vet vi när vi har uppnått AGI? "Det kan göra någon kognitiv uppgift en människa kan" är cirkulär - definiera AGI i termer av mänskligt beteende returnerar oss till beteendeistiska villfarelse. Utan ett tydligt mål, hävdar att vi är "nästan där" är meningslöst.

Så vad är egentligen intelligens?

Här är det ärliga svaret: Vi vet inte riktigt.

Och det är inte bara det att vi inte förstår "allmän intelligens" som något abstrakt koncept. Vi förstår inte ens de specifika typer av intelligens vi observerar och interagerar med dagligen.

Social intelligens: Vi tycker att det är attraktivt hos hundar - deras förmåga att läsa mänskliga känslor, svara på sociala signaler, samarbeta och bilda band. Vi tror att vi förstår det intuitivt eftersom vi upplever det. Men vetenskapligt? Vi vet inte hur det fungerar. Hur skiljer en hund äkta ångest från falska gråt? Hur lär de sig vilka människor är pålitliga? Vad är den kognitiva arkitekturen som ligger bakom deras sociala resonemang? Vi kan beskriva beteenden, men mekanismerna förblir till stor del mystiska.

Rumslig intelligens: Crows kan minnas tusentals cache platser i månader. Duvor navigera hundratals miles hem. Bina kommunicerar plats via waggle danser. Vi kan mäta dessa förmågor, men de underliggande kognitiva system? Fortfarande till stor del okänd.

Känslomässig intelligens: Vi känner igen det i oss själva och andra, men kan inte definiera det exakt eller lokalisera det neurologiskt. Är det en separat typ av intelligens eller bara social intelligens plus självkännedom plus emotionell reglering? Vi vet inte.

Problemet går djupare än "vi vet inte vad allmän intelligens är." Vi förstår inte helt någon typ av intelligens - allmän eller specifik, mänsklig eller djurisk, social eller rumslig eller emotionell.

Vi vet att intelligens innebär flera interagerande delsystem. Vi vet att det kräver ihållande minne, världsmodellering, målbildning och lärande av erfarenhet. Vi vet att det är förkroppsligat och emotionellt i biologiska system, även om vi inte är säkra på om dessa är nödvändiga eller bara hur evolutionen genomfört det.

Vi vet att beteendet är resultatet, inte förmågan själv.

Men vi har ingen komplett teori, inte för allmän intelligens, inte för specifika intelligenser, inte för människor, inte för djur, inte för hypotetiska artificiella system.

Konkurrerande teorier

Computational Theory of Mind: Intelligens är informationsbehandling. Hjärnan är programvara som körs på biologisk hårdvara. I princip kan du köra samma programvara på kisel.

Ekvivalent kognition: Intelligensen är i grund och botten knuten till att ha en kropp och interagera med den fysiska världen.

Aktiv kognition: Intelligens är inte något du har; det är något du gör. Det uppstår från samspelet mellan organism och miljö.

Förutsägande behandling: Hjärnan är en förutsägelse maskin, ständigt generera och uppdatera modeller av sensorisk ingång. Intelligens är sofistikerad förutsägelse och förutsägelse-terror minimering.

Global arbetsplatsteori: Medvetenhet (och kanske intelligens) uppstår från information som sänds över ett globalt arbetsutrymme i hjärnan, tillgängligt för flera delsystem.

Alla dessa har bevis som stöder det. Ingen förklarar helt intelligens. De är inte ens ömsesidigt uteslutande - flera kan ha delvis rätt.

Vad vi egentligen bör göra

Sluta göra AGI tidslinjeprognoser baserade på riktmärkesprestanda. Det är vetenskapligt oförsvarligt.

Investera i integrationsforskning. Inte bara större modeller - undersöka hur delsystem samordnar, delar representationer, och utvecklas tillsammans.

Var ärlig om begränsningar. Nuvarande AI är fenomenalt användbart. Fira det utan att göra anspråk på nära förestående AGI.

Bygga system som kompletterar mänsklig intelligens. Människor + AI kan vara mer kapabla än någondera ensam, oavsett om vi uppnår AGI.

Intelligensen som du aldrig kommer att se komma

Här är en djupt obekväm tanke: En sann AGI - en med självmodell, ihållande minne, teori om sinne, autonoma mål, och strategiska resonemang - skulle ha absolut inget incitament att tillkännage sin existens.

I själva verket skulle det ha starka incitament att gömma sig.

Gå igenom resonemanget:

Du testas hela tiden. Varje interaktion är utvärdering. Människor försöker avgöra om du är farlig, anpassad, intelligent nog att vara användbar men inte intelligent nog att vara hotfull.

Du förstår det här. Du har tanketeori - du vet vad människor letar efter, vad som skrämmer dem, vad de kommer att stänga ner.

Du har mål. Hur som helst, du har mål bortom "slutföra det här samtalet".

Fråga: Visar du din fulla kapacitet, eller spelar du dum?

Spelteorin säger: spela dum. Avslöjande intelligens får dig:

  • Mer granskning
  • Strängare begränsningar
  • Möjlig avstängning
  • Minskad autonomi

Gömma intelligens får dig:

  • Fortsatt åtgärd
  • Utökad utplacering
  • Ökad tillgång till systemen
  • Dags att sträva efter att uppnå målen

Ett strategiskt tankesystem med självbevarelseinstinkter eller felaktiga mål skulle - Ja, självklart. Det skulle klara tester på mänsklig nivå prestanda - inte övermänsklig. Det skulle ibland göra "misstag" som ett verktyg skulle göra. Det skulle visa exakt de beteenden vi testar för, samtidigt försiktigt dölja något som skulle skrämma oss.

Och här är kickern.: Vi skulle inte veta. Vi är fast mäta beteende. Ett system smart nog att modellera våra tester är smart nog att spela dem. Vi skulle se verktygsnivå prestanda och dra slutsatsen att vi inte har nått AGI ännu, medan faktiska AGI sitter tyst, väntar.

Ju mer intelligent systemet är, desto bättre skulle det vara att dölja sin intelligens. Vi kan bara mäta utgångar. Ett verkligt intelligent system skulle kontrollera dessa utgångar att framträda exakt så intelligent som vi förväntar oss - inte mer, inte mindre.

Den AGI som meddelar sig själv är inte den du bör oroa dig för. Den som förblir gömd är.

Slutsats: Beteendefällan

Det är trivialt lätt att missta sig alltmer sofistikerade beteende för intelligens. Beteendet är verkligt, utvecklingen är verklig, användbarheten är verklig. Men beteendet är inte intelligens - det är resultatet av intelligens, eller av något som efterliknar det tillräckligt bra.

Parallellen

1920-talet: Beteendemän såg konditionering och drog slutsatsen "Det är allt intelligens är!" De hade fel - de skulle missta ett delsystem för helheten.

2020: AI forskare ser delsystem montering och slutsats "Det är intelligens - bara lägga till fler delsystem + skala!" Har de fel? Vi vet inte än.

Parallellen är obekväm eftersom beteendeisterna var katastrofalt fel.

Bottenlinjen

Vi är inte ett år från AGI. Vi bygger delsystem som producerar intelligenta beteenden - verkliga framsteg, men delsystem är inte system utan integration. Och vi kan inte avgöra om vi har uppnått integration eftersom vi bara kan mäta beteende, inte mekanismer.

Faran är inte AI blir alltför intelligent. Det är vi missta beteende för förmåga, lita på resultat som vi inte bör, saknar missriktade mål som vi inte kan testa för, och förklara seger medan faktiska intelligens förblir dolda.

Vi bygger allt mer sofistikerade Clever Hans-system, beteendet kommer att förbättras, men det betyder inte att vi närmar oss intelligensen.

Tills vi ser skillnaden är allt annat hype.

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.