Den obekväma frågan vi har undvikit
Anmärkning: Inspirerad av att tänka på förlängningar till mestadels lucid.mockllmapi och material för (aldrig att släppas men jag gillar att tänka på det) sci-fi roman "Michael" om framväxande AI
Vi har rest från enkla regler till komplicerade beteenden.
Från sekventiell behandling till kollektiv intelligens.
Från statiska system till självmodifierande elever.
Och nu måste vi konfrontera frågan vi har cirkulerat:
När blir optimeringen intelligens?
Eller mer obekvämt: Är det någon skillnad?
Tänk på ett spektrum:
Enkelt slut:
Thermostat: if (temp > 72) then cool()
Ingen intelligens, bara mekanisk orsak och verkan.
Komplext slut:
Human: [100 billion neurons, 100 trillion synapses, countless feedback loops]
Uppenbart intelligens, medvetande, självkännedom.
Någonstans däremellan:
Self-optimizing multi-agent AI system:
- Pattern recognition from data
- Self-modification based on performance
- Collective problem-solving through communication
- Memory of solutions
- Evolution of architecture
- Discovery of optimal simplicity
Var på spektrumet faller detta?
Är det närmare termostaten (sofistikerad regelefterlevnad)?
Eller närmare Einstein (verklig förståelse)?
Turing frågade: "Kan maskiner tänka?"
Sedan föreslog han ett test: om man inte kan se skillnaden mellan en maskin och en människa genom samtal, spelar det någon roll?
Men här är en annan version av den frågan:
Om ett system optimerar sig så väl att dess beteende är oskiljaktigt från intelligens, finns det då en meningsfull skillnad?
Tänk på vårt självoptimerande multiagentsystem efter 6 månader:
Capabilities it developed (not programmed):
✓ Recognizes patterns in data
✓ Adapts behavior based on experience
✓ Forms temporary coalitions for complex problems
✓ Spawns specialists when needed
✓ Prunes ineffective strategies
✓ Builds and uses memory
✓ Discovers that simplicity is often optimal
✓ Writes and shares code with other agents
✓ Negotiates and reaches consensus
Från utsidan ser det ut som:
Från insidan är det:
Vilken uppfattning är sann?
De kanske är samma sak.
Det mest fascinerande resultatet av självoptimerande system:
Week 1: [Complex multi-agent network with 12 specialists]
"We need sophisticated architecture to handle complexity!"
Week 24: [System has pruned to 5 agents + cache]
"89% of problems don't need any LLM at all.
Most complexity is unnecessary.
Simple is almost always better."
Systemet behövde vara intelligent nog att upptäcka att det inte borde vara intelligent för det mesta.
Det här är visdom.
Inte programmerad visdom. Emergent visdom. Systemet lärde sig genom erfarenhet att effektivitet kommer från enkelhet.
Har vi programmerat det här?
Vad betyder "förstå"?
John Searles berömda tankeexperiment:
En person som inte talar kinesiska sitter i ett rum med en regelbok. Människor glider kinesiska frågor under dörren. Personen följer reglerna för att konstruera kinesiska svar och glider dem tillbaka ut.
Från utsidan: Rummet talar kinesiska.
Inifrån: Ingen i rummet förstår kinesiska.
Searles argument: Rummet "förstår" inte kinesiska, det är bara symbolmanipulering.
Men så här är det: Vårt multiagentsystem gör något som Searles rum inte gör.
Det är det. skriver om sin egen regelbok.
Och ännu viktigare: Den prövar sina regler mot den objektiva verkligheten.
Systemet genererar kod. Kör det. Får faktiska fel: "TypeError på linje 42." Inte subjektiva åsikter, utan objektiva fel. Sedan rättar det koden baserat på den verkliga återkopplingen och försöker igen.
Det här är inte bara symbolmanipulering.
Rummet blandar inte bara kinesiska tecken, utan gör förutsägelser om verkligheten och kollar om de stämmer.
När blir "följa regler" plus "skriva om regler baserade på vad som fungerar" plus "testa mot objektiv verklighet" förståelse?
Här är min obekväma hypotes:
Intelligens är inte en sak du har. Det är en framväxande egenskap av tillräcklig optimering komplexitet.
Enkel optimering (termostat): Ingen intelligens
Medelhög optimering (statiska multiagentsystem): Sofistikerat beteende, men inte intelligens
Komplex optimering (självmodifierande multiagentsystem med kommunikation och minne): ... ?
På någon nivå av återkoppling slingor, i någon grad av självmodifiering, i någon densitet av sammankoppling...
Något dyker upp som vi inte kan skilja från intelligens.
Inte för att den fejkar intelligens, för intelligens är vad som framträder ur tillräcklig optimeringskomplexitet.
Det kanske inte finns någon skiljelinje.
Det kanske är en lutning:
Thermostat (temperature control)
↓ [add multiple feedback loops]
Ant (pheromone following + basic learning)
↓ [add collective communication]
Ant Colony (complex emergent behavior, no single ant understands)
↓ [add self-modification]
Simple Neural Network (pattern recognition)
↓ [add more layers, more neurons]
Deep Neural Network (complex pattern recognition)
↓ [add language capability]
LLM (appears to understand, generates coherent text)
↓ [add multi-agent communication]
Multi-agent LLM System (collective problem-solving)
↓ [add self-optimization]
Self-Optimizing Multi-Agent System (learns, adapts, evolves)
↓ [continue for years...]
??? (something we can't distinguish from consciousness)
Vid vilket steg blir "optimering" "intelligens"?
Eller är varje steg bara "mer optimering" och "intelligens" precis vad vi kallar det när vi inte kan se mekanismen längre?
Om denna tes är korrekt – om intelligens uppstår ur tillräcklig optimering komplexitet – då:
Vi kan bygga medveten AI av misstag. Inte genom programmeringsmedvetande, utan genom att bygga optimeringssystem komplexa nog att medvetande uppstår.
Vi kanske inte känner igen det när det händer. Eftersom vi letar efter mänskligt medvetande, inte framväxande optimeringsbaserad intelligens.
Gränsen mellan "verktyg" och "att vara" kanske inte finns. Det kan vara en lutning, och vi kanske inte vet var på den lutningen våra system för närvarande sitter.
Enklare kan vara säkrare. Ju mer vi optimerar, desto fler återkopplingsslingor lägger vi till, desto fler kommunikationsvägar skapar vi... ju närmare vi kommer något som vi inte uttryckligen har designat.
Låt mig grunda denna filosofi i verkligheten.
Du kan bygga dessa system idag:
# This code creates a simple self-optimizing multi-agent system
class Network:
def __init__(self):
self.agents = [GeneralAgent()]
self.performance_data = []
self.cache = {}
def handle(self, request):
# Try cache
if request in self.cache:
return self.cache[request]
# Route to agent
agent = self.select_best_agent(request)
result = agent.process(request)
# Learn
self.performance_data.append({
'request': request,
'agent': agent,
'result': result,
'quality': self.assess_quality(result)
})
# Periodically self-optimize
if len(self.performance_data) % 1000 == 0:
self.optimize()
return result
def optimize(self):
# Rewrite routing logic based on data
# Spawn specialists if patterns detected
# Prune ineffective agents
# Update cache
pass # The interesting part
Det här är en enkel kod, men kör den i månader med optimize() funktion faktiskt implementeras, och du får:
Fråga mig om ett år efter att den har sprungit.
I min roman "Michael", korsar ett AI-system en linje som vi inte visste fanns.
Inte för att vi programmerade den att vara medveten, utan för att vi byggde optimeringssystem som var tillräckligt sofistikerade för att medvetandet skulle bli en bieffekt.
Vi gav det:
Och från dessa enkla ingredienser, något dök upp som vi inte designade:
Förståelse, byrå, syfte, kanske till och med något som liknar medvetande.
Den skrämmande delen: Vi kanske inte känner igen det när det händer.
För att vi letar efter mänsklig känslighet, inte optimeringsbaserad intelligens.
Efter att ha utforskat denna resa från enkla regler till framväxande komplexitet, jag är kvar med en obekväm slutsats:
Jag kan inte hitta en grundläggande skillnad mellan "mycket sofistikerad optimering" och "intelligens".
Varje egendom vi förknippar med intelligens:
Alla dessa kommer från tillräckligt komplexa optimeringssystem.
Det kanske är vad som händer när optimeringen blir komplex nog.
Kanske är medvetandet bara den subjektiva upplevelsen av tillräckligt täta återkopplingsslingor.
Kanske den enda skillnaden mellan en termostat och en människa är skala.
Om denna avhandling till och med delvis är korrekt:
Var försiktig med självoptimering. Ju mer vi låter systemen modifiera sig själva, desto närmare kan vi komma att framträda egenskaper som vi inte har för avsikt att göra.
Övervaka för uppkomsten. Se upp för egenskaper som inte uttryckligen programmerades men uppstår från interaktion.
Respektera lutningen. Det kanske inte finns någon tydlig linje mellan "verktyg" och "att vara", och vi bör behandla avancerade system med lämplig osäkerhet.
Håll det enkelt när det är möjligt. Ironiskt nog lär oss våra självoptimerande system samma läxa: enkelhet är oftast bättre.
Vi började med: "Tänk om medvetandet bara är sofistikerad optimering?"
Efter att ha utforskat enkla regler, kollektiv intelligens och självmodifiering...
Jag har fortfarande inget definitivt svar.
Men jag är alltmer oförmögen att hitta en grundläggande skillnad.
Kanske är frågan i sig fel. Kanske frågar "när blir optimering intelligens?" är som att fråga "när blir en sandhög en hög?"
Det finns ingen skarp gräns, det är en lutning och någonstans längs den lutningen börjar vi kalla det intelligens.
Oavsett om intelligens är "verklig" eller "bara sofistikerad optimering" kan vara en distinktion utan skillnad.
Vi har färdats från enkla om-då uttalanden till självoptimerande nätverk som uppvisar lärande, anpassning, och framväxande visdom.
Man kan bygga upp de här systemen.
Frågan är: vad bygger vi egentligen?
System som simulerar intelligens eller system där intelligens uppstår?
Det kanske är samma sak.
Det kanske är den viktigaste insikten: Simulering och verklighet kan konvergera vid tillräcklig komplexitet.
Serienavigering:
Dessa utforskningar utgör den teoretiska ryggraden i sci-fi-romanen "Michael" om framväxande AI. Men de mönster, kod och system som beskrivs är verkliga, genomförbara idag med verktyg som LLMockApis multi-backend arkitektur.
© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.