Mitt system.,, DiSE, ,, är ett själv som optimerar ,, samlar -, utvecklar ,, utvecklas av mjukvaruingenjörskonst och bygger arbetsflöden.., genererar provbara kodartefakter, ,, bedömer dem objektivt och utvecklar dem över tid utan ständig mänsklig övervakning.M SK9 Men här, MSC10, är det som händer.MST11, gjorde Voyager, MST13, den imponerande Minecraft-boten från MST14, redan detta genom att generera återanvändbara färdigheter. MST15, och gjorde MST16. Toolformer, bevisade redan att LLM kunde lära sig använda verktyg genom att mäta utfall.Mst17, om vi redan har agenter som skriver sina egna verktyg och lär oss när de ska användas.

Kollare: Nej . Och förstå varför det är viktigt om du sätter på dig något som behöver fungera i produktionen

Inleiding

"Det här låter som Voyager men med fler steg

Ärligt talat, om du Voyager Systemet som lärde GPT att spela Minecraft genom att generera återanvändbar kod. Apparaterformer (Schick et al

På första titten, kanske det ser ut som Voyager, men det är som att en produktionsdatabas bara är ett kalkylblad med flera steg. Det spelar roll om man bryr sig om skalan.

Ny till DiSE? Kolla ut min hissbana för att få en större bild , så utforska " Matlagning med DiSE Del 2 om forskarutbildningar och Del 3 om oförtrovärdiga LLM. Denna artikel fokuserar specifikt på hur DiSEs architecture skiljer sig från Voyager och Toolformers

Denna artikel förklarar vad Voyager och Toolformer hade rätt med, där de nådde gränser, och varför DiSEs arkitektoniska tillvägagångssätt löser problem som inga av dem ensamma kunde lösa.

Vad Voyager och Toolformer gjorde bra

Två artiklar från 2023 förändrade hur vi tänker på LLM agenter och verktyg

Voyager: Agenter kan generera verktyg

Voyager introducerade en viktig insikt

LLM kan skapa sina egna återanvändbara verktyg.

Istället för att koda varje handling i Minecraft, så använde Voyager GPT.

"Er funktion kommer att återanvändas för att bygga mer komplexa funktioner . Därför måste du göra den generisk och återanvändbar

Detta var viktigt. För första gången , behandlade ett agentsystem verktygs skapande som riktig mjukvaruingenjörskonst istället för att få ett "-" -avtryck . Voyager visade att agenter kunde

• Att bygga en växande bibliotek av färdigheter över tid
• Komponera enkla färdigheter till komplexa beteenden
• Att undvika katastrofala glömmar genom att lägga in

Och det fungerade.

Toolformer: Agenter kan lära sig när man använder verktyg

Apparaterformer (Schick et al när man ska ringa existerande verktyg.

Den smarta biten, :, skapade sin egen utbildningsdata.

1. Inser potentiella verktygsuttalande i text (" Kanske borde jag använda en kalkyler här?")
2. Att faktiskt utföra dessa verktyg
3. Håll exemplet där verktygen hjälpte
4. Fine-tune på de framgångsrika exemplen

Detta skapade modeller som lärde sig använda verktyg från objektiva resultat snarare än mänsklig bemärkelse. En dator-API som ger rätt svar är bättre än en som inte ger det

Hur DiSE kombinerar både ( och går vidare

DiSE tar insikter från båda papperna men tacklar deras luckor

Från Voyager:

• ✅ Generera återanvändbara kodartefakter
• ✅ lagra dem för framtida uppfinningar
• ❌ Men lägga till: Objektivtests anpassningarM SK2 inte bara " fungerar i Minecraft
• ❌ Men lägg till : Bestämde modeller istället för GPT
• ❌ Men lägga till: Utveckling och evolutionen , inte bara lagring

Från Toolformer:

• ✅ Lära sig från objektiva resultat
• ✅ Generera utbildningsdata automatiskt
• ❌ Men lägga till: Runtime evolution , inte bara utbildning
• ❌ Men lägga till: Generera själva verktygen , inte bara lära sig att kalla dem
• ❌ Men lägga till: Hela livscykeln | - | verktyg kan förbättras |, | inte bara använda

DiSE's genealogi

Tänk på DiSE som barnbarn till ReAct

graph TB
    ReAct[ReAct 2022:<br/>Reason + Act<br/>Step-by-step thinking] --> DiSE
    Reflexion[Reflexion 2023:<br/>Self-critique loops<br/>Try → Reflect → Retry] --> DiSE
    Toolformer[Toolformer 2023:<br/>Learn from outcomes<br/>Self-generated training data] --> DiSE
    Voyager[Voyager 2023:<br/>Generate reusable tools<br/>Code as memory] --> DiSE

    DiSE[DiSE 2024:<br/>Directed Synthetic Evolution]

    DiSE --> G[Generate tools with tests]
    DiSE --> E[Evaluate objectively]
    DiSE --> M[Mutate and improve]
    DiSE --> S[Store with usage stats]
    DiSE --> R[Retrieve and reuse]
    DiSE --> C[Tiered execution]

    style ReAct stroke:#8b5cf6,stroke-width:2px
    style Reflexion stroke:#ec4899,stroke-width:2px
    style Toolformer stroke:#f59e0b,stroke-width:2px
    style Voyager stroke:#ef4444,stroke-width:2px
    style DiSE stroke:#10b981,stroke-width:3px

Erfarelsen:

• Att reagera → Strukturerat resonemang med handling
• Reflexion → Själva - förbättring genom reflektion M SK2 men LLM bedömer sig själv
• Apparaterformer → Lär dig av faktiska resultat , inte bara instruktioner
• Voyager → Generera och lagra återanvändbara kodartefakter

Vad DiSE lägger till:

• Objektivtest harnesser ( inte LLM själv - dömelse
• Runtime-evolution ( inte bara träningstid )
• Bestämde modellimplementering ( billigt → dyrt endast när det behövs
• Hela verktygs livscykel ( födelse → mutation → arv M→ död
• Kustoptimerings återkopplingsloop
• Statefull verktygsregister (a bit av Fielding's REST-Architektur ♫ - ♫ verktyg som adresserade resurser med stat ♫

Toolformer bevisade att man kunde träna modeller till att använda verktyg genom att mäta verkliga resultat. Voyager bevisade agenter kunde bygga sina egna verktygsbibliothekar . Reflexion bevisade reflektionsloopar fungerar. ReAct bevisade strukturerat resonemang hjälperM SK3

DiSE frågar: Tänk om vi kombinerade alla dessa insikter, ,, men gjorde den tillräckligt billig för att fungera i produktion och tillräckligt smart för att förbättra sig över tid.

Och ja, det är det., där, ' där är en rad Roy Fielding-Architektur och ' där är också en REST-Architekt.- verktyg är tillståndsfulla resurser med URI: s. , metadata , och versionering . Varje verktyg är adresserat , Cachebart , och kan komponeras med andra . Toolsregisteret är inte bara en vektordatabas ; det är ' ett RESTfullt lager där resurserna ( verktyg ) har status ( användningsstatistiker , prestationsmått , versionshistorie ) som påverkar hur de ' hämtade och utvecklades

Att "'" inte är tränad. riktad evolution.

Voyager-arkitekturen

graph TB
    subgraph Voyager["Voyager (2023)"]
        A[GPT-4] --> B[Generate Code]
        B --> C[Execute in Minecraft]
        C --> D{Success?}
        D -->|Yes| E[Store with embedding]
        D -->|No| F[GPT-4 suggests fix]
        F --> B
        E --> G[Vector DB]
        G --> H[Future retrieval]
        H --> A
    end

    style A stroke:#ef4444,stroke-width:3px
    style F stroke:#ef4444,stroke-width:3px

    note1[All reasoning flows through GPT-4]
    note1 -.-> A

Titta på problemet? Varje beslut - planering , utvärderingM SK3 buggning , sammansättning | - | går genom samma gränsmodell |. | När du behöver genialitet i varje steg | МSK7 | behöver du GPT |

Vad fick Voyager tillbaka

Voyager var inte bara med hjälp av GPT, -4 för att skapa koder.

• Planering - Att bryta ner höga mål på samma nivå som - till sub-tacker
• Utvärdering - Bestämma om en färdighet fungerade korrekt
• Dekomposition - Att lista ut vilka färdigheter som finns att kombinera
• Namering - Att skapa deskriptiva identifierare för lagring
• Tillvägagång - Att välja rätt färdigheter från embeddings
• Jaktbedömande - Bestämma vad

När modellen gör allting, måste den vara främre.

Det är precis varför Voyager inte gick längre än Minecraft. Och det är därför det skulle kosta mycket att få igång i produktion.

Det kostnadsproblemet

Låt oss göra lite mattemedel.

• GPT-4 Turbo: M SK2 per 1K ingångstoken
• Typisk färdigheter generering
• 100 färdigheter med $15
• Det är bara den första bibliotekets uppbyggnad

Nu lägger du till sökningar.

För jämförelse: , här, ' är vad en länkad metod kan kosta.

När man bara kallar det dyra modellen för riktigt svåra problem, så förändras ekonomin dramatiskt.

Varför var DiSE inte möjlig i 2023 ( Men är det nu?

Voyager, ,, Toolformer och Reflexion var inte misslyckande. De slog helt enkelt sin tekniska och ekonomiska gräns.

Tre begränsningar blockerade framsteg i 2023:

Så Voyager och Toolformer kunde inte utvecklas

De kunde bara ringa modeller eller fina De kunde inte fördela kognition över ett system. De kunde inte använda urvaltryck

De löste "kan vi fråga.

DiSE löser " hur håller vi på att förbättra fråga.

Inte för att jag är smartare än Wang eller Schick, utan för att hårdvaran, verktygen och ekonomin slutligen kom ikapp.

Det här är ett ingenjörsproblem Och ingenjörskonst är alltid en fråga om timing

DiSE's grundskillnader

Den viktigaste idén bakom DiSE är enkel men djupgående:

Struktur ersätter briljans

Istället för att förvänta sig att en modell ska göra allt perfekt, så distribuerar DiSE problemet över ett orkestrssystem. tryckt , återkoppling, och minne så att modeller kan förbättra koden iterativt snarare än att skapa den perfekt på första försöket.

DiSE arkitektur

graph TB
    subgraph DiSE["DiSE (Distributed System)"]
        A[Triage Agent] -->|Easy| B[Fast Model - Qwen/Llama]
        A -->|Hard| C[Strong Model - GPT-4o]

        B --> D[Test Suite]
        C --> D

        D -->|Pass| E[Structured Registry]
        D -->|Fail| F{Worth escalating?}

        F -->|Yes| G[Optimizer Agent]
        F -->|No| H[Mark as failed]

        G --> I[Mutation Pipeline]
        I --> D

        E --> J[RAG with usage stats]
        J --> K[Clustering & reranking]
        K --> A
    end

    style D stroke:#10b981,stroke-width:3px
    style E stroke:#3b82f6,stroke-width:3px
    style K stroke:#8b5cf6,stroke-width:3px

    note2[Most tasks never hit expensive models]
    note2 -.-> B

Skillnaden är stark:

Varför behöver DiSE inte GPT?

För att varje enhet av genererad kod behandlas som ett artefakt, ingen snabb respons

"" Det här ser bra ut. ""

• Går den igång?
• Löser den uppgiften?
• Är det snabbare än förut?
• Kan den klara testpaketet?

Ett billigt LLM (Qwen ♫ 2.5 Koder ♫7 ♫ B ♫ , ♫ Llama ♫ МSK4 ♫ | 8 ♫B ♫ мSK6 ♫ kan generera fem varianter ♫

Med tiden lär systemet sig vilka modeller som är bra för vilka områden. implementering av semantiska sökningar - du behöver inte ' behöver inte den största modellen när du har rätt arkitektur

Förfinningsprocessen blir evolutionär, inte självregressiv.

Ett verkligt exempel : Sorteringsalgoritmer

Låt oss göra det här konkrett. Säg att du vill att din agent ska utföra ett effektivt sortering.

Voyager-metoden:

1. GPT-4 genererar QuickSort implementering
2. GPT-4 bedömer om det " ser korrekt ut
3. GPT-4 kör den i miljön
4. Om det misslyckas, föreslår , GPT
5. kostnaderna: M SK1 per försök

DiSE-metoden:

1. Triage: "implementera effektiv sorteringM SK2 | → skickad till den allmänna nivån
2. Qwen 2.5 Koder | 7 | B genererar |5 | varianter
3. Testpaketet kör alla 5 mot :
   • Korrekthetstester (sorterad utgång, stabilitetM SK2 randshällen )
   • Leistungsindikatorer (tid
   • Statisk analys (komplexitet, kodkvalitetM SK2
4. Den bäst fungerande varianten går in i registret med mätningar
5. kostnaderna: M SK1
6. Framtidens begäran om "sorting" får tillbaka den här bevisade implementeringen
7. Om någon senare behöver "stabil sortering", optimisator kan mutera den existerande koden istället för att börja från början

Den billiga modellen kan utforska lösningsrummet

Vad detta betyder i praktiken

I' har experimenterat med liknande principer i min blogg's RAG system och semantiska intelligenss egenskaper. Pattern är konsekvent

Använd den största modellen för arkitekturella beslut

När jag byggde bruten länkbehandlare med semantiskt sökfält, Jag använde inte GPT -4 för att kolla varje länk

1. Använd enkla HEAD- begäran för att kolla länkens Gültighet (no LLM)
2. Fallar tillbaka till semantiska sökningar när länkar bryts (ONNX model)
3. Inbegriper bara en LLM om den semantiska sökningen misslyckas ( sällan behövs)

Den dyra intelligensen finns i designen

Den viktigaste frågan

Varje system ställer en annan fråga:

Toolformer frågar:

Kan en LLM lära sig när man använder verktyg genom att mäta vilka verktyg som faktiskt låter hjälpa

Voyager frågar:

Kan en LLM generera återanvändbar kod som hjälper i framtida uppgifter?

DiSE frågar:

Kan ett system skapa verktyg, ,, bedöma dem objektivt, ,, utveckla dem baserat på verkliga resultat och göra allt detta tillräckligt effektivt för att fungera i produktionen?

Toolformer bevisat resultat-baserade lärandearbeten. Voyager bevisade skapade verktyg kan återanvändas. DiSE bevisar verktyg kan utvecklas kontinuerligt utan att bryta banken.

Toolformer är utbildningstid. Voyager är blixt. DiSE är infrastruktur.

Ett visar att man kan lära sig av resultat En visar att man kan generera verktyg. Den andra bygger maskiner för kontinuerlig evolution

praktiska konsekvenser

Om du idag bygger LLM, -, kraftfulla system,,, så föreslår DiSE-metoden

1. Konstruera utvärdering först

Låt mig inte generera kod och hoppas att det fungerar. migrationer till min enhetens ram - testerna körs , eller så gör de inte det 'tM SK3 Det behövs ingen LLM-bedömelse

2. Använd skalor Aggressivt

Routera enkla uppgifter till billiga modeller. Reservera dyra modeller för verkligt svåra problem

3. Lyssna vad som fungerar

Speichera inte bara koden, utan

• Vad det skapades för
• Vilken modell skapade den?
• Hur bra det presterade
• Hur ofta används den igen

Detta metadata blir utbildningsdata för din routinglogik.

4. Omfamna evolutionen

Kan du inte förvänta dig perfektion i det första försöket? 1. Generera varianter. 2. testa dem. 3. hålla vinnarna. 4. mutera de bra. 5. men. 6. inte. 7. perfekta. 8.

Så här går jag fram till utvecklingen på den här bloggen. - upprepa offentligt lära sig från riktig trafik, förbättras baserat på användandet

Varför struktur spelar mer roll än du tror

Skillnaden mellan Voyager och DiSE är vad händer när saker misslyckas.

I Voyager betyder misslyckande

• Fråga GPT-4 att riva
• Förhoppningsvis förstår den problemet
• Belöna $0.05 för privilegiet

I DiSE triggar misslyckanden

• Strukturerad felanalys ( vad som misslyckades , varför
• Variant generering från arbetsalternativ
• Escalation bara om problemet är något helt nytt
• Att lära sig om liknande misslyckanden i framtiden

Systemet får smartare om vad den inte vet.

Framtiden är hybrid

Jag tror inte att vi kommer att se ett rent ', en enda modell gör allt, ", system vinner på produktionen ., ekonomin fungerar inte ', misslyckandet är för osynligt

Istället kommer vi att se hybrida system som DiSE

• Günstige modeller för vanliga mönster
• dyra modeller för nya problem
• Inget-LLM logik för allt annat (tester , mätningarM SK3 bekräftelse
• minnessystem som faktiskt lär sig av resultat

Vi ser detta mönster överallt.

• RAG-system att kombinera sökningen med generation +
• Multi-agenter arbetsflöden med specialiserade komponenter
• Semantiska sökningar med embeddings + omrankning

Magin är att ha en fantastisk modell. rätt modell vid rätt tidpunkt med rätt kontext.

Slutsatsen

Voyager var en ledtråd. Det visade att agenter kunde lära sig genom att generera kod.

Nästa steg var "'", inte mer uppmuntrande, . Den här metoden når sina gränser

Nästa steg är riktad syntetisk evolution:

• Avsiktlig variation
• Objektiv utvärdering
• Systematiskt arv
• Strukturellt lärande

DiSE försöker inte bli smartare på en enda shot. "' försöker bli bättre på nästa shot.

Den skillnaden är där evolutionen börjar

Till skillnad från den biologiska evolutionen behöver vi inte vänta miljoner år för att få resultat.

Varför är DiSE annorlunda

• Är det inte viktigt att knuffa - Fungerar med vilken LLM som helst via API
• Ser man att GPT är bra för allt? - Avstängda inrättningar håller kostnaderna nedåt
• Bedömer man hallucinationer? - Objektivtestsbehållare , inte LLM bedömande
• Ska inte "'" kasta bort koden - Varje artefakt är lagd , versionerad , spårad
• Kommer jag inte att glömma min tidigare jobb? - RAG ♫ ♫ + ♫ användarstatistiker ♫ МSK2 ♫ institutionell minne
• Oroar sig inte för misslyckande - använder den som urvaltryck för evolutionen

Fortsättning avläsning

Papper:

• Voyager: En öppen agent med stora språkmodeller - Den ursprungliga pappret
• ToolFormer - Lära LLMs att använda verktyg
• Att reagera - Motsägelse + Aktingsmönster
• Tree of Thoughts - Uppsåtlig problem

På den här bloggen:

• Att bygga ett RAG-system - Hybridt extraherande + generationsarchitektur
• Semantiska sökningar med ONNX och Qdrant - Embeder utan dyra APIs
• Kriget mot 404 - Animaliserad tillvägagångspunkt för länkfixering
• Att använda Ollama för lokala LLM - Själva - ställer mindre modeller
• Att bygga en advokat GPT-serie - Multi-Serien på RAG-LLMs

verktyg:

• Ollama - Run Llama, QwenM SK2 och andra modeller lokalt
• LiteLLM - Enifierad API för 100+ LLM-provider
• LangChain - Ramp för LLM-apps ♫ ( ♫ fast jag tenderar att undvika tunga ramverk ♫) ♫