Back to ""IsnM SK1t DiSE är bara Voyager?" - Varför går strukturen över Brilliance"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

# "IsnM SK1t DiSE är bara Voyager?" - Varför går strukturen över Brilliance

<datetime class="hidden">2025-11-24T18:00</datetime>

Mitt system.,, DiSE, ,, är ett själv som optimerar ,, samlar -, utvecklar ,, utvecklas av mjukvaruingenjörskonst och bygger arbetsflöden.., genererar provbara kodartefakter, ,, bedömer dem objektivt och utvecklar dem över tid utan ständig mänsklig övervakning.M SK9 Men här, MSC10, är det som händer.MST11, gjorde Voyager, MST13, den imponerande Minecraft-boten från MST14, redan detta genom att generera återanvändbara färdigheter. MST15, och gjorde MST16. Toolformer, bevisade redan att LLM kunde lära sig använda verktyg genom att mäta utfall.Mst17, om vi redan har agenter som skriver sina egna verktyg och lär oss när de ska användas.

Kollare: Nej . Och förstå varför det är viktigt om du sätter på dig något som behöver fungera i produktionen

## Inleiding

"Det här låter som Voyager men med fler steg

Ärligt talat, om du [Voyager](https://arxiv.org/abs/2305.16291) Systemet som lärde GPT att spela Minecraft genom att generera återanvändbar kod. [Apparaterformer](https://arxiv.org/abs/2302.04761) (Schick et al

På första titten, kanske det ser ut som Voyager, men det är som att en produktionsdatabas bara är ett kalkylblad med flera steg. Det spelar roll om man bryr sig om skalan.

> **Ny till DiSE?** Kolla ut [min hissbana](/blog/elevatorpitch) för att få en större bild , så utforska " Matlagning med DiSE [Del 2 om forskarutbildningar](/blog/blog-article-cooking-dise-part2-apprenticeships) och [Del 3 om oförtrovärdiga LLM](/blog/blog-article-cooking-dise-part3-untrustworthy-gods). Denna artikel fokuserar specifikt på hur DiSEs architecture skiljer sig från Voyager och Toolformers

Denna artikel förklarar vad Voyager och Toolformer hade rätt med, där de nådde gränser, och varför DiSEs arkitektoniska tillvägagångssätt löser problem som inga av dem ensamma kunde lösa.

[TOC]

## Vad Voyager och Toolformer gjorde bra

Två artiklar från 2023 förändrade hur vi tänker på LLM agenter och verktyg

### Voyager: Agenter kan generera verktyg

Voyager introducerade en viktig insikt

**LLM kan skapa sina egna återanvändbara verktyg.**

Istället för att koda varje handling i Minecraft, så använde Voyager GPT.

> "Er funktion kommer att återanvändas för att bygga mer komplexa funktioner . Därför måste du göra den generisk och återanvändbar

Detta var viktigt. För första gången , behandlade ett agentsystem verktygs skapande som **riktig mjukvaruingenjörskonst** istället för att få ett "-" -avtryck . Voyager visade att agenter kunde

- Att bygga en växande bibliotek av färdigheter över tid
- Komponera enkla färdigheter till komplexa beteenden
- Att undvika katastrofala glömmar genom att lägga in

Och det fungerade.

### Toolformer: Agenter kan lära sig när man använder verktyg

[Apparaterformer](https://arxiv.org/abs/2302.04761) (Schick et al **när man ska ringa existerande verktyg**.

Den smarta biten, :, skapade sin egen utbildningsdata.

1. Inser potentiella verktygsuttalande i text (" Kanske borde jag använda en kalkyler här?")
2. Att faktiskt utföra dessa verktyg
3. Håll exemplet där verktygen hjälpte
4. Fine-tune på de framgångsrika exemplen

Detta skapade modeller som lärde sig använda verktyg från **objektiva resultat** snarare än mänsklig bemärkelse. En dator-API som ger rätt svar är bättre än en som inte ger det

### Hur DiSE kombinerar både ( och går vidare

DiSE tar insikter från båda papperna men tacklar deras luckor

**Från Voyager:**

- ✅ Generera återanvändbara kodartefakter
- ✅ lagra dem för framtida uppfinningar
- ❌ Men lägga till: Objektivtests anpassningarM SK2 inte bara " fungerar i Minecraft
- ❌ Men lägg till : Bestämde modeller istället för GPT
- ❌ Men lägga till: Utveckling och evolutionen , inte bara lagring

**Från Toolformer:**

- ✅ Lära sig från objektiva resultat
- ✅ Generera utbildningsdata automatiskt
- ❌ Men lägga till: Runtime evolution , inte bara utbildning
- ❌ Men lägga till: Generera själva verktygen , inte bara lära sig att kalla dem
- ❌ Men lägga till: Hela livscykeln | - | verktyg kan förbättras |, | inte bara använda

**DiSE's genealogi**

Tänk på DiSE som barnbarn till ReAct

```mermaid
graph TB
 ReAct[ReAct 2022: Reason + Act Step-by-step thinking] --> DiSE
 Reflexion[Reflexion 2023: Self-critique loops Try → Reflect → Retry] --> DiSE
 Toolformer[Toolformer 2023: Learn from outcomes Self-generated training data] --> DiSE
 Voyager[Voyager 2023: Generate reusable tools Code as memory] --> DiSE

DiSE[DiSE 2024: Directed Synthetic Evolution]

DiSE --> G[Generate tools with tests]
    DiSE --> E[Evaluate objectively]
    DiSE --> M[Mutate and improve]
    DiSE --> S[Store with usage stats]
    DiSE --> R[Retrieve and reuse]
    DiSE --> C[Tiered execution]

style ReAct stroke:#8b5cf6,stroke-width:2px
    style Reflexion stroke:#ec4899,stroke-width:2px
    style Toolformer stroke:#f59e0b,stroke-width:2px
    style Voyager stroke:#ef4444,stroke-width:2px
    style DiSE stroke:#10b981,stroke-width:3px
```

**Erfarelsen:**

- **Att reagera** → Strukturerat resonemang med handling
- **Reflexion** → Själva - förbättring genom reflektion M SK2 men LLM bedömer sig själv
- **Apparaterformer** → Lär dig av faktiska resultat , inte bara instruktioner
- **Voyager** → Generera och lagra återanvändbara kodartefakter

**Vad DiSE lägger till:**

- Objektivtest harnesser ( inte LLM själv - dömelse
- Runtime-evolution ( inte bara träningstid )
- Bestämde modellimplementering ( billigt → dyrt endast när det behövs
- Hela verktygs livscykel ( födelse → mutation → arv M→ död
- Kustoptimerings återkopplingsloop
- Statefull verktygsregister (a bit av Fielding's REST-Architektur ♫ - ♫ verktyg som adresserade resurser med stat ♫

Toolformer bevisade att man kunde träna modeller till att använda verktyg genom att mäta verkliga resultat. Voyager bevisade agenter kunde bygga sina egna verktygsbibliothekar . Reflexion bevisade reflektionsloopar fungerar. ReAct bevisade strukturerat resonemang hjälperM SK3

DiSE frågar: **Tänk om vi kombinerade alla dessa insikter, ,, men gjorde den tillräckligt billig för att fungera i produktion och tillräckligt smart för att förbättra sig över tid.**

Och ja, det är det., där, ' där är en rad Roy Fielding-Architektur och ' där är också en REST-Architekt.- verktyg är tillståndsfulla resurser med URI: s. , metadata , och versionering . Varje verktyg är adresserat , Cachebart , och kan komponeras med andra . Toolsregisteret är inte bara en vektordatabas ; det är ' ett RESTfullt lager där resurserna ( verktyg ) har status ( användningsstatistiker , prestationsmått , versionshistorie ) som påverkar hur de ' hämtade och utvecklades

Att "'" inte är tränad. **riktad evolution**.

### Voyager-arkitekturen

```mermaid
graph TB
    subgraph Voyager["Voyager (2023)"]
        A[GPT-4] --> B[Generate Code]
        B --> C[Execute in Minecraft]
        C --> D{Success?}
        D -->|Yes| E[Store with embedding]
        D -->|No| F[GPT-4 suggests fix]
        F --> B
        E --> G[Vector DB]
        G --> H[Future retrieval]
        H --> A
    end

style A stroke:#ef4444,stroke-width:3px
    style F stroke:#ef4444,stroke-width:3px

note1[All reasoning flows through GPT-4]
    note1 -.-> A
```

Titta på problemet? Varje beslut - planering , utvärderingM SK3 buggning , sammansättning | - | går genom samma gränsmodell |. | När du behöver genialitet i varje steg | МSK7 | behöver du GPT |

## Vad fick Voyager tillbaka

Voyager var inte bara med hjälp av GPT, -4 för att skapa koder.

- **Planering** - Att bryta ner höga mål på samma nivå som - till sub-tacker
- **Utvärdering** - Bestämma om en färdighet fungerade korrekt
- **Dekomposition** - Att lista ut vilka färdigheter som finns att kombinera
- **Namering** - Att skapa deskriptiva identifierare för lagring
- **Tillvägagång** - Att välja rätt färdigheter från embeddings
- **Jaktbedömande** - Bestämma vad

När modellen gör allting, måste den vara främre.

Det är precis varför Voyager inte gick längre än Minecraft. Och det är därför det skulle kosta mycket att få igång i produktion.

### Det kostnadsproblemet

Låt oss göra lite mattemedel.

- GPT-4 Turbo: M SK2 per 1K ingångstoken
- Typisk färdigheter generering
- 100 färdigheter med **$15**
- Det är bara den första bibliotekets uppbyggnad

Nu lägger du till sökningar.

För jämförelse: , här, ' är vad en länkad metod kan kosta.

| Uppgift ♫ | ♫ Voyager ♫
|------|-----------------|---------------|---------|
| Triage/ruttning | ♫ ♫ $0.05 ♫
| Initiell generation | | | $0.05 |
| Evaluation | $0.05 | | | $0 | МSK5 | statiska tester
| Escalation (10%) | ♫ ♫ $0.05 ♫
| **Medel per uppgift** | **$0.20** | **$0.016** | **92%** |

När man bara kallar det dyra modellen för riktigt svåra problem, så förändras ekonomin dramatiskt.

## Varför var DiSE inte möjlig i 2023 ( Men är det nu?

Voyager, ,, Toolformer och Reflexion var inte misslyckande. De slog helt enkelt sin tekniska och ekonomiska gräns.

Tre begränsningar blockerade framsteg i 2023:

| Begränsning (2023) | Konsequens | Vad har ändrats (2024–2025) SMk5
|-------------------|-------------|--------------------------|
| GPT-4 var den enda tillförlitliga resonemangsmotorn | En modell var tvungen att göra allting ♫ | Bestämde modellstockar ♫
| Lokala inbäddar var svaga eller oanvända | Lösning var dyra | | | BGE | / | Arktis | МSK4 | MiniLM på konsument-GPU |
| Ingen strukturerad utvärderingsgrejning | LLM bedömde LLM ♫ ♫ | ♫ Nu kör LLM koden rent genom containeriserade exec ♫

**Så Voyager och Toolformer kunde inte utvecklas**

De kunde bara ringa modeller eller fina
De kunde inte fördela kognition över ett system.
De kunde inte använda urvaltryck

De löste **"kan vi** fråga.

DiSE löser **" hur håller vi på att förbättra** fråga.

Inte för att jag är smartare än Wang eller Schick, utan för att hårdvaran, verktygen och ekonomin slutligen kom ikapp.

**Det här är ett ingenjörsproblem**
Och ingenjörskonst är alltid en fråga om timing

## DiSE's grundskillnader

Den viktigaste idén bakom DiSE är enkel men djupgående:

**Struktur ersätter briljans**

Istället för att förvänta sig att en modell ska göra allt perfekt, så distribuerar DiSE problemet över ett orkestrssystem. **tryckt , återkoppling, och minne** så att modeller kan förbättra koden iterativt snarare än att skapa den perfekt på första försöket.

### DiSE arkitektur

```mermaid
graph TB
    subgraph DiSE["DiSE (Distributed System)"]
        A[Triage Agent] -->|Easy| B[Fast Model - Qwen/Llama]
        A -->|Hard| C[Strong Model - GPT-4o]

B --> D[Test Suite]
        C --> D

D -->|Pass| E[Structured Registry]
        D -->|Fail| F{Worth escalating?}

F -->|Yes| G[Optimizer Agent]
        F -->|No| H[Mark as failed]

G --> I[Mutation Pipeline]
        I --> D

E --> J[RAG with usage stats]
        J --> K[Clustering & reranking]
        K --> A
    end

style D stroke:#10b981,stroke-width:3px
    style E stroke:#3b82f6,stroke-width:3px
    style K stroke:#8b5cf6,stroke-width:3px

note2[Most tasks never hit expensive models]
    note2 -.-> B
```

Skillnaden är stark:

| Kapacitet | Voyager | DiSE |
|------------|---------|------|
| Kodgenerering | | | GPT | -4 | МSK3 | Tiered multi | LLM | Pipeline
| Evaluation | GPT
| Att återanvända redskapen | | | Embeddinger bara || | Registret med metadata | МSK3 | Tags |
| förbättring | | | GPT | МSK2 | antyder korrigeringar || | Utbredning |
| minne | vektordatabas | | | RAG | МSK3 | klustering |+ | evolution tracking |
| Komposition | GPTM SK2 planer | Planering av arbetsflödet graph planering M|
| kostnadskontroll ♫ | ♫ Ingen ♫ МSK2 ♫ Prioritering ♫+ ♫ Fallbacklogi ♫

## Varför behöver DiSE inte GPT?

För att **varje enhet av genererad kod behandlas som ett artefakt**, ingen snabb respons

"" Det här ser bra ut. ""

- Går den igång?
- Löser den uppgiften?
- Är det snabbare än förut?
- Kan den klara testpaketet?

Ett billigt LLM (Qwen ♫ 2.5 Koder ♫7 ♫ B ♫ , ♫ Llama ♫ МSK4 ♫ | 8 ♫B ♫ мSK6 ♫ kan generera fem varianter ♫

Med tiden lär systemet sig vilka modeller som är bra för vilka områden. [implementering av semantiska sökningar](/blog/semantic-search-with-onnx-and-qdrant) - du behöver inte ' behöver inte den största modellen när du har rätt arkitektur

Förfinningsprocessen blir **evolutionär, inte självregressiv**.

### Ett verkligt exempel : Sorteringsalgoritmer

Låt oss göra det här konkrett. Säg att du vill att din agent ska utföra ett effektivt sortering.

**Voyager-metoden:**

1. GPT-4 genererar QuickSort implementering
2. GPT-4 bedömer om det " ser korrekt ut
3. GPT-4 kör den i miljön
4. Om det misslyckas, föreslår , GPT
5. kostnaderna: M SK1 per försök

**DiSE-metoden:**

1. Triage: "implementera effektiv sorteringM SK2 | → skickad till den allmänna nivån
2. Qwen 2.5 Koder | 7 | B genererar |5 | varianter
3. Testpaketet kör alla 5 mot :
   - Korrekthetstester (sorterad utgång, stabilitetM SK2 randshällen )
   - Leistungsindikatorer (tid
   - Statisk analys (komplexitet, kodkvalitetM SK2
4. Den bäst fungerande varianten går in i registret med mätningar
5. kostnaderna: M SK1
6. Framtidens begäran om "sorting" får tillbaka den här bevisade implementeringen
7. Om någon senare behöver "stabil sortering", optimisator kan mutera den existerande koden istället för att börja från början

Den billiga modellen kan utforska lösningsrummet

## Vad detta betyder i praktiken

I' har experimenterat med liknande principer i [min blogg's RAG system](/blog/rag-primer) och [semantiska intelligenss egenskaper](/blog/semantidintelligence). Pattern är konsekvent

**Använd den största modellen för arkitekturella beslut**

När jag byggde [bruten länkbehandlare](/blog/the-war-on-404) med semantiskt sökfält, Jag använde inte GPT -4 för att kolla varje länk

1. Använd enkla HEAD- begäran för att kolla länkens Gültighet (no LLM)
2. Fallar tillbaka till semantiska sökningar när länkar bryts (ONNX model)
3. Inbegriper bara en LLM om den semantiska sökningen misslyckas ( sällan behövs)

Den dyra intelligensen finns i designen

## Den viktigaste frågan

Varje system ställer en annan fråga:

**Toolformer frågar:**

> Kan en LLM lära sig när man använder verktyg genom att mäta vilka verktyg som faktiskt låter hjälpa

**Voyager frågar:**

> Kan en LLM generera återanvändbar kod som hjälper i framtida uppgifter?

**DiSE frågar:**

> Kan ett system skapa verktyg, ,, bedöma dem objektivt, ,, utveckla dem baserat på verkliga resultat och göra allt detta tillräckligt effektivt för att fungera i produktionen?

Toolformer bevisat **resultat-baserade lärandearbeten**.
Voyager bevisade **skapade verktyg kan återanvändas**.
DiSE bevisar **verktyg kan utvecklas kontinuerligt utan att bryta banken**.

Toolformer är **utbildningstid**.
Voyager är **blixt**.
DiSE är **infrastruktur**.

Ett visar att man kan lära sig av resultat
En visar att man kan generera verktyg.
Den andra bygger maskiner för kontinuerlig evolution

## praktiska konsekvenser

Om du idag bygger LLM, -, kraftfulla system,,, så föreslår DiSE-metoden

### 1. Konstruera utvärdering först

Låt mig inte generera kod och hoppas att det fungerar. [migrationer till min enhetens ram](/blog/efmigrationstherightway) - testerna körs , eller så gör de inte det 'tM SK3 Det behövs ingen LLM-bedömelse

### 2. Använd skalor Aggressivt

Routera enkla uppgifter till billiga modeller. Reservera dyra modeller för verkligt svåra problem

### 3. Lyssna vad som fungerar

Speichera inte bara koden, utan

- Vad det skapades för
- Vilken modell skapade den?
- Hur bra det presterade
- Hur ofta används den igen

Detta metadata blir utbildningsdata för din routinglogik.

### 4. Omfamna evolutionen

Kan du inte förvänta dig perfektion i det första försöket? 1. Generera varianter. 2. testa dem. 3. hålla vinnarna. 4. mutera de bra. 5. men. 6. inte. 7. perfekta. 8.

Så här går jag fram till utvecklingen på den här bloggen. - upprepa offentligt [lära sig från riktig trafik](/blog/usingumamidataforwebsitestats), förbättras baserat på användandet

## Varför struktur spelar mer roll än du tror

Skillnaden mellan Voyager och DiSE är **vad händer när saker misslyckas**.

I Voyager betyder misslyckande

- Fråga GPT-4 att riva
- Förhoppningsvis förstår den problemet
- Belöna $0.05 för privilegiet

I DiSE triggar misslyckanden

- Strukturerad felanalys ( vad som misslyckades , varför
- Variant generering från arbetsalternativ
- Escalation bara om problemet är något helt nytt
- Att lära sig om liknande misslyckanden i framtiden

Systemet får **smartare om vad den inte vet**.

## Framtiden är hybrid

Jag tror inte att vi kommer att se ett rent ', en enda modell gör allt, ", system vinner på produktionen ., ekonomin fungerar inte ', misslyckandet är för osynligt

Istället kommer vi att se hybrida system som DiSE

- Günstige modeller för vanliga mönster
- dyra modeller för nya problem
- Inget-LLM logik för allt annat (tester , mätningarM SK3 bekräftelse
- minnessystem som faktiskt lär sig av resultat

Vi ser detta mönster överallt.

- [RAG-system](/blog/rag-architecture) att kombinera sökningen med generation +
- [Multi-agenter arbetsflöden](/blog/workflowsystem-part1-introduction) med specialiserade komponenter
- [Semantiska sökningar](/blog/semantic-search-in-action) med embeddings + omrankning

Magin är att ha en fantastisk modell. **rätt modell vid rätt tidpunkt** med **rätt kontext**.

## Slutsatsen

Voyager var en ledtråd. Det visade att agenter kunde lära sig genom att generera kod.

Nästa steg var "'", inte mer uppmuntrande, . Den här metoden når sina gränser

Nästa steg är **riktad syntetisk evolution**:

- Avsiktlig variation
- Objektiv utvärdering
- Systematiskt arv
- Strukturellt lärande

DiSE försöker inte bli smartare på en enda shot.
"' försöker bli bättre på **nästa** shot.

Den skillnaden är där evolutionen börjar

Till skillnad från den biologiska evolutionen behöver vi inte vänta miljoner år för att få resultat.

---

## Varför är DiSE annorlunda

- **Är det inte viktigt att knuffa** - Fungerar med vilken LLM som helst via API
- **Ser man att GPT är bra för allt?** - Avstängda inrättningar håller kostnaderna nedåt
- **Bedömer man hallucinationer?** - Objektivtestsbehållare , inte LLM bedömande
- **Ska inte "'" kasta bort koden** - Varje artefakt är lagd , versionerad , spårad
- **Kommer jag inte att glömma min tidigare jobb?** - RAG ♫ ♫ + ♫ användarstatistiker ♫ МSK2 ♫ institutionell minne
- **Oroar sig inte för misslyckande** - använder den som urvaltryck för evolutionen

---

## Fortsättning avläsning

**Papper:**

- [Voyager: En öppen agent med stora språkmodeller](https://arxiv.org/abs/2305.16291) - Den ursprungliga pappret
- [ToolFormer](https://arxiv.org/abs/2302.04761) - Lära LLMs att använda verktyg
- [Att reagera](https://arxiv.org/abs/2210.03629) - Motsägelse + Aktingsmönster
- [Tree of Thoughts](https://arxiv.org/abs/2305.10601) - Uppsåtlig problem

**På den här bloggen:**

- [Att bygga ett RAG-system](/blog/rag-primer) - Hybridt extraherande + generationsarchitektur
- [Semantiska sökningar med ONNX och Qdrant](/blog/semantic-search-with-onnx-and-qdrant) - Embeder utan dyra APIs
- [Kriget mot 404](/blog/the-war-on-404) - Animaliserad tillvägagångspunkt för länkfixering
- [Att använda Ollama för lokala LLM](/blog/reanimation) - Själva - ställer mindre modeller
- [Att bygga en advokat GPT-serie](/blog/building-a-lawyer-gpt-for-your-blog-part1) - Multi-Serien på RAG-LLMs

**verktyg:**

- [Ollama](https://ollama.ai/) - Run Llama, QwenM SK2 och andra modeller lokalt
- [LiteLLM](https://github.com/BerriAI/litellm) - Enifierad API för 100+ LLM-provider
- [LangChain](https://www.langchain.com/) - Ramp för LLM-apps ♫ ( ♫ fast jag tenderar att undvika tunga ramverk ♫) ♫

This is a preview from the server running through my markdig pipeline

AI Code Generation LLMs Machine Learning

"IsnM SK1t DiSE är bara Voyager?" - Varför går strukturen över Brilliance

Monday, 24 November 2025

Kollare: Nej . Och förstå varför det är viktigt om du sätter på dig något som behöver fungera i produktionen

Inleiding

"Det här låter som Voyager men med fler steg

Ärligt talat, om du Voyager Systemet som lärde GPT att spela Minecraft genom att generera återanvändbar kod. Apparaterformer (Schick et al

På första titten, kanske det ser ut som Voyager, men det är som att en produktionsdatabas bara är ett kalkylblad med flera steg. Det spelar roll om man bryr sig om skalan.

Ny till DiSE? Kolla ut min hissbana för att få en större bild , så utforska " Matlagning med DiSE Del 2 om forskarutbildningar och Del 3 om oförtrovärdiga LLM. Denna artikel fokuserar specifikt på hur DiSEs architecture skiljer sig från Voyager och Toolformers

Denna artikel förklarar vad Voyager och Toolformer hade rätt med, där de nådde gränser, och varför DiSEs arkitektoniska tillvägagångssätt löser problem som inga av dem ensamma kunde lösa.

Vad Voyager och Toolformer gjorde bra

Två artiklar från 2023 förändrade hur vi tänker på LLM agenter och verktyg

Voyager: Agenter kan generera verktyg

Voyager introducerade en viktig insikt

LLM kan skapa sina egna återanvändbara verktyg.

Istället för att koda varje handling i Minecraft, så använde Voyager GPT.

"Er funktion kommer att återanvändas för att bygga mer komplexa funktioner . Därför måste du göra den generisk och återanvändbar

Detta var viktigt. För första gången , behandlade ett agentsystem verktygs skapande som riktig mjukvaruingenjörskonst istället för att få ett "-" -avtryck . Voyager visade att agenter kunde

Att bygga en växande bibliotek av färdigheter över tid
Komponera enkla färdigheter till komplexa beteenden
Att undvika katastrofala glömmar genom att lägga in

Och det fungerade.

Toolformer: Agenter kan lära sig när man använder verktyg

Apparaterformer (Schick et al när man ska ringa existerande verktyg.

Den smarta biten, :, skapade sin egen utbildningsdata.

Inser potentiella verktygsuttalande i text (" Kanske borde jag använda en kalkyler här?")
Att faktiskt utföra dessa verktyg
Håll exemplet där verktygen hjälpte
Fine-tune på de framgångsrika exemplen

Detta skapade modeller som lärde sig använda verktyg från objektiva resultat snarare än mänsklig bemärkelse. En dator-API som ger rätt svar är bättre än en som inte ger det

Hur DiSE kombinerar både ( och går vidare

DiSE tar insikter från båda papperna men tacklar deras luckor

Från Voyager:

✅ Generera återanvändbara kodartefakter
✅ lagra dem för framtida uppfinningar
❌ Men lägga till: Objektivtests anpassningarM SK2 inte bara " fungerar i Minecraft
❌ Men lägg till : Bestämde modeller istället för GPT
❌ Men lägga till: Utveckling och evolutionen , inte bara lagring

Från Toolformer:

✅ Lära sig från objektiva resultat
✅ Generera utbildningsdata automatiskt
❌ Men lägga till: Runtime evolution , inte bara utbildning
❌ Men lägga till: Generera själva verktygen , inte bara lära sig att kalla dem
❌ Men lägga till: Hela livscykeln | - | verktyg kan förbättras |, | inte bara använda

DiSE's genealogi

Tänk på DiSE som barnbarn till ReAct

graph TB
    ReAct[ReAct 2022:<br/>Reason + Act<br/>Step-by-step thinking] --> DiSE
    Reflexion[Reflexion 2023:<br/>Self-critique loops<br/>Try → Reflect → Retry] --> DiSE
    Toolformer[Toolformer 2023:<br/>Learn from outcomes<br/>Self-generated training data] --> DiSE
    Voyager[Voyager 2023:<br/>Generate reusable tools<br/>Code as memory] --> DiSE

    DiSE[DiSE 2024:<br/>Directed Synthetic Evolution]

    DiSE --> G[Generate tools with tests]
    DiSE --> E[Evaluate objectively]
    DiSE --> M[Mutate and improve]
    DiSE --> S[Store with usage stats]
    DiSE --> R[Retrieve and reuse]
    DiSE --> C[Tiered execution]

    style ReAct stroke:#8b5cf6,stroke-width:2px
    style Reflexion stroke:#ec4899,stroke-width:2px
    style Toolformer stroke:#f59e0b,stroke-width:2px
    style Voyager stroke:#ef4444,stroke-width:2px
    style DiSE stroke:#10b981,stroke-width:3px

Erfarelsen:

Att reagera → Strukturerat resonemang med handling
Reflexion → Själva - förbättring genom reflektion M SK2 men LLM bedömer sig själv
Apparaterformer → Lär dig av faktiska resultat , inte bara instruktioner
Voyager → Generera och lagra återanvändbara kodartefakter

Vad DiSE lägger till:

Objektivtest harnesser ( inte LLM själv - dömelse
Runtime-evolution ( inte bara träningstid )
Bestämde modellimplementering ( billigt → dyrt endast när det behövs
Hela verktygs livscykel ( födelse → mutation → arv M→ död
Kustoptimerings återkopplingsloop
Statefull verktygsregister (a bit av Fielding's REST-Architektur ♫ - ♫ verktyg som adresserade resurser med stat ♫

DiSE frågar: Tänk om vi kombinerade alla dessa insikter, ,, men gjorde den tillräckligt billig för att fungera i produktion och tillräckligt smart för att förbättra sig över tid.

Att "'" inte är tränad. riktad evolution.

Voyager-arkitekturen

graph TB
    subgraph Voyager["Voyager (2023)"]
        A[GPT-4] --> B[Generate Code]
        B --> C[Execute in Minecraft]
        C --> D{Success?}
        D -->|Yes| E[Store with embedding]
        D -->|No| F[GPT-4 suggests fix]
        F --> B
        E --> G[Vector DB]
        G --> H[Future retrieval]
        H --> A
    end

    style A stroke:#ef4444,stroke-width:3px
    style F stroke:#ef4444,stroke-width:3px

    note1[All reasoning flows through GPT-4]
    note1 -.-> A

Vad fick Voyager tillbaka

Voyager var inte bara med hjälp av GPT, -4 för att skapa koder.

Planering - Att bryta ner höga mål på samma nivå som - till sub-tacker
Utvärdering - Bestämma om en färdighet fungerade korrekt
Dekomposition - Att lista ut vilka färdigheter som finns att kombinera
Namering - Att skapa deskriptiva identifierare för lagring
Tillvägagång - Att välja rätt färdigheter från embeddings
Jaktbedömande - Bestämma vad

När modellen gör allting, måste den vara främre.

Det är precis varför Voyager inte gick längre än Minecraft. Och det är därför det skulle kosta mycket att få igång i produktion.

Det kostnadsproblemet

Låt oss göra lite mattemedel.

GPT-4 Turbo: M SK2 per 1K ingångstoken
Typisk färdigheter generering
100 färdigheter med $15
Det är bara den första bibliotekets uppbyggnad

Nu lägger du till sökningar.

För jämförelse: , här, ' är vad en länkad metod kan kosta.

Uppgift ♫	♫ Voyager ♫
Triage/ruttning	♫ ♫ $0.05 ♫
Initiell generation			$0.05
Evaluation	$0.05			$0	МSK5	statiska tester
Escalation (10%)	♫ ♫ $0.05 ♫
Medel per uppgift	$0.20	$0.016	92%

När man bara kallar det dyra modellen för riktigt svåra problem, så förändras ekonomin dramatiskt.

Varför var DiSE inte möjlig i 2023 ( Men är det nu?

Voyager, ,, Toolformer och Reflexion var inte misslyckande. De slog helt enkelt sin tekniska och ekonomiska gräns.

Tre begränsningar blockerade framsteg i 2023:

Begränsning (2023)	Konsequens	Vad har ändrats (2024–2025) SMk5
GPT-4 var den enda tillförlitliga resonemangsmotorn	En modell var tvungen att göra allting ♫	Bestämde modellstockar ♫
Lokala inbäddar var svaga eller oanvända	Lösning var dyra		BGE	/	Arktis	МSK4	MiniLM på konsument-GPU
Ingen strukturerad utvärderingsgrejning	LLM bedömde LLM ♫ ♫	♫ Nu kör LLM koden rent genom containeriserade exec ♫

Så Voyager och Toolformer kunde inte utvecklas

De kunde bara ringa modeller eller fina De kunde inte fördela kognition över ett system. De kunde inte använda urvaltryck

De löste "kan vi fråga.

DiSE löser " hur håller vi på att förbättra fråga.

Inte för att jag är smartare än Wang eller Schick, utan för att hårdvaran, verktygen och ekonomin slutligen kom ikapp.

Det här är ett ingenjörsproblem Och ingenjörskonst är alltid en fråga om timing

DiSE's grundskillnader

Den viktigaste idén bakom DiSE är enkel men djupgående:

Struktur ersätter briljans

Istället för att förvänta sig att en modell ska göra allt perfekt, så distribuerar DiSE problemet över ett orkestrssystem. tryckt , återkoppling, och minne så att modeller kan förbättra koden iterativt snarare än att skapa den perfekt på första försöket.

DiSE arkitektur

graph TB
    subgraph DiSE["DiSE (Distributed System)"]
        A[Triage Agent] -->|Easy| B[Fast Model - Qwen/Llama]
        A -->|Hard| C[Strong Model - GPT-4o]

        B --> D[Test Suite]
        C --> D

        D -->|Pass| E[Structured Registry]
        D -->|Fail| F{Worth escalating?}

        F -->|Yes| G[Optimizer Agent]
        F -->|No| H[Mark as failed]

        G --> I[Mutation Pipeline]
        I --> D

        E --> J[RAG with usage stats]
        J --> K[Clustering & reranking]
        K --> A
    end

    style D stroke:#10b981,stroke-width:3px
    style E stroke:#3b82f6,stroke-width:3px
    style K stroke:#8b5cf6,stroke-width:3px

    note2[Most tasks never hit expensive models]
    note2 -.-> B

Skillnaden är stark:

Kapacitet	Voyager	DiSE
Kodgenerering			GPT	-4	МSK3	Tiered multi	LLM	Pipeline
Evaluation	GPT
Att återanvända redskapen			Embeddinger bara			Registret med metadata	МSK3	Tags
förbättring			GPT	МSK2	antyder korrigeringar			Utbredning
minne	vektordatabas			RAG	МSK3	klustering	+	evolution tracking
Komposition	GPTM SK2 planer	Planering av arbetsflödet graph planering M
kostnadskontroll ♫	♫ Ingen ♫ МSK2 ♫ Prioritering ♫+ ♫ Fallbacklogi ♫

Varför behöver DiSE inte GPT?

För att varje enhet av genererad kod behandlas som ett artefakt, ingen snabb respons

"" Det här ser bra ut. ""

Går den igång?
Löser den uppgiften?
Är det snabbare än förut?
Kan den klara testpaketet?

Ett billigt LLM (Qwen ♫ 2.5 Koder ♫7 ♫ B ♫ , ♫ Llama ♫ МSK4 ♫ | 8 ♫B ♫ мSK6 ♫ kan generera fem varianter ♫

Med tiden lär systemet sig vilka modeller som är bra för vilka områden. implementering av semantiska sökningar - du behöver inte ' behöver inte den största modellen när du har rätt arkitektur

Förfinningsprocessen blir evolutionär, inte självregressiv.

Ett verkligt exempel : Sorteringsalgoritmer

Låt oss göra det här konkrett. Säg att du vill att din agent ska utföra ett effektivt sortering.

Voyager-metoden:

GPT-4 genererar QuickSort implementering
GPT-4 bedömer om det " ser korrekt ut
GPT-4 kör den i miljön
Om det misslyckas, föreslår , GPT
kostnaderna: M SK1 per försök

DiSE-metoden:

Triage: "implementera effektiv sorteringM SK2 | → skickad till den allmänna nivån
Qwen 2.5 Koder | 7 | B genererar |5 | varianter
Testpaketet kör alla 5 mot :
- Korrekthetstester (sorterad utgång, stabilitetM SK2 randshällen )
- Leistungsindikatorer (tid
- Statisk analys (komplexitet, kodkvalitetM SK2
Den bäst fungerande varianten går in i registret med mätningar
kostnaderna: M SK1
Framtidens begäran om "sorting" får tillbaka den här bevisade implementeringen
Om någon senare behöver "stabil sortering", optimisator kan mutera den existerande koden istället för att börja från början

Den billiga modellen kan utforska lösningsrummet

Vad detta betyder i praktiken

I' har experimenterat med liknande principer i min blogg's RAG system och semantiska intelligenss egenskaper. Pattern är konsekvent

Använd den största modellen för arkitekturella beslut

När jag byggde bruten länkbehandlare med semantiskt sökfält, Jag använde inte GPT -4 för att kolla varje länk

Använd enkla HEAD- begäran för att kolla länkens Gültighet (no LLM)
Fallar tillbaka till semantiska sökningar när länkar bryts (ONNX model)
Inbegriper bara en LLM om den semantiska sökningen misslyckas ( sällan behövs)

Den dyra intelligensen finns i designen

Den viktigaste frågan

Varje system ställer en annan fråga:

Toolformer frågar:

Kan en LLM lära sig när man använder verktyg genom att mäta vilka verktyg som faktiskt låter hjälpa

Voyager frågar:

Kan en LLM generera återanvändbar kod som hjälper i framtida uppgifter?

DiSE frågar:

Kan ett system skapa verktyg, ,, bedöma dem objektivt, ,, utveckla dem baserat på verkliga resultat och göra allt detta tillräckligt effektivt för att fungera i produktionen?

Toolformer bevisat resultat-baserade lärandearbeten. Voyager bevisade skapade verktyg kan återanvändas. DiSE bevisar verktyg kan utvecklas kontinuerligt utan att bryta banken.

Toolformer är utbildningstid. Voyager är blixt. DiSE är infrastruktur.

Ett visar att man kan lära sig av resultat En visar att man kan generera verktyg. Den andra bygger maskiner för kontinuerlig evolution

praktiska konsekvenser

Om du idag bygger LLM, -, kraftfulla system,,, så föreslår DiSE-metoden

1. Konstruera utvärdering först

Låt mig inte generera kod och hoppas att det fungerar. migrationer till min enhetens ram - testerna körs , eller så gör de inte det 'tM SK3 Det behövs ingen LLM-bedömelse

2. Använd skalor Aggressivt

Routera enkla uppgifter till billiga modeller. Reservera dyra modeller för verkligt svåra problem

3. Lyssna vad som fungerar

Speichera inte bara koden, utan

Vad det skapades för
Vilken modell skapade den?
Hur bra det presterade
Hur ofta används den igen

Detta metadata blir utbildningsdata för din routinglogik.

4. Omfamna evolutionen

Kan du inte förvänta dig perfektion i det första försöket? 1. Generera varianter. 2. testa dem. 3. hålla vinnarna. 4. mutera de bra. 5. men. 6. inte. 7. perfekta. 8.

Så här går jag fram till utvecklingen på den här bloggen. - upprepa offentligt lära sig från riktig trafik, förbättras baserat på användandet

Varför struktur spelar mer roll än du tror

Skillnaden mellan Voyager och DiSE är vad händer när saker misslyckas.

I Voyager betyder misslyckande

Fråga GPT-4 att riva
Förhoppningsvis förstår den problemet
Belöna $0.05 för privilegiet

I DiSE triggar misslyckanden

Strukturerad felanalys ( vad som misslyckades , varför
Variant generering från arbetsalternativ
Escalation bara om problemet är något helt nytt
Att lära sig om liknande misslyckanden i framtiden

Systemet får smartare om vad den inte vet.

Framtiden är hybrid

Jag tror inte att vi kommer att se ett rent ', en enda modell gör allt, ", system vinner på produktionen ., ekonomin fungerar inte ', misslyckandet är för osynligt

Istället kommer vi att se hybrida system som DiSE

Günstige modeller för vanliga mönster
dyra modeller för nya problem
Inget-LLM logik för allt annat (tester , mätningarM SK3 bekräftelse
minnessystem som faktiskt lär sig av resultat

Vi ser detta mönster överallt.

RAG-system att kombinera sökningen med generation +
Multi-agenter arbetsflöden med specialiserade komponenter
Semantiska sökningar med embeddings + omrankning

Magin är att ha en fantastisk modell. rätt modell vid rätt tidpunkt med rätt kontext.

Slutsatsen

Voyager var en ledtråd. Det visade att agenter kunde lära sig genom att generera kod.

Nästa steg var "'", inte mer uppmuntrande, . Den här metoden når sina gränser

Nästa steg är riktad syntetisk evolution:

Avsiktlig variation
Objektiv utvärdering
Systematiskt arv
Strukturellt lärande

DiSE försöker inte bli smartare på en enda shot. "' försöker bli bättre på nästa shot.

Den skillnaden är där evolutionen börjar

Till skillnad från den biologiska evolutionen behöver vi inte vänta miljoner år för att få resultat.

Varför är DiSE annorlunda

Är det inte viktigt att knuffa - Fungerar med vilken LLM som helst via API
Ser man att GPT är bra för allt? - Avstängda inrättningar håller kostnaderna nedåt
Bedömer man hallucinationer? - Objektivtestsbehållare , inte LLM bedömande
Ska inte "'" kasta bort koden - Varje artefakt är lagd , versionerad , spårad
Kommer jag inte att glömma min tidigare jobb? - RAG ♫ ♫ + ♫ användarstatistiker ♫ МSK2 ♫ institutionell minne
Oroar sig inte för misslyckande - använder den som urvaltryck för evolutionen

Fortsättning avläsning

Papper:

Voyager: En öppen agent med stora språkmodeller - Den ursprungliga pappret
ToolFormer - Lära LLMs att använda verktyg
Att reagera - Motsägelse + Aktingsmönster
Tree of Thoughts - Uppsåtlig problem

På den här bloggen:

Att bygga ett RAG-system - Hybridt extraherande + generationsarchitektur
Semantiska sökningar med ONNX och Qdrant - Embeder utan dyra APIs
Kriget mot 404 - Animaliserad tillvägagångspunkt för länkfixering
Att använda Ollama för lokala LLM - Själva - ställer mindre modeller
Att bygga en advokat GPT-serie - Multi-Serien på RAG-LLMs

verktyg:

Ollama - Run Llama, QwenM SK2 och andra modeller lokalt
LiteLLM - Enifierad API för 100+ LLM-provider
LangChain - Ramp för LLM-apps ♫ ( ♫ fast jag tenderar att undvika tunga ramverk ♫) ♫