Mon système, DiSE, est un organisme de travail fondé sur l’ingénierie logicielle, qui optimise ses processus de travail et il crée des artefacts de code testables , les évalue objectivement , et les évolue au fil du temps sans une supervision humaine constante.

Spoiler: NonM SK1 Et comprendre pourquoi il importe si vous construisez quelque chose qui doit fonctionner dans la production.

Introduction

"C'est comme Voyager, mais avec d'autres étapes.

Faire preuve d’honnêteté. Si vous ' avez suivi la recherche sur les agents dirigées par LLM-, , vousM SK4 avez probablement entendu parler de Voyager (Wang et coll. Forme d'outils (Schick et coll.

À première vue, DiSE M SK1Directed Synthetic Evolution) pourrait ressembler à Voyager + Toolformer with a fresh coat of paintMST4 Mais celaMSC5 est comme dire qu’une base de données de production n’est qu’un tableau de bord avec plus d’étapes MST6 La distinction est importante si vous vous souciez de l’échelleMst7 du coûtM st8 et en fait d’expédier quelque choseMstr9

Nouveaux à DiSE? Vérifier mon emplacement de l'ascenseur pour le grand aperçu, puis explorer la série "Cooking with DiSEM SK2 Partie 2 sur les apprentis diplômés et Partie 3 sur les LLM non fiables. Ce post met l’accent sur la façon dont l’architecture de DiSE ' diffère de celle du Voyager et de Toolformer

Cet article explique ce que Voyager et Toolformer ont fait correctement, ,, où ils ont atteint les limites de leur utilisation,,, et pourquoi l'approche architecturale de DiSE et ' permet de résoudre des problèmes qui n'ont pas pu être réglés seuls.

Ce que Voyager et Toolformer ont bien fait

Deux documents de 2023 ont changé la façon dont nous considérons les agents et outils LLM.

Voyager: Agents peuvent générer des outils

Voyager présente un point de vue crucial:

Les LLM peuvent générer leurs propres outils réutilisables.

Au lieu de codifier toutes les actions dans Minecraft, Voyager utilisait GPT-4 pour écrire des fonctions en vol.

" Votre fonction sera réutilisée pour construire des fonctions plus complexes . Par conséquent, vous devriez la rendre générique et renouvelable

Cela était important. Pour la première fois, un système d’agents a traité la production d’outils comme l'ingénierie du logiciel réel Voyager a montré que les agents pouvaient

• Créer une bibliothèque de compétences croissante au fil du temps
• Composer des compétences simples en comportements complexes
• Évitez l'oubli catastrophique grâce à la recherche fondée sur embedding-

Et il a fonctionné. Sortie de. Dans Minecraft . avec GPTM SK3

Toolformer: Les agents peuvent apprendre quand utiliser les outils

Forme d'outils (Schick et coll. quand appeler les outils existants.

Le bit intelligent: Toolformer a généré ses propres données de formation

1. Insérer des appels d'outils potentiels dans le texte ("je devrais peut-être utiliser une calculatrice iciM SK1
2. En fait, exécuter ces outils
3. Gardez les exemples où les outils ont aidé à discarder
4. Fine-tune sur les exemples de réussite

Il a créé des modèles qui utilisent les outils qu’ils ont appris de Résultats objectifs plutôt qu’une annotation humaine. Une API de calculateur qui retourne la bonne réponse est meilleure que celle qui ne l’a pas fait

Comment DiSE combine les deux (et va plus loinM SK1

DiSE tire des conclusions de ces deux documents mais s’attaque à leurs lacunes.

De Voyager:

• ✅ Gérer des artefacts de code réutilisables
• ✅ Les entreposer pour une récupération future
• ❌ Mais ajouterM SK1 Les dispositifs d’essai objectifs, ne sont pas seulement " fonctionnent-ils dans Minecraft?
• ❌ Mais ajouterM SK1 Modèles animaux au lieu de GPT-4 pour tout
• ❌ Mais ajouterM SK1 La mutation et l’évolution, non seulement le stockage

De Toolformer:

• ✅ Apprenez à partir des résultats objectifs
• ✅ Gérer automatiquement les données de formation
• ❌ Mais ajouterM SK1 Évolution du temps d’exécution , pas seulement l’entraînement- l’apprentissage du temps
• ❌ Mais ajouterM SK1 Gérer les outils eux-mêmes, non seulement apprendre à les appeler
• ❌ Mais ajouterM SK1 cycle de vie complet - les outils peuvent être améliorés, non seulement utilisés

DiSE's généalogie:

Pensez à DiSE comme au grand-père de ReAct.

graph TB
    ReAct[ReAct 2022:<br/>Reason + Act<br/>Step-by-step thinking] --> DiSE
    Reflexion[Reflexion 2023:<br/>Self-critique loops<br/>Try → Reflect → Retry] --> DiSE
    Toolformer[Toolformer 2023:<br/>Learn from outcomes<br/>Self-generated training data] --> DiSE
    Voyager[Voyager 2023:<br/>Generate reusable tools<br/>Code as memory] --> DiSE

    DiSE[DiSE 2024:<br/>Directed Synthetic Evolution]

    DiSE --> G[Generate tools with tests]
    DiSE --> E[Evaluate objectively]
    DiSE --> M[Mutate and improve]
    DiSE --> S[Store with usage stats]
    DiSE --> R[Retrieve and reuse]
    DiSE --> C[Tiered execution]

    style ReAct stroke:#8b5cf6,stroke-width:2px
    style Reflexion stroke:#ec4899,stroke-width:2px
    style Toolformer stroke:#f59e0b,stroke-width:2px
    style Voyager stroke:#ef4444,stroke-width:2px
    style DiSE stroke:#10b981,stroke-width:3px

L’héritage:

• Réagir → Rationalisation structurée avec action -roues d'observation
• Réflexion → AutomnementM SK1amélioration par réflexion (mais le LLM se juge lui-même M SK3
• Forme d'outils → Apprenez à partir des résultats réels
• Voyager → Gérer et stocker des artefacts de code réutilisables

Ce que DiSE ajoute:

• Les appareils d'essai objectifs (non LLM selfM SK1judgement)
• Évolution du temps d’exécution (non seulement le temps de formationM SK1
• Exécution de modèle animal (prix → coûteux seulement lorsqu'il est nécessaire
• Système de vie complet de l'outil (naissance → mutation MSC2 héritage MSC3 décès
• Rétroaction sur l'optimisation des coûts
• Registre d'outils étatiques (un bit de Fielding's Architecture REST - outils comme ressources adressables avec l'étatM SK3

Toolformer a démontré que l’on pouvait former les modèles à utiliser des outils en mesurant les résultats réels. Voyager a prouvé que les agents pouvaient créer leurs propres bibliothèques d’outils. Réflexion a prouve que les boucles de réflexion fonctionnent . ReAct a prouvré qu’un raisonnement structuré aide

DiSE demande: Qu’arrive-t-il si nous combinons tous ces points de vue, ,, mais qu’ils soient suffisamment abordables pour fonctionner dans la production et suffisamment intelligents pour s’améliorer au fil du temps?

Et oui , là ' il y a un peu de Roy Fielding ' l'architecture REST dans ce dernier aussi | - les outils sont des ressources étatiques avec URIs | , | métadonnées |, | et versionnage |. | Chaque outil est adressable | | JSK7 | cache | jSK8 | peut être composé avec d'autres |JSK9 | Le répertoire des outils n'est pas seulement une base de données vectorielle | L'article 11 | l'article 12 | est un magasin REST où les ressources | M( | les outils |M) | ont un état | R( | statistiques d'usage | MRSK16 | mesures de rendement |MRSK17 | historique de la version | MSSK18 | qui influe sur la façon dont ils sont retrievés et évolués |

Que ce n’est pas la formation, que ce n'est pas l’une des générations ultérieures, qu’il ne s’agit pas d’une seule évolution.

Architecture du Voyager

graph TB
    subgraph Voyager["Voyager (2023)"]
        A[GPT-4] --> B[Generate Code]
        B --> C[Execute in Minecraft]
        C --> D{Success?}
        D -->|Yes| E[Store with embedding]
        D -->|No| F[GPT-4 suggests fix]
        F --> B
        E --> G[Vector DB]
        G --> H[Future retrieval]
        H --> A
    end

    style A stroke:#ef4444,stroke-width:3px
    style F stroke:#ef4444,stroke-width:3px

    note1[All reasoning flows through GPT-4]
    note1 -.-> A

Voir le problème? Chacune des décisions M SK1 planification , évaluation, débuggingMST4 composition MST5 passe par le même modèle frontalierM ST6 Lorsque vous avez besoin de brilliance à chaque étapeM st7 vous devez GPTMst8 m st9 ou l’équivalentMstr10 partoutM str11

Ce qui a permis à Voyager de revenir

Voyager n’a pas utilisé le GPT pour produire des codes; il s’est appuyé sur celui-ci.

• Planification - Faire passer des objectifs élevés de niveau - à des tâches sub--
• Évaluation - Déterminer si une compétence a fonctionné correctement
• Décomposition - Déterminer les compétences existantes à combiner
• Nommer - Création d'identifiants descriptifs pour stockage
• Sélection - Choix de la bonne habileté à partir des emplacements
• Évaluation de la qualité - Décision de ce qu’il faut 's "doit suffire

Lorsque le modèle fait tout, il doit être à l’avant-garde - brilliant chaque fois

C’est précisément pour cette raison que Voyager n’a pas évolué au-delà de Minecraft.

Le problème du coût

Let's faire un peu de mathématiques sur les serviettes. Disons que vous voulez piloter un Voyager - système en style pour des tâches réelles

• GPT-4 TurboM SK1 _{$0.01 par 1K tokens d'entréeMNK4 |}$0.03 par 1Ktokens de sortie
• Production de compétences typiques: M SK1K input + ≥1K output = ≤$0.05
• 100 habiletés avec 3 tentatives de répétition chaque $15
• Que' est seulement la première bibliothèque construite

Maintenant, ajoutez les demandes de recherche, tentatives de composition, cycles de débuggingM SK2 Vous ' regardez facilement des centaines de dollars pour un agent unique pour construire une bibliothèque de compétences modéréesMSC4

Pour la comparaison , ici ' est ce qu’une approche liée pourrait coûter

Lorsqu’on ne parle que du modèle coûteux pour des problèmes vraiment difficiles, l’économie change de façon spectaculaire.

Pourquoi le DiSE n’était pas possible dans 2023 ( Mais est-il possible maintenant?

Voyager, Toolformer, et Reflexion n’étaient pas des défaillances . Ils ont tout simplement atteint le plafond technique et économique de leur moment.

Trois contraintes ont bloqué les progrès de 2023:

Ainsi Voyager et Toolformer ne pouvaient pas

Ils ne pouvaient appeler que les modèles ou la fine-tune models. Ils ne pouvaient pas répartir la cognition dans un système. Ils ne pouvaient pas appliquer la pression de sélection.

Ils ont résolu la question "nous pouvons-nous Question.

DiSE permet de résoudre les "comment nous continuons d’améliorer les résultats? Question.

Ce n’est pas parce que je suis plus intelligent que Wang ou Schick, mais parce que le matériel, les outils et l’économie ont enfin pris la tête de .

Il s’agit d’un problème de génie. Et l’ingénierie est toujours une question de calendrier.

DiSE's Difference fondamentale

L’idée clé derrière DiSE est simple mais profonde:

Structure remplace la brilliance.

Au lieu d’attendre qu’un modèle fasse tout de façon parfaite, DiSE distribue le problème à travers un système d’orchestre . Il n’admet pas les modèles. pression, rétroactionM SK1 et mémoire Ainsi, les modèles peuvent améliorer le code itérativement plutôt que de l'générer parfaitement lors du premier essai.

Architecture DiSE

graph TB
    subgraph DiSE["DiSE (Distributed System)"]
        A[Triage Agent] -->|Easy| B[Fast Model - Qwen/Llama]
        A -->|Hard| C[Strong Model - GPT-4o]

        B --> D[Test Suite]
        C --> D

        D -->|Pass| E[Structured Registry]
        D -->|Fail| F{Worth escalating?}

        F -->|Yes| G[Optimizer Agent]
        F -->|No| H[Mark as failed]

        G --> I[Mutation Pipeline]
        I --> D

        E --> J[RAG with usage stats]
        J --> K[Clustering & reranking]
        K --> A
    end

    style D stroke:#10b981,stroke-width:3px
    style E stroke:#3b82f6,stroke-width:3px
    style K stroke:#8b5cf6,stroke-width:3px

    note2[Most tasks never hit expensive models]
    note2 -.-> B

La différence est stark:

Pourquoi DiSE n’a-t-il pas besoin de GPT?

Parce que chaque unité de code généré est traitée comme un artefact, pas de réponse prompte .

Il n’est pas jugé par la SCE1, mais il semble bien.

• Fonctionne-t-elle?
• Solve-t-il la tâche?
• Est-ce plus rapide qu'avant?
• Passe-t-il la suite d'essai?

Un LLM peu coûteux (Qwen 2.5 Coder 7B, Llama MSC4 MSC5B~) peut produire cinq variantesMSC7 Les essais sélectionnent le meilleurM SK8 Un modèle plus fort ne s’implique que lorsque les plus faibles échouentMST9

Au fil du temps, le système apprend quels modèles sont bons pour quels domaines. Comme je l’ai fait avec mon Mise en œuvre de la recherche sémantique - vous n’avez pas besoin d’un modèle le plus grand lorsque vous avez la bonne architecture.

Le processus de raffinement devient evolutionnaire, non auto-régressif.

Exemple réelle: Algorithmes de classement

Let's make this concrete . Say you want your agent to implement efficient sorting.

Approche Voyager:

1. GPT-4 génère une mise en œuvre de QuickSort
2. GPT-4 évalue s’il apparaît correct M SK1
3. GPT-4 la conduite dans l'environnement
4. Si ce n'est pas le cas, GPT-4 suggère des corrections
5. Coût: M SK1 par essai

Approche DiSE:

1. Triage: M SK1implémenter un tri efficace " ≥→ routier vers le niveau général
2. Qwen 2.5 Coder 7B génére des variantes 5 variants
3. La suite d'essai fonctionne tous les 5 contre:
   • Essais d'exactitude (sortie de sorties,stabilitéM SK2caisses à bordMSC3
   • Critères de rendement (tempsM SK1 mémoire)
   • Analyse statique (complexité,qualité du codeM SK2
4. La variante la plus performante entre dans le registre avec des mesures
5. Coût: M SK1
6. Les demandes futures de "sorting" reçoivent cette mise en œuvre éprouvée
7. Si quelqu'un a besoin plus tard de "stable sorting ",, l'optimisateur peut muter le code existant au lieu de commencer de zéro.

Le modèle bon marché peut explorer l’espace de solution. Les essais font la sélectionM SK1 Le modèle cher ne s’implique que si toutes les variantes 5 échouent

Ce qui signifie cela dans la pratique

I' ont expérimenté des principes similaires dans mon blog's RAG system et caractéristiques de l'intelligence sémantique. Le modèle est cohérent

Utiliser le plus grand modèle pour les décisions d’architecture, non exécution.

Lorsque j’ai construit gestionnaire de lien défectueux avec un échec de recherche sémantique, Je n’ai pas utilisé le GPT ' pour vérifier chaque lienM SK3 Le système:

1. Utilise des demandes simples du HEAD pour vérifier la validité du lien (no LLM)
2. Retourne à la recherche sémantique lorsque les liens se rompent (ONNX model)
3. Ce n'est qu'avec un LLM que la recherche sémantique a échoué ( rarement nécessaire)

L’intelligence coûteuse se trouve dans le design, et non dans l’exécution.

La question clé

Chaque système pose une question différente:

Toolformer demande:

Un LLM peut-il apprendre quand utiliser des outils en mesurant quels appels d’outils sont réellement utiles?

Voyager demande:

Un LLM peut-il générer un code réutilisable qui aide dans les tâches futures?

DiSE demande:

Un système peut-il produire des outils, les évaluer objectivement, les élaborer sur la base de résultats réels et le faire suffisamment efficacement pour fonctionner en production?

Toolformer a été prouvé Résultats des travaux d’apprentissage fondés sur la méthode -. Voyager a prouvé les outils générés peuvent être réutilisés. DiSE prouve les outils peuvent évoluer continuellement sans rompre la banque.

Toolformer est temps de formation. Voyager est éclatement. DiSE est infrastructures.

Une démontre que l’on peut apprendre à partir des résultats Une montre que vous pouvez générer des outils. L’autre construit des machines pour une évolution continue.

Implications pratiques

Si vous construisez aujourd’hui des systèmes à puissance LLM, - et ,, l’approche DiSE suggère :

1. Évaluer d’abord la construction

Donn't generate code and hope it worksM SK1 Write tests that define "works ". Like I do for my Entity Framework migrations - les essais sont effectués , ou ils ne l’ont pasM SK2t. Aucun jugement de LLM n’est nécessaireMSC4

2. Utiliser les niveaux aggressivement

Router les tâches simples vers des modèles abordables. Réservez des modèles chers pour résoudre des problèmes vraiment difficiles. Votre portefeuille vous remercieraM SK2

3. Suivre ce qui fonctionne

Entreposer non seulement le code,, mais aussi:

• À quoi elle a été créée
• Quel modèle l'a créé?
• Combien de bons résultats a-t-il obtenu?
• Combien de fois est-il réutilisé?

Ces métadonnées deviennent des données de formation pour votre logique routière.

4. Adopter l'évolution

Ne prévoyez-vous pas la perfection lors du premier essai?1. Gérer des variantes?2. Vérifier?3. Maintenir les gagnants?4. Muter les bons?5. Mais ne pas?6.

C’est ainsi que j’aborde le développement sur ce blog - iterate in public, apprendre à partir du trafic réel, améliorer en fonction de l’utilisation réelle .

Pourquoi la structure est plus importante que vous ne le pensez

La différence entre Voyager et DiSE n’est pas seulement en ce qui concerne le coût, mais aussi ce qui se passe quand les choses échouent.

Dans Voyager, le défaut signifie:

• Demander au GPT-4 de débuger
• J'espère qu'il comprend le problème.
• Rembourser $0.05 pour le privilège

Dans DiSE, les déclencheurs de défaillance:

• Analyse de l'erreur structurée (qu'est-ce qui a échoué,comment?
• Production de variables à partir d'alternatives de travail
• Évacuation seulement si le problème est vraiment nouveau
• Apprentissage pour les échecs similaires à venir

Le système obtient plus intelligent sur ce qu’il ne sait pas.

Le futur est hybride

Je ne pense pas que nous verrons un modèle unique pure.

Nous verrons plutôt des systèmes hybrides comme DiSE et :.

• Modèles abordables pour les modèles communs
• Modèles coûteux pour les nouveaux problèmes
• Logique non -LLM pour tout le reste (testsM SK2 métriques , validation)
• Les systèmes de mémoire qui apprennent effectivement à partir des résultats

Nous le constatons partout.

• Systèmes RAG combining retrieval + generation
• Les flux de travail multi-agents avec des composants spécialisés
• Recherche sémantique en utilisant les embeddings + reranking

La magie n’est pas l’existence d’un modèle brillant, mais celle de .. le bon modèle au bon moment avec le Contexte approprié.

Conclusion

Voyager était un faisceau. Il a montré que les agents pouvaient apprendre en générant du code.

L’étape suivante n’était pas plus stimulante, '. Cette approche atteint ses limites.

L'étape suivante est évolution synthétique dirigée:

• Variation délibérée
• Évaluation objective
• héritage systématique
• Apprentissage structurel

DiSE n’essaie pas d’être plus intelligent en un seul coup. Il s’efforce d’être meilleur sur le Suivant shot.

Cette différence est là où l’évolution commence.

À la différence de l’évolution biologique, nous n’avons pas à attendre des millions d’années pour obtenir les résultats.

Pourquoi DiSE est différent

• N'est-ce pas'il n'y a pas besoin de réglage fine- - Travaille avec tout LLM via API
• Ne faut-il pas de GPT-4 pour tout - L’exécution ponctuelle permet de réduire les coûts
• N’est-ce pas une évaluation des hallucinations? - Harnesses d’essai objectives, non jugement LLM
• Le code n’est-il pas rejeté ? - Tous les artefacts sont stockés , versionià ̈re M SK2 suivi
• N’oublions pas le travail passé - RAG + statistiques d'utilisation = mémoire institutionnelle
• Ne craint-il pas de ne pas réussir? - Utilise cette méthode comme pression de sélection pour l'évolution

Autres lectures

Documents:

• Voyager: Un agent emballé à larges modèles langagiques - Document original
• Formulaire d'outils - Enseigner les LLM à utiliser des outils
• Réagir - Justification + Modèle d’action
• L'arbre des pensées - Problème délibéréM SK1résolution

Sur ce blog:

• Établissement d'un système RAG - Récupération hybride + Architecture de génération
• Recherche sémantique avec ONNX et Qdrant - Embeddings sans API coûteux
• La guerre contre 404 - Approche axée sur la fixation des liens
• Utilisation d'Ollama pour les LLM locaux - Self-Présidence de modèles plus petits
• Établissement d'un avocat de la série GPT - Multi-part series on RAG + LLMs

Outils:

• Ollama - Run LlamaM SK1 Qwen , et autres modèles locaux
• LiteLLM - API unifié pour les fournisseurs de services liés à la LLM 100+
• LangChain - Cadre pour les applications LLM (même si j’ai tendance à éviter des cadres lourds)