Το σύστημά μου, το DiSE, είναι ένα αυτο-βελτιωτικό, αυτο-συναρμολόγηση, λογισμικό μηχανικός γειωμένο οικοδόμος ροής εργασίας. Δημιουργεί δοκιμασμένα αντικείμενα κώδικα, τα αξιολογεί αντικειμενικά, και τα εξελίσσεται με την πάροδο του χρόνου χωρίς συνεχή ανθρώπινη εποπτεία. Αλλά εδώ είναι το πράγμα: δεν Voyager ότι εντυπωσιακό Minecraft bot από το [23]Κάθε φορά το κάνουμε αυτό δημιουργώντας επαναχρησιμοποίητες δεξιότητες; Και δεν Toolformer ήδη αποδεικνύει ότι LLMs θα μπορούσε να μάθουν να χρησιμοποιούν εργαλεία με τη μέτρηση των αποτελεσμάτων; Αν έχουμε ήδη πράκτορες που γράφουν τα δικά τους εργαλεία και να μάθουν πότε να τα χρησιμοποιούν, δεν έχουμε ήδη λύσει το πρόβλημα της αυτο-βελτίωσης των παραγόντων AI;
Σπόιλερ: Όχι, και καταλαβαίνω γιατί μετράει αν φτιάχνεις κάτι που πρέπει να τρέξει στην παραγωγή.
"Αυτό ακούγεται σαν το Βόγιατζερ αλλά με περισσότερα βήματα."
Σωστά, αν παρακολουθούσες την έρευνα του πράκτορα της LLM, πιθανότατα να έχεις ακούσει για την ΒόγιατζερCity name (optional, probably does not need a translation) (Wang et al., 2023) - το σύστημα που δίδαξε την GPT-4 να παίζει Minecraft δημιουργώντας επαναχρησιμοποίητο κώδικα "skills" - και Εργαλειοδότης (Schick et al., 2023) - η οποία δίδαξε LLMs να χρησιμοποιούν εργαλεία με τη μέτρηση των πραγματικών αποτελεσμάτων.
Με την πρώτη ματιά, το DiSE (Directed Synthetic Evolution) μπορεί να μοιάζει με Voyager + Toolformer με ένα φρέσκο χρώμα. Αλλά αυτό είναι σαν να λες ότι μια βάση δεδομένων παραγωγής είναι απλά ένα λογιστικό φύλλο με περισσότερα βήματα.
Καινούριος στο DiSE; Ελέγξτε έξω Το γήπεδο του ασανσέρ μου. για τη μεγάλη εικόνα, στη συνέχεια, εξερευνήστε τη σειρά "Cooking with DiSE": Μέρος 2 για τα μεταπτυχιακά μαθήματα και Μέρος 3 για τις μη αξιόπιστες LLMs. Αυτή η δημοσίευση επικεντρώνεται ειδικά στο πώς η αρχιτεκτονική του DiSE διαφέρει από το Voyager και το Toolformer.
Αυτό το άρθρο εξηγεί τι Βόγιατζερ και Toolformer πήρε δεξιά, όπου έφτασαν τα όρια, και γιατί η αρχιτεκτονική προσέγγιση του DiSE λύνει προβλήματα που ούτε θα μπορούσε να αντιμετωπίσει μόνη της.
Δύο έγγραφα από το 2023 άλλαξαν τον τρόπο σκέψης μας για τους παράγοντες LLM και τα εργαλεία:
Το Βόγιατζερ εισήγαγε μια κρίσιμη διορατικότητα:
Τα LLM μπορούν να δημιουργήσουν τα δικά τους εργαλεία που μπορούν να χρησιμοποιηθούν.
Αντί για σκληρή κωδικοποίηση κάθε δράσης στο Minecraft, το Voyager χρησιμοποίησε GPT-4 για να γράψει λειτουργίες στη μύγα. Κάθε επιτυχημένη δράση έγινε μια επαναχρησιμοποίητη ικανότητα αποθηκευμένη σε μια διανυσματική βάση δεδομένων.
"Η λειτουργία σας θα χρησιμοποιηθεί για την κατασκευή πιο περίπλοκων λειτουργιών. Ως εκ τούτου, θα πρέπει να το κάνετε γενικό και επαναχρησιμοποίητο."
Αυτό ήταν σημαντικό. Για πρώτη φορά, μια παραγωγή εργαλείων επεξεργασίας συστήματος παραγόντων ως πραγματική μηχανική λογισμικού Το Βόγιατζερ έδειξε ότι οι πράκτορες μπορούν:
Και δούλεψε, περίπου στο Minecraft, με GPT-4.
Εργαλειοδότης (Schick et al., 2023) πήρε μια διαφορετική προσέγγιση. Αντί να παράγει εργαλεία, δίδαξε LLMs πότε να καλέσετε τα υπάρχοντα εργαλεία.
Το έξυπνο κομμάτι: Toolformer δημιούργησε τα δικά του δεδομένα κατάρτισης.
Αυτό δημιούργησε μοντέλα που έμαθαν τη χρήση εργαλείων από αντικειμενικά αποτελέσματα Μια αριθμομηχανή API που επιστρέφει τη σωστή απάντηση είναι καλύτερη από εκείνη που δεν - καμία κρίση LLM δεν χρειάζεται.
Το DiSE παίρνει πληροφορίες και από τις δύο εφημερίδες, αλλά αντιμετωπίζει τα κενά τους:
Από το Βόγιατζερ:
Από Toolformer:
Γενεαλογία του DiSE:
Σκεφτείτε το DiSE ως το εγγόνι των ReAct, Reflexion, Toolformer, και Voyager. Κάθε πρόγονος συνέβαλε σε κάτι κρίσιμο:
graph TB
ReAct[ReAct 2022:<br/>Reason + Act<br/>Step-by-step thinking] --> DiSE
Reflexion[Reflexion 2023:<br/>Self-critique loops<br/>Try → Reflect → Retry] --> DiSE
Toolformer[Toolformer 2023:<br/>Learn from outcomes<br/>Self-generated training data] --> DiSE
Voyager[Voyager 2023:<br/>Generate reusable tools<br/>Code as memory] --> DiSE
DiSE[DiSE 2024:<br/>Directed Synthetic Evolution]
DiSE --> G[Generate tools with tests]
DiSE --> E[Evaluate objectively]
DiSE --> M[Mutate and improve]
DiSE --> S[Store with usage stats]
DiSE --> R[Retrieve and reuse]
DiSE --> C[Tiered execution]
style ReAct stroke:#8b5cf6,stroke-width:2px
style Reflexion stroke:#ec4899,stroke-width:2px
style Toolformer stroke:#f59e0b,stroke-width:2px
style Voyager stroke:#ef4444,stroke-width:2px
style DiSE stroke:#10b981,stroke-width:3px
Η κληρονομιά:
Τι προσθέτει το DiSE:
Toolformer απέδειξε ότι θα μπορούσε να εκπαιδεύσει τα μοντέλα για τη χρήση εργαλείων με τη μέτρηση των πραγματικών αποτελεσμάτων. Voyager απέδειξε παράγοντες θα μπορούσε να κατασκευάσει τις δικές τους βιβλιοθήκες εργαλείων.
Το DiSE ρωτάει: Τι γίνεται αν συνδυάσουμε όλες αυτές τις ιδέες, αλλά κάναμε αρκετά φθηνή για να τρέξει στην παραγωγή και αρκετά έξυπνη για να βελτιωθεί με την πάροδο του χρόνου;
Και ναι, υπάρχει μια παύλα της αρχιτεκτονικής REST του Roy Fielding εκεί μέσα πάρα πολύ - τα εργαλεία είναι stateful πόρους με URIs, μεταδεδομένα, και έκδοση. Κάθε εργαλείο είναι στοχευμένο, κρυφό, και μπορεί να συντεθεί με άλλους. Το μητρώο εργαλείων δεν είναι μόνο μια βάση δεδομένων διανυσματικά? είναι ένα Restful κατάστημα όπου οι πόροι (εργαλεία) έχουν κατάσταση (στατικά χρήσης, επιδόσεις, ιστορία έκδοσης) που επηρεάζει το πώς ανακτώνται και εξελιχθεί.
Αυτό δεν είναι εκπαίδευση, δεν είναι μόνο μια γενιά. directed evolution.
graph TB
subgraph Voyager["Voyager (2023)"]
A[GPT-4] --> B[Generate Code]
B --> C[Execute in Minecraft]
C --> D{Success?}
D -->|Yes| E[Store with embedding]
D -->|No| F[GPT-4 suggests fix]
F --> B
E --> G[Vector DB]
G --> H[Future retrieval]
H --> A
end
style A stroke:#ef4444,stroke-width:3px
style F stroke:#ef4444,stroke-width:3px
note1[All reasoning flows through GPT-4]
note1 -.-> A
Βλέπετε το πρόβλημα; Κάθε απόφαση - σχεδιασμός, αξιολόγηση, αποσφαλμάτωση, σύνθεση - περνάει από το ίδιο μοντέλο συνόρων. Όταν χρειάζεστε ευφυΐα σε κάθε βήμα, χρειάζεστε GPT-4 (ή ισοδύναμο) παντού.
Το Βόγιατζερ δεν χρησιμοποιούσε μόνο το GPT-4 για την παραγωγή κώδικα.
Όταν το μοντέλο κάνει τα πάντα, πρέπει να είναι πανέξυπνο κάθε φορά.
Γι' αυτό ακριβώς το Βόγιατζερ δεν σκαρφάλωσε πέρα από το Minecraft... και γι' αυτό το τρέξιμο στην παραγωγή θα κόστιζε μια περιουσία.
Ας κάνουμε μερικά μαθηματικά χαρτοπετσέτας.
Τώρα προσθέστε ερωτήματα ανάκτησης, απόπειρες σύνθεσης, κύκλους αποσφαλμάτωσης.
Για σύγκριση, εδώ είναι τι μια κλιμακωτή προσέγγιση μπορεί να κοστίσει:
Βόγιατζερ (GPT-4) Ντίσε (Tiered) - Αποταμίευση |------|-----------------|---------------|---------| Δραστηριότητα/δρομολόγηση $0.05 $0.01 (Llama 3.1 8B) > 98% Αρχική γενιά $0,05 $ $0.02 (Qwen 2.5 Κωδικοποιητής) Αξιολόγηση $05 $0 (στατικές δοκιμές) Εκτόξευση (10%) $0,05 $ (GPT- 4o) $0,05 (GPT- 4o) | Μέσος όρος ανά εργασία | $0.20 | $0.016 | 92% |
Όταν αποκαλείτε μόνο το ακριβό μοντέλο για πραγματικά σκληρά προβλήματα, τα οικονομικά αλλάζουν δραματικά.
Το Βόγιατζερ, ο Εργαλειογράφος και το Αντανακλαστικό δεν ήταν αποτυχίες, απλά χτύπησαν το τεχνικό και οικονομικό ανώτατο όριο της στιγμής τους.
Τρεις περιορισμοί εμπόδισαν την πρόοδο το 2023:
Ο περιορισμός (2023) Συνέπεια Τι άλλαξε (2024) |-------------------|-------------|--------------------------| Το GPT-4 ήταν ο μόνος αξιόπιστος κινητήρας συλλογισμού. Ένα μοντέλο έπρεπε να κάνει τα πάντα. Οι τοπικές ενδυμασίες ήταν αδύναμες ή αχρησιμοποίητες η ανάκτηση ήταν ακριβή η BGE / Αρκτική / MiniLM για τις καταναλωτικές GPUs Δεν υπάρχει δομημένη ζώνη αξιολόγησης . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Οπότε το Βόγιατζερ και ο Εργαλειογράφος δεν μπορούσαν να εξελιχθούν.
Θα μπορούσαν να καλέσουν μόνο μοντέλα ή μοντέλα λεπτής τύχης. Δεν μπορούσαν να διανείμουν τη νοημοσύνη σε ένα σύστημα. Δεν μπορούσαν να ασκήσουν πίεση επιλογής.
Έλυσαν το "Μπορούμε;" Ερώτηση.
DiSE λύνει το "Πώς βελτιωνόμαστε;" Ερώτηση.
Όχι επειδή είμαι πιο έξυπνος από τον Wang ή τον Schick - αλλά επειδή το υλικό, το εργαλείο, και τα οικονομικά τελικά πρόλαβαν.
Αυτό είναι ένα μηχανικό πρόβλημα. Και η μηχανική είναι πάντα θέμα συγχρονισμού.
Η βασική ιδέα πίσω από το DiSE είναι απλή αλλά βαθιά:
Η δομή αντικαθιστά την ευφυΐα.
Αντί να περιμένει ένα μοντέλο να κάνει τα πάντα τέλεια, DiSE διανέμει το πρόβλημα σε ένα σύστημα ενορχήστρωσης. πίεση, ανατροφοδότηση, και μνήμη έτσι τα μοντέλα μπορούν να βελτιώσουν τον κώδικα iterally αντί να τον παράγουν τέλεια στην πρώτη προσπάθεια.
graph TB
subgraph DiSE["DiSE (Distributed System)"]
A[Triage Agent] -->|Easy| B[Fast Model - Qwen/Llama]
A -->|Hard| C[Strong Model - GPT-4o]
B --> D[Test Suite]
C --> D
D -->|Pass| E[Structured Registry]
D -->|Fail| F{Worth escalating?}
F -->|Yes| G[Optimizer Agent]
F -->|No| H[Mark as failed]
G --> I[Mutation Pipeline]
I --> D
E --> J[RAG with usage stats]
J --> K[Clustering & reranking]
K --> A
end
style D stroke:#10b981,stroke-width:3px
style E stroke:#3b82f6,stroke-width:3px
style K stroke:#8b5cf6,stroke-width:3px
note2[Most tasks never hit expensive models]
note2 -.-> B
Η διαφορά είναι σταρκ:
Βόγιατζερ Ντίσε |------------|---------|------| Αγωγός πολλαπλών LLM με βάση τα πρότυπα GPT-4 Η αξιολόγηση της GPT-4 κρίνει ότι είναι μη-LLM δοκιμές, μετρικές □ Επαναχρησιμοποίηση εργαλείων Μόνο ενδυμασίες Καταχώριση με μεταδεδομένα + ετικέτες + στατιστικά χρήσης Η βελτίωση του GPT-4 προτείνει διορθώσεις στους αγωγούς Escalation & μετάλλαξης Θυμηθείτε το Vector DB RAG + clustering + evolution tracking Σύνθεση Συνθέσεις GPT-4 σχέδια □ Σχεδιασμός γραφημάτων ροής εργασίας Ο έλεγχος κόστους δεν είναι κανένας Προτεραιότητα + λογική υποχώρησης
Επειδή Κάθε μονάδα κώδικα που παράγεται αντιμετωπίζεται ως τεχνούργημα, δεν είναι μια άμεση απάντηση .
Δεν κρίνεται από το "Μοιάζει καλό αυτό;" - Κρίνεται από:
Ένα φθηνό LLM (Qwen 2.5 Coder 7B, Llama 3.1 8B) μπορεί να δημιουργήσει πέντε παραλλαγές. Οι δοκιμές επιλέγουν το καλύτερο.
Με τον καιρό, το σύστημα μαθαίνει ποια μοντέλα είναι καλά για ποιους τομείς. Σημαντική εφαρμογή αναζήτησης Δεν χρειάζεσαι το μεγαλύτερο μοντέλο όταν έχεις τη σωστή αρχιτεκτονική.
Η διαδικασία βελτίωσης γίνεται εξελικτική, όχι αυτοκαταστροφική.
Πες ότι θέλεις ο ατζέντης σου να εφαρμόσει αποτελεσματική διαλογή.
Πλησίασε το Βόγιατζερ:
Προσέγγιση DiSE:
Το φτηνό μοντέλο μπορεί να εξερευνήσει το χώρο λύσης. Οι δοκιμές κάνουν την επιλογή. Το ακριβό μοντέλο εμπλέκεται μόνο αν και οι 5 παραλλαγές αποτύχουν.
Πειραματιζόμουν με παρόμοιες αρχές. Το σύστημα RAG του blog μου και σημασιολογικά χαρακτηριστικά νοημοσύνηςΤο μοτίβο είναι συνεπές:
Χρησιμοποιήστε το μεγαλύτερο μοντέλο για αποφάσεις αρχιτεκτονικής, όχι εκτέλεση.
Όταν έφτιαξα το χειριστής σπασμένων συνδέσμωνName Με σημασιολογική απόκλιση αναζήτησης, δεν χρησιμοποίησα GPT-4 για να ελέγξω κάθε σύνδεσμο.
Η ακριβή νοημοσύνη είναι στο σχέδιο, όχι στην εκτέλεση.
Κάθε σύστημα θέτει μια διαφορετική ερώτηση:
Ο συνεργάτης εργαλείων ρωτάει:
Μπορεί ένα LLM να μάθει πότε να χρησιμοποιεί εργαλεία με τη μέτρηση ποιο εργαλείο καλεί πραγματικά να βοηθήσει;
Το Βόγιατζερ ρωτάει:
Μπορεί ένα LLM να δημιουργήσει επαναχρησιμοποίησιμο κώδικα που βοηθά σε μελλοντικές εργασίες;
Το DiSE ρωτάει:
Μπορεί ένα σύστημα να δημιουργήσει εργαλεία, να τα αξιολογήσει αντικειμενικά, να τα αναπτύξει με βάση πραγματικά αποτελέσματα, και να κάνει όλα αυτά αρκετά αποτελεσματικά για να τρέξει στην παραγωγή;
Αποδείχθηκε ο Εργαλειοδότης Μαθησιακά έργα βασισμένα σε αποτελέσματα. Το Βόγιατζερ απέδειξε Τα εργαλεία που παράγονται μπορούν να επαναχρησιμοποιούνται. DiSE αποδεικνύει εργαλεία μπορούν να εξελιχθούν συνεχώς χωρίς να σπάσει η τράπεζα.
Toolformer είναι Χρόνος εκπαίδευσης. Το Βόγιατζερ είναι φλας. Το DiSE είναι υποδομή.
Κάποιος δείχνει ότι μπορείς να μάθεις από τα αποτελέσματα. Το ένα δείχνει ότι μπορείς να δημιουργήσεις εργαλεία. Το άλλο κατασκευάζει μηχανήματα για συνεχή εξέλιξη.
Αν φτιάχνεις συστήματα LLM σήμερα, η προσέγγιση του DiSE υποδεικνύει:
Μην δημιουργείς κώδικα και ελπίζεις να πετύχει. Μετανάστες πλαισίου οντότητας μου Δεν χρειάζεται κρίση LLM.
Διαδρομή απλές εργασίες σε φτηνά μοντέλα. Κρατήστε ακριβά μοντέλα για πραγματικά σκληρά προβλήματα. Το πορτοφόλι σας θα σας ευχαριστήσει.
Αποθηκεύστε όχι μόνο τον κωδικό, αλλά:
Αυτό το μεταδεδομένα γίνεται δεδομένα εκπαίδευσης για τη λογική δρομολόγησης σας.
Μην περιμένετε τελειότητα στην πρώτη προσπάθεια. Δημιουργήστε παραλλαγές, δοκιμάστε τους, κρατήστε τους νικητές, μεταλλάξτε τους καλούς-αλλά-όχι-τέλειους.
Έτσι πλησιάζω την ανάπτυξη σε αυτό το blog - έρημο δημόσια, μάθετε από την πραγματική κυκλοφορία, να βελτιωθεί με βάση την πραγματική χρήση.
Η διαφορά μεταξύ του Βόγιατζερ και του Ντίσι δεν είναι μόνο το κόστος. τι συμβαίνει όταν τα πράγματα αποτυγχάνουν.
Στο Βόγιατζερ, η αποτυχία σημαίνει:
Στο DiSE, πυροδοτεί βλάβη:
Το σύστημα παίρνει Πιο έξυπνο για ό,τι δεν ξέρει..
Δεν νομίζω ότι θα δούμε καθαρά "το ενιαίο μοντέλο κάνει τα πάντα" συστήματα κερδίζουν στην παραγωγή. Τα οικονομικά δεν λειτουργούν, και οι τρόποι αποτυχίας είναι πολύ αδιαφανείς.
Αντ' αυτού, θα δούμε υβριδικά συστήματα όπως το DiSE:
Βλέπουμε αυτό το μοτίβο παντού:
Η μαγεία δεν είναι στο να έχεις ένα λαμπρό μοντέλο. σωστό μοντέλο τη σωστή στιγμή με το σωστό πλαίσιο.
Το Βόγιατζερ ήταν φάρος, έδειξε ότι οι πράκτορες μπορούσαν να μάθουν δημιουργώντας κώδικα.
Το επόμενο βήμα δεν ήταν πιο ενθαρρυντικό, η προσέγγιση αυτή φτάνει στα όριά της.
Το επόμενο βήμα είναι κατευθυνόμενη συνθετική εξέλιξη:
Το DiSE δεν προσπαθεί να είναι πιο έξυπνο με μία μόνο βολή. Προσπαθεί να είναι καλύτερα στο Επόμενο Πυροβόλησε.
Αυτή η διαφορά είναι όπου αρχίζει η εξέλιξη.
Και σε αντίθεση με τη βιολογική εξέλιξη, δεν χρειάζεται να περιμένουμε εκατομμύρια χρόνια για να δούμε αποτελέσματα.
Χαρτιά:
Σε αυτό το blog:
Εργαλεία:
© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.