"Φτιάχνουμε έναν βοηθό γνώσης που θα φέρει επανάσταση στον τρόπο με τον οποίο οι υπάλληλοί μας έχουν πρόσβαση σε πληροφορίες..."
- Κάθε εργασία advert, pitch deck, και πρόταση παροχής συμβουλών το 2024-2025
Πέρασα τον τελευταίο μήνα ή τόσο σωστά βυθιζόμουν στον χώρο του διαφημιστικού AI. Διάβασα άφθονες ποσότητες του μάρκετινγκ αλήτες... ..που ασχολούνταν με δεκάδες διαφημίσεις... ..πέρασα περισσότερα ντέμο από ό,τι θέλω να παραδεχτώ... ..και κατέληξα σε ένα μάλλον καταθλιπτικό συμπέρασμα.
Είναι σχεδόν το ίδιο πράγμα.
"Ai-powered company knowledge base." "Intelligent document search." "Customer chatbot with business knowledge." Απομακρύνετε το αντίγραφο χωρίς ανάσα μάρκετινγκ και θα βρείτε την ίδια αρχιτεκτονική, τους ίδιους τρόπους αποτυχίας, και τα ίδια απογοητευμένα ενδιαφερόμενα μέρη περίπου έξι μήνες κάτω από τη γραμμή.
Οι παραλλαγές των πελατών chatbot είναι ιδιαίτερα διασκεδαστικές .Μπορούν να γίνουν καταστροφές PR εντυπωσιακά γρήγορα όταν οι προγραμματιστές που δεν καταλαβαίνουν guardrails τους αφήσει χαλαρά στο κοινό.Τίποτα δεν μοιάζει αρκετά με την υποστήριξή σας bot χαρούμενα προσφέροντας επιστροφές που δεν δίνετε, συνθέτοντας χαρακτηριστικά του προϊόντος που δεν υπάρχουν, ή πηγαίνοντας σε μια φιλοσοφική εφευρετική για το νόημα της ύπαρξης όταν κάποιος ρωτάει για τους χρόνους αποστολής. Χωρίς κατάλληλους περιορισμούς, αυτά τα bots θα υπόσχονται ευχαρίστως τίποτα, να παραδεχτούν τα εγκλήματα που η εταιρεία σας δεν διέπραξε, ή να αναπτύξουν ισχυρές απόψεις για τους ανταγωνιστές.
Εδώ είναι το βρώμικο μυστικό που κανείς στη διοίκηση δεν θέλει να ακούσει: Τα περισσότερα εμπορικά έργα της AI δεν είναι καινοτόμα, είναι υδραυλικά με μια φανταχτερή ετικέτα.
Πριν προχωρήσω παραπέρα, μια αποποίηση: Δεν είμαι ένας "οραματιστής του AI" ή όποιος και αν είναι ο τίτλος της στιγμής (κυρίως πρώην "οραματιστές της αλυσίδας μπλόκας" που έχουν περιστραφεί βολικά). Είμαι ένας μηχανικός λογισμικού που χτίζει αυτά τα είδη των συστημάτων αναζήτησης, διαχείρισης της γνώσης, επεξεργασίας φυσικής γλώσσας, υποστήριξη αποφάσεων για περίπου τρεις δεκαετίες. Έχω δει αυτή την εικόνα πριν με συστήματα εμπειρογνωμόνων, με σημασιολογικό ιστό, με μεγάλα δεδομένα, με blockchain. Η τεχνολογία αλλάζει; το μοτίβο της υπερπροσφοράς και υποεκχώρησης δεν.
Απογυμνώστε τις ανοησίες μάρκετινγκ και θα διαπιστώσετε ότι περίπου το 95% των εμπορικών έργων "AI" εμπίπτουν σε μία από τις δύο κατηγορίες:
Κάθε "επιχείρηση λύση AI" ακολουθεί αυτό το μοτίβο:
flowchart LR
A[Documents] --> B[Document Ingestion Pipeline]
B --> C[Vector Database / RAG]
C --> D[Construct Prompts]
D --> E[LLM API Call]
E --> F[Hybrid Search]
F --> G[Response to User]
style B stroke:#ff0000,stroke-width:4px
Αυτό το κόκκινο κουτί είναι εκεί που όλα σπάνε.
Το γήπεδο ακούγεται εντυπωσιακό: "Έχουμε φτιάξει έναν AI που καταλαβαίνει τα έγγραφα της εταιρείας σας και μπορεί να απαντήσει σε ερωτήσεις έξυπνα!"
Η πραγματικότητα: Έχετε κατασκευάσει μια μηχανή αναζήτησης με επιπλέον βήματα και ένα λογαριασμό £ 10.000 / μήνα OpenAI.
Αυτό είναι ακόμα πιο σιλιέρικο: "Εκπαιδευτήκαμε το δικό μας μοντέλο τεχνητής νοημοσύνης ειδικά για τη βιομηχανία σας!"
Η πραγματικότητα: Πήρες το μοντέλο κάποιου άλλου και το έμαθες σε ένα σύνολο που είναι μάλλον πολύ μικρό, πολύ βρώμικο, και πολύ στενό για να κάνεις μια σημαντική διαφορά σε σχέση με τη χρήση του βασικού μοντέλου με καλές κινήσεις.
flowchart TD
A[Existing LLM] --> B[Collect Training Data]
B --> C[Clean Data - Maybe]
C --> D[Fine-tune Model]
D --> E[Deploy Model]
E --> F[Discover it's not much better than base model]
F --> G[Keep paying for inference anyway]
G --> H[Hope nobody notices]
Τα περισσότερα έργα που έχω δει θα εξυπηρετούνταν καλύτερα αν ξόδευαν τα ίδια χρήματα για να βελτιώσουν τα συστήματά τους και τα συστήματα ανάκτησης.
Ας μιλήσουμε για το κόκκινο κουτί στο διάγραμμα RAG. Η κατάποση εγγράφων είναι το μέρος που αποτυγχάνει πιο συχνάΚαι είναι το κομμάτι που τραβάει την λιγότερη προσοχή στα φανταχτερά ντέμο.
Να τι δείχνει το ντέμο πωλήσεων:
Να τι πραγματικά συμβαίνει:
Τα PDF είναι ένας εφιάλτης. Ήταν σχεδιασμένα για εκτύπωση, όχι για την εξαγωγή δομημένων δεδομένων. Κάθε PDF parser που έχω χρησιμοποιήσει έχει διαφορετικούς τρόπους αποτυχίας:
Και αυτό είναι μόνο PDF.Περίμενε μέχρι να χτυπήσεις:
Μόλις βγάλετε το κείμενο (κακό), θα πρέπει να το κόψετε για τη διανυσματική βάση δεδομένων σας.
"Θα χρησιμοποιήσουμε σημασιολογικό κόψιμο!" Ωραία, το συμβόλαιο των 200 σελίδων σας είναι τώρα 500 κομμάτια, και η AI δεν έχει ιδέα ποια είναι σχετικά ή με ποια σειρά εμφανίζονται.
"Θα χρησιμοποιήσουμε κομμάτια σταθερού μεγέθους με επικάλυψη!" Τέλεια, μόλις μοιράστηκες μια πρόταση στη μέση και η ενσωμάτωση τώρα αντιπροσωπεύει ανοησίες.
flowchart TD
A[Original Document] --> B[Chunk 1: This contract shall be governed by]
A --> C[Chunk 2: the laws of the State of California]
B --> D[Embedding: Legal stuff?]
C --> E[Embedding: Geography?]
D --> F[User asks about jurisdiction]
E --> F
F --> G[AI: Based on my knowledge, possibly California, or maybe legal governance, who knows]
Καλή RAG χρειάζεται καλά μεταδεδομένα. Αλλά η εξαγωγή μεταδεδομένα από τα έγγραφα είναι δύσκολο:
Οι περισσότεροι οργανισμοί έχουν δεκαετίες εγγράφων με ασυνεπείς συμβάσεις ονοματοδοσίας, δομές φακέλων που είχαν νόημα σε κάποιον που έφυγε το 2003, και μεταδεδομένα που είτε λείπουν είτε είναι λάθος.
Επιτρέψτε μου να είμαι σαφής: η ρύθμιση της ρευστότητας έχει τη θέση της, αλλά ο τρόπος με τον οποίο πλησιάζουν οι περισσότερες εταιρείες είναι ουσιαστικά σπασμένος.
Οι περισσότερες εταιρείες δεν τα έχουν. Έχουν:
"Θα κερδίσουμε πρόστιμο για τα εισιτήρια υποστήριξης μας!" Τα εισιτήρια υποστήριξης σας είναι γεμάτα απογοητευμένους πελάτες, εσφαλμένες πληροφορίες από το κατώτερο προσωπικό, και ακραίες περιπτώσεις που δεν αντιπροσωπεύουν κανονική χρήση.
"Θα βγάλουμε λεφτά από τις πωλήσεις μας!" Εννοείς αυτές που οι πωλητές δίνουν υποσχέσεις που το προϊόν δεν μπορεί να κρατήσει;
Πώς ξέρετε αν το καλό μοντέλο σας είναι πραγματικά καλύτερο; Οι περισσότερες εταιρείες δεν μπορούν να απαντήσουν σε αυτό επειδή:
Έχω δει εταιρείες να περνούν έξι μήνες ρυθμίζοντας ένα μοντέλο και στη συνέχεια δεν έχουν κανένα τρόπο να αποδείξουν ότι είναι καλύτερο από το να χρησιμοποιούν απλά GPT-4 με ένα καλό σύστημα ώθησης.
Τα προϊόντα σας αλλάζουν. Οι διεργασίες σας αλλάζουν. Αυτό το μοντέλο που εξατομικεύτηκε τον Ιανουάριο δίνει τώρα απαντήσεις με βάση ξεπερασμένες πληροφορίες.
Αλλά η ενημέρωση σημαίνει:
Οι περισσότερες εταιρείες fine-tune μια φορά και στη συνέχεια απλά ζουν με το παρασυρόμενο. Το μοντέλο γίνεται αργά λιγότερο σχετικό, ενώ όλοι προσποιούνται ότι εξακολουθεί να προσθέτει αξία.
Μη με παρεξηγείς, υπάρχουν υποθέσεις νόμιμης χρήσης.
flowchart TD
subgraph RAGWorks["✅ RAG Works When"]
R1[Well-structured docs]
R2[Clear metadata]
R3[Search + synthesis use case]
R4[Heavy ingestion investment]
R5[Feedback loops exist]
end
subgraph FTWorks["✅ Fine-Tuning Works When"]
F1[Large high-quality dataset]
F2[Base model truly struggles]
F3[Ongoing maintenance budget]
F4[Clear eval metrics]
F5[Already tried prompting + RAG]
end
style R4 stroke:#00aa00,stroke-width:2px
style F5 stroke:#00aa00,stroke-width:2px
Τα πράσινα κουτιά είναι οι προϋποθέσεις που τα περισσότερα έργα παραλείπουν. "Έχουμε ήδη βελτιστοποιήσει την υποκίνηση και το RAG" είναι το μπαρ για λεπτές ρυθμίσεις. "Σκληρή επένδυση κατάποσης" Ξέχνα αυτά και χτίζεις πάνω στην άμμο.
Ενώ όλοι κατασκευάζουν τον ίδιο αγωγό AGG, τα πραγματικά ενδιαφέροντα προβλήματα στην εμπορική AI αγνοούνται:
Ο μεγαλύτερος περιορισμός στην αποτελεσματικότητα του AI δεν είναι το μοντέλο, αλλά τα δεδομένα.
Αλλά "πρωτοβουλία ποιότητας δεδομένων" δεν σας παίρνει ένα άρθρο Φορμπς, όπως το "AI transformation" κάνει.
Η ρίψη ενός chatbot AI σε μια υπάρχουσα διαδικασία δεν την κάνει μαγικά καλύτερη. Η διαδικασία πρέπει να επανασχεδιαστεί γύρω από τις δυνατότητες και τους περιορισμούς του AI.
Η καλύτερη εφαρμογή AI αυξάνει τις ανθρώπινες δυνατότητες αντί να προσπαθεί να τις αντικαταστήσει. Αλλά αυτό είναι πιο δύσκολο να πουλήσει από "AI που κάνει X αυτόματα!"
Οι άνθρωποι + AI που εργάζονται μαζί απαιτούν:
Τα περισσότερα projects AI αντιμετωπίζουν τον άνθρωπο ως μια δεύτερη σκέψη.
Οι πραγματικά πολύτιμες εφαρμογές AI δεν είναι "chatbot στα έγγραφά σας." Είναι εφαρμογές που:
Αλλά αυτά είναι σκληρά. RAG αγωγούς είναι εύκολο (καλά, πιο εύκολο). Έτσι, αυτό είναι ό, τι ο καθένας χτίζει.
Ένας σημαντικός οδηγός των χαζών έργων AI είναι το επιχειρηματικό οικοσύστημα:
flowchart TD
A[Big Consultancy Tells C-Suite: You Need AI!] --> B[C-Suite Panics]
B --> C[Consultancy Deploys Army of Juniors]
C --> D[Recommendations: RAG + Fine-Tuning]
D --> E[Build Same Thing as Last 20 Clients]
E --> F[Demo Goes Well]
F --> G[Reality: Real Data Breaks Everything]
G --> H[Consultancy Moves On]
H --> I[Internal Team Struggles]
I --> J[Project Quietly Fails]
J --> K[Nobody Admits It]
K --> A
style G stroke:#ff0000,stroke-width:3px
style J stroke:#ff0000,stroke-width:3px
Έχω δει αυτό το μοτίβο δεκάδες φορές... οι σύμβουλοι πληρώνονται... τα στελέχη λένε ότι "έκαναν τεχνητή νοημοσύνη.".. οι μηχανικοί κολλάνε... διατηρώντας κάτι που με το ζόρι δουλεύει... και το πραγματικό επιχειρηματικό πρόβλημα παραμένει άλυτο.
Οι startups πέφτουν σε μια ελαφρώς διαφορετική παγίδα.
timeline
title Technology Requirements for VC Funding
2005 : Web 2.0 - "You need social features"
2010 : Mobile - "You need an app"
2015 : Cloud - "You need to be cloud-native"
2018 : Blockchain - "You need a token"
2023 : AI - "You need an AI strategy"
Ακούγεται οικείο; Κάθε λίγα χρόνια, υπάρχει μια νέα τεχνολογία που VCs αποφασίσει είναι απαραίτητη. Αν σας γήπεδο κατάστρωμα δεν το αναφέρει εξέχουσα, δεν είστε να πάρει χρηματοδότηση. Η τεχνολογία μπορεί να είναι άσχετη με το πραγματικό προϊόν σας doesn apos? T σημασία. Χρειάζεστε το buzzword.
Είδα αυτό να συμβαίνει με blockchain το 2017-2018. Οι εταιρείες που δεν είχαν καμία δουλειά να είναι σε ένα blockchain ήταν shoehorning μάρκες στα προϊόντα τους, επειδή αυτό είναι που πήρε χρηματοδότηση.
Τώρα συμβαίνει με τον Αλ.
Τα startups βιδώνουν τα χαρακτηριστικά LLM σε προϊόντα που δεν τα χρειάζονται επειδή:
Το αποτέλεσμα; Προϊόντα με άβολα χαρακτηριστικά AI που αγνοούν οι χρήστες. Καμένος διάδρομος σε πειράματα λεπτής ρύθμισης που δεν πάνε πουθενά.
Το χειρότερο: Πολλοί ιδρυτές γνωρίζουν ότι αυτό είναι ανόητο. Φτιάχνουν χαρακτηριστικά της τεχνητής νοημοσύνης που δεν πιστεύουν επειδή πρέπει να επιβιώσουν αρκετά για να χτίσουν αυτό που πραγματικά ενδιαφέρονται.
Αν είστε ιδρυτής εκκίνησης που σπρώχνεται για να προσθέσετε AI, αναρωτηθείτε:
Αν είναι το δεύτερο, χτίστε το ελάχιστο βιώσιμο χαρακτηριστικό AI που χτυπά το πλαίσιο, τότε επικεντρωθεί σε ό, τι πραγματικά μετράει. Μην αφήνετε το περιβάλλον χρηματοδότησης σας αποσπά από την οικοδόμηση κάτι πολύτιμο.
Εδώ είναι η άβολη αλήθεια που κανείς δεν θέλει να συζητήσει: Σχεδόν όλοι στο οικοσύστημα έχουν ένα οικονομικό κίνητρο για να συνεχίσουν τη διαφήμισή τους.
flowchart TD
subgraph Researchers["🔬 Frontier Labs"]
R1[Need billions for compute]
R2[Must show progress to justify spend]
R3[Hype generates investment]
end
subgraph Companies["🏢 Tech Companies"]
C1[Need AI angle for valuation]
C2[Must justify AI team costs]
C3[Hype drives stock price]
end
subgraph Investors["💰 Financial Backers"]
I1[Massive capital deployed]
I2[Need exits and returns]
I3[Hype maintains valuations]
end
subgraph Media["📰 Tech Media"]
M1[AI stories get clicks]
M2[Access depends on positive coverage]
M3[Hype drives engagement]
end
R3 --> I1
C3 --> I1
I3 --> R1
I3 --> C1
M3 --> R3
M3 --> C3
Οι ερευνητές Τα χρήματα αυτά προέρχονται από επενδυτές και μεγάλη τεχνολογία. Για να δικαιολογήσουν αυτό το ξοδεύουμε, πρέπει να επιδεικνύουμε πρόοδο και "προόδους" μεταφράζεται σε ανασαίες ανακοινώσεις σχετικά με τις δυνατότητες που μπορεί ή δεν μπορεί να υλοποιηθεί σε πρακτικές εφαρμογές.
Οι εταιρείες Η αποτίμηση του OpenAI εξαρτάται από την πεποίθηση ότι το AGI βρίσκεται στη γωνία. Κάθε "AI-powered" startup πολλαπλό εξαρτάται από την παραμονή του AI στον καυτό τομέα. Η στιγμή που το συναίσθημα μετατοπίζεται, δισεκατομμύρια στον χάρτινο πλούτο εξατμίζεται.
Οι επενδυτές έχουν αναπτύξει συγκλονιστικά ποσά κεφαλαίου σε AI. Χρειάζονται εξόδους. Χρειάζονται τη μουσική για να συνεχίσουν να παίζουν αρκετά για να συνειδητοποιήσουν τις αποδόσεις. Μια ρεαλιστική εκτίμηση των εγγύς χρόνου δυνατότητες AI θα crater εκτιμήσεις σε όλο τον τομέα.
Τα μέσα μαζικής ενημέρωσης έχει ανακαλύψει ότι οι ιστορίες AI δημιουργούν μαζική εμπλοκή. Nuanced κάλυψη δεν παίρνει κλικ. "AI θα πάρει τη δουλειά σας" και "AI ανακάλυψη λύνει X" κάνουν. Η πρόσβαση σε εταιρείες AI συχνά εξαρτάται από τη διατήρηση θετικών σχέσεων.Το οποίο σημαίνει κρίσιμη κάλυψη είναι καριέρα-περιορισμός.
Το αποτέλεσμα; Ένας αυτο-αναπρογραμματιζόμενος κύκλος υφής όπου ο καθένας έχει λόγους να κρατά φουσκωτές προσδοκίες, και πολύ λίγοι άνθρωποι ωφελούνται λέγοντας την αλήθεια.
Αυτό δεν σημαίνει ότι η τεχνητή νοημοσύνη δεν είναι πραγματικά χρήσιμη είναι απολύτως, όπως έχω συζητήσει σε όλο αυτό το άρθρο. Αλλά το χάσμα μεταξύ του τι υπόσχεται και τι παραδίδεται είναι τεράστιο, και τα κίνητρα είναι όλα ευθυγραμμισμένα για να κρατήσει αυτό το κενό κρυμμένο.
Όταν κάποιος σου πει ότι ο Αλ θα επαναστατήσει την επιχείρησή σου, αναρωτήσου: τι κερδίζεις αν το πιστεύεις αυτό;
Αν σκέφτεσαι ένα πρόγραμμα τεχνητής νοημοσύνης, ορίστε η ειλικρινής συμβουλή μου:
Μην ρωτήσετε "πώς μπορούμε να χρησιμοποιήσουμε τον ΑΙ;" Ρωτήστε "τι πρόβλημα προσπαθούμε να λύσουμε;" Αν ο ΑΙ είναι η σωστή λύση, μεγάλη. Αλλά συχνά δεν είναι.
Πριν φτιάξετε έναν αγωγό RAG, φτιάξτε το χάλι του εγγράφου σας. Πριν τελειώσετε καλά, καθαρίστε τα εκπαιδευτικά σας δεδομένα. Το AI δεν θα διορθώσει τα προβλήματα των δεδομένων σας, θα τα ενισχύσει.
Μην ξεκινήσετε μια μαζική "AI μετασχηματισμός." Φτιάξτε μια μικρή απόδειξη της έννοιας. Δοκιμάστε το με πραγματικούς χρήστες. Μάθετε τι πραγματικά λειτουργεί.
Ο αγωγός κατάποσης εγγράφων δεν είναι σέξι. Ο καθαρισμός δεδομένων δεν είναι συναρπαστικό. Το πλαίσιο αξιολόγησης δεν είναι κάτι που μπορείτε να demo στο διοικητικό συμβούλιο.
Τα συστήματα RAG χάνουν τα σχετικά έγγραφα... τα ωραία μοντέλα παρασύρονται... ορίστε ρεαλιστικές προσδοκίες.
Η οικοδόμηση του συστήματος είναι ίσως το 30% της προσπάθειας. " διατήρηση του, η βελτίωσή του και η διατήρηση του είναι το υπόλοιπο 70%.
Ίσως αυτό που χρειάζεστε είναι απλά καλύτερη χρήση των εργαλείων off-the-shelf. Συνομιλία GPT με κάποιες προσαρμοσμένες οδηγίες μπορεί να είναι αρκετό.
Σωστά, ξόδεψα μερικά λόγια για να κόψω τα διαφημιστικά προγράμματα. Αυτά τα σχέδια μπορούν πραγματικά να λειτουργήσουν, αν τα προσεγγίσετε λογικά.
Το πρόβλημα δεν είναι RAG ή λεπτές ρυθμίσεις ως έννοιες. Το πρόβλημα είναι τεμπέλης υλοποίησης, μη ρεαλιστικές προσδοκίες, και αγνοώντας τα βασικά στοιχεία.
Το μεγαλύτερο λάθος που βλέπω είναι η αντιμετώπιση της AI ως αντικατάστασης για τις υπάρχουσες διαδικασίες και όχι ως ενίσχυση. Η επιχείρησή σας έχει ήδη ροές εργασίας που λειτουργούν (κυρίως). Αντί να τις ξεριζώσετε και να τις αντικαταστήσετε με μια "AI-powered" έκδοση, γάντζο AI στα κενά.
flowchart TD
subgraph Traditional["Traditional Workflow"]
A[Document Arrives] --> B[Human Reviews]
B --> C[Decision Made]
C --> D[Action Taken]
D --> E[Results Logged]
end
subgraph Enhanced["AI-Enhanced Workflow"]
A2[Document Arrives] --> AI1[AI: Extract Key Info]
AI1 --> B2[Human Reviews - With AI Summary]
B2 --> AI2[AI: Suggest Decision Based on History]
AI2 --> C2[Human Makes Final Decision]
C2 --> D2[Action Taken]
D2 --> AI3[AI: Auto-categorise & Log]
AI3 --> E2[Results Available for Future AI Training]
end
Προσέξτε τι είναι διαφορετικό:
Αυτό είναι πολύ πιο ισχυρό από το "Ο ΑΙ χειρίζεται τα πάντα και μερικές φορές έναν ανθρώπινο έλεγχο."
Εδώ είναι ένα βρώμικο μυστικό: πιθανότατα δεν χρειάζεστε GPT-4 ή Claude για τις περισσότερες εργασίες. Και σίγουρα δεν χρειάζεται να στείλετε εμπιστευτικά έγγραφα σας στους διακομιστές του OpenAI.
Το Πρόβλημα του Κόστους
Σε κλίμακα, το κόστος API προσθέτει επάνω γρήγορα. Ένα πολυάσχολο σύστημα RAG μπορεί να κάνει χιλιάδες LLM κλήσεις ανά ημέρα.
Το Πρόβλημα Εμπιστοσύνης
Πολλοί οργανισμοί δεν μπορούν (ή δεν πρέπει) να στείλουν τα έγγραφά τους σε εξωτερικούς API:
Η Λύση: Τοπικά Μοντέλα
Μοντέρνα μοντέλα ανοιχτού κώδικα είναι αιματηρά καλά. Τρέχοντας τοπικά σημαίνει:
flowchart LR
subgraph Cloud["Cloud API Approach"]
A1[Your Documents] --> B1[Internet]
B1 --> C1[OpenAI/Anthropic]
C1 --> D1[£££/month]
C1 --> E1[Privacy Concerns]
end
subgraph Local["Local LLM Approach"]
A2[Your Documents] --> B2[Your Server]
B2 --> C2[Local LLM]
C2 --> D2[Fixed Hardware Cost]
C2 --> E2[Data Never Leaves]
end
Για Ενσωμάτωση (bit αναζήτησης RAG διανυσματικά):
Για γενιά (τις πραγματικές απαντήσεις "AI":
Για καθήκοντα κωδικοποίησης:
Το να τα διευθύνεις τοπικά δεν είναι τόσο δύσκολο όσο νομίζεις. ΟλάμαCity name (optional, probably does not need a translation), llama. cpp, VLLM, ή text-generation-inference Έχω φτιάξει πολλές εφαρμογές (δείτε το κάτω μέρος του άρθρου) που αποδεικνύουν αυτό το τρέξιμο στο καταναλωτικό υλικό.
Μια λογική αρχιτεκτονική χρησιμοποιεί:
Τοπικά μοντέλα για εργασίες υψηλής έντασης, χαμηλότερης πολυπλοκότητας
Σύννεφο APIs για περίπλοκη λογική όταν απαιτείται
Αυτή η υβριδική προσέγγιση σας δίνει τα οφέλη κόστους του τοπικού συνεδρίου με την ικανότητα των μοντέλων σύννεφο όταν πραγματικά το χρειάζεστε.
flowchart LR
subgraph Waterfall["❌ The Waterfall AI Project"]
W1[Month 1-3: Requirements] --> W2[Month 4-6: Build Platform]
W2 --> W3[Month 7-9: Integration]
W3 --> W4[Month 10: Demo - Looks Great!]
W4 --> W5[Month 11: Real Users Break It]
W5 --> W6[Month 12: Project Shelved]
end
subgraph Incremental["✅ The Incremental Approach"]
I1[Week 1-2: One Small Problem] --> I2[Week 3-4: Refine + Measure]
I2 --> I3[Week 5-6: Add Capability]
I3 --> I4[Week 7-8: Refine + Measure]
I4 --> I5[Repeat...]
I5 --> I6[Continuous Value Delivery]
end
style W5 stroke:#ff0000,stroke-width:3px
style W6 stroke:#ff0000,stroke-width:3px
style I6 stroke:#00aa00,stroke-width:3px
Κάθε βήμα στην προσέγγιση προσφέρει μετρήσιμη αξία. Κάθε βήμα σας διδάσκει κάτι. Αν κάτι αποτύχει, έχετε χάσει εβδομάδες, όχι μήνες.
Θυμάσαι το κόκκινο κουτί στο διάγραμμα;
Επενδύστε σε ποιότητα πάνω από την ποσότητα. Είναι καλύτερα να έχετε 1.000 τέλεια επεξεργαστεί έγγραφα από 100.000 κακή επεξεργασία αυτά. Ξεκινήστε με τα πιο σημαντικά έγγραφα σας και να τα πάρετε σωστά.
Χρησιμοποιήστε AI για να βοηθήσει με την κατάποση. Μοντέρνα οραματιστικά-γλωσσικά μοντέλα (GPT-4V, Claude, LLAVA τοπικά) μπορούν πραγματικά να διαβάσουν περίπλοκα έγγραφα - πίνακες, χάρτες, χειρόγραφα σημειώματα - με τρόπους που η παραδοσιακή OCR δεν μπορεί. Χρησιμοποιήστε τα για τα σκληρά έγγραφα.
Φτιάξτε βρόχους ανατροφοδότησης. Όταν η ανάκτηση αποτυγχάνει, log it. Όταν οι χρήστες λένε "αυτό δεν είναι ό, τι λέει το έγγραφο," αιχμαλωτίστε το. Χρησιμοποιήστε αυτή την ανατροφοδότηση για να βελτιώσετε τον αγωγό κατάποσης σας.
Δέξου ότι κάποια έγγραφα δεν θα δουλέψουν. Μερικές φορές η απάντηση είναι "θα χειριστούμε αυτόν τον τύπο χειροκίνητα" αντί να δαπανούμε μήνες σε ακραίες περιπτώσεις.
Μια λύση AI εργασίας χρειάζεται:
Αυτό που κάνουν τα περισσότερα έργα αυτό που πραγματικά λειτουργεί |-----------|----------------------|---------------------| Η κατάποση των δεδομένων, μετά την σκέψη η κύρια εστίαση Η ποιότητα των δεδομένων "AI θα το καταλάβει" Ο ειδικός αγωγός καθαρισμού Η βασική διανυσματική αναζήτηση Υβριδική αναζήτηση + επανασύνδεση Γενιά - Παραγωγή - Ακατέργαστη έξοδος LLM - Δομημένη έξοδος με επικύρωση Άνθρωπος αναθεώρηση Προαιρετικό □ Ενσωματωμένος στη ροή εργασίας Δεν υπάρχει κανένας βρόχος συνεχούς βελτίωσης ~ Παρακολούθηση ~ "Δουλεύει" ~Λεπτομέρειες & ειδοποιήσεις ~ Συντήρηση "Έξοδος 1 για πάντα" □ Τακτικές ενημερώσεις και επανεκπαίδευση
Το μοντέλο AI είναι ίσως 20% ενός συστήματος εργασίας. Το άλλο 80% είναι το βαρετό πράγμα που πραγματικά το κάνει να λειτουργεί στην παραγωγή.
Δεν μπορείς να βελτιώσεις αυτό που δεν μπορείς να μετρήσεις.
Αυτά τα δεδομένα σας λένε πού να επενδύσετε προσπάθεια. Ίσως η ανάκτηση σας είναι μεγάλη, αλλά η γενιά έχει παραισθήσεις. Ίσως ορισμένοι τύποι εγγράφων πάντα αποτυγχάνουν.
Εδώ είναι η πιο σημαντική αλλαγή που συμβαίνει αυτή τη στιγμή: η εποχή του "πέτα τα πάντα στο GPT-4 και ελπίδα για το καλύτερο" τελειώνει.
Η προσέγγιση 2023-2024 ήταν απλή: να πάρετε το μεγαλύτερο μοντέλο που μπορείτε να αντέξετε οικονομικά, να γεμίσετε το παράθυρο του πλαισίου σας με τα πάντα, και να προσεύχεστε.
Αλλά δεν κλιμακώνεται, είναι ακριβό, είναι αργό, και όλο και περισσότερο, είναι υπερδιαμορφωμένο από πιο έξυπνες αρχιτεκτονικές.
Το μέλλον δεν είναι ένα γιγάντιο μοντέλο που κάνει τα πάντα. πολλαπλά εξειδικευμένα μοντέλα που εργάζονται από κοινούΟ καθένας κάνει ό,τι είναι καλό.
flowchart TD
subgraph OldWay["The 2023 Approach"]
A1[Everything] --> B1[GPT-4]
B1 --> C1[Hope It Works]
B1 --> D1[£££££]
end
subgraph NewWay["The 2025+ Approach"]
A2[Input] --> B2[Router Model - Small/Fast]
B2 --> C2[Specialist Model A - Extraction]
B2 --> D2[Specialist Model B - Reasoning]
B2 --> E2[Specialist Model C - Generation]
C2 --> F2[Orchestrator]
D2 --> F2
E2 --> F2
F2 --> G2[Output]
end
Αυτό είναι ό, τι έχω εξερευνήσει στο DiSE (Directed Synthetic Evolution) Εpiιpiλέον, η Εpiιτροpiή piρέpiει να αpiοφασίσει ότι Η δομή κερδίζει την ευφυΐαΈνας προσεκτικός ενορχηστρωμένος αγωγός μικρών, επικεντρωμένων μοντέλων ξεπερνάει ένα μόνο τεράστιο μοντέλο προσπαθώντας να κάνει τα πάντα.
Η ίδια σκέψη ισχύει και για την Κινητήρας συνθετικής απόφασης έννοια: χρησιμοποιώντας πολλαπλά συστήματα υποστήριξης LLM σε ακολουθία, όπου κάθε μοντέλο φέρνει διαφορετικές δυνάμεις. Γρήγορα μοντέλα για την τριάδα, ακριβή μοντέλα για την επικύρωση, δημιουργικά μοντέλα για την παραγωγή.
Αν δεν το έχεις κάνει ήδη, δες το δικό μου. Σειρά RAG Αλλά εδώ είναι η βασική αντίληψη: Η ίδια η RAG είναι μια μορφή αυτής της ενορχηστρωμένης προσέγγισης. Χρησιμοποιείτε ετικέτες (ένα μοντέλο) για να βρείτε σχετικό περιεχόμενο, στη συνέχεια χρησιμοποιώντας ένα LLM (ένα άλλο μοντέλο) για να συνθέσει μια απάντηση.
Η επόμενη εξέλιξη προχωράει περαιτέρω:
Κάθε μοντέλο είναι μικρότερο, γρηγορότερο και φθηνότερο από τη χρήση GPT-4 για τα πάντα. Αλλά μαζί, ξεπερνούν την μονολιθική προσέγγιση.
Στην ψυχολογία, το πρακτορείο αναφέρεται στην ικανότητα να ενεργεί ανεξάρτητα, να κάνει επιλογές και να τις εκτελέσει στον κόσμο. Ένα agentic πρόσωπο δεν ανταποκρίνεται μόνο σε ερεθίσματα? Ξεκινούν δράση, επιδιώκουν στόχους, και να προσαρμόσει τη συμπεριφορά τους με βάση τα αποτελέσματα.
Πράκτορας AI εφαρμόζει αυτή την έννοια σε γλωσσικά μοντέλα. Αντί για το παραδοσιακό μοτίβο σας κάνει μια ερώτηση, το μοντέλο παράγει κείμενο ένα agentic σύστημα μπορεί στην πραγματικότητα Κάνε πράγματα.. Μπορεί να χρησιμοποιήσει εργαλεία, να εκτελέσει κώδικα, βάσεις δεδομένων ερώτημα, να καλέσει APIs, να γράψει αρχεία, και να ενορχηστρώσει πολλαπλές ροές εργασίας βήμα.
Αυτά είναι τα τελευταία μοντέλα του Ανθρωπιστικού (συμπεριλαμβανομένων Claude Opus 4.5 που κυριολεκτικά χρησιμοποιώ για να το γράψω αυτό μέσω του κώδικα Claude) αποδεικνύουν τόσο αποτελεσματικά.
Εδώ είναι το πράγμα που κάνει το ωραίο πλήθος να νιώθει άβολα: Εάν περιγράψετε αρκετά καλά τα εργαλεία, δεν χρειάζεστε ακριβή ρύθμιση για να τα χρησιμοποιήσετε. Σύγχρονα πρότυπα θεμέλια είναι αξιοσημείωτα καλή στη χρήση εργαλείων από το πλαίσιο σας απλά χρειάζεστε σαφή σχήματα συνάρτησης και καλή τεκμηρίωση στο πλαίσιο.
Πρόκειται για μια μαζική μετατόπιση από την προσέγγιση Toolformer (καλή-τέλεια ένα μοντέλο για να μάθετε πότε να χρησιμοποιείτε εργαλεία με τη μέτρηση των αποτελεσμάτων).Αυτό είναι ακριβό, απαιτεί εξειδικευμένα δεδομένα κατάρτισης, και σας κλειδώνει σε ένα συγκεκριμένο σύνολο εργαλείων. Η εναλλακτική λύση; Περιγράψτε τα εργαλεία σας σαφώς, δώσει το πρότυπο καλό πλαίσιο, και αφήστε το να καταλάβει πότε να τα χρησιμοποιήσει.
Τα αποτελέσματα είναι συχνά καλύτερα επειδή:
flowchart TD
subgraph RAG["Traditional RAG Chatbot"]
R1[User Question] --> R2[Search Documents]
R2 --> R3[Construct Prompt]
R3 --> R4[LLM Generates Answer]
R4 --> R5[Return to User]
end
subgraph Agentic["Agentic AI Pattern"]
A1[User Task] --> A2[LLM Understands Task]
A2 --> A3[Break Into Steps]
A3 --> A4{Select Tool}
A4 --> A5[Execute Tool]
A5 --> A6{Evaluate Results}
A6 -->|Need More| A4
A6 -->|Done| A7[Return to User]
end
style A6 stroke:#00aa00,stroke-width:3px
Αυτό το αντιδραστικό μοτίβο είναι ουσιαστικά διαφορετικό από τα chatbots του RAG και είναι εκεί που βρίσκεται η πραγματική αξία.
Πλαίσια όπως LangChain, LlamaIndex, και Semantic Kernel καθιστούν αυτό δυνατό σήμερα. Μπορείτε να δημιουργήσετε συστήματα όπου:
Οι εταιρείες που το αντιλαμβάνονται αυτό θα κατασκευάσουν συστήματα AI που λειτουργούν πραγματικά. Αυτές που προσπαθούν ακόμα να τελειοποιήσουν το δρόμο τους προς την επιτυχία ή την κατασκευή ενός ακόμα chatbot RAG θα συνεχίσουν να απογοητεύονται.
Έχω γράψει εκτενώς γι' αυτά τα μοτίβα:
Τι θα Μάθετε, τι θα μάθετε; |-------|--------------------------------------------------------------------------|-----------------------------------------------------------------| | Αρχιτεκτονική | DiSE vs Voyager Γιατί η δομημένη ενορχήστρωση κερδίζει τα μονολιθικά μοντέλα | Multi- Model | Μηχανές συνθετικής απόφασης Αγωγοί κατασκευών εξειδικευμένων μοντέλων | ΜΕΘΟΔΟΙ Θεμελιωδών | Σειρά ΚΓΠΕ Από τις παρεμβολές στα συστήματα παραγωγής | Τοπικές Ενσωμάτωση | Σημασιολογική Αναζήτηση με το ONNX Τοπικές διανυσματικές αναζητήσεις φιλικών προς το CPU | Τοπικά LLMs | DiSE Ένα σύστημα ροής εργασίας selkf evolvign χρησιμοποιώντας τοπικά μοντέλα που συνδέονται μεταξύ τους | Προσομοίωση API | LLMAPIConstellation name (optional, probably does not need a translation) Η χρήση τοπικών LLMs για την προσομοίωση APIs για τη δοκιμή | Πρακτικές ΚΓΠΕ | Κατασκευή Δικηγόρου GPT Ολοκληρώστε την εφαρμογή των ΚΓΠΕ με τα πόδια
Το ερώτημα είναι αν η οργάνωσή σας θα οικοδομήσει κάτι λογικό ή άλλο χαζό έργο AI.
Το σημερινό εμπορικό τοπίο AI μου θυμίζει την πρώιμη εποχή του Ιστού. Όλοι χρειαζόντουσαν μια "στρατηγική ιστοσελίδων." Οι εταιρείες έχτισαν ιστοσελίδες επειδή έπρεπε, όχι επειδή ήξεραν τι να κάνουν με αυτές. Οι περισσότερες από αυτές τις ιστοσελίδες ήταν άχρηστες.
Τελικά, οι εταιρείες που πέτυχαν ήταν αυτές που κατάλαβαν τι ήταν πραγματικά καλό για το διαδίκτυο και χτίστηκε για αυτό. Το ίδιο θα συμβεί και με την AI.
Αυτή τη στιγμή, είμαστε στην φάση "φτιάξτο γιατί πρέπει" τα περισσότερα έργα είναι χαζά, τα περισσότερα θα αποτύχουν ή θα υποχωρήσουν, αυτό είναι φυσιολογικό για τη νέα τεχνολογία.
Αλλά αν θέλετε να είστε ένα από αυτά που επιτυγχάνει, σταματήστε να ακολουθείτε το πρότυπο. Ξεκινήστε με πραγματικά προβλήματα. Επενδύστε στα βαρετά κομμάτια. Και για την αγάπη του Θεού, διορθώστε τον αγωγό κατάποσης εγγράφων σας πριν κατηγορήσετε το LLM.
Τα δεδομένα σου είναι, οι διαδικασίες σου είναι, οι μη ρεαλιστικές προσδοκίες σου είναι.
Φτιάξε αυτά πρώτα και ίσως το πρότζεκτ σου να μην είναι χαζό.
© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.