Nous sommes en train de mettre sur pied un assistant du savoir doté d’une intelligence intelligente qui révolutionnera la façon dont nos employés ont accès à l’information.

• Toutes les annonces de travail, pitch deck, et proposition d'avis consultatif dans M SK2

Introduction

J'ai passé le mois écoulé environ correctement dans l’espace commercial de l’AI . Je suis passé à lire des quantités considérables d’annonces de marketing M SK2 Je me suis rendu sur plusieurs dizaines d’avis d’emploi . J’ai assisté à plus de démonstrations de produits que je ne peux admettre.

Il s’agit presque de la même chose.

"AIM SK1base de connaissances d'entreprise puissante." "Suite des documents intelligentesMSC4 |"Customer chatbot avec le savoir-faire de l'entrepriseMST6 Enlèvez la copie de marketing insensée et vous MST7pourriez trouver la même architectureMst8les mêmes modes de défaillanceM st9et les mêmes intervenants déçus environ six mois après la mise en œuvre de ce programmeM ST10

Les variantes de chatbot pour les clients sont particulièrement divertissantes—elles peuvent devenir des catastrophes PR remarquablement rapidement lorsque les développeurs qui ne comprennent pas les rails de garde les laissent tomber sur le publicM SK2 Rien n’est tout à fait similaire à ce que votre bot d’appui offrent volontiers des remboursements que vous ne donnez 't donnons, inventant des fonctionnalités de produit qu’il n’existe pasMSC5t existe,, ou se livrant à un tangent philosophique au sujet du sens de l’existence quand quelqu’un demande quel est le délai d’expéditionMST7 Sans contraintes appropriées,MST8 ces robots promettront heureusement quelque choseM ST9 admettent des crimes que votre entreprise n’a pas commis,M ST10t ne s’engagent pas,M st11 ou élaborent des opinions fortes concernant vos concurrents,M S ST12 L’exemple canonique reste Air Canada M ST13 dont le chatbot invente avec confiance une politique de décès qui n’avait pas existé,M T14t existait,M St15et où l’entreprise est tenue devant le tribunal.

C’est là le secret sacré que personne de la direction ne veut entendre. La plupart des projets d’AI commerciaux sont :

Avant d’aller plus loin, , est une dénonciation.:, I', je ne suis pas un visionnaire de l’AI, mais " ou quel que soit le titre du moment qui a été inspiré par l’hype, M SK5, (, surtout des anciens visionnaires de la chaîne de blocs, M" et M', qui ont pivoté avec commodité, MMRK10, j’ai ', je suis un ingénieur en logiciels qui a construit ce type de systèmes, MSSK13, recherche, MSRK14, gestion du savoir, ,, traitement des langues naturelles,MSSK16, soutien aux décisions, SSK17, depuis près de trois décennies.

Les deux types de projets d'AI commerciaux

En éliminant les pièges de marketing, vous constaterez qu’environ 95% des projets commerciaux "AIM SK3 tombent dans l’une des deux catégories.

Type 1: Le pipeline RAG

C’est de loin la solution la plus courante.

flowchart LR
    A[Documents] --> B[Document Ingestion Pipeline]
    B --> C[Vector Database / RAG]
    C --> D[Construct Prompts]
    D --> E[LLM API Call]
    E --> F[Hybrid Search]
    F --> G[Response to User]

    style B stroke:#ff0000,stroke-width:4px

Cette boîte rouge, ?, c’est là où tout se rompt. . Plus sur ce sujet dans un instant.

Le ton est impressionnant: M SK1Nous' avons construit une A.I. qui comprend les documents de votre entreprise ' et peut répondre intelligentement aux questions.

La réalité: VousM SK1 avez construit un moteur de recherche avec des étapes supplémentaires et une £10,000/ facture OpenAI mensuelleMSC3

Type 2: Le modèle fine-Tuned

Ce modèle, ', est encore plus doux.

La réalité : Vous ' avez pris quelqu’un d’autre, le modèle de ' et il est bon, - l’avez ajusté sur un ensemble de données dont la taille serait probablement trop petite, , trop sale, M SK6 trop étroite pour faire une différence significative par rapport à l’utilisation du modèle de base avec de bonnes indications, MSC7

flowchart TD
    A[Existing LLM] --> B[Collect Training Data]
    B --> C[Clean Data - Maybe]
    C --> D[Fine-tune Model]
    D --> E[Deploy Model]
    E --> F[Discover it's not much better than base model]
    F --> G[Keep paying for inference anyway]
    G --> H[Hope nobody notices]

Les projets d’ajustement les plus bons que j’ai pu constater auraient été mieux servis en dépensant le même argent pour améliorer leurs systèmes de prompt et de récupération.

Pourquoi l'ingestion de documents est là où les rêves meurent

Nous parlons de cette boîte rouge dans le diagramme RAG. L'ingestion de documents est la partie qui manque le plus souvent, et c’est le ' qui reçoit la moins d’attention dans les démonstrations lumineuses.

Voici ce que montre la démonstration des ventes.

• Des fichiers PDF magnifiques s'infiltrent dans le système
• Nettoyage du marquage extrait parfaitement
• Tous vos connaissances, searchable by AI!

Voici ce qui se passe en réalité :

Le problème du PDF

Les PDF sont un cauchemar. Ils ont été conçus pour imprimer, non pas pour extraire des données structurées . Tous les parsateurs de PDF que j’ai utilisés ont différents modes de défaillanceM SK4

• Colonnes qui sont fusionnées incorrectement
• Tableaux qui deviennent ridicules
• Intitulés et paragraphes qui polluent le contenu
• Documents scannés qui ont besoin d’un OCR (et l’OCR a ses propres taux d’erreur
• Sécurité-documents protégés qui ne peuvent pas être traités
• Questions d'encodage de caractères qui transforment le texte en déchets

Et ce n’est que des fichiers PDF.

• Dossiers PowerPoint avec texte dans SmartArt
• Documents Word avec changement de piste
• Dossiers Excel avec cellules fusionnées
• Images scannées avec écriture manuelle
• Formats d'héritage des systèmes décédés dans les 90s

La catastrophe de la flambée

Une fois que vous avez extrait le texte (poorly),, il faut le regrouper pour votre base de données vectorielle.

"NousM SK1nous utiliserons le chunking sémantique!" Très grandMSC3 votre contrat de page est maintenant 500 chunksMST6 et l’AI n’a aucune idée des liens qui existent ou dans quelle ordre ils apparaissent.

"Nous'nous utiliserons des tronçons fixesM SK2des morceaux de taille qui se chevauchent.

flowchart TD
    A[Original Document] --> B[Chunk 1: This contract shall be governed by]
    A --> C[Chunk 2: the laws of the State of California]
    B --> D[Embedding: Legal stuff?]
    C --> E[Embedding: Geography?]
    D --> F[User asks about jurisdiction]
    E --> F
    F --> G[AI: Based on my knowledge, possibly California, or maybe legal governance, who knows]

Message des métadonnées

Un bon RAG a besoin de bonnes métadonnées. Mais il est difficile d’extraire des métadonnée de documents:

• Quelle est la date du document?1 Date de création?2 Date de modification?3 Date mentionnée dans le contenu?4
• Qui est l’auteur du dossier?
• À quelle catégorie appartient-elle?? Votre taxonomie ne correspond probablement pas à la façon dont les documents ont été organisés.
• Est-ce que ce document est encore valide? Ou a-t-il été remplacé par quelque chose de nouveau dont votre système ne sait pas?

La plupart des organisations possèdent depuis des décennies des documents comportant des conventions de désignation incohérentes, des structures de dossiers , qui ont un sens pour quelqu’un qui a laissé dans 2003, et des métadonnées que

The Fine-Tuning Fantasy

Mais la façon dont la plupart des entreprises s’y attaquent est fondamentalement défaite.

Le problème des données

Fine-la mise à l’essai requiert des données de formation de qualitéM SK1 La plupart des entreprises ne disposent pas d’une telle technologie'elle n’y a pas de telles données . Elles ont une telle technologie

• Noisy, données incohérentes dispersées dans les systèmes
• Données qui reflètent la façon dont les choses ont été faites, non la manière dont elles devraient être faites
• Données qui ' est pleine d’erreurs que personne n’a jamais cherché à corriger
• Données qui sont propres à ' mais n’ont pas vraiment la valeur voulue

"Nous'nous ferons l’objet d’une amende -la chance sur nos billets de soutienM SK3 Vos billets sont remplis de clients frustrésMSC4 des informations inexactes du personnel juniorMST5 et des cas-marchés qui ne représentent pas une utilisation normaleM ST7

"Nous 'Il sera bon-la chance sur nos appels de venteM SK3Vous voulez dire ceux où les vendeurs font des promesses que le produit ne peut tenirMSC4

Le problème de l'évaluation

Comment savoir si votre modèle ajusté est vraiment meilleur? La plupart des entreprises ne peuvent pas répondre à cette question parce que

• Ils ne disposent pas d’un bon ensemble de données de référence.
• Ils n’ont pas de critères d’évaluation clairs.
• Ils n’ont pas effectué de tests rigoureux d’A1 et B
• Ils 'concilient les vibes , non les données

J’ai vu des entreprises consacrer six mois d’amende à la modélisation d’un modèle, puis n’avoir aucun moyen de le prouver.

Le problème de l'entretien

Faible-les modèles ajustés ont besoin d’être mis à jour.Vous changements dans votre entrepriseM SK2 Vos produits changent . vos procédés changent–. Le modèle que vous avez ajusté en janvierMSC5 donne maintenant des réponses fondées sur de l’information périmée.

Mais la mise à jour signifie:

• Collecte de nouvelles données sur la formation
• Renouveler l'entraînement
• Validation du nouveau modèle
• Déploiement
• J'espère que vous n'avez pas introduit de régressions.

La plupart des entreprises s’enrichissent une fois et vivent ensuite avec la dérive. Le modèle devient lentement moins pertinent alors que tout le monde se prétend l’être.

Les projets "AIM SK1 sont-ils vraiment bons pour

Donn't get me wrong. Il y a des cas légitimes d’utilisation de :

flowchart TD
    subgraph RAGWorks["✅ RAG Works When"]
        R1[Well-structured docs]
        R2[Clear metadata]
        R3[Search + synthesis use case]
        R4[Heavy ingestion investment]
        R5[Feedback loops exist]
    end

    subgraph FTWorks["✅ Fine-Tuning Works When"]
        F1[Large high-quality dataset]
        F2[Base model truly struggles]
        F3[Ongoing maintenance budget]
        F4[Clear eval metrics]
        F5[Already tried prompting + RAG]
    end

    style R4 stroke:#00aa00,stroke-width:2px
    style F5 stroke:#00aa00,stroke-width:2px

Les cases vertes sont les conditions préalables pour la plupart des projets skip. "Nous'nous avons déjà optimisé l’invitation et le RAGM SK2 est la barre de fine-tuning. "Investissements importants dans l’ingestion est la barre pour RAG. Passer sur ces et vousM SK1re bâtir sur le sable .

Les véritables problèmes que personne n’a pu résoudre

Alors que tout le monde construit la même conduite RAG, ,, les problèmes intéressants de l’AI commerciale sont ignorés.

Qualité des données

La plus grande contrainte à l’efficacité de l’AI est que le modèle n’est pas ', mais ., les données sont ' et ..

• Les données se propagent dans des dizaines de systèmes qui ne parlent pas entre eux.
• Aucune source unique de vérité pour rien
• La gouvernance des données qui, selon ', est plus aspirative que réelle
• Questions liées à la qualité que personne n’a de budget pour régler

Mais "initiative en matière de qualité des données " ne vous donne pas't un article Forbes comme "transformation AIM SK4 vous donneMSC5

Intégration du processus

Dropping an AI chatbot into a existing process doesn't magically make it better . The process needs to be redesigned around the AI's capabilities and limitationsM SK3 La plupart des entreprises se contentent de placer l’AI sur les processus défectueux et se demandent pourquoi elle ne le fait pas.

Human-AI Collaboration

Les meilleures applications de l’AI augmentent les capacités humaines plutôt que d’essayer de les remplacer.

Les humains + L’AI qui travaille ensemble requiertM SK1

• Éliminer les points d'abandon
• Rationalisation de l'AI transparente
• Mécanismes d'ouvrier facile
• Rétroactions pour l'amélioration

La plupart des projets d’AI commerciaux traitent de l’être humain comme une réflexion postérieure.

Innovation authentique

Les applications véritablement précieuses de l’AI sont les suivantes :

• Faire fonctionner des choses qui étaient antérieurement impossibles
• Créer de nouvelles catégories de valeur
• Résoudre les problèmes de façon fondamentalement nouvelle

Mais ceux-ci sont difficiles. Les pipelines RAG sont faciles.

Le complexe industriel consultatif

L’écosystème consultatif est un moteur important des projets d’AI stupides:

flowchart TD
    A[Big Consultancy Tells C-Suite: You Need AI!] --> B[C-Suite Panics]
    B --> C[Consultancy Deploys Army of Juniors]
    C --> D[Recommendations: RAG + Fine-Tuning]
    D --> E[Build Same Thing as Last 20 Clients]
    E --> F[Demo Goes Well]
    F --> G[Reality: Real Data Breaks Everything]
    G --> H[Consultancy Moves On]
    H --> I[Internal Team Struggles]
    I --> J[Project Quietly Fails]
    J --> K[Nobody Admits It]
    K --> A

    style G stroke:#ff0000,stroke-width:3px
    style J stroke:#ff0000,stroke-width:3px

I' j’ai vu ce schéma des dizaines de fois . La consultante est rémunérée M SK2 Les cadres supérieurs disent qu’ils " ont fait appel à l’aide d’un intelligence artificielle ." Les ingénieurs se retrouvent bloqués dans le maintien d’une chose qui ne fonctionne guère MSC5 Et le problème commercial réel reste encore non résolu

Exigences relatives à l'AI dirigée par VC-

Les startups tombent dans une piège légèrement différente.

timeline
    title Technology Requirements for VC Funding
    2005 : Web 2.0 - "You need social features"
    2010 : Mobile - "You need an app"
    2015 : Cloud - "You need to be cloud-native"
    2018 : Blockchain - "You need a token"
    2023 : AI - "You need an AI strategy"

Sound familiar? Every few yearsM SK1 there's a new technology that VCs decide is essential . If your pitch deck doesnMSC4t mention it prominentlyMNK5 youMRK6re not getting funded MNK7 The technology might be irrelevant to your actual productMMK8doesnMKK9t matterMZK10 You need the buzzwordMGK11

J’ai observé ce qui se passe avec la blockchain dans 2017-2018. Les entreprises qui n’avaient pas d’affaires à être sur une blockchain étaient en train de mettre des tokens dans leurs produits parce que c’est cela qui a obtenu le financement . La plupart de ces fonctionnalités de la blockchain disparaissent silencieusement une fois que l’argent est garanti

Aujourd’hui, c’est avec l’AI qu’il se passe.

Les entreprises commencent à mettre en place des fonctions LLM sur les produits qui n’ont pas besoin de celles-ci parce que

• Les investisseurs n’ont pas regardé les ponts sans mentionner « " , AI , " »
• Les valeurs sont 3-5x plus élevées pour les entreprises de "AIM SK2
• La presse ne traite que des histoires d'AI
• "AI-poweredM SK2 est un placement de table pour la commercialisation

Résultat? Produits comportant des fonctionnalités AI incommodes que les utilisateurs ignorent. Runway brûlé sur fines pistes - Experiments d’ajustement qui ne vont ni à l’endroitM SK3 Du temps d’ingénierie gaspillé sur les systèmes RAG lorsqu’une simple demande de base de données fonctionnerait mieuxMSC4

La pire partie: bon nombre de fondateurs savent que c’est stupide. Ils construisent des fonctions d’AI qu’ils ne croient pas, car ils doivent survivre assez longtemps pour construire ce qui leur importe réellement.

Si vous êtes un fondateur de startup qui est forcé d’ajouter AI, demandez-vous :

• L’AI améliorera-t-elle vraiment mon produit' sa proposition de valeur fondamentale?
• Est-ce que je vérifie simplement une case pour les investisseurs?

S’il s’agit de ce dernier, MSK01, bâtir la fonctionnalité d’AI minimale viable qui répond à la question posée, ,, puis vous concentrer sur ce qui est réellement important. ., Ne laissez pas l’environnement financier vous détourner de construire quelque chose de précieux.

Le complexe industriel Hype

C’est là la vérité incommode que personne dans l’AI ne veut discuter. presque tout le monde dans l’écosystème a un incitatif financier pour maintenir la flambée.

flowchart TD
    subgraph Researchers["🔬 Frontier Labs"]
        R1[Need billions for compute]
        R2[Must show progress to justify spend]
        R3[Hype generates investment]
    end

    subgraph Companies["🏢 Tech Companies"]
        C1[Need AI angle for valuation]
        C2[Must justify AI team costs]
        C3[Hype drives stock price]
    end

    subgraph Investors["💰 Financial Backers"]
        I1[Massive capital deployed]
        I2[Need exits and returns]
        I3[Hype maintains valuations]
    end

    subgraph Media["📰 Tech Media"]
        M1[AI stories get clicks]
        M2[Access depends on positive coverage]
        M3[Hype drives engagement]
    end

    R3 --> I1
    C3 --> I1
    I3 --> R1
    I3 --> C1
    M3 --> R3
    M3 --> C3

Les chercheurs dans les laboratoires de première ligne, il faut des milliards d’argent en calcul pour former la prochaine génération de modèles.0 Les fonds proviennent des investisseurs et des grandes entreprises technologiques.1 Pour justifier cette dépense,2 ils doivent démontrer le progrès.3 et 4 se traduisent par des annonces insensées sur les capacités qui peuvent ou ne peuvent pas se matérialiser dans les applications pratiques.6 Si l’hype disparaît,7 le financement s’écoule.8

Les entreprises ( tant les laboratoires d’AI que tous ceux qui utilisent l’AI ) ont besoin de la narration pour poursuivre

Les investisseurs ont déployé des sommes considérables de capitaux dans l’AI.

Les médias a découvert que les histoires d’AI génèrent un engagement massif. La couverture nuancelle n’obtient pas de clics ' la couverture nuancieuse ne reçoit pas de clicks. M SK3 l’AI tiendra votre emploi

Le résultat? Un cycle d’hype renforçant de soi- où tout le monde a des raisons de maintenir les attentes inflationnantesM SK2 et très peu de gens profitent de dire la vérité .

Cela ne signifie pas que l’AI n’est pas vraiment utile, mais qu’elle est absolument utile, comme je l’ai discuté tout au long de cet article.

Lorsque quelqu’un vous dit que l’AI va révolutionner votre entreprise, demandez-vous ce qu’ils tirent de vous en croyant en cela.

Qu’est-ce que vous devez faire en fait?

Si vous envisagez d’entreprendre un projet d’AI, veuillez lire ce qui suit :

1. Démarrer par le problème, Pas la technologie

Donn't ask M SK1how can we use AI?" Ask "what problem are we trying to solveMST4 If AI is the right solutionM ST5 greatM st6 But often it isnMst7tMSt8

2. Fixez vos données d’abord

Avant de construire un pipeline RAG, corriger le problème du document. Avant de régler votre problèmeMSC2tuneM SK3 nettoyer vos données d’entraînement . L’AI ne sera pas en mesure de corriger vos problèmes de donnéesMNK6 elle les amplifieraMRK7

3. Démarrer petit et répéter

Donn't launch a massive "AI transformation ." Construire une petite preuve du conceptMSC3 Tester avec des utilisateurs réelsM SK4 Apprenez ce qui fonctionne réellementMNK5 Puis élargirMRK6

4. Investir dans les bits borants

Le pipeline d’ingestion du document n’est pas sexy, le nettoyage des données n’était pas extrêmement intéressant, le cadre d’évaluation n’établissait pas ce que vous pouvez démontrer au jury, mais c’est ce qui détermine la réussite ou l’échec.

5. Soyez honnête quant aux limites

L’AI n’est pas une magie't magicM SK1 Les LS actuels hallucinaient. Les systèmes RAG manquent les documents pertinentsMSC3 Faux - La dérive des modèles ajustésMNK5 Fixer des attentes réalistesMRK6

6. Plan d'entretien

Construire le système est peut-être 30% de l’effort. Maintenir celui-ci , l’améliorerM SK3 et le maintenir pertinent, c’est l’autre budget correspondant.

7. Étudier si vous avez besoin d’une solution personnalisée

Peut-être ce dont vous avez besoin, c’est simplement une meilleure utilisation de l’outil off-the-shelf toolsM SK2 ChatGPT avec quelques instructions personnalisées pourrait être suffisante . Tout n’a pas besoin d’une plate-forme AI personnaliséeMSC4

Mais ils ne doivent pas être stupides

D’accord, J’ai eu quelques mots à dire pour dénoncer les projets d’AI commerciauxM SK2 Maintenant, pour la partie prometteuse : Ces projets peuvent vraiment fonctionner, si vous les approchez de façon sensée .

Il s’agit de la mise en œuvre lente, des attentes irréalistes et de l’ignorance des principes fondamentaux.

Placer l’AI dans les flux de travail existants, Don't Remplacer ceux-ci

La plus grande erreur que je vois est de traiter l’AI comme un remplacement pour les processus existants plutôt qu’une amélioration. Votre entreprise a déjà des flux de travail qui fonctionnent.

flowchart TD
    subgraph Traditional["Traditional Workflow"]
        A[Document Arrives] --> B[Human Reviews]
        B --> C[Decision Made]
        C --> D[Action Taken]
        D --> E[Results Logged]
    end

    subgraph Enhanced["AI-Enhanced Workflow"]
        A2[Document Arrives] --> AI1[AI: Extract Key Info]
        AI1 --> B2[Human Reviews - With AI Summary]
        B2 --> AI2[AI: Suggest Decision Based on History]
        AI2 --> C2[Human Makes Final Decision]
        C2 --> D2[Action Taken]
        D2 --> AI3[AI: Auto-categorise & Log]
        AI3 --> E2[Results Available for Future AI Training]
    end

Notez ce qui diffère'

• Les humains sont encore dans le cercle pour prendre des décisions importantes
• L'AI gère les bits onéreux - extraction , sommaire M SK2 catégorisation
• Chaque étape de l'AI est petite et vérifiable - si l’AI obtient une extraction erronéeM SK1 l’humain la capture au cours de l’examen
• Des boucles de rétroaction existent - Les résultats enregistrés forment des améliorations futures de l’AI

Cela est beaucoup plus robuste que " l’AI gère tout et parfois une personne vérifie.

Utiliser des LLM locaux pour les coûts et la confidentialité

Vous n’avez probablement pas besoin de GPT, -4 ou Claude pour la plupart des tâches.

Le problème du coût

À l’échelle , les coûts de l’API s’accroissent rapidement . Un système RAG chargé pourrait faire des milliers d’appels LLM par jour

Le problème de la confidentialité

De nombreuses organisations peuvent't M SK1ou ne devraient-elles pas 'tMSC3 envoyer leurs documents à des API externes:

• Documents juridiques avec renseignements sur le client
• Dossiers médicaux
• Données financières
• Recherche privée
• Tout ce qui est visé par la GDPR, HIPAA , etcM SK2

La solution: Modèles locaux

Moderne et ouverte-les modèles de source sont vraiment bons . Running locally means:

• Coût marginal zéro par demande - vous 'vous avez payé pour l’équipement,l’inférence est :
• Protection complète des données - rien ne laisse votre infrastructure
• Aucune limite de taux - élargir autant que votre matériel le permet
• Options de customization - fineM SK1tune sans que les données ne laissent votre contrôle

flowchart LR
    subgraph Cloud["Cloud API Approach"]
        A1[Your Documents] --> B1[Internet]
        B1 --> C1[OpenAI/Anthropic]
        C1 --> D1[£££/month]
        C1 --> E1[Privacy Concerns]
    end

    subgraph Local["Local LLM Approach"]
        A2[Your Documents] --> B2[Your Server]
        B2 --> C2[Local LLM]
        C2 --> D2[Fixed Hardware Cost]
        C2 --> E2[Data Never Leaves]
    end

Options pratiques du modèle local

Pour intégration (la bit de recherche par vecteur RAG):

• sentence-transformeurs - FastM SK1 exact, fonctionne sur un matériel modeste
• nomic-embed - Grande qualitéM SK1 petite empreinte
• Modèles BGE - Compétitif avec les options commerciales

Pour génération (les réponses réelles "AIM SK2

• Llama 3.1 8BM SK2B - Excellente utilisation générale , excellente instruction à suivre
• Mistral/Mixtral - rapide , efficace M SK2 bon raisonnement
• TÉU, TPAC et TPMD - Capacité surprenante pour sa taille
• Qwen 2.5 - Un soutien multilingue solide

Pour Les tâches de codage:

• CodeLlama - Formé spécifiquement pour le code
• DeepSeek Coder - Excellente compréhension du code
• StarCoder - Bon pour de nombreuses langues

Le fonctionnement local de ces outils n’est pas aussi difficile que vous le pensez. Ollama, .cpp, vLLM, ou texte-générationM SK1inférence make it straightforward. IM SK1ve built a number of apps (see the bottom of the article ) that demonstrates this running on consumer hardware

L'approche hybride

Vous n’avez pas à aller tout, vous ne devez rien faire. Une architecture sensible utilise

1. Modèles locaux pour les tâches de complexité élevées-volumeM SK1 inférieure-

   • Classification des documents
   • Extraction d'entités
   • Question simple Q&A
   • Résumé

2. APIs en nuage pour un raisonnement complexe au besoin

   • Analyse de plusieurs étapes complexes
   • Tasks nécessitant les plus grandes fenêtres contextuelles
   • Recul lorsque la confiance du modèle local est faible

Cette approche hybride vous donne les avantages de l’inférence locale avec la capacité des modèles cloud lorsque vous en avez vraiment besoin.

Établir une valeur accrue, Pas de transformations de Big Bang

flowchart LR
    subgraph Waterfall["❌ The Waterfall AI Project"]
        W1[Month 1-3: Requirements] --> W2[Month 4-6: Build Platform]
        W2 --> W3[Month 7-9: Integration]
        W3 --> W4[Month 10: Demo - Looks Great!]
        W4 --> W5[Month 11: Real Users Break It]
        W5 --> W6[Month 12: Project Shelved]
    end

    subgraph Incremental["✅ The Incremental Approach"]
        I1[Week 1-2: One Small Problem] --> I2[Week 3-4: Refine + Measure]
        I2 --> I3[Week 5-6: Add Capability]
        I3 --> I4[Week 7-8: Refine + Measure]
        I4 --> I5[Repeat...]
        I5 --> I6[Continuous Value Delivery]
    end

    style W5 stroke:#ff0000,stroke-width:3px
    style W6 stroke:#ff0000,stroke-width:3px
    style I6 stroke:#00aa00,stroke-width:3px

Chaque étape de l’approche incrémentale procure une valeur mesurable. Chaque étape vous apprend quelque chose

Faire de l’ingestion du document une première préoccupation dans la classe -

Rappelez-vous de cette boîte rouge dans le diagramme.

Investir dans la qualité par rapport à la quantité. Il est préférable d’avoir 1,000 des documents parfaitement traités que 100,000 de ne pas les avoir traités correctement.

Utiliser l’AI pour aider à l’ingestion. Vision moderne- Modèles de langage (GPT-4VMSC3 ClaudeM SK4 LLaVA localementMska5 peut en fait lire des documents complexes Mske6 tableauxMski7 diagrammesMskie8 notes manuscrites - de façon que les OCR traditionnels ne peuvent pas le faireMiske10 Les utiliser pour les documents dursM Ske11

Établir des boucles de rétroaction. Lorsque la récupération ne fonctionne pas, enregistrez-le . Quand les utilisateurs disent "ce queM SK3 n'est pas ce qu'il dit dans le documentMSC4 l'obtiennentMST5 Utilisez cette rétroaction pour améliorer votre pipeline d'ingestion

Acceptez que certains documents won't work. Il ne vaut pas la peine de lutter avec tous les anciens fichiers PDF scannés.

Pensez au système complet, Pas seulement à la bit AI

Une solution d’AI fonctionnelle est nécessaire:

Composante	Ce que la plupart des projets font	Ce qui fonctionne réellement
Ingestion des données	Suivi de l’étude MSC2 Concentration primaire MSC3
Qualité des données	"L'AI en déterminera le résultatM SK3 | Pipeline de nettoyage dédiée \
Récupération	Recherche par vecteur de base	Recherche hybride + reclassement S
Génération	Produit brut de LLM	Produits structurés avec validation
Examen de l’employé	Optionnel	Intégration dans le processus de travail M
Rétroaction ≥	Aucune	Éroule d'amélioration continue
Surveillance MSC1 SMC2IlMSc3se fonctionneMS C4 \MSC5 Mesures détaillées MSC6 alerting MESC7
Maintenance MSC1 SMC2Version MSC3 pour toujours MSc4 \ MSc5 Mise à jour régulière & recyclage

Le modèle de l’AI est peut-être 20% d’un système de travail. L’autre 80% est le bruit qui en fait fonctionner dans la production.

Établir une visibilité dès le premier jour

Vous pouvez améliorer ce que vous pouvez mesurer. Tous les systèmes d’AI devraient suivre.

• Qualité de récupération: Avez-vous trouvé des documents pertinents?
• Qualité de la génération: Les réponses sont-elles exactes?
• Satisfaction des utilisateurs: Les gens le trouvent-ils vraiment utiles?
• Coût par demande: Quelles dépenses faites-vous réellement?
• Modes de défaillance: À quel moment il se débrouilleM SK1 Taux d'erreur de suivi par type de document , type de demande M SK3 etc.

Ces données vous indiquent où investir l’effort.

La fin de "La grande LLM résout tout"

Voici le changement le plus important qui se passe à l’heure actuelle. L’ère de "de jeter tout au GPTM SK1et d’espérer le meilleur

L’approche 2023-2024 était simple : obtenez le plus grand modèle que vous pouvez vous permettre , remplissez votre fenêtre contextuelle de toutes sortes M SK3 et priez–. Il a bien fonctionné MSC5 type de MST6 Pour les démonstrations MSV7 pour les prototypes M SV8 Pour obtenir l’investissement M Sv9

Mais ce n’est pas le cas. Il est coûteux, il est lent et de plus en plus efficace par des architectures plus intelligentes.

Le changement vers les petits modèles orchestrés

Le futur n’est pas un modèle géant qui fait tout. multiples modèles spécialisés travaillant ensemble, chacun fait ce qu’il faut' est bon à la .

flowchart TD
    subgraph OldWay["The 2023 Approach"]
        A1[Everything] --> B1[GPT-4]
        B1 --> C1[Hope It Works]
        B1 --> D1[£££££]
    end

    subgraph NewWay["The 2025+ Approach"]
        A2[Input] --> B2[Router Model - Small/Fast]
        B2 --> C2[Specialist Model A - Extraction]
        B2 --> D2[Specialist Model B - Reasoning]
        B2 --> E2[Specialist Model C - Generation]
        C2 --> F2[Orchestrator]
        D2 --> F2
        E2 --> F2
        F2 --> G2[Output]
    end

C’est ce que j’ai étudié dans mon DiSE (Evolution synthétique dirigée) — l’idée que La structure bat la brilliance. Un pipeline soigneusement orchestré de modèles ciblés, plus petits que ceux d’un seul modèle massif qui cherche à faire tout.

Le même raisonnement s’applique à la Système de décision synthétique concept: utilisation de multiples backends LLM en séquence , chaque modèle présentant des forces différentes

Pourquoi cela est important pour le RAG

Si vous n’avez pas encore't déjà,, vérifiez mon Série RAG Il s’agit là d’une étude approfondie des principes fondamentaux, mais c’est ici que l’on obtient un aperçu clé. Le RAG lui-même est une forme de cette approche orchestrée.. Vous ' utilisez des embeddings

L’évolution suivante va encore plus loin:

• Modèle d'intégration → trouve des documents candidats
• Modèle de reclassement → commandes selon la pertinence réelle
• Modèle de classification → détermine l'intention de la demande
• Modèle de petite génération → traite de simples questions factuelles
• Modèle de raisonnement large → gère les analyses complexes (seulement au besoinM SK2

Chaque modèle est plus petit, mais plus rapide et moins coûteux que le GPT.

Le futur agent

En psychologie, l’expression « agent » signifie la capacité d’agir indépendamment, de faire des choix et de les exécuter dans le monde.

AI génétique applies this concept to language models. Instead of the traditional pattern —you ask a questionM SK2 the model generates text—an agentic system can actually faire des choses. Il peut utiliser des outilsM SK1 exécuter le code , bases de données pour les demandes de renseignements M SK3 appeler les APIs , écrire les fichiers

C'est ce que proposent les nouveaux modèles (Anthropic Claude Opus 4.5 que I'm utilise littéralement pour écrire ce par l’entremise du code de Claude ) démontrer si efficacement

Voici ce qui rend les gens mal à l’aise. si vous décritez suffisamment bien les outils, vous n’avez pas besoin de frais élevés'il n’est pas nécessaire d’établir la correction pour les utiliser Les modèles fondamentaux modernes sont remarquablement bons à utiliser les outils hors de la boîte.

Il s’agit d’un grand changement par rapport à l’approche de Toolformer (fineM SK1tune un modèle pour apprendre quand utiliser les outils en mesurant les résultats ). Que's coûteuxMSC4 requiert des données spécialisées sur la formationMNK5 et vous locke dans un ensemble spécifique d’outils MNK6 La solution de rechangeMMK7 Décrivez clairement vos outilsMZK8 donnez au modèle un bon contexteMRK9 et laissez-lui savoir quand les utiliserMDK10

Les résultats sont souvent meilleurs parce:

• Les descriptions d'outils peuvent être mises à jour immédiatement - Aucune rééducation n'est nécessaire
• De nouveaux outils peuvent être ajoutés au moment du démarrage - ajouter simplement un autre schéma
• Le modèle bénéficie de son raisonnement général - pas seulement les modèles mémorisés
• Vous pouvez utiliser n'importe quel modèle - n'est pas expressément fine

flowchart TD
    subgraph RAG["Traditional RAG Chatbot"]
        R1[User Question] --> R2[Search Documents]
        R2 --> R3[Construct Prompt]
        R3 --> R4[LLM Generates Answer]
        R4 --> R5[Return to User]
    end

    subgraph Agentic["Agentic AI Pattern"]
        A1[User Task] --> A2[LLM Understands Task]
        A2 --> A3[Break Into Steps]
        A3 --> A4{Select Tool}
        A4 --> A5[Execute Tool]
        A5 --> A6{Evaluate Results}
        A6 -->|Need More| A4
        A6 -->|Done| A7[Return to User]
    end

    style A6 stroke:#00aa00,stroke-width:3px

Ce modèle agentique diffère fondamentalement des chatbots RAG.

Des cadres comme LangChain, LlamaIndex, et le noyau sémantique rendent cela possible aujourd’hui Vous pouvez construire des systèmes où:

• Un petit modèle rapide permet d'effectuer le roulement et la classification
• Les modèles spécialisés gèrent les tâches spécifiques de domaine-
• Utilisation de l'outil élargit les capacités au-delà du langage pur
• Les boucles de rétroaction permettent une amélioration continue

Les entreprises qui en arrivent à cette conclusion bâtiront des systèmes d’AI qui fonctionneront effectivement.

Où apprendre plus

J’ai beaucoup écrit sur ces modèles.

Sujet	Article	Ce que vous apprendrez '
Architecture	DiSE vs Voyager	Pourquoi l’orchestrement structuré bat les modèles monolithiques ?
Modèle multi-	Les moteurs de décision synthétique	Établissement de pipelines de modèles spécialisés
Les principes fondamentaux du RAG	Série RAG	De l'emplacement aux systèmes de production
Emplacements locaux	Recherche sémantique avec ONNX	CPU-recherche de vecteur local convivial
LLMs locaux	DiSE	Un système de flux de travail selkf évoluvign utilisant des modèles locaux reliés ensemble.
Simulation de l'API	LLMApi	Utilisation de LLM locaux pour simuler les API en vue d'essais
RAG pratique	Établissement d'un avocat GPT	Démarrage complet de la mise en œuvre du RAG

La technologie existe. Les modèles sont en train d’émerger. La question est de savoir si votre organisation bâtira quelque chose sensible ou un autre projet stupide d’AI.

Conclusion

Le paysage actuel de l’AI commerciale me rappelle les débuts de la ère du Web.

En fin de compte, les entreprises qui ont réussi sont celles qui ont déterminé à quoi le Web est vraiment bon et construit pour cela.

À l’heure actuelle, nous sommes en train de le mettre sur pied parce que nous devons passer à la phase 3 et 4 La plupart des projets sont stupides.

Mais si vous voulez être l’un de ceux qui réussit, renoncer à suivre le modèle. commencer par des problèmes réels . investir dans les bits bornésM SK3 Et pour l’amour de DieuMSC4 corriger votre pipeline d’ingestion du document avant de blâmer la LLMMST5

L’AI n’est pas le problème't . Vos données sontM SK2 Vos processus sont . Vos attentes irréalistes sont.

Fixez ces premiers , et peut-être , juste peut- être