Les petites et locales LLM sont souvent encadrées comme une solution de rechange peu coûteuse aux modèles frontaliers. contrôle, prévisibilité, et modes de défaillance survivables.

I'je suis aussi coupable que quiconque d’avoir exercé des pressions 'ils'sont libresM SK3narrativeMSC4si c’était le seul facteur déterminantMNK5 Mais comme choisir une base de données MRK6 plateforme d’hébergement pour un système que vous devez comprendre Quel est le commerce que vous faites ?.

Utilisation d'un petit modèle via Ollama, Studio LM, Le temps de fonctionnement d'ONNX, ou similaire n’est pas (justeM SK2 sur l’épargne d’argent. Il s’agit de choisir où il est permis d’exister un déterminisme non -.

La différence réelle: Modes d'échec

Les grands modèles frontaliers sont plus larges et plus fluides. plus dangereux dans les systèmes qui exigent des garanties.

Les modèles frontaliers ont sens lorsque la largeur est requise et que les produits sont consultatifs par le design - rédaction créative , ouverture M SK2 exploration à terme , ou synthèse dans des domaines inconnus MSC4 Mais ce n’est pas le cas pour la plupart des systèmes de production.

Leurs échecs sont sémantique plutôt que structural. Il s'agit de l'erreur de catégorie: qui traite un élément probabiliste comme si c'était une limite du système . Ils produisent des données validesM SK3 qui semblent erronées de façon subtileMSC4 Ces erreurs sont :

• Frais de détection
• Frais de débugging
• Il n'est souvent visible qu'après avoir subi un dommage.

Les petits modèles échouent différemment.

Lorsqu’un petit modèle est confondu, il tend à

• Réviser les schémas
• Insérer un JSON invalid
• Rétracter les sorties
• Perte de tracé de la structure

Ce sont : échecs économiques. Ils sont détectables avec une simple validation . Ils déclenchent immédiatement des retraits ou des reculs M SK2 Ils ne progressent pas silencieusement dans l’état .

Ce n’est pas une faiblesse. Il s’agit d’une caractéristique.

D'où provient ce principe

Ce point de vue n’est pas une théorie abrégée, mais plutôt un élément fondamental du Dix commandements de l'utilisation du LLM. Principe de base :

Les LLM interprètent la réalité. Ils ne doivent jamais être autorisés à la définir

Lorsque vous suivez ce principe, vous découvrirez quelque chose de surprenant. vous cessez de recourir à des modèles coûteuxUn modèle de paramètres 7B qui fonctionne localement peut classer , résumer МSK3 et générer des hypothèses juste fines \ - parce que les systèmes déterministes autour d'un tel modèle traitent tout ce qui a réellement besoin d'être corrigé

Les petits modèles ne sont pas " faiblesM SK1 - ils sont souvent équivalence car le problème a déjà été réduit au moment où il arrive chez eux.

Les modèles frontaliers vous vendent la fiabilité que vous devriez bâtir vous-mêmes.

Le modèle mental correct

Justement comme DuckDB n’est pas "cheap SQL" et Postgres n’ est pas ♫"worse Azure SQL ", les petits LLM occupaient un un point différent dans l'espace de conception. Vous les choisissez lorsque

Comment je l'utilise dans la pratique

Cela n’est pas hypothétique. Mon projet démontre ce modèle à plusieurs reprises.

GraphRAG avec trois modes d'extraction

Mise en œuvre du GraphRAG offre trois modes:

L'article 5 de la Loi sur l'immigration et le statut des réfugiés mode hybride L’extraction héuristique permet de trouver des candidats (deterministeM SK2 puis un petit modèle local les valide et les enrichit . Un appel LLM par document, non par morceauxMSC5

Avec Ollama qui fonctionne localement, le coût est $0. Mais ce n’est pas pourquoi je l’utilise. Les échecs sont coûteux et évidents..

Embeddings ONNX: Aucune LLM requise

Recherche sémantique avec ONNX et Qdrant montre un autre modèle: certaines tâches n’ont pas besoin d’un LLM' il n’est pas nécessaire de l’utiliser à tout moment . les embeddings BERT via ONNX Runtime vous donnent

• CPU-inférence conviviale - Aucun GPU n'est requis
• Résultats déterministes - la même entrée produit toujours le même emplacement
• Exécution locale - aucun appel API, aucune latenceM SK2 aucune limite de vitesse
• Modèle ~90MB - fonctionne partout

Pour Recherche hybride, Je combine ces embeddings avec BMM SK1 cotation. Le LLM apparaît seulement au moment de la synthèse - et même alorsMSC4 un petit modèle local fonctionne bien parce qu’il d’expliquer structure que les systèmes déterministes ont déjà validée.

DocSummarizer: Structure Première , LLM Deuxième

DocSummarizer Cette philosophie s’inscrit dans :.

1. Tracer documents avec bibliothèques déterministes (OpenXMLM SK1 Markdig)
2. En fr. contenu à l'aide de règles structurelles (entêtesM SK1paragraphes ,blocs de code)
3. Insérer les chunks avec ONNX BERT
4. Récupérer les chunks pertinents par le biais de la recherche vectorielle
5. Synthèse avec Ollama - le seul pas probabiliste

Le LLM est le la dernière étape, travaillant sur le contenu pré--validated,pre-MSC3structured contentM SK4 Il peut échouer - et quand il l'échoueMSC6 l'échec est évident parce que la structure est déjà correcte.

Les trois questions

Les modèles de frontier sont des outils puissants lorsqu’ils sont utilisés délibérément. Mais ils augmentent la puissance exprimée plus rapidement qu’ils réduisent le risqueM SK1 Les petits modèles , lorsque intégrés dans les systèmes déterministes, ne vous donnent que suffisamment d’incertitude pour explorer MSC4 sans dissimuler la vérité ou la responsabilité.

La bonne question n’est pas "qui est le meilleur modèleM SK1

Il s’agit de:

1. Où appartient-il à la probabilité?
2. Où le determinisme doit-il être absolu?
3. Quels défaillances peut-il survivre?

Si la réponse implique des effets secondaires de l’État, , monnaie, politiqueM SK3 ou des garanties MSC4 le modèle ne devrait jamais être responsableMST5 Et si le modèle n’est disponible que pour classerMSP6 résumerMSM7 rangMSS8 ou proposer des hypothèsesMSSS9 un petit modèle local est souvent Choix correct, non l’un économique .

Le modèle : Matériel de bornement + Modèle petit

Voici l’architecture qui fonctionne:

┌─────────────────────────────────────────────────────┐
│                 DETERMINISTIC LAYER                 │
│  State machines, queues, validation, storage        │
│  (DuckDB, Postgres, Redis, file systems)           │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                   INTERFACE LAYER                   │
│  Schema validation, retries, fallbacks             │
│  (Polly, FluentValidation, custom guards)          │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                  PROBABILISTIC LAYER                │
│  Classification, summarisation, hypothesis gen     │
│  (Ollama, ONNX, small local models)                │
└─────────────────────────────────────────────────────┘

Le LLM est à la dessous, non la partie supérieureM SK1 Il propose de disposer des couches déterministes ;

La fiabilité ne consiste pas à éviter les défaillances

Tous les trois points de vue - les questions , le modèle M SK2 et ce principe final MSC3 se réduisent à la même règle :

La fiabilité consiste à choisir les échecs que vous pouvez survivre.

Avec les LLM, cela signifie gérer le non-determinisme par des pratiques déterministes.

• Commandement I: L’État vit en dehors du modèle
• Commandement VII: Faire en sorte que les défaillances soient vives et amusantes
• Commandement IX: Construire d’abord les machines boreuses

Les petits modèles facilitent cette tâche parce que leurs échecs sont à l'audience. Invalid JSON . Outil coupé. Violations du schémaM SK3 Il s'agit de cadeaux.

Les défaillances du modèle frontal sont les suivantes : silence. PlausibleM SK1Nonsens étonnants . hallucinations confidentielles. dérive sémantique qui ne devient visible que lorsqu’un client se plaint ou qu’une vérification n’est pas effectuée

I'Je prendrai de gros défaillances chaque foisM SK1

Lecture connexe

La philosophie

• Dix commandements de l'utilisation du LLM - Principes de cette approche
• Pourquoi je n’utilise pas LangChain - Complexité du cadre par rapport à . clarté
• Pourquoi les projets d'AI commerciaux sont stupides - Le cas de la première AI locale

La mise en œuvre

• GraphRAG: Mise en œuvre minimale viable - Trois modes d'extraction en pratique
• Recherche sémantique avec ONNX et Qdrant - CPU- embeddings conviviales
• Outil DocSummarizer - Structure première , LLM seconde
• Recherche hybride et indexation automatique- - ProductionM SK1cherche en cours

L'architecture

• DiSE: Traiter les LLM comme non dignes de confiance - Le modèle de "Dieux non dignes de confiance"
• Détection des bottes avec les conseillers de LLM - LLM en tant que conseiller, non contrôleur
• Zero-PII Intelligence des clients - Compréhension sémantique avec les limites

Ressources externes

• Ollama - Faire courir les LLMs localement avec un seul commande
• Le temps de fonctionnement d'ONNX - Inférence ML de la plate-forme
• LM Studio - App de bureau pour les LLM locaux
• .cpp - Inférence efficiente CM SK1