LLMs (Modèles langagiques de grande envergure ) sont utilisés comme capteurs erreur de catégorie: à l'aide d'un synthétiseur probabiliste où un dispositif de limite déterministe est requis

Ce n’est pas le cas't les développeurs ' la faute. La plupart des exemples et des tutorials courants donnent l’exemple de la démonstration la plus simpleMSC3 M SK4envoyez-le au modèle seulementMST5 Cela rend l’embarquement facile MST6 mais il détourne une limite cruciale Mst7 perception vs synthèse M st8 Les incitatifs de l’industrie ne contribuent pas non plusM st9aucune partMst10tokenMSt11les systèmes à prix récompense naturellement les pipelines qui font davantage de travail à l’intérieur du LLMMstr12

Cet article est sur RAG réduit - un modèle architectural où Les pipelines déterministes alimentent les composants probabilistes, pas à l’inverseM SK1 Dans un système RAG approprié:

• Pipelines (sensors → modèles locaux → faits structurésM SK3 font la réduction
• LLMs fonctionner uniquement sur la sortie structurée réduite,
• Néanmoins envoyer les données brutes directement aux LLMs

Exemple: Dans l’OCR M SK1Reconnaissance des caractères optiques) pipelineMSC3 la Vision LLM est de niveau 3, non de niveau Règle des frontières - une contrainte architecturale qui empêche l'utilisation inappropriée des outils indépendamment de la commodité perçue

Il s'agit d'une partie 1 des "LLMs en tant que composantes". Partie 2: Le MCP est un transport, Il n'est pas une architecture couvre l'erreur de catégorie d'utilisation du MCP comme architecture.

Partie 1: Le problème ( Pourquoi les LLM échouent en tant que capteurs)

La même erreur, Modalités différentes

Voici des erreurs architecturales identiques dans différents domaines:

• OCR (Reconnaissance des caractères optiquesM SK1: Envoyer des cadres de vidéo bruts directement aux LLM Vision au lieu d’utiliser le texte-heuristique linéaire plus les modèles OCR locaux
• Analyse de l'image: Demander aux LLMs de "décrire cette image" au lieu d’extraire les signaux structurels en premier MSC3objetsMSC4 visagesSMC5 régions de texteS MC6
• Traitement vidéo: Running LLMs frame-byMSC2frame instead of detecting shotsM SK3 extracting keyframes , and deduplicating visual content
• Analyse audio: Demander aux LLMs de déduire l'identité ou la qualité des auditeurs à partir de formes d'onde brutes au lieu d'utiliser le traitement du signal

flowchart TD
    subgraph Wrong["❌ Common Anti-Pattern"]
        Raw[Raw Data<br/>Pixels, Waveforms, Frames] -->|Direct feed| LLM1[Vision/Audio LLM<br/>$$$, variance, hallucination]
        LLM1 --> Unreliable[Unreliable Output<br/>High cost, non-deterministic]
    end

    style Wrong fill:none,stroke:#dc2626,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style LLM1 fill:none,stroke:#dc2626,stroke-width:2px
    style Unreliable fill:none,stroke:#dc2626,stroke-width:2px

Les symptômes

Ces erreurs architecturales produisent des échecs prévisibles:

1. Perception hallucinatoire: LLMs Il faut Émettre des tokens. Dans l’incertitude, ils remplissent les lacunes par des réalisations plausibles. M SK2 Texte détecté " parce qu’il pourrait y avoir des réponses à ces questions C’est le problème fondamental.

2. Non-faillance déterministe: Variation de la température et du débit budgétaire des tokensM SK1 La même entrée → différentes sorties. Le débugging devient une analyse statistique

3. Déchets de ressources: Que vous payiez par token ' ou que vous exploitiez des modèles locaux

Il s’agit de l’exactitude Un LLM hébergé localement hallucinant les résultats de l’OCR est tout aussi défectueux qu’un appel API coûteux qui fait la même chose. Les capteurs déterministes produisent des faits vérifiables . Le LLM produit une prose plausible

Pourquoi cela se produit: Sensors vsM SK1 Synthèseurs

L'erreur de la catégorie existe parce que un capteur et un synthétiqueur sont fondamentalement différents outils:

Un capteur est un dispositif de limite:

• Réduit la dimension du monde' M SK1photons → signaux structurés)
• Émet les faits avec des points de confiance
• A connu les modes de défaillance caractérisés par la ,
• Cheap, fastM SK1 repeatable, deterministic

Un LLM est un synthèseur de variation élevée-:

• Accroît les degrés de liberté (facts → proseM SK2 structured → non structuredMSC4
• Aucune notion stable de "aucune détection n'est faiteM SK1 (il produira toujours des tokens)
• Résultats varient selon le contexte, prompt , température
• Évaluation linéaire des coûts avec la taille de l'entrée
• Non-déterministe par conception

flowchart LR
    subgraph Sensor["Sensor (Boundary Device)"]
        World[Physical World<br/>∞ dimensions] -->|Reduce| Signal[Structured Signal<br/>Bounded dimensions]
        Signal -->|Confidence| Facts[Facts<br/>± certainty]
    end

    subgraph LLM["LLM (Synthesizer)"]
        Input[Structured Input] -->|Synthesize| Prose[Unstructured Output<br/>High entropy]
        Prose -->|No confidence| Tokens[Token stream<br/>No 'nothing' state]
    end

    style Sensor fill:none,stroke:#16a34a,stroke-width:2px
    style LLM fill:none,stroke:#b45309,stroke-width:2px
    style World fill:none,stroke:#6b7280,stroke-width:2px
    style Signal fill:none,stroke:#2563eb,stroke-width:2px
    style Facts fill:none,stroke:#059669,stroke-width:2px
    style Input fill:none,stroke:#6b7280,stroke-width:2px
    style Prose fill:none,stroke:#d97706,stroke-width:2px
    style Tokens fill:none,stroke:#dc2626,stroke-width:2px

C'est pourquoi StyloFlow Traite les signaux comme des faits immuables, non de proseM SK1 Les modèles peuvent proposer . La politique déterministe décide ce qui persiste M SK3

Partie 2: Le principe (Senseurs premierM SK2 Synthèse dernière)

Ce que les cerveaux font bien (No Romance)

Les cerveaux ne commencent pas par le raisonnement. Ils commencent par constraint.

La rétine n’est pas le cortex.

• Détection des bords (à l’intérieur de -au centre ,dans la zone extérieure -celles ganglionaires du centre
• Détection des mouvements (sélectivité directe dans VM SK1
• Suppression du contraste (inhibition latérale
• Élimination du bruit (trême seuilM SK1démarrage basé sur le )

Lorsque les contraintes sensorielles affaiblissent, les hallucinations augmentent. Basse lumière, bords manquantsM SK1 signes ambigus . Ce n'est pas une métaphore - il s'agit du même mode de défaillance que les hallucinations LLM sous l'incertitudeMSC4 Les ingénieurs le savent déjàMST5 lorsque la SNR en amont baisseMSP6 les classificateurs en aval deviennent instablesMSS7

Pipelines perceptuels à travers les espèces

Ce problème se manifeste dans tous les systèmes de perception des animaux, mais pas seulement dans la vision humaine.

Écholocation des bats (auditoireM SK1

• Problème: Les réflexions ultrasoniques brutes contiennent des millions de points de données par seconde
• Solution: Filtres spécialisés de traitement cochléaire pour les déplacements de Doppler, retards de tempsM SK2 amplitude
• Résultat: Signaux structurés
• Parallèle technique: Traitement des signaux d'audio → Caractéristiques

Vision des abeilles (détection des mouvementsM SK1

• Problème: Changement rapide du champ visuel pendant le vol
• Solution: Compétition du flux optique dans la lamine (première couche neuronaleM SK2 non dans le cerveau central
• Résultat: L'évitement des collisions fonctionne sur les vecteurs de mouvement , non pixels bruts
• Parallèle technique: Détection des mouvements du CV ouvert → Traçage

flowchart LR
    subgraph Bat["Bat Echolocation"]
        Echo[Ultrasonic Echo<br/>∞ waveform data] --> Cochlea[Cochlear Filters<br/>Doppler, delay, amplitude]
        Cochlea --> BatBrain[Auditory Cortex<br/>Distance, texture facts]
    end

    subgraph Bee["Honeybee Vision"]
        Motion[Visual Field<br/>Rapid motion] --> Lamina[Lamina<br/>Optical flow computation]
        Lamina --> BeeBrain[Central Brain<br/>Motion vectors, not pixels]
    end

    style Bat fill:none,stroke:#7c3aed,stroke-width:2px
    style Bee fill:none,stroke:#d97706,stroke-width:2px
    style Echo fill:none,stroke:#6b7280,stroke-width:2px
    style Cochlea fill:none,stroke:#a855f7,stroke-width:2px
    style BatBrain fill:none,stroke:#6366f1,stroke-width:2px
    style Motion fill:none,stroke:#6b7280,stroke-width:2px
    style Lamina fill:none,stroke:#f59e0b,stroke-width:2px
    style BeeBrain fill:none,stroke:#d97706,stroke-width:2px

Le modèle commun:

1. Données sensorielles brutes (problème: trop de bruitM SK2 trop grand bruit , trop élevéMST4dimensionnelsMSC5
2. Prétraitement des limites (solutionM SK1appareils spéciaux/reducteurs de l'équipement humideMSC3filtresMska4structuresM Ska5
3. Processus cognitif ( fonctionne sur les faitsM SK1 non sur les signaux bruts )

Il s’agit d’une évolution convergente du traitement de l’information sous des contraintes physiques.

La cartographie technique est étroite:

flowchart TD
    subgraph Brain["Biological Vision Pipeline"]
        Photons[Photons] --> Retina[Retina<br/>Edge detection, contrast]
        Retina --> V1[V1 Cortex<br/>Orientation, motion]
        V1 --> IT[Inferotemporal Cortex<br/>Object recognition]
        IT --> PFC[Prefrontal Cortex<br/>Reasoning, synthesis]
    end

    subgraph Engineering["Engineering Vision Pipeline"]
        Pixels[Raw Pixels] --> OpenCV[OpenCV + Heuristics<br/>Sharpness, text-likeliness]
        OpenCV --> Local[Local Models<br/>Florence-2, EAST/CRAFT OCR]
        Local --> Structured[Structured Signals<br/>Bounding boxes, confidence]
        Structured --> LLM[LLM Synthesis<br/>Only when needed]
    end

    Brain -.->|Maps to| Engineering

    style Brain fill:none,stroke:#7c3aed,stroke-width:2px
    style Engineering fill:none,stroke:#2563eb,stroke-width:2px
    style Photons fill:none,stroke:#6b7280,stroke-width:2px
    style Retina fill:none,stroke:#16a34a,stroke-width:2px
    style V1 fill:none,stroke:#059669,stroke-width:2px
    style IT fill:none,stroke:#0891b2,stroke-width:2px
    style PFC fill:none,stroke:#6366f1,stroke-width:2px
    style Pixels fill:none,stroke:#6b7280,stroke-width:2px
    style OpenCV fill:none,stroke:#16a34a,stroke-width:2px
    style Local fill:none,stroke:#059669,stroke-width:2px
    style Structured fill:none,stroke:#0891b2,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px

Les cerveaux ne comprennent pas les pixels.

Le cortex fonctionne sur des signaux qui ont été réduits, filtrés et structurés par les couches précédentes.

Consequences techniques (Règles de conceptionM SK1

Ce n’est pas une prise philosophique. Il s’agit de la conception du système:

1. L'évacuation doit être réduite: Les LLM sont de niveau 3, non de niveau

2. Les seuils de confiance doivent être explicites: "Le texte détecté avec la confiance de 0.92" est un fait

3. Le routage doit être déterministe: Les mêmes signaux → le même chemin M SK2 Aucune variance de l'échéancier , aucun effet sur la température MSC4

4. L’économie des symboles est une contrainte n’est pas un rajustement de coûts: Si votre pipeline 's calcule les coûts en fonction de la taille des données brutesM SK2 vous utilisez l’outil erroné.

5. Les faits ont besoin d'une preuve: Si vous pouvez 't pointer sur la boîte de bouillage MSC2 cadre M SK3 ou région de forme d'onde , il n'est pas

Proof: Optimisation des pistes de films

En ce qui concerne les VideoSummarizer pipeline, texteM SK1 seules bandes de films réduisent le coût du token par ~30x alors que améliorer Fidélité de l'OCR. Le LLM voit le signal (régions de texte extraitsM SK2 non la scène (images RGB complètesMSC4

Il s’agit d’une correction de catégorie.

Partie 3: Le modèle dans la pratique

Le modèle général: RAG réduit est MapM SK1Reduce pour les systèmes probabilistes

Il s’agit de RAG réduit modèle architectural. Principe de base: Les pipelines fournissent des composants probabilistes.

RAG réduit est Map-Reduction appliquée aux systèmes probabilistesM SK1

• Phase de la carte (deterministeM SK1parallèle,distributed ): Les capteurs et les modèles locaux extraisent des données brutes des faits structurels
• Réduction de la phase (probabilisticM SK1 sequential, centraliséMSC3 LLM synthétise sur les faits extraits

Le RAG traditionnel obtient ce retrait - il récupère les documents et espère que le LLM extrait des faits. RAG réduit extrait les faits d'abord (map), puis permet au LLM de synthétiser (reduceM SK3

Le modèle se répète dans tous les systèmes multimodaux:

1. Carte: Réduction des capteurs (filtre d'héuristique déterministe et données brutes de structure
2. Carte: Extrait des modèles locaux (Les modèles spécialisés produisent des faits avec des cotes de confiance - parallèles par unité de données
3. Carte: Routes de politique (les seuils déterministes décident de la persistance ou de l’escalade du :.
4. Réduire la synthèse des LLMs: (opérer uniquement sur des faits recueillisM SK1 jamais de données brutes - synthèse séquentielle)

flowchart TD
    subgraph Map["MAP PHASE (Parallel, Deterministic)"]
        Raw[Raw Data<br/>10,000 frames] --> Split{Split}

        Split --> S1[Sensors<br/>Frame 1-1000]
        Split --> S2[Sensors<br/>Frame 1001-2000]
        Split --> S3[Sensors<br/>Frame 2001-3000]
        Split --> SDots[...]

        S1 --> L1[Local Models<br/>Batch 1]
        S2 --> L2[Local Models<br/>Batch 2]
        S3 --> L3[Local Models<br/>Batch 3]
        SDots --> LDots[...]

        L1 --> F1[Facts: 120]
        L2 --> F2[Facts: 98]
        L3 --> F3[Facts: 156]
        LDots --> FDots[...]

        F1 --> Collect[Collect Facts]
        F2 --> Collect
        F3 --> Collect
        FDots --> Collect

        Collect --> Facts[(Facts Database<br/>500 total facts)]
    end

    subgraph Reduce["REDUCE PHASE (Sequential, Probabilistic)"]
        Query[User Query] --> Retrieve[Retrieve Relevant Facts<br/>Filter: 50 facts]
        Facts --> Retrieve
        Retrieve --> LLM[LLM Synthesis<br/>Reason over 50 facts]
        LLM --> Answer[Grounded Answer]
    end

    style Map fill:none,stroke:#16a34a,stroke-width:3px
    style Reduce fill:none,stroke:#6366f1,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style Split fill:none,stroke:#16a34a,stroke-width:2px
    style S1 fill:none,stroke:#16a34a,stroke-width:2px
    style S2 fill:none,stroke:#16a34a,stroke-width:2px
    style S3 fill:none,stroke:#16a34a,stroke-width:2px
    style SDots fill:none,stroke:#16a34a,stroke-width:1px,stroke-dasharray: 5 5
    style L1 fill:none,stroke:#059669,stroke-width:2px
    style L2 fill:none,stroke:#059669,stroke-width:2px
    style L3 fill:none,stroke:#059669,stroke-width:2px
    style LDots fill:none,stroke:#059669,stroke-width:1px,stroke-dasharray: 5 5
    style F1 fill:none,stroke:#0891b2,stroke-width:2px
    style F2 fill:none,stroke:#0891b2,stroke-width:2px
    style F3 fill:none,stroke:#0891b2,stroke-width:2px
    style FDots fill:none,stroke:#0891b2,stroke-width:1px,stroke-dasharray: 5 5
    style Collect fill:none,stroke:#16a34a,stroke-width:2px
    style Facts fill:none,stroke:#0891b2,stroke-width:3px
    style Query fill:none,stroke:#6b7280,stroke-width:2px
    style Retrieve fill:none,stroke:#7c3aed,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px
    style Answer fill:none,stroke:#16a34a,stroke-width:2px

Document-premier RAG vsM SK1 RAG réduit:

Mise en œuvre concrète

Trois systèmes de production mettent en œuvre ce modèle:

• ImageSummarizer: Héuristique → FlorenceM SK2 OCR MSC3 Vision LLM MSC4escalation seulement MSc5
• AudioSummarizer: Caractéristiques acoustiques
• VideoSummarizer: Détection des coups → Cadres-clés | → | Emplacements CLIP |→ | LLM |

Pourquoi cela fonctionne?

Voici des chiffres réels de VideoSummarizer sur un vidéo de 10-minute (600 secondesM SK2 30fps | |

La bonne architecture est plus précise. Il en va de même pour 180x moins cher - mais que'est un effet secondaire d’avoir fait la bonne choseMSC3 pas l’objectifM SK4 Même avec des LLM locaux gratuitsMST5 le cadreMSP6parMSV7l’approche du cadre serait toujours erronée parce qu’elle produit une production inexacteMSS8

Clôture

Si votre système d’AI commence par un LLM, vous avez déjà perdu le contrôle de celui-ci

L’intelligence ne commence pas par le raisonnement. Elle débute par la contrainte.

Les capteurs réduisent l’incertitude. Les synthétiseurs élargissent la significationM SK1 Confuser les deux systèmes de rupture.

Faire la synthèse à l’étape finale.

Conditions clés

• RAG réduit: CarteM SK1Réduction pour les systèmes probabilistes. Carte ( extraction déterministeMSC4 → Réduction CMS6 synthèse de l'LLMMST7
• Erreur de catégorie: Traiter quelque chose comme appartenant à un type fondamentalement différent de celui qu'il est
• Dispositifs de délimitation: Réduit les données brutes hautes de dimension - à faibles de structure des signaux de dimensions - avec une précision connue
• Niveau d'évacuation: Retour à la LLM seulement lorsque les méthodes déterministes ne fonctionnent pas.
• Diarisation: Séparation des interlocuteurs dans l'audio (qui a parlé quand)

Articles connexes

Suivant dans la série: Partie 2: Le MCP est un transport, Il n'est pas une architecture

• RAG réduit: Carte-Reduction pour les systèmes probabilistes
• VideoSummarizer: RAG réduit pour le vidéo
• ImageSummarizer: Intelligence visuelle floue limitée
• AudioSummarizer: Characterisation audio judiciaire
• StyloFlow:Signal-Flois de travail dirigés