Warum LLMs als Sensoren fehlschlagen und was Gehirne richtig machen (Deutsch (German))

LLMs Die großen Sprachmodelle von ) werden als Sensoren verwendet. Fehler in der KategorieVerwendung eines probabilistischen Synthesizers, bei dem ein deterministisches Grenzgerät erforderlich ist

Dies ist die meisten Mainstream-Beispiele und Tutorials führen mit der einfachsten Demo , : , nur senden Sie es an das Modell , ." , Das macht Onboarding easy , aber es verwischt eine entscheidende Grenze ,: , Wahrnehmung vs Synthese , . , Industrieanreize nicht helfen entweder ,: , Token , - Preisgünstige Systeme natürlich belohnen Pipelines, die mehr Arbeit in der LLM tun .

Dieser Artikel ist über Reduzierte RAG Ein architektonisches Muster, bei dem deterministische Pipelines füttern probabilistische KomponentenNicht umgekehrt in einem korrekten RAG-System.

Rohrleitungen (-Sensoren lokale Modelle strukturierte Fakten )-Reduktion
LLMs nur an der reduzierten strukturierten Ausgabe arbeiten
Niemals Rohdaten direkt an LLMs senden

Beispiel: Im OCR ist die Vision LLM , nicht die Stufe , sondern nur nach text ,- , Ähnlichkeit heuristics und lokale OCR fail , . , Das ist keine Optimierung , . , Es ist ein Grenzregel Eine architektonische Einschränkung, die eine unangemessene Werkzeugnutzung verhindert, unabhängig von der wahrgenommenen Bequemlichkeit.

Teil Das Problem Warum LLMs als Sensoren fehlschlagen

Derselbe Fehler,-Verschiedene Modalitäten

Hier sind identische architektonische Ausfälle über verschiedene Domains.

OCR -Optische CharaktererkennungÜbertragen von rohen Video-Frames direkt an Vision LLMs anstelle der Verwendung von Text, - und lokalen OCR-Modellen
BildanalyseDieses Bild beschreiben, anstatt strukturierte Signale zuerst zu extrahieren.
VideobearbeitungLLM-Frame ausführen – -von-Rahmen statt Aufnahmen zu erkennen – ,Auszug von Keyframes – und visuelle Inhalte deduplizieren
AudioanalyseLLMs bitten, Lautsprecheridentität oder Audioqualität von rohen Wellenformen abzuleiten anstatt Signalverarbeitung zu verwenden

flowchart TD
    subgraph Wrong["❌ Common Anti-Pattern"]
        Raw[Raw Data<br/>Pixels, Waveforms, Frames] -->|Direct feed| LLM1[Vision/Audio LLM<br/>$$$, variance, hallucination]
        LLM1 --> Unreliable[Unreliable Output<br/>High cost, non-deterministic]
    end

    style Wrong fill:none,stroke:#dc2626,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style LLM1 fill:none,stroke:#dc2626,stroke-width:2px
    style Unreliable fill:none,stroke:#dc2626,stroke-width:2px

Die Symptome

Diese architektonischen Fehler produzieren vorhersehbare Ausfälle

Halluzinierte WahrnehmungLLMs muss emittieren Sie Tokens..... Unter Ungewissheit füllen sie Lücken mit plausiblen Vervollständigungen.......Text detected"... weil es dort sein könnte.,... nicht, weil es da ist!.... Dies ist das Kernproblem.
Nicht deterministisches VersagenTemperatur- und Token-Budget-Antriebsvarianz - gleiche Eingabe - unterschiedliche Ausgänge - .- Debugging wird zur statistischen Analyse - .-
RessourcenabfälleEgal, ob Sie mit 're pro Token zahlen oder lokale Modelle ausführen (Ollama-,-llama-MSC6-cpp-),-you'-re Brennen Berechnung auf die falsche Aufgabe - lokale LLMs nicht Kosten pro Anruf ,, aber sie produzieren immer noch unzuverlässig Sensorausgabe - .-

Das Problem ist, nicht Kosten -, es Genauigkeit ', Ein lokal gehostetes LLM halluzinierendes OCR-Ergebnis ist genauso gebrochen wie ein teurer API-Aufruf, der dasselbe tut.Deterministische Sensoren produzieren überprüfbare Fakten...

Warum dies passiert, Sensoren vs. Synthesizer

Der Kategoriefehler existiert, weil ein Sensor und ein Synthesizer sind grundsätzlich unterschiedliche Werkzeuge

Ein Sensor ist eine Begrenzungseinrichtung.

Reduziert die Dimensionalität der Welt, ', MSC1, Photonen, strukturierte Signale, MSV3,
Emittiert Fakten mit Vertrauensnoten
Hat bekannt ,, , gekennzeichnet Ausfall-Modi
Preisgünstig, schnell, wiederholbar, deterministisch

Ein LLM ist ein hochwertiger Synthesizer.

Erweitert Freiheitsgrade (-Fakten →-Prosa,-strukturiert →-unstrukturiert)-
Kein stabiler Begriff von nicht entdeckten " wird immer Tokens produzieren.
Die Ausgabe variiert mit der Kontext-Temperatur
Kosten skalieren linear mit Eingabegröße
Nicht---deterministisch nach Design

flowchart LR
    subgraph Sensor["Sensor (Boundary Device)"]
        World[Physical World<br/>∞ dimensions] -->|Reduce| Signal[Structured Signal<br/>Bounded dimensions]
        Signal -->|Confidence| Facts[Facts<br/>± certainty]
    end

    subgraph LLM["LLM (Synthesizer)"]
        Input[Structured Input] -->|Synthesize| Prose[Unstructured Output<br/>High entropy]
        Prose -->|No confidence| Tokens[Token stream<br/>No 'nothing' state]
    end

    style Sensor fill:none,stroke:#16a34a,stroke-width:2px
    style LLM fill:none,stroke:#b45309,stroke-width:2px
    style World fill:none,stroke:#6b7280,stroke-width:2px
    style Signal fill:none,stroke:#2563eb,stroke-width:2px
    style Facts fill:none,stroke:#059669,stroke-width:2px
    style Input fill:none,stroke:#6b7280,stroke-width:2px
    style Prose fill:none,stroke:#d97706,stroke-width:2px
    style Tokens fill:none,stroke:#dc2626,stroke-width:2px

Deshalb StyloFlow behandelt Signale als unveränderliche Fakten... nicht prosa... Modelle können vorschlagen... Deterministische Politik entscheidet, was anhält...

Teil: Das Prinzip: Sensoren zuerst: ,, Synthese zuletzt:)

Was Gehirne bekommen Recht , ( , keine Romanze ,) ,

Die Gehirne beginnen nicht mit der Argumentation, sie beginnen mit Beschränkung.

Die Netzhaut ist nicht der Cortex.Es gibt schwere Vorverarbeitung, bevor irgendetwas wie Kognition aussieht.

Kantenerkennung (-on---center-,-off---Center-Ganglionzellen
Bewegungserkennung Direkte Selektivität in V.1)
Kontrastunterdrückung Sicherheit und Gesundheitsschutz am Arbeitsplatz
Lärmbelästigung Feuerung auf der Basis von )

Wenn sensorische Einschränkungen abschwächen, steigen die Halluzinationen an. Niedriges LichtVermißte KantenVerminderte QueuesVermin dertes LichtDies ist keine Metapher -- , es ist der gleiche Ausfallmodus wie LLM Halluzinationen unter Ungewissheit ,. , Ingenieure bereits wissen dies , wenn vorgelagerte SNR Tropfen , , , nachgeschaltete Klassifikatoren instabil werden , .

Wahrnehmungspipelines über Arten hinweg

Dieses Problem – --Lösungsmuster erscheint über alle Tierwahrnehmungssysteme – nicht nur menschliche Vision –:-

Fledermaus-Echoortung (-Auditorium ):-

ProblemstellungRohe Ultraschallreflexionen enthalten Millionen von Datenpunkten pro Sekunde
LösungSpezialisierte Cochlea-Verarbeitungsfilter für Doppler-Schichten,-Zeitverzögerungen,-Amplitude
ErgebnisStructured signals Vor der kortikalen Verarbeitung
Technik parallelAudio-Signalverarbeitungsfunktionen der →®-Diarisierungsfunktion der LLM-Synthese

Honeybee Vision Bewegungsdetektion):

ProblemstellungSchnell wechselndes Sichtfeld während des Fluges
LösungOptische Strömungsberechnung in der Lamina - ersten neuronalen Schicht - nicht im zentralen Gehirn
ErgebnisDie Kollisionsvermeidung arbeitet auf Bewegungsvektoren, nicht auf rohen Pixeln
Technik parallelOpenCV-Bewegungsdetektion - Tracking - Semantische Analyse

flowchart LR
    subgraph Bat["Bat Echolocation"]
        Echo[Ultrasonic Echo<br/>∞ waveform data] --> Cochlea[Cochlear Filters<br/>Doppler, delay, amplitude]
        Cochlea --> BatBrain[Auditory Cortex<br/>Distance, texture facts]
    end

    subgraph Bee["Honeybee Vision"]
        Motion[Visual Field<br/>Rapid motion] --> Lamina[Lamina<br/>Optical flow computation]
        Lamina --> BeeBrain[Central Brain<br/>Motion vectors, not pixels]
    end

    style Bat fill:none,stroke:#7c3aed,stroke-width:2px
    style Bee fill:none,stroke:#d97706,stroke-width:2px
    style Echo fill:none,stroke:#6b7280,stroke-width:2px
    style Cochlea fill:none,stroke:#a855f7,stroke-width:2px
    style BatBrain fill:none,stroke:#6366f1,stroke-width:2px
    style Motion fill:none,stroke:#6b7280,stroke-width:2px
    style Lamina fill:none,stroke:#f59e0b,stroke-width:2px
    style BeeBrain fill:none,stroke:#d97706,stroke-width:2px

Das übliche Muster

Rohe sensorische Daten :, zu viel,, zu laut,, zu hoch-, Dimensional),
Grenzvorbehandlung (-Lösung :-Spezialhardware /-Wetware reduziert ,-Filter,-Strukturen)-
Kognitive Verarbeitung MSK arbeitet auf Fakten, nicht Rohsignale, nicht auf

Es ist konvergente Entwicklung der Informationsverarbeitung unter physikalischen Zwängen.

Das Engineering-Mapping ist eng.

flowchart TD
    subgraph Brain["Biological Vision Pipeline"]
        Photons[Photons] --> Retina[Retina<br/>Edge detection, contrast]
        Retina --> V1[V1 Cortex<br/>Orientation, motion]
        V1 --> IT[Inferotemporal Cortex<br/>Object recognition]
        IT --> PFC[Prefrontal Cortex<br/>Reasoning, synthesis]
    end

    subgraph Engineering["Engineering Vision Pipeline"]
        Pixels[Raw Pixels] --> OpenCV[OpenCV + Heuristics<br/>Sharpness, text-likeliness]
        OpenCV --> Local[Local Models<br/>Florence-2, EAST/CRAFT OCR]
        Local --> Structured[Structured Signals<br/>Bounding boxes, confidence]
        Structured --> LLM[LLM Synthesis<br/>Only when needed]
    end

    Brain -.->|Maps to| Engineering

    style Brain fill:none,stroke:#7c3aed,stroke-width:2px
    style Engineering fill:none,stroke:#2563eb,stroke-width:2px
    style Photons fill:none,stroke:#6b7280,stroke-width:2px
    style Retina fill:none,stroke:#16a34a,stroke-width:2px
    style V1 fill:none,stroke:#059669,stroke-width:2px
    style IT fill:none,stroke:#0891b2,stroke-width:2px
    style PFC fill:none,stroke:#6366f1,stroke-width:2px
    style Pixels fill:none,stroke:#6b7280,stroke-width:2px
    style OpenCV fill:none,stroke:#16a34a,stroke-width:2px
    style Local fill:none,stroke:#059669,stroke-width:2px
    style Structured fill:none,stroke:#0891b2,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px

Gehirne verstehen nicht ", Pixel ., sie sehen sie nie.

Der Cortex arbeitet auf Signalen, die reduziert worden sind.,-gefiltert... und strukturiert durch vorangegangene Schichten...... das ist keine Einschränkung.

Engineering-Konsequenzen Design-Regeln

Dies ist nicht ein philosophisches take-..Es ist Systemdesign.

Eskalation muss abgesperrt werdenDie LLMs sind nicht höher als die 1., sondern nur aufrufbar, wenn billigere Sensoren ausfallen.
Vertrauensschwellen müssen ausdrücklich festgelegt werdenText, der mit dem Konfidenzwert von 0.92 entdeckt wurde, ist eine Tatsache, dass es möglicherweise einen Text gibt, der nicht . ist.
Routing muss deterministisch seinKeine prompte Varianz, keine Temperatureffekte,
**Token-Ökonomie sind eine Einschränkung keine Kostenzwänge.**Wenn Ihre Pipeline die Kostenskalen mit Rohdatengröße nutzt, verwenden Sie das falsche Werkzeug.
Fakten brauchen ProvenienzWenn du ' nicht auf die Begrenzungsbox zeigen kannst, ist es eine Tatsache, dass .

Die Optimierung des Filmstreifens

In der VideoSummarizer PipelineNur Filmetrips reduzieren die Token-Kosten um mehr als 2x, während Verbesserung OCR treue-. , Das LLM sieht das Signal ,( ,extrahierte Textregionen , nicht die Szene , ( ,voll RGB Frames , ). ,

Dies ist keine Optimierung.Es handelt sich um eine Kategoriekorrektur.

Teil Das Muster in der Praxis

Die allgemeine Muster-:. Reduzierte RAG ist Map.-.Reduce für probabilistische Systeme

Das ist die Reduzierte RAG Architekturmuster.- Das Kernprinzip:- Pipelines füttern probabilistische Komponenten.

Reduzierte RAG ist Map.--Reduce auf probabilistische Systeme angewendet.

Kartenphase Sensoren und lokale Modelle extrahieren strukturierte Fakten aus Rohdaten
Phase reduzieren (-probabilistisch,-sequentiell,-zentriert):-LLM synthetisiert über die extrahierten Fakten

Traditionelle RAG bekommt diese rückwärts -- , es holt Dokumente und hofft, dass die LLM extrahiert Fakten -. , reduziert RAG extrahiert Fakten zuerst (-Karte), , dann lässt die LLM synthetisieren ).

Das Muster wiederholt sich in allen multimodalen Systemen.

Sensoren reduzieren (-deterministische Heuristik filtern und strukturieren Rohdaten parallel über Frames /-Cunks)-
Die lokalen Modelle extrahieren Spezialisierte Modelle produzieren Fakten mit Konfidenz-Scores
Karte ,: , Richtlinienrouten (-deterministische Schwellen entscheiden, :-existent oder eskaliert parallel pro Tatsache )-
LLMs synthetisieren Nur über gesammelte Fakten arbeiten – keine Rohdaten – die sequentielle Synthese – die )

flowchart TD
    subgraph Map["MAP PHASE (Parallel, Deterministic)"]
        Raw[Raw Data<br/>10,000 frames] --> Split{Split}

        Split --> S1[Sensors<br/>Frame 1-1000]
        Split --> S2[Sensors<br/>Frame 1001-2000]
        Split --> S3[Sensors<br/>Frame 2001-3000]
        Split --> SDots[...]

        S1 --> L1[Local Models<br/>Batch 1]
        S2 --> L2[Local Models<br/>Batch 2]
        S3 --> L3[Local Models<br/>Batch 3]
        SDots --> LDots[...]

        L1 --> F1[Facts: 120]
        L2 --> F2[Facts: 98]
        L3 --> F3[Facts: 156]
        LDots --> FDots[...]

        F1 --> Collect[Collect Facts]
        F2 --> Collect
        F3 --> Collect
        FDots --> Collect

        Collect --> Facts[(Facts Database<br/>500 total facts)]
    end

    subgraph Reduce["REDUCE PHASE (Sequential, Probabilistic)"]
        Query[User Query] --> Retrieve[Retrieve Relevant Facts<br/>Filter: 50 facts]
        Facts --> Retrieve
        Retrieve --> LLM[LLM Synthesis<br/>Reason over 50 facts]
        LLM --> Answer[Grounded Answer]
    end

    style Map fill:none,stroke:#16a34a,stroke-width:3px
    style Reduce fill:none,stroke:#6366f1,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style Split fill:none,stroke:#16a34a,stroke-width:2px
    style S1 fill:none,stroke:#16a34a,stroke-width:2px
    style S2 fill:none,stroke:#16a34a,stroke-width:2px
    style S3 fill:none,stroke:#16a34a,stroke-width:2px
    style SDots fill:none,stroke:#16a34a,stroke-width:1px,stroke-dasharray: 5 5
    style L1 fill:none,stroke:#059669,stroke-width:2px
    style L2 fill:none,stroke:#059669,stroke-width:2px
    style L3 fill:none,stroke:#059669,stroke-width:2px
    style LDots fill:none,stroke:#059669,stroke-width:1px,stroke-dasharray: 5 5
    style F1 fill:none,stroke:#0891b2,stroke-width:2px
    style F2 fill:none,stroke:#0891b2,stroke-width:2px
    style F3 fill:none,stroke:#0891b2,stroke-width:2px
    style FDots fill:none,stroke:#0891b2,stroke-width:1px,stroke-dasharray: 5 5
    style Collect fill:none,stroke:#16a34a,stroke-width:2px
    style Facts fill:none,stroke:#0891b2,stroke-width:3px
    style Query fill:none,stroke:#6b7280,stroke-width:2px
    style Retrieve fill:none,stroke:#7c3aed,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px
    style Answer fill:none,stroke:#16a34a,stroke-width:2px

Dokument – erste RAG gegen reduzierte RAG–:

Weitere Informationen: http:europa.eu.int/comm/index_de.html |--------|-------------------|-------------| | Muster →-Extrakt entfernen →-Synthesize-Karte herunterladen (-Extract-)-Extraktion →-Reduzieren Sie (-Synthese )-Extrem | Extraktionsgenauigkeit LLM-Halluzinationen möglich Deterministisch nachprüfbar | Gespeicherte Daten Dokumente /Cunks Structured facts - Strukturierte Fakten | Rolle des LLM Zwei Aufgaben – :-Extrakt – MSC2-Synthetisieren – MSV3-Synthisieren – Eine Aufgabe – nur :-Synthese – Nur |-Synthentisieren | Debuggability Inspect prompt traces Inspect fact database | Skalierbarkeit Sekundärer LLM-Flaschenhals Verteilte Karte Zentralverkleinerung Verteilen von ,

Konkrete Umsetzungen

Drei Produktionssysteme implementieren dieses Muster

**ImageSummarizer**Weitere Informationen finden Sie in unserer Datenbank GENESIS-Online
**AudioSummarizer**Akustische Merkmale , → , Diarisierung , → , LLM , nur Zeit für ( ,
VideoZusammenfassung:-Schußerkennung Keyframes CLIP-Embeddings →-LLM (-optional )-Detektion

Warum das funktioniert

Hier sind wirkliche Zahlen von VideoSummarizer auf einem Video 10--Minuten-Video (600-Sekunden ,-S30-fps =-Sims-18,000-Frames

Annäherung der Genauigkeit des Messwerts des Messwertes |----------|----------|-------------|--------| | Rahmen---von---Frame LLM Halluzinationen ,' Varianz Nicht-deterministisch -'|'~27«M| | Aufnahmen von Keyframes mit LLM Genaue und deterministische Extraktion | Filmstreifen-Textextraktion Die beste OCR-Gleitfähigkeit von | ist vollständig deterministisch.

Die richtige Architektur ist genauer. Es geschieht auch, um zu sein 180-x preiswerter -, aber dass ein Nebeneffekt des Tuns der richtigen Sache ,... nicht das Ziel .... selbst mit freien lokalen LLMs... ,... wäre der Frame-.by.-.frame Ansatz immer noch falsch, weil es unzuverlässige Ausgabe produziert.

Schließung

Wenn Ihr KI-System mit einem LLM-, beginnt, haben Sie bereits die Kontrolle darüber verloren.

Die Intelligenz beginnt nicht mit der Argumentation, sondern beginnt mit der Einschränkung.

Sensoren reduzieren Ungewissheit , . Synthesizer erweitern Bedeutung , um die beiden Brüche Systeme zu konfusieren ,.

Synthese den letzten Schritt machen

Stichworte

Reduzierte RAGKarte für probabilistische Systeme (MSK) Karte für deterministische Extraktion (MSC) ) - Reduzieren Sie die Synthese von (-LLM
KategoriefehlerBehandeln von etwas als zu einer grundlegend anderen Art gehörend, als es ist
BegrenzungseinrichtungVerringert hohe --dimensionale Rohdaten auf niedrige --dimensionale strukturierte Signale mit bekannter Genauigkeit
EskalationsstufeEin Fall zurück zu LLM nur, wenn deterministische Methoden fehlschlagen.
DiarisierungLautsprechertrennung im Audio-Format, der sprach, wenn -)