# Warum LLMs als Sensoren fehlschlagen und was Gehirne richtig machen LLMs Die großen Sprachmodelle von ) werden als Sensoren verwendet. **Fehler in der Kategorie**Verwendung eines probabilistischen Synthesizers, bei dem ein deterministisches Grenzgerät erforderlich ist Dies ist die meisten Mainstream-Beispiele und Tutorials führen mit der einfachsten Demo , : , nur senden Sie es an das Modell , ." , Das macht Onboarding easy , aber es verwischt eine entscheidende Grenze ,: , Wahrnehmung vs Synthese , . , Industrieanreize nicht helfen entweder ,: , Token , - Preisgünstige Systeme natürlich belohnen Pipelines, die mehr Arbeit in der LLM tun . Dieser Artikel ist über **[Reduzierte RAG](/blog/reduced-rag)** Ein architektonisches Muster, bei dem **deterministische Pipelines füttern probabilistische Komponenten**Nicht umgekehrt in einem korrekten RAG-System. - **Rohrleitungen** (-Sensoren lokale Modelle strukturierte Fakten )-Reduktion - **LLMs** nur an der reduzierten strukturierten Ausgabe arbeiten - **Niemals** Rohdaten direkt an LLMs senden Beispiel: Im OCR ist die Vision LLM , nicht die Stufe , sondern nur nach text ,- , Ähnlichkeit heuristics und lokale OCR fail , . , Das ist keine Optimierung , . , Es ist ein **Grenzregel** Eine architektonische Einschränkung, die eine unangemessene Werkzeugnutzung verhindert, unabhängig von der wahrgenommenen Bequemlichkeit. [TOC] --- ## Teil Das Problem Warum LLMs als Sensoren fehlschlagen ### Derselbe Fehler,-Verschiedene Modalitäten Hier sind identische architektonische Ausfälle über verschiedene Domains. - **OCR -Optische Charaktererkennung**Übertragen von rohen Video-Frames direkt an Vision LLMs anstelle der Verwendung von Text, - und lokalen OCR-Modellen - **Bildanalyse**Dieses Bild beschreiben, anstatt strukturierte Signale zuerst zu extrahieren. - **Videobearbeitung**LLM-Frame ausführen – -von-Rahmen statt Aufnahmen zu erkennen – ,Auszug von Keyframes – und visuelle Inhalte deduplizieren - **Audioanalyse**LLMs bitten, Lautsprecheridentität oder Audioqualität von rohen Wellenformen abzuleiten anstatt Signalverarbeitung zu verwenden ```mermaid flowchart TD subgraph Wrong["❌ Common Anti-Pattern"] Raw[Raw Data
Pixels, Waveforms, Frames] -->|Direct feed| LLM1[Vision/Audio LLM
$$$, variance, hallucination] LLM1 --> Unreliable[Unreliable Output
High cost, non-deterministic] end style Wrong fill:none,stroke:#dc2626,stroke-width:3px style Raw fill:none,stroke:#6b7280,stroke-width:2px style LLM1 fill:none,stroke:#dc2626,stroke-width:2px style Unreliable fill:none,stroke:#dc2626,stroke-width:2px ``` ### Die Symptome Diese architektonischen Fehler produzieren vorhersehbare Ausfälle 1. **Halluzinierte Wahrnehmung**LLMs *muss* emittieren Sie Tokens..... Unter Ungewissheit füllen sie Lücken mit plausiblen Vervollständigungen.......Text detected"... weil es dort sein könnte.,... nicht, weil es da ist!.... **Dies ist das Kernproblem.** 2. **Nicht deterministisches Versagen**Temperatur- und Token-Budget-Antriebsvarianz - gleiche Eingabe - unterschiedliche Ausgänge - .- Debugging wird zur statistischen Analyse - .- 3. **Ressourcenabfälle**Egal, ob Sie mit 're pro Token zahlen oder lokale Modelle ausführen (Ollama-,-llama-MSC6-cpp-),-you'-re Brennen Berechnung auf die falsche Aufgabe - lokale LLMs nicht Kosten pro Anruf ,, aber sie produzieren immer noch unzuverlässig Sensorausgabe - .- **Das Problem ist, nicht Kosten -, es Genauigkeit ',** Ein lokal gehostetes LLM halluzinierendes OCR-Ergebnis ist genauso gebrochen wie ein teurer API-Aufruf, der dasselbe tut.Deterministische Sensoren produzieren überprüfbare Fakten... ### Warum dies passiert, Sensoren vs. Synthesizer Der Kategoriefehler existiert, weil **ein Sensor und ein Synthesizer sind grundsätzlich unterschiedliche Werkzeuge** **Ein Sensor ist eine Begrenzungseinrichtung.** - Reduziert die Dimensionalität der Welt, ', MSC1, Photonen, strukturierte Signale, MSV3, - Emittiert Fakten mit Vertrauensnoten - Hat bekannt ,, , gekennzeichnet Ausfall-Modi - Preisgünstig, schnell, wiederholbar, deterministisch **Ein LLM ist ein hochwertiger Synthesizer.** - Erweitert Freiheitsgrade (-Fakten →-Prosa,-strukturiert →-unstrukturiert)- - Kein stabiler Begriff von nicht entdeckten " wird immer Tokens produzieren. - Die Ausgabe variiert mit der Kontext-Temperatur - Kosten skalieren linear mit Eingabegröße - Nicht---deterministisch nach Design ```mermaid flowchart LR subgraph Sensor["Sensor (Boundary Device)"] World[Physical World
∞ dimensions] -->|Reduce| Signal[Structured Signal
Bounded dimensions] Signal -->|Confidence| Facts[Facts
± certainty] end subgraph LLM["LLM (Synthesizer)"] Input[Structured Input] -->|Synthesize| Prose[Unstructured Output
High entropy] Prose -->|No confidence| Tokens[Token stream
No 'nothing' state] end style Sensor fill:none,stroke:#16a34a,stroke-width:2px style LLM fill:none,stroke:#b45309,stroke-width:2px style World fill:none,stroke:#6b7280,stroke-width:2px style Signal fill:none,stroke:#2563eb,stroke-width:2px style Facts fill:none,stroke:#059669,stroke-width:2px style Input fill:none,stroke:#6b7280,stroke-width:2px style Prose fill:none,stroke:#d97706,stroke-width:2px style Tokens fill:none,stroke:#dc2626,stroke-width:2px ``` Deshalb [StyloFlow](/blog/styloflow-signal-driven-workflows) behandelt Signale als unveränderliche Fakten... nicht prosa... Modelle können vorschlagen... Deterministische Politik entscheidet, was anhält... --- ## Teil: Das Prinzip: Sensoren zuerst: ,, Synthese zuletzt:) ### Was Gehirne bekommen Recht , ( , keine Romanze ,) , Die Gehirne beginnen nicht mit der Argumentation, sie beginnen mit **Beschränkung**. Die Netzhaut ist nicht der Cortex.Es gibt schwere Vorverarbeitung, bevor irgendetwas wie Kognition aussieht. - **Kantenerkennung** (-on---center-,-off---Center-Ganglionzellen - **Bewegungserkennung** Direkte Selektivität in V.1) - **Kontrastunterdrückung** Sicherheit und Gesundheitsschutz am Arbeitsplatz - **Lärmbelästigung** Feuerung auf der Basis von ) **Wenn sensorische Einschränkungen abschwächen, steigen die Halluzinationen an.** Niedriges LichtVermißte KantenVerminderte QueuesVermin dertes LichtDies ist keine Metapher -- , es ist der gleiche Ausfallmodus wie LLM Halluzinationen unter Ungewissheit ,. , Ingenieure bereits wissen dies , wenn vorgelagerte SNR Tropfen , , , nachgeschaltete Klassifikatoren instabil werden , . ### Wahrnehmungspipelines über Arten hinweg Dieses Problem – --Lösungsmuster erscheint über alle Tierwahrnehmungssysteme – nicht nur menschliche Vision –:- **Fledermaus-Echoortung** (-Auditorium ):- - **Problemstellung**Rohe Ultraschallreflexionen enthalten Millionen von Datenpunkten pro Sekunde - **Lösung**Spezialisierte Cochlea-Verarbeitungsfilter für Doppler-Schichten,-Zeitverzögerungen,-Amplitude - **Ergebnis**Structured signals Vor der kortikalen Verarbeitung - **Technik parallel**Audio-Signalverarbeitungsfunktionen der →®-Diarisierungsfunktion der LLM-Synthese **Honeybee Vision** Bewegungsdetektion): - **Problemstellung**Schnell wechselndes Sichtfeld während des Fluges - **Lösung**Optische Strömungsberechnung in der Lamina - ersten neuronalen Schicht - nicht im zentralen Gehirn - **Ergebnis**Die Kollisionsvermeidung arbeitet auf Bewegungsvektoren, nicht auf rohen Pixeln - **Technik parallel**OpenCV-Bewegungsdetektion - Tracking - Semantische Analyse ```mermaid flowchart LR subgraph Bat["Bat Echolocation"] Echo[Ultrasonic Echo
∞ waveform data] --> Cochlea[Cochlear Filters
Doppler, delay, amplitude] Cochlea --> BatBrain[Auditory Cortex
Distance, texture facts] end subgraph Bee["Honeybee Vision"] Motion[Visual Field
Rapid motion] --> Lamina[Lamina
Optical flow computation] Lamina --> BeeBrain[Central Brain
Motion vectors, not pixels] end style Bat fill:none,stroke:#7c3aed,stroke-width:2px style Bee fill:none,stroke:#d97706,stroke-width:2px style Echo fill:none,stroke:#6b7280,stroke-width:2px style Cochlea fill:none,stroke:#a855f7,stroke-width:2px style BatBrain fill:none,stroke:#6366f1,stroke-width:2px style Motion fill:none,stroke:#6b7280,stroke-width:2px style Lamina fill:none,stroke:#f59e0b,stroke-width:2px style BeeBrain fill:none,stroke:#d97706,stroke-width:2px ``` **Das übliche Muster** 1. **Rohe sensorische Daten** :, zu viel,, zu laut,, zu hoch-, Dimensional), 2. **Grenzvorbehandlung** (-Lösung :-Spezialhardware /-Wetware reduziert ,-Filter,-Strukturen)- 3. **Kognitive Verarbeitung** MSK arbeitet auf Fakten, nicht Rohsignale, nicht auf Es ist konvergente Entwicklung der Informationsverarbeitung unter physikalischen Zwängen. Das Engineering-Mapping ist eng. ```mermaid flowchart TD subgraph Brain["Biological Vision Pipeline"] Photons[Photons] --> Retina[Retina
Edge detection, contrast] Retina --> V1[V1 Cortex
Orientation, motion] V1 --> IT[Inferotemporal Cortex
Object recognition] IT --> PFC[Prefrontal Cortex
Reasoning, synthesis] end subgraph Engineering["Engineering Vision Pipeline"] Pixels[Raw Pixels] --> OpenCV[OpenCV + Heuristics
Sharpness, text-likeliness] OpenCV --> Local[Local Models
Florence-2, EAST/CRAFT OCR] Local --> Structured[Structured Signals
Bounding boxes, confidence] Structured --> LLM[LLM Synthesis
Only when needed] end Brain -.->|Maps to| Engineering style Brain fill:none,stroke:#7c3aed,stroke-width:2px style Engineering fill:none,stroke:#2563eb,stroke-width:2px style Photons fill:none,stroke:#6b7280,stroke-width:2px style Retina fill:none,stroke:#16a34a,stroke-width:2px style V1 fill:none,stroke:#059669,stroke-width:2px style IT fill:none,stroke:#0891b2,stroke-width:2px style PFC fill:none,stroke:#6366f1,stroke-width:2px style Pixels fill:none,stroke:#6b7280,stroke-width:2px style OpenCV fill:none,stroke:#16a34a,stroke-width:2px style Local fill:none,stroke:#059669,stroke-width:2px style Structured fill:none,stroke:#0891b2,stroke-width:2px style LLM fill:none,stroke:#6366f1,stroke-width:2px ``` **Gehirne verstehen nicht ", Pixel ., sie sehen sie nie.** Der Cortex arbeitet auf Signalen, die reduziert worden sind.,-gefiltert... und strukturiert durch vorangegangene Schichten...... das ist keine Einschränkung. ### Engineering-Konsequenzen Design-Regeln Dies ist nicht ein philosophisches take-..Es ist Systemdesign. 1. **Eskalation muss abgesperrt werden**Die LLMs sind nicht höher als die 1., sondern nur aufrufbar, wenn billigere Sensoren ausfallen. 2. **Vertrauensschwellen müssen ausdrücklich festgelegt werden**Text, der mit dem Konfidenzwert von 0.92 entdeckt wurde, ist eine Tatsache, dass es möglicherweise einen Text gibt, der nicht . ist. 3. **Routing muss deterministisch sein**Keine prompte Varianz, keine Temperatureffekte, 4. **Token-Ökonomie sind eine Einschränkung keine Kostenzwänge.**Wenn Ihre Pipeline die Kostenskalen mit Rohdatengröße nutzt, verwenden Sie das falsche Werkzeug. 5. **Fakten brauchen Provenienz**Wenn du ' nicht auf die Begrenzungsbox zeigen kannst, ist es eine Tatsache, dass . **Die Optimierung des Filmstreifens** In der [VideoSummarizer Pipeline](/blog/videosummarizer-scalable-video-intelligence)Nur Filmetrips reduzieren die Token-Kosten um mehr als 2x, während *Verbesserung* OCR treue-. , Das LLM sieht das Signal ,( ,extrahierte Textregionen , nicht die Szene , ( ,voll RGB Frames , ). , Dies ist keine Optimierung.Es handelt sich um eine Kategoriekorrektur. --- ## Teil Das Muster in der Praxis ### Die allgemeine Muster-:. Reduzierte RAG ist Map.-.Reduce für probabilistische Systeme Das ist die **Reduzierte RAG** Architekturmuster.- Das Kernprinzip:- **Pipelines füttern probabilistische Komponenten**. **Reduzierte RAG ist Map.--Reduce auf probabilistische Systeme angewendet.** - **Kartenphase** Sensoren und lokale Modelle extrahieren strukturierte Fakten aus Rohdaten - **Phase reduzieren** (-probabilistisch,-sequentiell,-zentriert):-LLM synthetisiert über die extrahierten Fakten Traditionelle RAG bekommt diese rückwärts -- , es holt Dokumente und hofft, dass die LLM extrahiert Fakten -. , reduziert RAG **extrahiert Fakten zuerst** (-Karte), , dann lässt die LLM synthetisieren ). Das Muster wiederholt sich in allen multimodalen Systemen. 1. **Sensoren reduzieren** (-deterministische Heuristik filtern und strukturieren Rohdaten parallel über Frames /-Cunks)- 2. **Die lokalen Modelle extrahieren** Spezialisierte Modelle produzieren Fakten mit Konfidenz-Scores 3. **Karte ,: , Richtlinienrouten** (-deterministische Schwellen entscheiden, :-existent oder eskaliert parallel pro Tatsache )- 4. **LLMs synthetisieren** Nur über gesammelte Fakten arbeiten – keine Rohdaten – die sequentielle Synthese – die ) ```mermaid flowchart TD subgraph Map["MAP PHASE (Parallel, Deterministic)"] Raw[Raw Data
10,000 frames] --> Split{Split} Split --> S1[Sensors
Frame 1-1000] Split --> S2[Sensors
Frame 1001-2000] Split --> S3[Sensors
Frame 2001-3000] Split --> SDots[...] S1 --> L1[Local Models
Batch 1] S2 --> L2[Local Models
Batch 2] S3 --> L3[Local Models
Batch 3] SDots --> LDots[...] L1 --> F1[Facts: 120] L2 --> F2[Facts: 98] L3 --> F3[Facts: 156] LDots --> FDots[...] F1 --> Collect[Collect Facts] F2 --> Collect F3 --> Collect FDots --> Collect Collect --> Facts[(Facts Database
500 total facts)] end subgraph Reduce["REDUCE PHASE (Sequential, Probabilistic)"] Query[User Query] --> Retrieve[Retrieve Relevant Facts
Filter: 50 facts] Facts --> Retrieve Retrieve --> LLM[LLM Synthesis
Reason over 50 facts] LLM --> Answer[Grounded Answer] end style Map fill:none,stroke:#16a34a,stroke-width:3px style Reduce fill:none,stroke:#6366f1,stroke-width:3px style Raw fill:none,stroke:#6b7280,stroke-width:2px style Split fill:none,stroke:#16a34a,stroke-width:2px style S1 fill:none,stroke:#16a34a,stroke-width:2px style S2 fill:none,stroke:#16a34a,stroke-width:2px style S3 fill:none,stroke:#16a34a,stroke-width:2px style SDots fill:none,stroke:#16a34a,stroke-width:1px,stroke-dasharray: 5 5 style L1 fill:none,stroke:#059669,stroke-width:2px style L2 fill:none,stroke:#059669,stroke-width:2px style L3 fill:none,stroke:#059669,stroke-width:2px style LDots fill:none,stroke:#059669,stroke-width:1px,stroke-dasharray: 5 5 style F1 fill:none,stroke:#0891b2,stroke-width:2px style F2 fill:none,stroke:#0891b2,stroke-width:2px style F3 fill:none,stroke:#0891b2,stroke-width:2px style FDots fill:none,stroke:#0891b2,stroke-width:1px,stroke-dasharray: 5 5 style Collect fill:none,stroke:#16a34a,stroke-width:2px style Facts fill:none,stroke:#0891b2,stroke-width:3px style Query fill:none,stroke:#6b7280,stroke-width:2px style Retrieve fill:none,stroke:#7c3aed,stroke-width:2px style LLM fill:none,stroke:#6366f1,stroke-width:2px style Answer fill:none,stroke:#16a34a,stroke-width:2px ``` **Dokument – erste RAG gegen reduzierte RAG–:** Weitere Informationen: http:europa.eu.int/comm/index_de.html |--------|-------------------|-------------| | **Muster** →-Extrakt entfernen →-Synthesize-Karte herunterladen (-Extract-)-Extraktion →-Reduzieren Sie (-Synthese )-Extrem | **Extraktionsgenauigkeit** LLM-Halluzinationen möglich Deterministisch nachprüfbar | **Gespeicherte Daten** Dokumente /Cunks Structured facts - Strukturierte Fakten | **Rolle des LLM** Zwei Aufgaben – :-Extrakt – MSC2-Synthetisieren – MSV3-Synthisieren – Eine Aufgabe – nur :-Synthese – Nur |-Synthentisieren | **Debuggability** Inspect prompt traces Inspect fact database | **Skalierbarkeit** Sekundärer LLM-Flaschenhals Verteilte Karte Zentralverkleinerung Verteilen von , ### Konkrete Umsetzungen Drei Produktionssysteme implementieren dieses Muster - **[ImageSummarizer](/blog/constrained-fuzzy-image-intelligence)**Weitere Informationen finden Sie in unserer Datenbank GENESIS-Online - **[AudioSummarizer](/blog/audiosummarizer-forensic-audio-characterization)**Akustische Merkmale , → , Diarisierung , → , LLM , nur Zeit für ( , - **[VideoZusammenfassung](/blog/videosummarizer-scalable-video-intelligence)**:-Schußerkennung Keyframes CLIP-Embeddings →-LLM (-optional )-Detektion ### Warum das funktioniert Hier sind wirkliche Zahlen von VideoSummarizer auf einem Video 10--Minuten-Video (600-Sekunden ,-S30-fps =-Sims-18,000-Frames Annäherung der Genauigkeit des Messwerts des Messwertes |----------|----------|-------------|--------| | **Rahmen---von---Frame LLM** Halluzinationen ,' Varianz Nicht-deterministisch -'|'~27«M| | **Aufnahmen von Keyframes mit LLM** Genaue und deterministische Extraktion | **Filmstreifen-Textextraktion** Die beste OCR-Gleitfähigkeit von | ist vollständig deterministisch. **Die richtige Architektur ist genauer.** Es geschieht auch, um zu sein 180-x preiswerter -, aber dass ein Nebeneffekt des Tuns der richtigen Sache ,... nicht das Ziel .... selbst mit freien lokalen LLMs... ,... wäre der Frame-.by.-.frame Ansatz immer noch falsch, weil es unzuverlässige Ausgabe produziert. --- ## Schließung Wenn Ihr KI-System mit einem LLM-, beginnt, haben Sie bereits die Kontrolle darüber verloren. Die Intelligenz beginnt nicht mit der Argumentation, sondern beginnt mit der Einschränkung. Sensoren reduzieren Ungewissheit , . Synthesizer erweitern Bedeutung , um die beiden Brüche Systeme zu konfusieren ,. Synthese den letzten Schritt machen --- ## Stichworte - **Reduzierte RAG**Karte für probabilistische Systeme (MSK) Karte für deterministische Extraktion (MSC) ) - Reduzieren Sie die Synthese von (-LLM - **Kategoriefehler**Behandeln von etwas als zu einer grundlegend anderen Art gehörend, als es ist - **Begrenzungseinrichtung**Verringert hohe --dimensionale Rohdaten auf niedrige --dimensionale strukturierte Signale mit bekannter Genauigkeit - **Eskalationsstufe**Ein Fall zurück zu LLM nur, wenn deterministische Methoden fehlschlagen. - **Diarisierung**Lautsprechertrennung im Audio-Format, der sprach, wenn -) --- ## Verwandte Artikel - [Reduzierte RAG-:-Karte für probabilistische Systeme](/blog/reduced-rag) - [VideoSummarizer-:. Reduzierte RAG für Video](/blog/videosummarizer-scalable-video-intelligence) - [BildSummarizer-:-Beschränkte Fuzzy Bildintelligenz](/blog/constrained-fuzzy-image-intelligence) - [AudioSummarizer-:-Forensische Audiocharakterisierung](/blog/audiosummarizer-forensic-audio-characterization) - [StyloFlow-:-Signal---Driven Workflows](/blog/styloflow-signal-driven-workflows)