# Die kleinen Modelle sind nicht die Option des Budgets. Kleine und lokale LLMs sind oft als die billige Alternative zu Grenzmodellen gerahmt..-Das Rahmung falsch ist..-Sie sind keine degradierte Version des gleichen Dings, sie sind eine andere architektonische Wahl. **Kontrolle**, **Vorhersagbarkeit**L 347 vom 20.12.2013, S. 671. **Survivable Ausfall-Modi**. IME'-m so schuldig wie jeder für pushing '-theye-'-re free-'-Erzählung, wenn das der einzige entscheidende Faktor war, .-Aber wie die Auswahl einer Datenbank Hosting-Plattform für ein System müssen Sie verstehen **was trade---offs Sie machen**. Verwendung eines kleinen Modells über [Ollama](https://ollama.ai/)LM Studio, LM [ONNX Laufzeit](https://onnxruntime.ai/)Es geht darum, zu wählen **wo Nicht---Determinismus existieren darf**. [TOC] ## Die wirklichen Unterschiede der Fehler-Modi Große Grenzmodelle sind breiter und fließender, sie verdichten mehr menschliche Ausdruckslogik., spannen mehr Domains aus und produzieren überzeugendere Argumentationsspuren. **gefährlicher** in Systemen, die Garantien erfordern Frontier-Modelle machen Sinn, wenn Breite erforderlich ist und Outputs von Design beratend sind., creative developing – offenes - ended exploration – , oder Synthese über unbekannte Domains – aber dass nicht die meisten Produktionssysteme . Ihre Fehler sind **semantisch statt strukturell**Dies ist die Kategorie Fehlerbehandlung einer probabilistischen Komponente, als ob es eine Systemgrenze wäre. - Teuer zu erkennen - Teuer für Debugging - Oft nur sichtbar, wenn Schaden angerichtet wird **Kleine Modelle scheitern anders.** Wenn ein kleines Modell verwirrt ist, neigt es dazu, : - Bruchschemata - Ungültige JSON auslassen - Ausfälle abschneiden - Verlust der Struktur Das sind **billige Ausfälle**Sie können mit einfacher Validierung erkannt werden. Sie lösen Retries oder Fallbacks sofort aus. **Dies ist keine Schwäche. Es ist ein Feature.** ## Woher dieses Prinzip kommt Diese Einsicht ist das Fundament der abstrakten Theorie [Zehn Gebote der LLM-Nutzung](/blog/tencommandments)Das Kernprinzip > **LLMs interpretieren die Realität... Sie dürfen sie niemals definieren.** Wenn du diesem Prinzip folgst, entdeckst du etwas überraschendes. **Du brauchst keine teuren Modelle mehr**Ein lokal laufendes Parametermodell des Typs 7 kann eine Zusammenfassung von , zusammenstellen und Hypothesen erzeugen, weil die deterministischen Systeme um sie herum mit allem umgehen, was eigentlich korrekt sein muss.. Kleine Modelle sind nicht häufig **ausreichend** weil das Problem bereits durch die Zeit, es erreicht sie reduziert worden ist Die Grenzgänger-Modelle verkaufen Sie Zuverlässigkeit sollten Sie selbst bauen ## Das richtige mentale Modell So wie DuckDB nicht ist, besetzen z.B. " cheap SQL-" und Postgres keine kleinen LLMs **unterschiedlicher Punkt im Designraum**Du wählst sie, wenn sie Weitere Informationen: http:europa.eu.int/comm/eurostat.html |---------|----------------------| | **Ort** Läuft auf Ihrer Hardware, Ihr Netzwerk, Ihre Jurisdiktion. | **Auditierbarkeit** Jede Inferenz wird protokolliert.,. reproduzierbar.MSC2. inspizierbar. | **Explosionsradius** Nicht über API-Ketten verbreitete Fehler sind enthalten. | **Durchsetzung der Korrektheit** Die Validierung erfolgt außerhalb des Modells. | **Gebundener Nicht---Determinismus** Die Unsicherheit ist eng eingeschränkt. ## Wie ich dies in der Praxis verwende Dies ist hypothetisch, .. Meine Projekte zeigen dieses Muster wiederholt. ### GraphRAG mit drei Extraktionsmodi [Meine Implementierung von GraphRAG](/blog/graphrag-minimum-viable-implementation) bietet drei Modi an |-Modus ruft LLM am besten für |-Modus an |------|-----------|----------| | **Heuristisch** Bereinigte Determinismus über die IDF-Struktur | **Hybrid** Das kleine Modell bestätigt Kandidaten. | **LLM** Höchste Qualität, wenn erforderlich Das **Hybrid-Modus** ist der süße Fleck, den die heuristische Extraktion Kandidaten findet?(.deterministisch... dann validiert und bereichert ein kleines lokales Modell sie... Ein LLM-Aufruf pro Dokument. Mit Ollama, die lokal ausgeführt wird, ist ,- die Kosten, aber dass nicht, warum ich es verwende, -- Kosteneinsparungen sind ein Nebeneffekt der korrekten Abstraktion ,- nicht das Ziel .- ich benutze es, weil **die Ausfälle sind billig und offensichtlich**. ### ONNX-Embeddings – keine LLM erforderlich [Semantische Suche mit ONNX und Qdrant](/blog/semantic-search-with-onnx-and-qdrant) zeigt ein anderes Muster an don-: , einige Aufgaben benötigen einen LLM überhaupt ,. , BERT Einbettungen über ONNX Runtime geben Ihnen .: , - **CPU.--freundliche Schlussfolgerung** Keine GPU erforderlich - **Deterministische Ergebnisse** Die gleiche Eingabe erzeugt immer dieselbe Einbettung - **Lokale Ausführung** Keine API-Aufrufe keine Latenz keine Ratenbegrenzung - **Modell ~90,MB** - läuft überall Für [hybride Suche](/blog/rag-hybrid-search-and-indexing)Ich kombiniere diese Einbettungen mit BM,25, Scoring, ., die LLM erscheint nur zur Synthesezeit, und selbst dann funktioniert ein kleines lokales Modell gut, weil es 's **Erläuterung** Struktur, die deterministische Systeme bereits validiert haben ### DocSummarizer-:-Struktur zuerst -,-LLM Zweite [DocSummarizer](/blog/docsummarizer-tool) verkörpert diese Philosophie 1. **Parse** Dokumente mit deterministischen Bibliotheken 2. **Krümel** Inhalt, der strukturelle Regeln verwendet 3. **Einbetten** Stücke mit ONNX BERT 4. **Abrufen** relevante Brocken über Vektorsuche 5. **Synthese** mit dem einzigen probabilistischen Schritt Ollama Das LLM ist das **letzter Schritt**Die Arbeit an Pre-- ist validiert, , ist pre-- ist strukturierter Inhalt. Es kann fehlschlagen und wenn es nicht , ist der Fehler offensichtlich, weil die Struktur bereits korrekt ist. ## Die drei Fragen Frontier-Modelle sind leistungsfähige Werkzeuge, wenn sie absichtlich verwendet werden . ... . Aber sie erhöhen die ausdrucksstarke Leistung schneller als sie das Risiko verringern . **ohne Wahrheit oder Verantwortung zu verschleiern**. Die richtige Frage ist nicht, welches Modell am besten ist. Es ist :. 1. **Wo ist Wahrscheinlichkeit gehören?** 2. **Wo muss Determinismus absolut sein?** 3. **Welche Ausfälle kann dieses System überleben?** Wenn die Antwort mit dem Staat verbunden ist, sollte das Modell nie in der Verantwortung sein... Und wenn das Modell nur da ist, um zu klassifizieren, ,.Zusammenfassung:,. Rang: ,. oder schlagen Hypothesen vor.,. ein kleines lokales Modell ist oft das **richtige Wahl**Nicht der wirtschaftliche Eins ## Das Muster der Bohrmaschine :-Boring Machinery - kleines Modell Dies ist die Architektur, die funktioniert ``` ┌─────────────────────────────────────────────────────┐ │ DETERMINISTIC LAYER │ │ State machines, queues, validation, storage │ │ (DuckDB, Postgres, Redis, file systems) │ └─────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ INTERFACE LAYER │ │ Schema validation, retries, fallbacks │ │ (Polly, FluentValidation, custom guards) │ └─────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ PROBABILISTIC LAYER │ │ Classification, summarisation, hypothesis gen │ │ (Ollama, ONNX, small local models) │ └─────────────────────────────────────────────────────┘ ``` Die LLM ist auf der **unten**Es schlägt vor, die deterministischen Schichten zu entsorgen. ## Zuverlässigkeit geht nicht darum, Fehler zu vermeiden Alle drei Perspektiven Die Fragen Das Muster Das Muster Und Dieses Letzte Prinzip Die Frage Auf Die Frage **Zuverlässigkeit ist über die Auswahl von Fehlern, die Sie überleben können.** Mit LLMs-,, das bedeutet die Verwaltung von Nicht ---Determinismus durch deterministische Praktiken - [Gebot I](/blog/tencommandments)Der Staat lebt außerhalb des Modells - [Gebot VII](/blog/tencommandments)Machen Sie Ausfall laut und langweilig - [Befehl IX](/blog/tencommandments)Bauen Sie zuerst die langweilige Maschinerie Kleine Modelle machen dies einfacher, weil ihre Fehler sind **laut**Dies sind Geschenke, die dir sofort sagen, dass etwas schief gegangen ist. Fehler des Frontiermodells sind **ruhig**Plausibler, klingender Unsinn-... vertrauliche Halluzinationen.... semantischer Drift, der nur sichtbar wird, wenn sich ein Kunde beschwert oder ein Audit fehlschlägt. **I'-ll nehmen laute Ausfälle jedes Mal** ## Zugehörige Lektüre ### Die Philosophie - [Zehn Gebote der LLM-Nutzung](/blog/tencommandments) Die Prinzipien hinter diesem Ansatz - [Warum ich LangChain nicht verwende](/blog/why-i-dont-use-langchain) Übersichtlichkeit des Rahmens gegen Klarheit - [Warum kommerzielle KI-Projekte dumm sind](/blog/whycommercialaiprojectsaredumb) Der Fall für lokale, erste KI ### Die Durchführung - [GraphRAG-:-Mindestausführbarkeit](/blog/graphrag-minimum-viable-implementation) 3 Extraktionsmodi in der Praxis - [Semantische Suche mit ONNX und Qdrant](/blog/semantic-search-with-onnx-and-qdrant) Bequeme Einbettungen - [DocSummarizer Werkzeug](/blog/docsummarizer-tool) Struktur zuerst,, LLM second - [Hybride Suche und Auto-Indexing](/blog/rag-hybrid-search-and-indexing) Bereite Suche ### Die Architektur - [Die Behandlung von LLMs als nicht vertrauenswürdig](/blog/blog-article-cooking-dise-part3-untrustworthy-gods) Das Muster der nicht vertrauenswürdigen Götter - [Bot-Erkennung mit LLM Advisors](/blog/botdetection-introduction) LLM als Berater, nicht Controller - [Zero---PII Kundenintelligenz](/blog/zero-pii-customer-intelligence-part1) Das semantische Verständnis mit Grenzen ## Externe Mittel - [Ollama](https://ollama.ai/) LLMs lokal mit einem Befehl ausführen - [ONNX Laufzeit](https://onnxruntime.ai/) --Kreuzung--Plattform-ML-Inferenz - [LM Studio](https://lmstudio.ai/) Desktop-App für lokale LLMs - [llama-.-cpp](https://github.com/ggerganov/llama.cpp) Effiziente Schlussfolgerung