Kleine und lokale LLMs sind oft als die billige Alternative zu Grenzmodellen gerahmt..-Das Rahmung falsch ist..-Sie sind keine degradierte Version des gleichen Dings, sie sind eine andere architektonische Wahl. Kontrolle, VorhersagbarkeitL 347 vom 20.12.2013, S. 671. Survivable Ausfall-Modi.

IME'-m so schuldig wie jeder für pushing '-theye-'-re free-'-Erzählung, wenn das der einzige entscheidende Faktor war, .-Aber wie die Auswahl einer Datenbank Hosting-Plattform für ein System müssen Sie verstehen was trade---offs Sie machen.

Verwendung eines kleinen Modells über OllamaLM Studio, LM ONNX LaufzeitEs geht darum, zu wählen wo Nicht---Determinismus existieren darf.

Die wirklichen Unterschiede der Fehler-Modi

Große Grenzmodelle sind breiter und fließender, sie verdichten mehr menschliche Ausdruckslogik., spannen mehr Domains aus und produzieren überzeugendere Argumentationsspuren. gefährlicher in Systemen, die Garantien erfordern

Frontier-Modelle machen Sinn, wenn Breite erforderlich ist und Outputs von Design beratend sind., creative developing – offenes - ended exploration – , oder Synthese über unbekannte Domains – aber dass nicht die meisten Produktionssysteme .

Ihre Fehler sind semantisch statt strukturellDies ist die Kategorie Fehlerbehandlung einer probabilistischen Komponente, als ob es eine Systemgrenze wäre.

• Teuer zu erkennen
• Teuer für Debugging
• Oft nur sichtbar, wenn Schaden angerichtet wird

Kleine Modelle scheitern anders.

Wenn ein kleines Modell verwirrt ist, neigt es dazu, :

• Bruchschemata
• Ungültige JSON auslassen
• Ausfälle abschneiden
• Verlust der Struktur

Das sind billige AusfälleSie können mit einfacher Validierung erkannt werden. Sie lösen Retries oder Fallbacks sofort aus.

Dies ist keine Schwäche. Es ist ein Feature.

Woher dieses Prinzip kommt

Diese Einsicht ist das Fundament der abstrakten Theorie Zehn Gebote der LLM-NutzungDas Kernprinzip

LLMs interpretieren die Realität... Sie dürfen sie niemals definieren.

Wenn du diesem Prinzip folgst, entdeckst du etwas überraschendes. Du brauchst keine teuren Modelle mehrEin lokal laufendes Parametermodell des Typs 7 kann eine Zusammenfassung von , zusammenstellen und Hypothesen erzeugen, weil die deterministischen Systeme um sie herum mit allem umgehen, was eigentlich korrekt sein muss..

Kleine Modelle sind nicht häufig ausreichend weil das Problem bereits durch die Zeit, es erreicht sie reduziert worden ist

Die Grenzgänger-Modelle verkaufen Sie Zuverlässigkeit sollten Sie selbst bauen

Das richtige mentale Modell

So wie DuckDB nicht ist, besetzen z.B. " cheap SQL-" und Postgres keine kleinen LLMs unterschiedlicher Punkt im DesignraumDu wählst sie, wenn sie

Weitere Informationen: http:europa.eu.int/comm/eurostat.html |---------|----------------------| | Ort Läuft auf Ihrer Hardware, Ihr Netzwerk, Ihre Jurisdiktion. | Auditierbarkeit Jede Inferenz wird protokolliert.,. reproduzierbar.MSC2. inspizierbar. | Explosionsradius Nicht über API-Ketten verbreitete Fehler sind enthalten. | Durchsetzung der Korrektheit Die Validierung erfolgt außerhalb des Modells. | Gebundener Nicht---Determinismus Die Unsicherheit ist eng eingeschränkt.

Wie ich dies in der Praxis verwende

Dies ist hypothetisch, .. Meine Projekte zeigen dieses Muster wiederholt.

GraphRAG mit drei Extraktionsmodi

Meine Implementierung von GraphRAG bietet drei Modi an

Das Hybrid-Modus ist der süße Fleck, den die heuristische Extraktion Kandidaten findet?(.deterministisch... dann validiert und bereichert ein kleines lokales Modell sie... Ein LLM-Aufruf pro Dokument.

Mit Ollama, die lokal ausgeführt wird, ist ,- die Kosten, aber dass nicht, warum ich es verwende, -- Kosteneinsparungen sind ein Nebeneffekt der korrekten Abstraktion ,- nicht das Ziel .- ich benutze es, weil die Ausfälle sind billig und offensichtlich.

ONNX-Embeddings – keine LLM erforderlich

Semantische Suche mit ONNX und Qdrant zeigt ein anderes Muster an don-: , einige Aufgaben benötigen einen LLM überhaupt ,. , BERT Einbettungen über ONNX Runtime geben Ihnen .: ,

• CPU.--freundliche Schlussfolgerung Keine GPU erforderlich
• Deterministische Ergebnisse Die gleiche Eingabe erzeugt immer dieselbe Einbettung
• Lokale Ausführung Keine API-Aufrufe keine Latenz keine Ratenbegrenzung
• Modell ~90,MB - läuft überall

Für hybride SucheIch kombiniere diese Einbettungen mit BM,25, Scoring, ., die LLM erscheint nur zur Synthesezeit, und selbst dann funktioniert ein kleines lokales Modell gut, weil es 's Erläuterung Struktur, die deterministische Systeme bereits validiert haben

DocSummarizer-:-Struktur zuerst -,-LLM Zweite

DocSummarizer verkörpert diese Philosophie

1. Parse Dokumente mit deterministischen Bibliotheken
2. Krümel Inhalt, der strukturelle Regeln verwendet
3. Einbetten Stücke mit ONNX BERT
4. Abrufen relevante Brocken über Vektorsuche
5. Synthese mit dem einzigen probabilistischen Schritt Ollama

Das LLM ist das letzter SchrittDie Arbeit an Pre-- ist validiert, , ist pre-- ist strukturierter Inhalt. Es kann fehlschlagen und wenn es nicht , ist der Fehler offensichtlich, weil die Struktur bereits korrekt ist.

Die drei Fragen

Frontier-Modelle sind leistungsfähige Werkzeuge, wenn sie absichtlich verwendet werden . ... . Aber sie erhöhen die ausdrucksstarke Leistung schneller als sie das Risiko verringern . ohne Wahrheit oder Verantwortung zu verschleiern.

Die richtige Frage ist nicht, welches Modell am besten ist.

Es ist :.

1. Wo ist Wahrscheinlichkeit gehören?
2. Wo muss Determinismus absolut sein?
3. Welche Ausfälle kann dieses System überleben?

Wenn die Antwort mit dem Staat verbunden ist, sollte das Modell nie in der Verantwortung sein... Und wenn das Modell nur da ist, um zu klassifizieren, ,.Zusammenfassung:,. Rang: ,. oder schlagen Hypothesen vor.,. ein kleines lokales Modell ist oft das richtige WahlNicht der wirtschaftliche Eins

Das Muster der Bohrmaschine :-Boring Machinery - kleines Modell

Dies ist die Architektur, die funktioniert

┌─────────────────────────────────────────────────────┐
│                 DETERMINISTIC LAYER                 │
│  State machines, queues, validation, storage        │
│  (DuckDB, Postgres, Redis, file systems)           │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                   INTERFACE LAYER                   │
│  Schema validation, retries, fallbacks             │
│  (Polly, FluentValidation, custom guards)          │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                  PROBABILISTIC LAYER                │
│  Classification, summarisation, hypothesis gen     │
│  (Ollama, ONNX, small local models)                │
└─────────────────────────────────────────────────────┘

Die LLM ist auf der untenEs schlägt vor, die deterministischen Schichten zu entsorgen.

Zuverlässigkeit geht nicht darum, Fehler zu vermeiden

Alle drei Perspektiven Die Fragen Das Muster Das Muster Und Dieses Letzte Prinzip Die Frage Auf Die Frage

Zuverlässigkeit ist über die Auswahl von Fehlern, die Sie überleben können.

Mit LLMs-,, das bedeutet die Verwaltung von Nicht ---Determinismus durch deterministische Praktiken

• Gebot IDer Staat lebt außerhalb des Modells
• Gebot VIIMachen Sie Ausfall laut und langweilig
• Befehl IXBauen Sie zuerst die langweilige Maschinerie

Kleine Modelle machen dies einfacher, weil ihre Fehler sind lautDies sind Geschenke, die dir sofort sagen, dass etwas schief gegangen ist.

Fehler des Frontiermodells sind ruhigPlausibler, klingender Unsinn-... vertrauliche Halluzinationen.... semantischer Drift, der nur sichtbar wird, wenn sich ein Kunde beschwert oder ein Audit fehlschlägt.

I'-ll nehmen laute Ausfälle jedes Mal

Zugehörige Lektüre

Die Philosophie

• Zehn Gebote der LLM-Nutzung Die Prinzipien hinter diesem Ansatz
• Warum ich LangChain nicht verwende Übersichtlichkeit des Rahmens gegen Klarheit
• Warum kommerzielle KI-Projekte dumm sind Der Fall für lokale, erste KI

Die Durchführung

• GraphRAG-:-Mindestausführbarkeit 3 Extraktionsmodi in der Praxis
• Semantische Suche mit ONNX und Qdrant Bequeme Einbettungen
• DocSummarizer Werkzeug Struktur zuerst,, LLM second
• Hybride Suche und Auto-Indexing Bereite Suche

Die Architektur

• Die Behandlung von LLMs als nicht vertrauenswürdig Das Muster der nicht vertrauenswürdigen Götter
• Bot-Erkennung mit LLM Advisors LLM als Berater, nicht Controller
• Zero---PII Kundenintelligenz Das semantische Verständnis mit Grenzen

Externe Mittel

• Ollama LLMs lokal mit einem Befehl ausführen
• ONNX Laufzeit --Kreuzung--Plattform-ML-Inferenz
• LM Studio Desktop-App für lokale LLMs
• llama-.-cpp Effiziente Schlussfolgerung