Die meisten “-Chat mit Ihren Daten machen den gleichen Fehler, sie behandeln ein LLM, als ob es eine Datenbank wäre.

Sie schieben Reihen in den Kontext ein und hoffen, dass das Modell Struktur ableiten kann...... und die Wahrheit aus Anekdoten.... es funktioniert einfach gut genug, um - zu demontieren und dann unter Skalen zusammenbricht....

DataSummarizer nimmt den entgegengesetzten Ansatz

Es berechnet eine Deterministisches statistisches Profil des Datensatzes mit DuckDB-,-existiert, dass Profil-,-und optional Schichten a LLM vor Ort an der Spitze, um diese Fakten zu interpretieren, schlagen Sie sicher vor, lesen Sie -. nur SQL-, und führen folgen Sie -up-Analysen Das schwere Heben ist numerisch auditierbar , und schnell messk7 Die LLM wird absichtlich auf Argumentation und Erzählung beschränkt

Das Ergebnis ist:

• schnelles, privates Profiling
• vertrauenswürdige Automatisierungtool JSON-)-
• Builded--'in Driftdetektion
• und etwas, das die meisten Systeme überhaupt tun können PII---freie synthetische Datensätze, die statistische Form bewahren

Alle ohne Rohzeilen an ein Modell senden

Dies baut direkt auf **Wie man große CSV-Dateien mit lokalen LLMs analysiert**Die Kernidee wurde eingeführt.

LLMs sollten Abfragen erzeugen., konsumieren keine Daten.

Dieser Artikel schiebt diese Idee weiter

• Die LLM-Zeilen werden von don.’.t eingespeist
• don-’.t sogar es zu füttern, wenn Sie nicht müssen
• Es zu füttern Statistische Form
• lass DuckDB Fakten berechnen
• lassen die LLM Grund über jene Tatsachen -- und fragen Sie nach mehr

Volle Dokumentation lebt in der DatenZusammenfassung README Das Werkzeug sieht einfach aus... Es ist... Ist ,’'t an das Modell geschickt

Anmerkung: Das ist 1.0, noch nicht ., das beabsichtigte . ist Die Schnittstelle ist stabil ;, die Kanten werden immer noch geschärft .

Das Problem mit Ihrer Daten

Wenn Teams eine LLM auf Datenanalyse schrauben, machen sie normalerweise eines von drei Dingen.

1. schieben Sie Reihen in den Kontext
2. embed chunks and receive them (-Zyklus immer noch undichte )-Zylinder
3. Vorübergehende Proben”, häufig unrepräsentativ, immer noch riskant

Auch bei -200-Token Kontextfenstern ist dies die falsche Abstraktion.

LLMs sind nicht entwickelt, um Aggregate zu berechnen.,-detektieren skew-, oder begründen zuverlässig über Verteilungseigenschaften durch das Lesen von Zeilen.

Der richtige Split ist immer noch.

LLM-Gründe: Die Datenbank berechnet ,.

Aber Sie können einen Schritt weiter gehen, indem Sie Was ist die LLM-Gründungen über

Die Schlüssel-Upgrade-:-Statistik als Schnittstelle

Anstatt das Modell data-, zu geben, geben Sie es Profil.

Ein Profil ist eine kompakte, deterministische Zusammenfassung eines Datensatzes.

• Schema-Typen (abgeleitet)
• NULL-Rate„," Einzigartigkeit„," Kardinalität
• Min. /, max. Ausreißer von /, Quantilen, ,, skew-,
• Top-Werte für sichere Kategorisierungen
• PII-Risikosignale
• time---Serienstruktur (-Spannung,-Lücken,-Granularität)-
• optionale Driftdeltas gegenüber einem Ausgangswert

Dieses Profil wird zum Schnittstelle zwischen Argumentation und Berechnung

Das Modell kann jetzt

• entscheiden, was interessant ist
• sinnvolle Folgeanfragen vorschlagen
• Ergebnisse interpretieren
• Drift erkennen

• ohne jemals Rohzeilen zu sehen.

Architektur

flowchart LR
    A[Data file] --> B[DuckDB profiles]
    B --> C[Statistical Profile JSON]
    C --> D[LLM reasoning step]
    D --> E[SQL/tool calls]
    E --> F[DuckDB executes locally]
    F --> G[Aggregate results]
    G --> H[LLM synthesis]

    style B stroke:#333,stroke-width:4px
    style D stroke:#333,stroke-width:4px
    style F stroke:#333,stroke-width:4px

Das bewahrt das Vertraute LLM - SQL - DuckDB Schlaufe ,, , aber verankert es in Fakten

• Profiling ist deterministisch
• operiert der LLM nach Beweisen nicht Anekdoten

Warum das Profil auch ohne LLM-) nützlich ist

Ein Profil beantwortet die langweiligen, aber dringenden Fragen sofort

• Welche Spalten sind Junk-(-all-MSSK1-null-MSC2-konstant, in der Nähe von --constant)?-
• Welche Spalten sind Leckage-Risiken?
• Welche Säulen sind hoch , - , Null oder Ausreißer ,- , schwer , ? ,
• Was sind die dominanten Kategorien?
• Ist diese Zeit-Serie angrenzend oder voller Lücken?
• Sind Verteilungen verdreht oder zero---infliert

Dies sind die Fragen, die Sie normalerweise entdecken -30-Minuten in Tabellenkalkulationsarchäologie - .-

Das Profil gibt Ihnen sie in Sekunden

Warum das Profil die LLM wirklich nützlich macht

Wenn Sie tun aktivieren Sie das Profil LLM.,, was verhindert, dass es performativ ist.

Mit dem Profil – nur Kontext – kann das Modell – :

• Fokussierung auf hohe --Entropie oder hohe --Skew Säulen
• eine sinnvolle Gruppe vorschlagen – - –bys –( –low – - –cardinality-Kategorien
• Vermeiden Sie den Müll SQL-Gruppierung auf 95%-Einzigartige Spalten
• Hinweis Verteilungsdrift
• Fragen Sie nach Ziel Folgen Sie --up Statistiken, anstatt mehr Daten anzufordern

Du brauchst ein größeres Modell.

Du brauchst bessere Beweise.

Der Datensammler

Ich habe dies in ein CLI verwandelt, so dass ich es auf beliebigen Dateien ausführen konnte.

Schnellstart

Fenster mit einem Durchmesser von mehr als 2 mm Ziehen einer Datei auf datasummarizer.exe

ENTWICKLUNG

datasummarizer mydata.csv

Werkzeugmodus Ausgabe des Werkzeugs (

datasummarizer tool -f mydata.csv > profile.json

Das profile.json ist der Vertrag

• konsumiert von Agenten
• für die Drifterkennung gelagert
• für die synthetische Datengenerierung verwendet

Betriebliche Voreinstellungen

• Ollama-Endpunkt http://localhost:11434 Konfigurierbar, konfigurierbar

• Voreingestelltes Modell qwen2.5-coder:7b Überfahrt mit --model)

• Standard-Registratur-DB.:. .datasummarizer.vss.duckdb

• SQL Sicherheitsengpässe

  • max. Zeilen der LLM-Reihe
  • Verboten COPY, ATTACH, INSTALL, CREATE, DROP, INSERT, UPDATE, DELETENicht sicher PRAGMA

Die Defaults sind absichtlich konservativ. Sie können sie lockern, aber Sie müssen in entscheiden.

Deterministische Profilierung Beispiel: )

datasummarizer -f patients.csv --no-llm --fast

Ausgabe von Patientenakten mit PII-):

── Summary ────────────────────────────────────────────────
974 rows, 20 columns. 4 columns have >10% nulls. 8 warnings.

Alarme Flagge Leckage-Risiken,-hoch--Nullsäulen,-konstante Felder,- und verdächtige Identifikatoren

Keine Vermutungen... keine Halluzination...

Werkzeug JSON für Automatisierung

datasummarizer tool -f patients.csv --store > profile.json

Gekürzte Ausgabe

{
  "Profile": {
    "RowCount": 974,
    "ColumnCount": 20,
    "ExecutiveSummary": "974 rows, 20 columns. 18 alerts."
  },
  "Metadata": {
    "ProfileId": "0ae8dcc4d79b",
    "SchemaHash": "44d9ad8af68c1c62"
  }
}

Dies ist entwickelt, um diffed ., . . gespeichert und geprüft werden .

Automatische Drift-Erkennung

Sobald Profile vorhanden sind, wird die Drift billig.

datasummarizer tool -f daily_export.csv --auto-drift --store

• KS-Abstand für numerische Spalten
• Jensen-–-Shannon Divergenz für Kategoriale
• Schema---Fingerabdruckbasiswerte

Es ist eine langweilige Infrastruktur, die genau das ist, was Sie wollen.

Die Killer-Feature – Synthetische Klonen aus der Form

Sobald du statistische Form hast, kannst du etwas wirklich Nützliches tun.

Synthetische Datensätze erzeugen, die

• enthalten keine ursprünglichen Werte
• enthalten Keine PII
• Erhaltung Verteilung: ,, Kardinalität: , und Sparsamkeitseffekte

Dies ist ideal für Demos............ die Repros.. ..,... und teilbare Proben......

Der Treuebericht quantifiziert, wie nah die synthetischen Daten sind.

Vertrauensmodell

• Deterministisch : Alle Statistiken ,, , Quantile , , , Drift-Scores und Warnungen werden von DuckDB , . , berechnet.
• Fakultativ LLM-: Erzählen Sie uns, dass wir nur Vorschläge für , und SQL haben.
• Hermetischer Modus --no-llm produziert voll auditierbare Ausgänge geeignet für CI oder regulierte Umgebungen

Das LLM erfindet nie Fakten, es reagiert auf sie.

Holen Sie es

Repo-:- /, meistlucidweb, /, tree, /,main-/, am meistenluzid., Datensammler

Anforderungen

• ,.-NET , 10-NET
• DuckDB - eingebettet
• fakultativ: :-Ollama

Im Zusammenhang mit

• Analyse großer CSV-Dateien mit lokalen LLMs
• DocSummarizer
• Eingeschränktes Fuzziness-Muster Die zugrunde liegende Philosophie, :, berechnet Determinismus, Wahrscheinlichkeit schlägt vor
• Bildzusammenfassung Das gleiche Muster, das auf Bildverständnis angewendet wird