# Aufbau eines Anwalts GPT-" für Ihren Blog ## Einleitung Schnallen Sie sich an, weil dies eine lange Serie sein wird.!.Wenn du '.ve zusammen mit diesem Blog gefolgt bist...,.ll kennen IM'.m ein bisschen besessen davon, interessante Möglichkeiten zu finden, LLMs und KI in praktischen Anwendungen zu verwenden. > HINWEIS:-Dies ist Teil meiner Experimente mit KI (-unterstütztes Abfassen-)- Meine eigene Bearbeitung - .- Dieselbe Stimme - gleiche Pragmatismus - gerade schnellere Finger - .- Denken Sie daran, wie moderne Rechtspraxen LLMs verwenden, die auf der Rechtsprechung ausgebildet werden, um Slips zu entwerfen.,-Bewegungen und Verträge..-Sie beginnen nicht von Grund auf mit dem System Referenzen relevante Präzedenzfälle.MSC5-Vorschläge Sprache basierend auf erfolgreichen Vergangenheit Dokumente.,- und hält Konsistenz mit etablierten Mustern.MS K7-Das ist genau das, was wir...'-Gebäude hier bauen, aber für Blog-Inhalte. Das Ziel ist es, einen AII---powered Schreibassistenten zu schaffen, der - Hilft Entwurf neuer Blog-Beiträge in meinem etablierten Stil - Vorschläge relevanter Inhalte aus vergangenen Artikeln zur Referenz - Findet ähnliche Beiträge, um Konsistenz zu erhalten - Autorisiert interne Links zu verwandten Artikeln - Handelt wie GitHub Copilot für Ihren Blog Diese Reihe wird das Bauen einer vollständigen [Retrieval Augmented Generation](https://www.anthropic.com/index/contextual-retrieval) System in C-#, das auf Windows läuft ... . Wir verwenden die neuesten Ansätze und Frameworks und I' .ll erklären jede neue Technologie, wie wir es begegnen . ## Mein Hardware-Setup und Mindestdaten **Meine Entwicklungsmaschine** - **GPU**NVIDIA RTX A.M.S.K. - **CPU**AMD Ryzen, 9, 9950, X - **Arbeitsspeicher**,: , , 96, GB DDR , 5 , Das ist mein spezielles Setup, aber du **Diese Hardware muss nicht benötigt werden** Hier sind die Mindest-Spezifikationen für verschiedene Komponenten. ### GPU-Beschleunigung Empfängnisversprechend,' nicht erforderlich - **Mindestgehalt**:, NVIDIA GPU mit 8,GB VRAM, .,g.,, RTX,3060,,GTX und Ti-), - Kann Parametermodelle mit Quantisierung ausführen - Angemessene Einbettung der Erzeugungsgeschwindigkeit - **Bequem**]: , 12GB-+VRAM -.-g-MSC5-RTX306012-GB RTX-T4060-Ti-MSSK10 - Führen Sie größere Modelle oder qualitativ hochwertige Quantisierungen - **Meine Einrichtung**16,GB, (,4000), -, kann Modelle bequem ausführen ### Nur alternative CPU-Module - **Mindestgehalt**Moderne Quad---Core CPU - **Empfohlen**Kerne für eine angemessene Einbettungsgeneration - Alles funktioniert auf CPU-CPU---only -, - einfach langsamer - Einbettung der Generation – :, langsamer - LLM-Inferenzen (LLM) - Noch völlig verwendbar für einen Schreibassistenten ### RAM-Anforderungen - **Mindestgehalt**Speicher des Systems 16] - CPU.-.nur Inferenz für Modelle von 7.B - **Bequem**,: , , 32, GB - Besser für größere Modelle auf CPU - **Meine Einrichtung**:---96--GB -- --- Overkill-,-- -- 32-GB ist reichlich ### Lagerung - **SSD**Für die Modellbeladung empfohlen - **Raum**Datenverarbeitung für Modelle und Vektordatenbanken ### Was ist mit Intel?/?AMD NPUs? Moderne CPUs schließen jetzt dedizierte KI-Beschleuniger ein - **Intel Core Ultra** (-Meteor Lake +)---Intel AI Boost MS K3-NPU-)- - **AMD Ryzen KI** XDNA-NPU - **AMD Ryzen KI Max** Weitere Informationen: http:europa.eu.int/comm/eurostat.html **Wichtig: Die NPUs von : sind nur für die Schlussfolgerung** Sie sind nicht ,' , oder Zugmodelle auf NPUs , die sie , ' , entwickelt, um *Ausführen* Modelle werden auf Cloud-GPUs trainiert.( oder Workstations, die dann heruntergeladen und in NPUs zur Inferenz bereitgestellt werden. **Aktueller Status für Running Models auf NPUs** - ✅-Brille für ,:-Billard auf ,--Device Inferenz , ,-Bilanz Effizienz , (-Laptops , - Begrenzt für den Einsatz von :-Immature-Unterstützung .-NET-/-ONNX - Dieses Projekt ist nicht bereit für den primären Pfad **Warum nicht NPUs für diese Serie?** 1. **Software-Ökosystem**CUDA hat 15+, Jahre der Reife, ,, NPU-Unterstützung in .,NET ist angestiegen 2. **Kompatibilität des Modells**Die meisten GGUF-Modelle zielen auf CUDAS/, CPU, ,, NPU, -, optimierte Modelle sind selten 3. **Dokumentation**Begrenzte Ressourcen für die NPU-Entwicklung in C.# 4. **Leistung**Aktuell langsamer als diskrete GPUs für unseren Workload 5. **DirectML-Unterstützung**Noch experimentell für LLM-Inferenz **Können Sie NPUs für die Inferenz verwenden?** - Erfordert [Direkt-ML](https://github.com/microsoft/DirectML) Ausführungsanbieter in ONNX Runtime - Modelle müssen im ONNX-Format sein - Die Unterstützung ist experimentell. - Die Leistung ist derzeit unterwältigend vs. CUDA **Wie man NPU-Inferenz versucht** ```bash # Use DirectML execution provider (supports NPU) dotnet add package Microsoft.ML.OnnxRuntime.DirectML # In code: var sessionOptions = new SessionOptions(); sessionOptions.AppendExecutionProvider("DML"); // DirectML var session = new InferenceSession("model.onnx", sessionOptions); ``` **Künftige Überlegungen**Einmal [ONNX Laufzeit](https://onnxruntime.ai/) und [Direkt-ML](https://github.com/microsoft/DirectML) reife ihre NPU-Unterstützung Diese werden wahrscheinlich zu lebensfähigen Alternativen für die Inferenz. **Fazit**:-I'-ll zeigen die GPU---beschleunigte Pfad -,- aber wird beachten, CPU-MSC4 nur Alternativen in ganz .-Sie können starten CPU---only und aktualisieren Sie später [TOC] ## Was bauen wir? Das endgültige System wird mehrere Komponenten haben. 1. **Markdown Ingestion Pipeline** Verarbeitet alle Blog-Posts und generiert Einbettungen. 2. **Vektordatenbank** Speichert Einbettungen und ermöglicht die semantische Suche nach ähnlichen Inhalten 3. **Windows Client Anwendung** Ein Desktop-Schreibassistent Benutzeroberfläche mit Editor und Vorschlag Panel 4. **LLM-Integration** Beschleunigte Schlussfolgerung für die Generierung von Inhalten 5. **Zitationsgenerierung (Zitation)** Hinweise zu internen Links und Verweisen auf verwandte Beiträge 6. **Stil Konsistenz-Engine** Lernt Muster von bestehenden Posts, um Stimme und Struktur zu erhalten Betrachten Sie es als "GitHub Copilot meets Grammarly"", aber speziell auf Ihrem Blog trainiert.'s Inhalt und Stil ## Warum der Anwalt GPT-"? Moderne Anwaltskanzleien verwenden LLMs, die auf riesigen Bibliotheken der Rechtsprechung ausgebildet werden, um zu helfen, juristische Dokumente zu entwerfen . - Verweise einschlägige Präzedenzfälle und frühere erfolgreiche Argumente - Vorschläge für Sprachmuster, die vorher funktioniert haben - Aufrechterhaltung der Übereinstimmung mit den gesetzlichen Schreibnormen - Zitierquellen automatisch Das ist unser Modell, wenn ich beginne zu schreiben. - Finden Sie meine vorherigen EF-- - Vorgeschlagene Strukturmuster I'-ve verwendet vor - Bieten Sie relevante Code-Schnipsel aus vergangenen Artikeln - Automatische Verknüpfungen zu verwandten Beiträgen generieren - Bewahren Sie meinen Schreibstil und technische Tiefe Im Gegensatz zu generischen KI-Writing-Assistenten ist unser System in der tatsächlichen Vergangenheit Inhalt geerdet, so dass es won-' suggest Dinge im Widerspruch mit dem, was I' sog bereits geschrieben ## Seriesübersicht Hier ist das, was wir in den kommenden Wochen abdecken ### Teil dieses Beitrags Einführung Wir stellen fest, was 'e Gebäude und warum ,e plus decken die architektonischen Entscheidungen ### [Teil: GPU-Einrichtung von CUDA in C.#](/blog/building-a-lawyer-gpt-for-your-blog-part2) Erste Windows-Einrichtung für GPU-- Beschleunigte KI-Workloads [KUDA](https://developer.nvidia.com/cuda-toolkit), [cuDNN](https://developer.nvidia.com/cudnn), und Testen, dass C... # wirklich sehen kann und verwenden Sie Ihre GPU... ### [Teil Verstehst du die Einbettungen? Vektordatenbanken](/blog/building-a-lawyer-gpt-for-your-blog-part3) Tief tauchen Sie ein in das, was Einbettungen tatsächlich sind, wie sie semantische Suche ermöglichen und wählen Sie die richtige Vektordatenbank [Qdrant](https://qdrant.tech/) oder [pgvector](https://github.com/pgvector/pgvector)). ### [Teil: Aufbau der Ingestion Pipeline](/blog/building-a-lawyer-gpt-for-your-blog-part4) Verarbeitung von Markdown-Dateien – Intelligente Chunking-Strategien – ( – Sie können ' – nur auf Absätze aufgeteilt werden – !), – und Embeddings für alle unsere Inhalte generieren – . – ### [Teil des Windows Clients](/blog/building-a-lawyer-gpt-for-your-blog-part5) Auswahl des richtigen Rahmens[WPF](https://docs.microsoft.com/en-us/dotnet/desktop/wpf/), [Avalonien](https://avaloniaui.net/)mit einem Quadratmetergewicht von mehr als 1 kg [MAUI](https://dotnet.microsoft.com/en-us/apps/maui)Gebäude des UI-, und machen es wirklich angenehm zu verwenden ### [LLM-Integration vor Ort](/blog/building-a-lawyer-gpt-for-your-blog-part6) Ausführung von Modellen vor Ort [ONNX Laufzeit](https://onnxruntime.ai/), [llama-.-cpp](https://github.com/ggerganov/llama.cpp) Bindungen, , oder andere Ansätze, ., die den vollen Gebrauch davon machen ### [Teil-Generierung von Inhalten](/blog/building-a-lawyer-gpt-for-your-blog-part7) Bringen Sie alles zusammen, um die semantische Suche nach relevantem Inhalt, Kontextfenster-Management, schnelles Engineering für das Schreiben von Unterstützung und Erstellung kohärenter Vorschläge, . ### [Teil 8:-Erweiterte Funktionen Produktionsbereitstellung](/blog/building-a-lawyer-gpt-for-your-blog-part8) Auto-Verknüpfung mit verwandten Posts-Verlinkung , style Konsistenzprüfung , code snippet Vorschläge und macht das System tatsächlich nützlich für tägliches Schreiben . ## Warum RAG-?? Bevor wir in die Architektur eintauchen, sprechen 's darüber, warum RAG-Versionen der retrieval Augmented Generation die richtige Annäherung sind. ### Das Problem mit der Feineinstellung Du könntest denken: :" Warum nicht nur fein, - tune ein LLM auf allen Blog-Beiträgen Es gibt mehrere Probleme damit , ,:" 1. **Kosten Komplexität** Die Feineinstellung von - ist teuer, sowohl bei der Berechnung als auch beim Aufwand. 2. **Standfestigkeit** Jeder neue Blog-Post bedeutet Umschulung 3. **Black Box** Schwierig zu verstehen, was das Modell " gelernt hat 4. **Halluzination** Keine Garantie, dass das Modell gewonnen hat. 5. **Keine Verweise** Beenden Sie Antworten leicht zurück zu den Quellen ### Wie RAG dies auflöst RAG verbindet das Beste aus beiden Welten... die Macht von LLMs mit der Präzision der Suche, um Kontext zu schaffen.... Der Durchfluss ist .: . 1. Benutzer beginnt mit dem Schreiben einer REST-API mit ASP ,. ,NET Core , ...") 2. System findet semantisch ähnliche frühere Artikel 3. System füttert relevante Brocken als Kontext in die LLM 4. LLM erzeugt Vorschläge, die auf früheren Inhalten basieren 5. System bietet Vorschläge mit Verweisen auf Quellposts Das bedeutet: - Immer nach oben-, um -, date, einfach nach unten- Index neue Beiträge, wie Sie sie schreiben - In Ihrem eigentlichen Schreiben geerdet, erhält die Konsistenz. - Weitere Informationen: http:www.cordis.lu/ - Effiziente und kostenintensive Umschulung für jeden neuen Beitrag - Flexible Software kann LLMs auswechseln oder Suchstrategien anpassen - Datenschutz-Vorbehalt vor Ort(Alles läuft lokal ## Systemarchitektur Lassen Sie mich nach unten brechen die Schlüsselkomponenten we-'-ll werden Gebäude-: ```mermaid graph TB A[Markdown Files] -->|Ingest| B[Chunking Service] B -->|Text Chunks| C[Embedding Model] C -->|Vectors| D[Vector Database] E[User Writing] -->|Current Draft| F[Windows Client] F -->|Embed Context| C C -->|Query Vector| D D -->|Similar Content| G[Context Builder] G -->|Relevant Past Articles| H[Prompt Engineer] H -->|Prompt + Context| I[Local LLM] I -->|Generated Suggestions| J[Link Generator] J -->|Suggestions + Citations| F F -->|Display| K[Editor with Suggestions] class C,I embedding class D,K output classDef embedding stroke:#333,stroke-width:4px classDef output stroke:#333,stroke-width:4px ``` ### Markdown-Ingestionspipeline Diese Komponente - Liest Markdown-Dateien aus dem Blog-Verzeichnis - Extrahiert Metadaten (-Titel ,-Kategorien , - Datum , - Wortzahl ) - - Intelligent spaltet der Inhalt Code-Blöcke für die Wiederverwendbarkeit - Identifiziert die Strukturmuster, wie ich Beiträge organisiere - Tracks Quellinformationen für die Zitiergenerierung **Schlüsselherausforderung**Zu klein und du verlierst den Kontext, zu groß und verschwendest das Kontextfenster von LLM-'... Wir brauchen Brocken, die semantisch bedeutsam sind, einen kompletten Gedanken oder eine komplette Sektion...,. ### Modell einbetten Embeddings sind die Magie, die semantische Sucharbeit macht..-Ein eingebettetes Modell nimmt Text und wandelt es in einen hohen --dimensionalen Vektor um. Ähnliche Konzepte enden im Vektorraum, auch wenn sie verschiedene Wörter verwenden. Zum Beispiel: - Das DB-Schema zu aktualisieren, würde ähnliche Einbettungen haben. - " und " sind näher als ", " und Datenbank ". **Technologiewahl**Wir verwenden wahrscheinlich entweder MSK" - [Satz---Transformatoren](https://www.sbert.net/) Modelle, die über ONNX Runtime laufen können - OpenAI-' embedding Modelle über API-MSC2 - [BGE-Modelle](https://huggingface.co/BAAI/bge-base-en-v1.5) ](-State ®- von der ?-' des Â-«Kunst Open Source T)« ### Vektordatenbank Die Vektordatenbank speichert Einbettungen und ermöglicht eine schnelle Ähnlichkeitssuche..-Wenn du messk1re über das Schreiben von messksk2-Docker komponierst, findet es den K am semantisch ähnlichsten vergangenen Inhalt.--nicht nur Schlüsselwort-Matches, sondern konzeptuell verwandtes Material. **Technologiewahl**Auswerten von : - **[Qdrant](https://qdrant.tech/)** Modernes, modernes, in Rust geschriebenes und ausgezeichnetes - **[pgvector](https://github.com/pgvector/pgvector)** Erweiterung für PostgreSQL - bereits mit Postgres-!) - **[Schwitzen](https://weaviate.io/)** Eine weitere solide Option mit guter Unterstützung - **[Chroma](https://www.trychroma.com/)** Beliebt in der Python-Landung, weniger so in C.M.S. I' beugt sich in Richtung Qdrant für seine Einfachheit und Leistung... oder pgvector, um alles in Postgres zu halten. ### Windows Client Wir brauchen eine nette Benutzeroberfläche für das Schreiben mit KI-Unterstützung. **[WPF Präsentations-Stiftung für Windows-Versionen](https://docs.microsoft.com/en-us/dotnet/desktop/wpf/)** - ✅-Reife ,-Stabilität ,-Viele Ressourcen - Native Windows-Leistung - Nur für Windows - Aussehen datiert, es sei denn Sie investieren in UI-Bibliotheken **[Avalonien](https://avaloniaui.net/)** - ]✅-Cross---Platform ®(-XAML---basiert - Moderne, aktive Entwicklung von , - Ähnlich wie bei WPF - Kleinere Ökosysteme **[MAUI MASK0-Multi---Plattform App UIMASK2-](https://dotnet.microsoft.com/en-us/apps/maui)** - ]✅-Cross---Plattform - Microsoft , -, unterstützt - Noch reifend - Mehr mobile, mehr konzentrierte Da wir uns auf ' fokussiert und ich etwas stabiles will I' **WPF mit [ModernWPF UI](https://github.com/Kinnara/ModernWpf)** oder **Avalonien** für das cross---Plattform-Potential ### Lokale LLM-Integration Hier glänzt die A-4000-GPU. Wir wollen das LLM lokal für ,:' ausführen - Datenschutz Daten, die an APIs gesendet werden - Geschwindigkeit Die lokale Inferenz ist schnell - Kosten für API-Gebühren - Steuerung Wir wählen das Modell **Technologieoptionen**: **[ONNX Laufzeit](https://onnxruntime.ai/)** - Konvertieren von Modellen in ONNX-Format - Ausgezeichnete GPU Beschleunigung - Unterstützung für die Muttersprachler - Nicht alle Modelle konvertieren gut **[llama-.-cpp](https://github.com/ggerganov/llama.cpp) Bindungen** - Die Bibliothek mit den Bindungen von C.#.[LLamaSharp](https://github.com/SciSharp/LLamaSharp)) - Unterstützt CUDA - Breite Modellunterstützung (-Llama-,-Mistral-, usw. .)- - Sehr aktive Entwicklung **[TorchSharp](https://github.com/dotnet/TorchSharp)** - PyTorch-Bindungen für .-NET - Höchste Flexibilität - Steeper Lernkurve I'-M in Richtung **LLamaSharp** für seine Reife und Benutzerfreundlichkeit mit beliebten Modellen ### Kontext Fenster-Management LLMs haben begrenzte Kontextfenster ..g.,.g 4.K.,. Wir müssen :. - Rufen Sie den relevantesten Inhalt der Vergangenheit aus der Vektorsuche auf - Mit dem aktuellen Entwurf in das Kontextfenster einpassen - Strukturieren Sie die Eingabeaufforderung für Schreibhilfe - Lassen Sie Raum für die generierten Vorschläge Dies ist trickreicher, als es klingt. - Dynamische K-Auswahl basierend auf dem, was Sie gerade schreiben - Re---Ranking abgerufene Stücke nach Relevanz - Kontext intelligent komprimieren - Multi-Shot-Eingabe mit Beispielen aus vergangenen Beiträgen ### Link zur Citation-Erstellung Jeder Brocken braucht Metadaten. - Quelle: /-Post - Position im Originaldokument - Datum der Veröffentlichung - Kategorien - Verwendete Code-Schnipsel Wenn das LLM Vorschläge erzeugt, erstellen wir automatisch Markdown-Links zu den Quellposts und identifizieren wiederverwendbare Codemuster. ## Was macht das anders? Es gibt viele RAG Tutorials da draußen aber diese Serie wird anders sein 1. **Erstes** Die meisten RAG-Beispiele sind in Python... Wir gehen voll mit ..NET 2. **GPU-Fenster** Nutzung von NVIDIA CUDA unter Windows, nicht unter Linux, sondern unter NVidIA UCDA 3. **Produktion fertig** Nicht nur beweiskräftig, sondern tatsächlich nutzbarer Code 4. **Bereich ,- , speziell** Optimiert für Blog-Writing-Unterstützung, nicht generische Inhaltsgenerierung 5. **Tiefe Erklärungen** Wir erklären uns tatsächlich mit den Entscheidungen, die hinter uns liegen. ## Technologien, die wir verwenden Hier ist der Tech-Stack I'im planing-: ### Kernrahmen - **,.-NET , 9-NET** Zum Zeitpunkt des Schreibens - **L 347 vom 20.12.2013, S. 1).** Moderne Spracheigenschaften ### Bibliotheken von AI./.ML - **[ONNX Laufzeit](https://onnxruntime.ai/)** oder **[LLamaSharp](https://github.com/SciSharp/LLamaSharp)** LLM-Inferenz - **[Microsoft®. ML](https://dotnet.microsoft.com/en-us/apps/machinelearning-ai/ml-dotnet)** Möglicherweise für einige Aufgaben - **SatzTransformer über ONNX** Einbettungen ### Vektordatenbank - **[Qdrant](https://qdrant.tech/)** oder **[pgvector](https://github.com/pgvector/pgvector)** Noch zu bestimmen ### UI-Rahmen - **WPF** mit **Modernes WPF** oder **[Avalonien](https://avaloniaui.net/)** Moderne Desktop-Benutzeroberfläche ### Unterstützungswerkzeuge - **[Markdig](https://github.com/xoofx/markdig)** Bereits mit diesem für Markdown Parsing - **[Docker](https://www.docker.com/)** Für den Betrieb von Qdrant oder anderen Dienstleistungen - **[Kern des Rahmens der Einrichtung](https://docs.microsoft.com/en-us/ef/core/)** Wenn wir pgvector verwenden ### GPU-Stack - **[KUDA](https://developer.nvidia.com/cuda-toolkit) ]12.-x** Zum Zeitpunkt des Schreibens - **[cuDNN](https://developer.nvidia.com/cudnn)** Grundlegende Lernende ## Leistungsbeurteilungen Verschiedene Hardware-Setups haben unterschiedliche Fähigkeiten ### Mit 8-GB-VRAM-Ausführung - **Modellgröße**Parametermodelle mit Q-Q-4-Quantisierung - **Stapelverarbeitung**Prozesseinbettungen in kleinere Chargen - **Speicherverwaltung**Sorgfältige VRAM-Überwachung erforderlich - **Funktioniert gut für**Schreibassistent für die Embedding-Generation ### Mit 12-GB-+-VRAM-(-Komfortablem )- - **Modellgröße**7B mit qualitativ hochwertigerer Quantisierung - **Stapelverarbeitung**Größere Chargen für schnelleren Durchsatz - **Kann auch ausgeführt werden**Einige Modelle mit aggressiver Quantisierung ### Mit 16-GB-+-VRAM Meine Einrichtung - **Modellgröße**Parametermodelle von 7B®-13B bequem - **Stapelverarbeitung**Vollständige Chargen – minimale Einschränkungen - **Schnelle Schlussfolgerung**Ansprechzeiten der Sub-- - **Kopffreiheit**Kann mit verschiedenen Modellen experimentieren ### CPU, -, nur (, Fallback,), - **Alles funktioniert**Nur langsamer - **Einbettungen**:, langsamer als die GPU - **LLM-Schlussfolgerung**:, langsamer als die GPU - **Noch verwendbar**Für einen Schreibassistenten mit Geduld ## Entwicklungskonzept Wir bauen diese inkrementell 1. Beginnen Sie mit den einfachsten Komponenten. 2. Einbettungs-Generation hinzufügen ( könnte mit API®- auf Basis beginnen, bevor es lokal geht ) 3. Vektorsuche funktionieren lassen 4. Grundlegende Benutzeroberfläche erstellen 5. LLM integrieren 6. Polnisch und optimieren Jedes Teil wird auf eigene Faust einsetzbar und testbar sein. ## Was ist das nächste? Im **[Teil: GPU-Einrichtung von CUDA in C.#](/blog/building-a-lawyer-gpt-for-your-blog-part2)**Mit dem GPU-Setup erhalten wir ''ll Hände. - Installation von CUDA und cuDNN unter Windows - Schaffung eines Entwicklungsumfelds - Schreiben eines einfachen Programms zur Überprüfung des GPU-Zugriffs - Durchführung eines grundlegenden Inferenztests mit ONNX Runtime - Benchmarking unserer A-4000, um zu verstehen, was wir tun können Dies mag scheinen basic-,, aber immer die GPU-Stack rechts ist entscheidend... .. '... verschwendete Stunden Debugging-Probleme, die zu Versionsfehlern oder fehlende DLLs kamen. ## Warum das so wichtig ist Abgesehen davon, ein cooles Projekt zu sein, hat dieser Ansatz echte Anwendungen. - **Technische Dokumentation** Aufrechterhaltung eines konsistenten Stils über große Doc-Sets - **Rechtspraxis** Slips mit Präzedenzfall der Rechtsprechung erstellen - **Marketing von Inhalten** Aufrechterhaltung der Markenstimme über Teams hinweg - **Akademisches Schreiben** Konsistenz mit früheren Arbeiten und Forschung - **Persönliches Wissensmanagement** Schreibassistent für deinen eigenen Korpus Die Grundsätze, die wir tun, gelten für jede Domäne, in der Sie vorhandene Inhalte haben und Konsistenz bei der Erstellung neuer Materialien beibehalten müssen. ## Schlußfolgerung Wir machen uns auf eine Reise, um eine Produktion zu bauen.- quality RAG-- based writing assistant in C.# , das hilft Blog-Inhalte zu entwerfen, die vergangene Artikel als Referenzmaterial verwenden, genau wie Anwälte LLMs verwenden, die auf Rechtsprechung geschult sind.MSC5 , wir nutzen moderne GPU-Hardware..., , die neuesten ,. ,NET-Features ... Dies ist ein Spielzeug-Projekt, das etwas baut, das wirklich nützlich für jeden sein könnte, der regelmäßig schreibt und Konsistenz bewahren will.,. Stil und Qualität über einen großen Arbeitskörper hinweg. Im nächsten Teil werden wir uns mit CUDADAS,... GPUs verschmutzt und stellen sicher, dass unsere Entwicklungsumgebung für die Herausforderungen bereit ist. Bleiben Sie dran und machen Sie sich bereit, über Embeddings zu lernen.,Vektordatenbanken ,Chunking-Strategien,Prompt-Engineering und alle anderen reizvollen Komplexitäten moderner KI-Systeme ## Reihennavigation - **Teil Einleitung** Dieser Beitrag - [Teil: GPU-Einrichtung von CUDA in C.#](/blog/building-a-lawyer-gpt-for-your-blog-part2) - [Teil Verstehst du die Einbettungen? Vektordatenbanken](/blog/building-a-lawyer-gpt-for-your-blog-part3) - [Teil: Aufbau der Ingestion Pipeline](/blog/building-a-lawyer-gpt-for-your-blog-part4) - [Teil des Windows Clients](/blog/building-a-lawyer-gpt-for-your-blog-part5) - [LLM-Integration vor Ort](/blog/building-a-lawyer-gpt-for-your-blog-part6) - [Teil-Generierung von Inhalten](/blog/building-a-lawyer-gpt-for-your-blog-part7) - [Teil 8:-Erweiterte Funktionen Produktionsbereitstellung](/blog/building-a-lawyer-gpt-for-your-blog-part8) ## Aufkommen Wenn Sie einen Kopf start erhalten möchten, sind hier einige Ressourcen I''ll Referenzierung während dieser Serie. - [ONNX Laufzeitdokumentation](https://onnxruntime.ai/) - [LLamaSharp GitHub](https://github.com/SciSharp/LLamaSharp) - [Qdrant-Dokumentation](https://qdrant.tech/documentation/) - [Satztransformatoren](https://www.sbert.net/) - [RAG-Systeme verstehen](https://www.anthropic.com/index/contextual-retrieval) Bis dann. [Teil](/blog/building-a-lawyer-gpt-for-your-blog-part2)!