Einleitung

In meinem Teil ReiheIch zeigte Ihnen, wie man einen kompletten lokalen RAG-- based Schreibassistenten mit GPU-Beschleunigung baut. , local LLMs., und Vektordatenbanken.

Aber nicht jeder hat eine Workstation mit einem NVIDIA GPU-,.96.GB RAM.,. und die Geduld, CUDADA,. cuDNN.,. und Wrangle GGUF Modelle einzurichten.MSC7. Was, wenn Sie nur wollen, dass die Vorteile eines Blog Schreibassistenten ohne die Hardware Investition.

Dieser Artikel stellt die cloud-basierte Alternative ,: , gleiche RAG Ansatz , , , dieselbe Qdrant Vektordatenbank , aber mit Cloud LLM APIs anstelle von lokalen Inferenzen , . , denken Sie daran als ,MSC5 , Rechtsanwalt GPT Lite , " , einfachere Einrichtung , ., , niedrigere Barriere für Eintrag , und möglicherweise bessere Ausgabequalität mit Grenzmodellen .

Vollständige Angaben I:-I'-im immer noch lernen, welcher Ansatz funktioniert am besten in der Praxis .,- also nehmen Sie meine Kostenschätzungen und Leistungsansprüche mit einer Prise Salz ?.-Was ich sagen kann ist, dass diese Cloud-Ansatz hat sich als bemerkenswert einfach im Vergleich zu der GPU Route einrichten .

HINWEIS:-Dies ist Teil meiner Experimente mit KI (-unterstütztes Abfassen-)- Meine eigene Bearbeitung - .- Dieselbe Stimme - gleiche Pragmatismus - gerade schnellere Finger - .-

Warum eine Cloud-Alternative?

Der ursprüngliche Ansatz

Die vollständige Serie des Anwalts GPT-"® baut ein System, das

• Läuft lokal , ( , Datenschutz ,) ,
• Keine API-Kosten
• Schnelle GPU---beschleunigte Schlussfolgerung
• Benötigt NVIDIA GPU
• Komplexe Einrichtung - (-CUDA-,-cuDNN-MSC2-Modellmanagement
• Limitiert auf Modelle, die Sie in VRAM passen können
• Windows-Fokussierte Bereitstellung

Die Cloud Alternative

Dieser Ansatz gibt Ihnen

• Keine GPU erforderlich Betrieb auf jeder Maschine
• Einfache Einrichtung
• Zugang zu Grenzmodellen
• Cross---Plattform Windows-Version von , Mac-Versionen
• Bessere Qualität der Ausgabe ( larger ., , mehr fähig Modelle
• API-Kosten, wenn auch für den persönlichen Gebrauch angemessen
• Daten, die an Drittanbieter-APIs gesendet werden
• Latenz hängt vom Netzwerk ab

Wann Sie welche verwenden?

Verwendung des lokalen Ansatzes Verwendung des Cloud-Ansatzes |--------------------|-------------------| Datenschutz ist von entscheidender Bedeutung Sie haben GPU-Hardware für Mac, /Linux, /, Laptop für | Hochvolumige Nutzung Moderate Verwendung Mehrzahl Beiträge Mehrzahl Monate Mehrzahl Sie genießen das Basteln. Sie wollen Ergebnisse schnell.

Architektur im Überblick

Die Cloud-Version behält die gleichen RAG Grundlagen, aber tauscht lokale LLM Inferenz für API Anrufe

graph TB
    A[Markdown Files] -->|Ingest| B[Chunking Service]
    B -->|Text Chunks| C[Cloud Embedding API]
    C -->|Vectors| D[Qdrant Vector DB]

    E[User Writing] -->|Current Draft| F[Web/Desktop Client]
    F -->|Embed Context| C
    C -->|Query Vector| D
    D -->|Similar Content| G[Context Builder]

    G -->|Relevant Past Articles| H[Prompt Engineer]
    H -->|Prompt + Context| I[Cloud LLM API]
    I -->|Generated Suggestions| J[Response Handler]
    J -->|Suggestions + Citations| F

    F -->|Display| K[Editor with Suggestions]

    class C,I cloud
    class D,K local

    classDef cloud stroke:#f96,stroke-width:4px
    classDef local stroke:#333,stroke-width:2px

Wesentliche Unterschiede

• Modell einbetten,: , OpenAI , ' text-embedding-3-small API statt lokales BGE-Modell
• LLM: Claude Sonnet oder API anstelle der lokalen Mistral-/-Llama
• Keine GPU erforderlichAlles, was CPU, -, lokal basierte Berechnung erfolgt in der Cloud
• Einfachere BereitstellungEine einzelne ausführbare Datei, keine Modelldateien zu verwalten

Ich sollte beachten, dass ich habe nicht umfangreiche Benchmarks im Vergleich der beiden Ansätze noch laufen I-.I'.m immer noch in der Sondierungsphase selbst .. Aber die ersten Ergebnisse sind vielversprechend genug, um zu teilen

Technologie Stack

Kernrahmen

• ,.-NET , 9-NET Gleiches wie die ursprüngliche Serie
• L 347 vom 20.12.2013, S. 1). Moderne Spracheigenschaften

Cloud-APIs

• OpenAI API Einbettungen von (Text, -Embedding,-3-Small)Empfang von LLM, (GPT--4)
• Anthropotische API Alternatives LLM – (Claude – Sonett – MSC3
• Beides Sie können mischen und zusammenpassen.

Vektordatenbank

• Qdrant Das gleiche wie das Original, kann lokal über Docker ausgeführt werden oder Qdrant Cloud verwenden.
• AlternativeVeränderte Cloud-Optionen Verwaltete Optionen

Client-Einstellungen

• Konsolen-App Simplyst®, , ideal zum Testen
• Blazor WebAssembly Web®-, basierend auf ,, funktioniert überall
• Avalonien - plattformübergreifender Desktop-Desktops ( Windows , , Mac , , Linux ) ,

Der schnelle Pfad einrichten

Qdrant installieren

Option A.:. Local Docker.Empfohlen für Entwicklung.

docker run -p 6333:6333 -p 6334:6334 \
    -v $(pwd)/qdrant_storage:/qdrant/storage:z \
    qdrant/qdrant

Option B.:. Qdrant Cloud – Einfachstes ).

1. Melden Sie sich an Cloud-.-qdrant, .-io
2. Einen kostenlosen Cluster erstellen
3. Holen Sie sich Ihren API-Schlüssel und Cluster URL

Keine Treiberinstallationen erforderlich

Erhalten Sie API-Schlüssel

OpenAI Für die Einbettung von Emulsionen

1. Gehen Sie zu Plattform ,. ,openai , . ,com
2. API-Schlüssel erstellen
3. Setzen Sie die Nutzungslimite

anthropisch Für Claude-):

1. Gehen Sie zu Konsole, ., anthropisch,.,com
2. API-Schlüssel erstellen

Konfiguration

Erstellen appsettings.json:

{
  "BlogRAG": {
    "Embedding": {
      "Provider": "OpenAI",
      "Model": "text-embedding-3-small",
      "ApiKey": "sk-..."
    },
    "LLM": {
      "Provider": "Anthropic",
      "Model": "claude-3-5-sonnet-20241022",
      "ApiKey": "sk-ant-..."
    },
    "VectorStore": {
      "Type": "Qdrant",
      "Url": "http://localhost:6333",
      "ApiKey": "",
      "CollectionName": "blog_embeddings"
    },
    "Ingestion": {
      "MarkdownPath": "/path/to/your/blog/Markdown",
      "ChunkSize": 500,
      "ChunkOverlap": 50
    }
  }
}

Dass es ''s ist Keine GPU-Einrichtung,, keine Modelldownloads (12,GB-Dateien ),, kein VRAM-Management.,

Durchführung

Dienstleistungen

Service zur Cloud-Einbettung

using OpenAI;
using OpenAI.Embeddings;

namespace BlogRAG.Services
{
    public interface IEmbeddingService
    {
        Task<float[]> GenerateEmbeddingAsync(string text);
        Task<List<float[]>> GenerateBatchEmbeddingsAsync(List<string> texts);
    }

    public class OpenAIEmbeddingService : IEmbeddingService
    {
        private readonly OpenAIClient _client;
        private readonly string _model;
        private readonly ILogger<OpenAIEmbeddingService> _logger;

        public OpenAIEmbeddingService(
            string apiKey,
            string model,
            ILogger<OpenAIEmbeddingService> logger)
        {
            _client = new OpenAIClient(apiKey);
            _model = model;
            _logger = logger;
        }

        public async Task<float[]> GenerateEmbeddingAsync(string text)
        {
            var embeddings = await GenerateBatchEmbeddingsAsync(new List<string> { text });
            return embeddings.First();
        }

        public async Task<List<float[]>> GenerateBatchEmbeddingsAsync(List<string> texts)
        {
            _logger.LogInformation("Generating embeddings for {Count} texts", texts.Count);

            var request = new EmbeddingRequest
            {
                Input = texts,
                Model = _model
            };

            var response = await _client.CreateEmbeddingAsync(request);

            return response.Data
                .OrderBy(e => e.Index)
                .Select(e => e.Embedding.ToArray())
                .ToList();
        }
    }
}

Hauptvorteile vs. local-:

• Keine ONNX-Laufzeiteinstellung
• Keine GPU-Speicherverwaltung
• Automatische Batchung durch OpenAI
• Zustand der Qualität des Einbettungsmaterials

Kosten,: , , ~$0.0001 , pro Zeichen , 1 , K , und sehr billig

• Verarbeitung von Blog-Beiträgen
• Tägliche Nutzung .(10-Abfragen . ):-Tag

Cloud LLM Service

using Anthropic.SDK;
using Anthropic.SDK.Messaging;

namespace BlogRAG.Services
{
    public interface ILLMService
    {
        Task<string> GenerateCompletionAsync(
            string systemPrompt,
            string userPrompt,
            float temperature = 0.7f);

        IAsyncEnumerable<string> GenerateStreamingCompletionAsync(
            string systemPrompt,
            string userPrompt,
            float temperature = 0.7f);
    }

    public class ClaudeLLMService : ILLMService
    {
        private readonly AnthropicClient _client;
        private readonly string _model;
        private readonly ILogger<ClaudeLLMService> _logger;

        public ClaudeLLMService(
            string apiKey,
            string model,
            ILogger<ClaudeLLMService> logger)
        {
            _client = new AnthropicClient(new APIAuthentication(apiKey));
            _model = model;
            _logger = logger;
        }

        public async Task<string> GenerateCompletionAsync(
            string systemPrompt,
            string userPrompt,
            float temperature = 0.7f)
        {
            _logger.LogInformation("Generating completion with temperature {Temp}", temperature);

            var messages = new List<Message>
            {
                new Message
                {
                    Role = RoleType.User,
                    Content = userPrompt
                }
            };

            var request = new MessageRequest
            {
                Model = _model,
                MaxTokens = 2048,
                Temperature = temperature,
                System = systemPrompt,
                Messages = messages
            };

            var response = await _client.Messages.CreateAsync(request);

            return response.Content.First().Text;
        }

        public async IAsyncEnumerable<string> GenerateStreamingCompletionAsync(
            string systemPrompt,
            string userPrompt,
            float temperature = 0.7f)
        {
            var messages = new List<Message>
            {
                new Message { Role = RoleType.User, Content = userPrompt }
            };

            var request = new MessageRequest
            {
                Model = _model,
                MaxTokens = 2048,
                Temperature = temperature,
                System = systemPrompt,
                Messages = messages,
                Stream = true
            };

            await foreach (var chunk in _client.Messages.StreamAsync(request))
            {
                if (chunk.Delta?.Text != null)
                {
                    yield return chunk.Delta.Text;
                }
            }
        }
    }
}

Vorteile gegenüber lokalen

• Kein Modell wird geladen
• Keine VRAM-Grenzwerte verwenden Sie bei Bedarf den Kontext 200
• Bessere Ausgangsqualität mindestens in der Theorie
• Streaming funktioniert perfekt

Kosten:

• Claude Sonnet :Millionen Input Tokens,Millione Output
• Typische Blog-Schreibsitzungen Eingaben ,Ausgang 2Ausgang):Ausgang ungefähr $0.09Ausgang
• Monatlicher Gebrauch (MSK)

Das sind Ballpark-Figuren, die auf meinen frühen Experimenten basieren.Deine Kilometerzahl kann variieren, je nachdem, wie gesprächig du mit dem AI.. bist.

Qdrant-Vektorspeicher für ( genauso wie ursprünglich !)

using Qdrant.Client;
using Qdrant.Client.Grpc;

namespace BlogRAG.Services
{
    public class QdrantVectorStore
    {
        private readonly QdrantClient _client;
        private readonly string _collectionName;
        private readonly ILogger<QdrantVectorStore> _logger;

        public QdrantVectorStore(
            string url,
            string apiKey,
            string collectionName,
            ILogger<QdrantVectorStore> logger)
        {
            _client = new QdrantClient(url, apiKey: apiKey);
            _collectionName = collectionName;
            _logger = logger;
        }

        public async Task CreateCollectionAsync(int vectorSize)
        {
            var collections = await _client.ListCollectionsAsync();

            if (collections.Any(c => c.Name == _collectionName))
            {
                _logger.LogInformation("Collection {Name} already exists", _collectionName);
                return;
            }

            await _client.CreateCollectionAsync(
                collectionName: _collectionName,
                vectorsConfig: new VectorParams
                {
                    Size = (ulong)vectorSize,
                    Distance = Distance.Cosine
                });

            _logger.LogInformation("Created collection {Name}", _collectionName);
        }

        public async Task UpsertAsync(
            Guid id,
            float[] vector,
            Dictionary<string, object> payload)
        {
            var point = new PointStruct
            {
                Id = id,
                Vectors = vector,
                Payload = payload
            };

            await _client.UpsertAsync(_collectionName, new[] { point });
        }

        public async Task<List<ScoredPoint>> SearchAsync(
            float[] queryVector,
            int limit = 10,
            float scoreThreshold = 0.7f)
        {
            var results = await _client.SearchAsync(
                collectionName: _collectionName,
                vector: queryVector,
                limit: (ulong)limit,
                scoreThreshold: scoreThreshold);

            return results.ToList();
        }
    }
}

Dieselbe API wie die lokale Einrichtung Zeigen Sie einfach auf die lokale Docker oder Qdrant Cloud.

Ingestionspipeline

namespace BlogRAG.Services
{
    public class IngestionService
    {
        private readonly IEmbeddingService _embedder;
        private readonly QdrantVectorStore _vectorStore;
        private readonly ILogger<IngestionService> _logger;

        public IngestionService(
            IEmbeddingService embedder,
            QdrantVectorStore vectorStore,
            ILogger<IngestionService> logger)
        {
            _embedder = embedder;
            _vectorStore = vectorStore;
            _logger = logger;
        }

        public async Task IngestMarkdownFilesAsync(string markdownPath)
        {
            var files = Directory.GetFiles(markdownPath, "*.md", SearchOption.AllDirectories);
            _logger.LogInformation("Found {Count} markdown files", files.Length);

            foreach (var file in files)
            {
                await IngestFileAsync(file);
            }
        }

        private async Task IngestFileAsync(string filePath)
        {
            var content = await File.ReadAllTextAsync(filePath);
            var metadata = ExtractMetadata(content);
            var chunks = ChunkContent(content);

            _logger.LogInformation("Processing {File}: {ChunkCount} chunks",
                Path.GetFileName(filePath), chunks.Count);

            // Batch embedding generation
            var texts = chunks.Select(c => c.Text).ToList();
            var embeddings = await _embedder.GenerateBatchEmbeddingsAsync(texts);

            // Upload to Qdrant
            for (int i = 0; i < chunks.Count; i++)
            {
                var chunk = chunks[i];
                var embedding = embeddings[i];

                var payload = new Dictionary<string, object>
                {
                    ["text"] = chunk.Text,
                    ["file_path"] = filePath,
                    ["blog_post_slug"] = metadata.Slug,
                    ["blog_post_title"] = metadata.Title,
                    ["chunk_index"] = i,
                    ["category"] = metadata.Category
                };

                await _vectorStore.UpsertAsync(Guid.NewGuid(), embedding, payload);
            }

            _logger.LogInformation("Ingested {File}", Path.GetFileName(filePath));
        }

        private List<TextChunk> ChunkContent(string content, int chunkSize = 500, int overlap = 50)
        {
            // Simple sentence-aware chunking
            var sentences = content.Split(new[] { ". ", ".\n", "!\n", "?\n" },
                StringSplitOptions.RemoveEmptyEntries);

            var chunks = new List<TextChunk>();
            var currentChunk = new StringBuilder();
            var currentLength = 0;

            foreach (var sentence in sentences)
            {
                if (currentLength + sentence.Length > chunkSize && currentChunk.Length > 0)
                {
                    chunks.Add(new TextChunk { Text = currentChunk.ToString() });

                    // Overlap: keep last sentence
                    currentChunk.Clear();
                    currentLength = 0;
                }

                currentChunk.Append(sentence).Append(". ");
                currentLength += sentence.Length;
            }

            if (currentChunk.Length > 0)
            {
                chunks.Add(new TextChunk { Text = currentChunk.ToString() });
            }

            return chunks;
        }

        private BlogMetadata ExtractMetadata(string content)
        {
            // Extract from markdown frontmatter or HTML comments
            var titleMatch = Regex.Match(content, @"^#\s+(.+)$", RegexOptions.Multiline);
            var categoryMatch = Regex.Match(content, @"");

            return new BlogMetadata
            {
                Title = titleMatch.Success ? titleMatch.Groups[1].Value : "Untitled",
                Category = categoryMatch.Success ? categoryMatch.Groups[1].Value : "General",
                Slug = Path.GetFileNameWithoutExtension(content)
            };
        }
    }

    public class TextChunk
    {
        public string Text { get; set; } = string.Empty;
    }

    public class BlogMetadata
    {
        public string Title { get; set; } = string.Empty;
        public string Category { get; set; } = string.Empty;
        public string Slug { get; set; } = string.Empty;
    }
}

Dienstleistung zur Erzeugung von RAG

namespace BlogRAG.Services
{
    public class RAGGenerationService
    {
        private readonly IEmbeddingService _embedder;
        private readonly QdrantVectorStore _vectorStore;
        private readonly ILLMService _llm;
        private readonly ILogger<RAGGenerationService> _logger;

        public RAGGenerationService(
            IEmbeddingService embedder,
            QdrantVectorStore vectorStore,
            ILLMService llm,
            ILogger<RAGGenerationService> logger)
        {
            _embedder = embedder;
            _vectorStore = vectorStore;
            _llm = llm;
            _logger = logger;
        }

        public async Task<string> GenerateSuggestionAsync(
            string currentDraft,
            string requestType = "continue")
        {
            // 1. Generate embedding for current draft
            var draftEmbedding = await _embedder.GenerateEmbeddingAsync(currentDraft);

            // 2. Search for relevant past content
            var results = await _vectorStore.SearchAsync(
                queryVector: draftEmbedding,
                limit: 5,
                scoreThreshold: 0.7f);

            _logger.LogInformation("Found {Count} relevant chunks", results.Count);

            // 3. Build context from results
            var contextBuilder = new StringBuilder();
            foreach (var result in results)
            {
                var text = result.Payload["text"].ToString();
                var title = result.Payload["blog_post_title"].ToString();
                var score = result.Score;

                contextBuilder.AppendLine($"## From: {title} (relevance: {score:F2})");
                contextBuilder.AppendLine(text);
                contextBuilder.AppendLine();
            }

            // 4. Build prompt
            var systemPrompt = BuildSystemPrompt(requestType);
            var userPrompt = BuildUserPrompt(currentDraft, contextBuilder.ToString(), requestType);

            // 5. Generate with LLM
            var suggestion = await _llm.GenerateCompletionAsync(
                systemPrompt: systemPrompt,
                userPrompt: userPrompt,
                temperature: 0.7f);

            return suggestion;
        }

        private string BuildSystemPrompt(string requestType)
        {
            return requestType switch
            {
                "continue" => @"You are a technical blog writing assistant. Your role is to suggest
                    continuations for blog posts based on the author's past writing style and content.

                    Guidelines:
                    - Match the author's voice and technical depth
                    - Use similar patterns and structures from past posts
                    - Be specific and technical, not generic
                    - Include code examples when relevant
                    - Maintain consistency with past content",

                "improve" => @"You are a technical blog editor. Your role is to improve sections
                    of blog posts while maintaining the author's voice.

                    Guidelines:
                    - Preserve the author's style
                    - Improve clarity and flow
                    - Add technical depth where appropriate
                    - Suggest better examples from past posts
                    - Fix unclear explanations",

                "outline" => @"You are a technical blog outline generator. Your role is to suggest
                    outlines for new blog posts based on past structures.

                    Guidelines:
                    - Study the author's typical post structure
                    - Suggest sections based on successful past posts
                    - Include technical depth appropriate to topic
                    - Reference similar past articles",

                _ => "You are a helpful technical writing assistant."
            };
        }

        private string BuildUserPrompt(string currentDraft, string context, string requestType)
        {
            return $@"
# Current Draft
{currentDraft}

# Relevant Past Content
{context}

# Request
{GetRequestDescription(requestType)}

Please provide your suggestion based on the current draft and the relevant past content shown above.
Remember to maintain consistency with the author's past writing style and technical approach.
";
        }

        private string GetRequestDescription(string requestType)
        {
            return requestType switch
            {
                "continue" => "Continue writing from where the draft ends. Suggest the next 1-2 paragraphs.",
                "improve" => "Improve the current draft. Suggest specific edits and enhancements.",
                "outline" => "Create a detailed outline for completing this post.",
                _ => "Provide helpful suggestions."
            };
        }
    }
}

Einfacher Konsolen-Client

using Microsoft.Extensions.Configuration;
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.Logging;

namespace BlogRAG.Console
{
    class Program
    {
        static async Task Main(string[] args)
        {
            // Setup DI and configuration
            var services = new ServiceCollection();

            var configuration = new ConfigurationBuilder()
                .SetBasePath(Directory.GetCurrentDirectory())
                .AddJsonFile("appsettings.json")
                .AddUserSecrets<Program>()  // For API keys
                .Build();

            services.AddLogging(builder => builder.AddConsole());

            // Register services
            var embeddingConfig = configuration.GetSection("BlogRAG:Embedding");
            services.AddSingleton<IEmbeddingService>(sp =>
                new OpenAIEmbeddingService(
                    embeddingConfig["ApiKey"]!,
                    embeddingConfig["Model"]!,
                    sp.GetRequiredService<ILogger<OpenAIEmbeddingService>>()));

            var llmConfig = configuration.GetSection("BlogRAG:LLM");
            services.AddSingleton<ILLMService>(sp =>
                new ClaudeLLMService(
                    llmConfig["ApiKey"]!,
                    llmConfig["Model"]!,
                    sp.GetRequiredService<ILogger<ClaudeLLMService>>()));

            var vectorConfig = configuration.GetSection("BlogRAG:VectorStore");
            services.AddSingleton(sp =>
                new QdrantVectorStore(
                    vectorConfig["Url"]!,
                    vectorConfig["ApiKey"] ?? "",
                    vectorConfig["CollectionName"]!,
                    sp.GetRequiredService<ILogger<QdrantVectorStore>>()));

            services.AddSingleton<IngestionService>();
            services.AddSingleton<RAGGenerationService>();

            var serviceProvider = services.BuildServiceProvider();

            // Run CLI
            await RunCLI(serviceProvider, configuration);
        }

        static async Task RunCLI(ServiceProvider serviceProvider, IConfiguration configuration)
        {
            System.Console.WriteLine("=== Blog RAG Assistant ===\n");
            System.Console.WriteLine("Commands:");
            System.Console.WriteLine("  ingest - Ingest markdown files");
            System.Console.WriteLine("  write - Start writing session");
            System.Console.WriteLine("  quit - Exit\n");

            while (true)
            {
                System.Console.Write("> ");
                var command = System.Console.ReadLine()?.Trim().ToLower();

                switch (command)
                {
                    case "ingest":
                        await IngestCommand(serviceProvider, configuration);
                        break;
                    case "write":
                        await WriteCommand(serviceProvider);
                        break;
                    case "quit":
                        return;
                    default:
                        System.Console.WriteLine("Unknown command");
                        break;
                }
            }
        }

        static async Task IngestCommand(ServiceProvider serviceProvider, IConfiguration configuration)
        {
            var ingestion = serviceProvider.GetRequiredService<IngestionService>();
            var markdownPath = configuration["BlogRAG:Ingestion:MarkdownPath"];

            System.Console.WriteLine($"Ingesting from {markdownPath}...");
            await ingestion.IngestMarkdownFilesAsync(markdownPath!);
            System.Console.WriteLine("Ingestion complete!\n");
        }

        static async Task WriteCommand(ServiceProvider serviceProvider)
        {
            var rag = serviceProvider.GetRequiredService<RAGGenerationService>();

            System.Console.WriteLine("\nEnter your draft (end with empty line):");
            var draft = new StringBuilder();
            string? line;

            while (!string.IsNullOrWhiteSpace(line = System.Console.ReadLine()))
            {
                draft.AppendLine(line);
            }

            System.Console.WriteLine("\nGenerating suggestion...\n");
            var suggestion = await rag.GenerateSuggestionAsync(draft.ToString());

            System.Console.WriteLine("=== Suggestion ===");
            System.Console.WriteLine(suggestion);
            System.Console.WriteLine("\n");
        }
    }
}

Betrieb des Systems

Erstes Mal einrichten

# 1. Clone/create project
dotnet new console -n BlogRAG
cd BlogRAG

# 2. Add packages
dotnet add package Qdrant.Client
dotnet add package OpenAI
dotnet add package Anthropic.SDK
dotnet add package Microsoft.Extensions.Configuration.Json
dotnet add package Microsoft.Extensions.Configuration.UserSecrets

# 3. Set API keys (stored securely)
dotnet user-secrets init
dotnet user-secrets set "BlogRAG:Embedding:ApiKey" "sk-..."
dotnet user-secrets set "BlogRAG:LLM:ApiKey" "sk-ant-..."

# 4. Start Qdrant (local)
docker run -d -p 6333:6333 qdrant/qdrant

# 5. Run ingestion
dotnet run
> ingest

# 6. Start writing
> write

Gesamte Rüstzeit15 Minuten gegen ungefähr 2 Stunden für lokales GPU-Setup. Angenommen, alles läuft reibungslos. ,, was meiner Erfahrung nach eine gefährliche Annahme ist, um . zu machen.

Tägliche Anwendung

# Start Qdrant (if using local Docker)
docker start qdrant

# Run assistant
dotnet run
> write

# Enter your draft
I've been working on a new feature that uses Entity Framework Core...
[Ctrl+D or empty line]

# Get AI suggestion based on your past EF posts!

Kostenanalyse

Monatliche Kostenschätzung

SzenarioBlog-Beiträge pro Monat

Kosten für den Betrieb von | |-----------|--------|------| Die erste Einnahme von (100, die posts, ), MSC3, MKS4 und , ist ein Zeichen für |, $0.05, |. Einbettungen von (Queries,Monats-)Marken von40K |-LLM ruft (40-Vorschläge, )-Vorträge, |-Eingang,800-K-Ausgang und 80-K -Ausgang | Monatlich insgesamt | | ~$3.65 |

Zum Vergleich:

• Lokale Einrichtung: :-Monat: (- aber GPU im Vorfeld: )-Monat
• ChatGPT Plus, :, $20/, Monat, RAG-,, generisch
• Grammarly Premium-:-Monats- -(-keine KI-Schreiben

Break---even PunktWenn Sie dies für 18+ Monate verwenden, zahlt sich die lokale GPU aus . sonst ist die Cloud billiger, obwohl I'm immer noch funktioniert, ob meine Kostenprojektionen genau sind.-. Ich mag in ein paar Monaten essen meine Worte, wenn die Rechnungen kommen in .

Tipps zur Kostenoptimierung

1. Verwenden Sie kleinere Modelle für Einbettungen:

   • text-embedding-3-smallZeichen von :, $0.00002/1, K
   • text-embedding-3-largeZeichen von :, $0.00013/1, K
   • Kostendifferenz von 6.5x

2. Batch API-Aufrufe Preisgünstiger für Nicht--«urgent»):«

   // Use OpenAI Batch API for ingestion
   var batch = await client.CreateBatchAsync(requests);
   // Wait hours, pay half price
   

3. Cache Einbettungen lokal:

   // Don't re-embed identical text
   var cache = new Dictionary<string, float[]>();
   

4. Verwenden Sie billigere Modelle für Entwürfe:

   • Claude-Eingang von (12x günstiger als Sonnet-)
   • GPT--4-o---mini-M:-M-Eingang günstiger als GPT‐-4)-

5. Kontextfenster einschränken:

   // Retrieve top 3 instead of top 10 chunks
   limit: 3  // 70% less input tokens
   

Vorteile gegenüber dem lokalen Setup

Bessere Modellqualität

,| , Modell , | , Kontext , | , Qualität , | , lokale , ,? , Cloud , |-------|---------|---------|--------|--------| ,| , Mistral , 7 , | , 8 , gut ,| , ja ,( , benötigt M8 ,GB VRAM, MSSK8 , T| , Ja ,| ,| , Llama , 3 , 70 , B, | , ,8 , K , - , – . ,- , .- . - ] , " , ." ,. ." - . ,| , GPT--4 , Turbo , | , 128, K , T| , Ausgezeichnet , | , Nein ,| , Ja Claude Sonett Sonett Am besten Am besten am Samstag am Sonntag am Abend am Nachmittag am Abend.

Cloud gibt Ihnen Zugriff auf Modelle das würde erfordern, dass die Theorie -, GPU-Hardware ., mindestens ,, dass ', die noch lernen, ob die größeren Modelle tatsächlich produzieren spürbar bessere Blog-Inhalte in der Praxis .

Sofortige Aktualisierungen

// Switch models with one line
services.AddSingleton<ILLMService>(sp =>
    new ClaudeLLMService(  // Was GPT-4, now Claude
        config["ApiKey"],
        "claude-3-5-sonnet-20241022",  // Latest model
        sp.GetRequiredService<ILogger<ClaudeLLMService>>()));

Keine Modell-DownloadsKeine GGUF-Konvertierungen Keine Kompatibilitätsprüfungen Dies ist wirklich brillant, wenn du mit verschiedenen Modellen experimentierst, um zu sehen, was am besten funktioniert

]3.-Cross---Platform

# Works on Mac (no CUDA support)
dotnet run  # Just works!

# Works on Linux ARM (Raspberry Pi?)
dotnet run  # Just works!

# Works in Codespaces/Gitpod
dotnet run  # Just works!

Der lokale Ansatz ist nur für NVIDIA Windows.

Skalierbarkeit

// Handle 100 concurrent users? Easy with APIs
await Task.WhenAll(users.Select(u =>
    rag.GenerateSuggestionAsync(u.Draft)));

// Local? Limited by your single GPU

Einfachere Bereitstellung

# Deploy to Azure/AWS/GCP
dotnet publish -c Release
# Upload single binary, set env vars, done

# Local? Need to:
# - Include 12GB model files
# - Install CUDA on target machine
# - Ensure GPU drivers
# - Manage VRAM

Einschränkungen des Handels

Datenschutzbelange

Ihr Blog-Inhalt geht an OpenAI ,/ , Anthropologisch , . ,

Milderung

• Nur für öffentliche Blog-Inhalte verwenden
• Prüfen Sie die Richtlinie für die Datennutzung des Anbieters
• Die API-Daten, die nicht für das Training verwendet werden
• Anthropologische Schlussfolgerungen

Wenn Sie die Erstellung vertraulicher Inhalte verwenden, verwenden Sie den lokalen Ansatz..... IM'.m komfortabel mit diesem für mein öffentliches Blog.,. aber ich würde es nicht für alles verwenden, was remote sensitiv ist. -., und Sie sollten nicht mein Wort nehmen für das, was ".emotely sensitive?". bedeutet für Ihren Anwendungsfall.

Netzwerkabhängigkeit

Kein Internet, kein Assistent

Milderung

• Vorangegangene Vorschläge lokal verwalten
• Offline-Modus zur Bearbeitung implementieren
• Zurück zu lokalen kleineren Modellen

Latenzzeit

API-Aufrufe dauerten Sekunden gegenüber lokalen Anrufen

Realitätsprüfung

• Örtliche Erzeugung von 0.5
• Cloud-Generierung von :
• Unterschied: :-0---1.5-- ---(--perfekt akzeptabel für das Schreiben Unterstützung in meiner Erfahrung, obwohl ich nehme an, es hängt davon ab, wie ungeduldig Sie sind.

Hersteller-Schloss

Wechseln von APIs erfordert Code-Änderungen

Milderung

// Use abstraction layer
public interface ILLMService
{
    // Switch providers easily
}

// Factory pattern
services.AddSingleton<ILLMService>(sp =>
{
    return config["Provider"] switch
    {
        "OpenAI" => new OpenAILLMService(...),
        "Anthropic" => new ClaudeLLMService(...),
        "Cohere" => new CohereLLMService(...),
        _ => throw new Exception("Unknown provider")
    };
});

Hybrider Ansatz – das Beste aus beiden Welten

Können Sie lokal und cloud mischen Auf jeden Fall.

public class HybridEmbeddingService : IEmbeddingService
{
    private readonly LocalOnnxEmbedding _local;
    private readonly OpenAIEmbeddingService _cloud;
    private readonly bool _preferLocal;

    public async Task<float[]> GenerateEmbeddingAsync(string text)
    {
        if (_preferLocal && _local.IsAvailable())
        {
            return _local.GenerateEmbedding(text);  // Free, fast
        }

        return await _cloud.GenerateEmbeddingAsync(text);  // Fallback
    }
}

Lokal für die Einbettung verwenden (-Scheap-,-schnelle),-Cloud für LLM-Qualitätsfragen:

• Einbettungen lokal Speichern $0.004/Monat Menge ,Zugegebenermaßen )
• LLM in der Cloud-Qualität erhalten

Das ist eigentlich mein empfohlener AnsatzObwohl I' experimentiert noch immer, um zu sehen, ob es die richtige Balance ist

1. Führen Sie kleines Einbettungsmodell lokal aus.
2. Cloud-APIs für LLM verwenden
3. Qdrant local für die Entwicklung - ,-Cloud für die Produktion

Schlußfolgerung

Die cloud-Alternative zu -"-Rechtsanwalt GPT."- gibt Ihnen ungefähr - 80%- von den Vorteilen mit -20%- von der Komplexität oder zumindest, dass - ''s meine Erfahrung bisher gewesen ist

Funktion der lokalen Cloud von | |---------|-------|-------| Zeit für das Einrichten von S| Stunden Hardware-Voraussetzungen für |, NVIDIA GPU, |, Jeder Computer Qualität des Modells ,| , 7 , -13 , GPT--4, Claude , Claude monatliche Kosten ,| , Latenzzeiten , | , 0.5 , | , 2 ,| Datenschutz vor Ort an APIs senden Nur für Windows-Versionen von /Linux/ Weitere Informationen finden Sie unter: http:www.cordis.lu/

Wann die Cloud verwendet werden soll

• Sie haben nicht NVIDIA GPU
• Sie befinden sich auf Mac, / und Linux.
• Sie wollen den einfachsten Weg
• Du schreibst weniger als die Posts
• Sie vertrauen Cloud-Anbietern mit öffentlichen Inhalten

Wann Sie lokal verwenden möchten

• Sie haben GPU Hardware
• Datenschutz ist von entscheidender Bedeutung
• Sie wollen Betriebskosten
• Du schreibst mehr als 20-Posts, /-Monat
• Sie basteln gerne

Der beste Ansatz Beginnen Sie mit cloud, wenn Sie es lieben und auf Kosten treffen ,/ .privacy limits , , . migrieren zu lokalen later .. . Die RAG-Architektur ist identisch ?- ? Sie nur den LLM-Dienst tauschen , obwohl ich sollte ablehnen, dass I' .m immer noch lernen die gotchas hier .

Nächste Schritte

1. **Versuch es.**Stellen Sie die Cloud-Version an diesem Nachmittag ein
2. EinnahmeVerarbeiten Sie Ihre Blog-Beiträge
3. SchreibenErhalten Sie AI-Vorschläge basierend auf Ihren vergangenen Inhalten
4. MaßnahmeKosten und Nutzen des Verfolgens
5. EntscheidenBewahren Sie die Cloud auf oder migrieren Sie sie zu lokal.

Die Schönheit der RAG ist Sie sind nicht eingesperrtDie Vektordatenbank von , klunken, und Retrieval-Logik funktionieren gleich, ob Ihr LLM auf Ihrer GPU oder im OpenAI-''s Datacentre ist.

Starten Sie einfach, um den Wert zu beweisen, , , dann optimieren ,. , I' , immer noch lernen, was am besten funktioniert selbst , also ist IM' , gerne hören, wie Sie auf erhalten , . ,

Aufkommen

Verwandte Artikel

• Original Jurist GPT Series Teil
• RAG erklärt: ( Anthropologisch: )

Dienstleistungen

• Qdrant Vector-Datenbank
• Qdrant Cloud Verwaltetes Hosting
• OpenAI-Plattform
• Anthropotische Konsole
• OpenAI-SDK
• Anthropologische SDK

ANHANG

• Vollständiger Beispielcode [GitHub-Repository ,] , , ( , bald kommend , !) ,

Glückliches Schreiben mit Ihrem Cloud-Assistenten