أولاً

جزء من سلسلة السلاسل: وهذا هو الجزء 5 - أنماط تكامل الإنتاج:

• الجزء 1: الأصل والأصل - ما هي المزجات، لماذا تهم
• الجزء 2: الهيكل والداخليات - تزكية، رمزية، قواعد بيانات متجهة
• الجزء 3: المساعدة في الممارسة - نظم كاملة لبناء المباني
• الجزء 4أ: التنفيذ على الصعيد الوطني والتكادست - الأساس البحثي المتيني
• الجزء 4 (ب): البحث الدهني في الدعوى - نوع الرأس، بحث هجين، ومكوّنات UI
• الجزء 5: البحث المُدَرَّج و تلقائياً (هذه المادة) - أنماط التكامل الإنتاجي
• الجزء 6: الرسم البياني - الرسوم البيانية للمعارف من أجل فهم مستوى التجميع

داخل الجزء الرابع(أ)، لقد بنينا الأساس: ONNX constitctions and Qdrant storings. الجزء الرابع(ب)لقد غطينا البحث UI وتنفيذ البحث المهجين. الآن سوف نجعلها جاهزة للانتاج مع الرقم القياسي التلقائي عن طريق FileSystem Watcher.

المقدمـة: أفضل ما في كل من العالمين

والبحث الدلالي قوي ولكن البحث التقليدي عن النص الكامل لا يزال متفوقا في العبارات الدقيقة والمصطلحات التقنية. الحل؟ استخدام كلا الاستخدامين على حد سواء.

لماذا يُنَجِلَ؟ وتتسم النُهُج المختلفة بأوجه قوة مختلفة:

• مُنزِل (مُغطّى هنا(): المباريات الدقيقة، والمصطلحات التقنية، ومشغلو البوليان
• سِمنت: المعنى، والسياق، والمرادف، والمضمون ذو الصلة بالمفاهيم

معدل الرسو (RRR) (RRR)

ن استخدام الترتيب التردي إلى الجمع بين النتائج المستمدة من مصادر بحث متعددة:

flowchart TB
    A[User Query: 'docker containers'] --> B[PostgreSQL Full-Text Search]
    A --> C[Semantic Vector Search]

    B --> D["Results:<br/>1. 'Docker Basics' (rank 1)<br/>2. 'Containerizing Apps' (rank 2)<br/>3. 'Docker Compose' (rank 3)"]
    C --> E["Results:<br/>1. 'Containerizing Apps' (rank 1)<br/>2. 'Kubernetes Guide' (rank 2)<br/>3. 'Docker Basics' (rank 3)"]

    D --> F[RRF Algorithm]
    E --> F

    F --> G["Combined Results:<br/>1. 'Containerizing Apps'<br/>   (1/61 + 1/62 = 0.0328)<br/>2. 'Docker Basics'<br/>   (1/61 + 1/63 = 0.0322)<br/>3. 'Docker Compose'<br/>   (1/63 = 0.0159)"]

    style A stroke:#10b981,stroke-width:2px
    style B stroke:#3b82f6,stroke-width:2px
    style C stroke:#6366f1,stroke-width:2px
    style D stroke:#3b82f6,stroke-width:2px
    style E stroke:#6366f1,stroke-width:2px
    style F stroke:#ec4899,stroke-width:4px
    style G stroke:#8b5cf6,stroke-width:2px

صيغة RRF: score = Σ(1 / (k + rank))

• k = 60 (على وجه السرعة لمنع هيمنة الرتب الأولى)
• rank في ذلك الموقع نتائج طريقة البحث
• عدد النتائج في -لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا (أ) أن تحصل على درجات من كل منها مجتمعة

لماذا يعمل RRF:

• تنفيذ: النتيجة نفسها في كل من المصدرين درجات أعلى
• العذر: لا توجد طريقة بحث مهيمنة بشكل غير عادل
• التسهيل: لا حاجة إلى تهني معقّد

التنفيذ

public class HybridSearchService : IHybridSearchService
{
    private readonly ISemanticSearchService _semanticSearchService;
    private const int RrfConstant = 60;

    public async Task<List<SearchResult>> SearchAsync(
        string query,
        string language = "en",
        int limit = 10,
        CancellationToken cancellationToken = default)
    {
        // Execute both searches in parallel
        var semanticResults = await _semanticSearchService.SearchAsync(
            query, limit * 2, cancellationToken);

        // Filter by language and apply RRF
        var filteredResults = semanticResults
            .Where(r => r.Language == language)
            .ToList();

        return ApplyReciprocalRankFusion(filteredResults)
            .Take(limit)
            .ToList();
    }

    private List<SearchResult> ApplyReciprocalRankFusion(List<SearchResult> results)
    {
        var rrfScores = new Dictionary<string, RrfScore>();

        for (int i = 0; i < results.Count; i++)
        {
            var result = results[i];
            var key = $"{result.Slug}_{result.Language}";

            if (!rrfScores.ContainsKey(key))
                rrfScores[key] = new RrfScore { Result = result };

            // RRF formula: 1 / (k + rank)
            rrfScores[key].Score += 1.0 / (RrfConstant + i + 1);
        }

        return rrfScores.Values
            .OrderByDescending(x => x.Score)
            .Select(x => x.Result)
            .ToList();
    }
}

ملاحظة: يظهر هذا البحث الدلالي فقط. في الإنتاج، نفّذ بحث النص الكامل PostgreSQL في متوازٍ، وأدرج تلك النتائج في حساب RRF.

التكامل

إذا كنت قد نفّذت بالفعل ابحث نص PostgRSSQLكما هو مشمول هنا()، إضافة البحث الدلالي هو واضح:

// Program.cs
services.AddSemanticSearch(configuration);
services.AddSingleton<IHybridSearchService, HybridSearchService>();

[HttpGet("search/hybrid")]
public async Task<IActionResult> HybridSearch(string query, string language = "en")
{
    var results = await _hybridSearchService.SearchAsync(query, language);
    return PartialView("_SearchResults", results);
}

مُر مع مُرسِف مع مُراقب نظام نظام الملفات

السمة الأكثر قوة: الرقم القياسي التلقائي-وإن لم يكن هناك أي تدخل يدوي

كيف تعمل

flowchart TB
    A[Save Markdown File] --> B[FileSystemWatcher Detects Change]
    B --> C{File in Main Directory?}
    C -->|Yes| D[Save to Database]
    C -->|No| E[Save to Database Only]
    D --> F[Create BlogPostDocument]
    F --> G[Generate Embedding via ONNX]
    G --> H[Store in Qdrant]
    H --> I[Post Searchable Immediately]

    style A stroke:#10b981,stroke-width:2px
    style B stroke:#f59e0b,stroke-width:2px
    style C stroke:#ec4899,stroke-width:3px
    style D stroke:#3b82f6,stroke-width:2px
    style E stroke:#6b7280,stroke-width:2px
    style F stroke:#8b5cf6,stroke-width:2px
    style G stroke:#6366f1,stroke-width:3px
    style H stroke:#ef4444,stroke-width:2px
    style I stroke:#10b981,stroke-width:2px

قرار دعم المفتاح: فقط فهرس الملفات في دليل(بملايين دولارات الولايات المتحدة)translated/, drafts/, comments/هذا يبقي دليل البحث نظيفاً

المدونات لديها بالفعل MarkdownDirectoryWatcherServiceنوسعها لتعطيل الفهرسة الدلالية:

// In MarkdownDirectoryWatcherService.cs
private async Task OnChangedAsync(WaitForChangedResult e)
{
    if (e.Name == null) return;

    await retryPolicy.ExecuteAsync(async () =>
    {
        var savedModel = await blogService.SavePost(slug, language, markdown);

        // Index ONLY if file is in main directory (no path separators in name)
        if (!e.Name.Contains(Path.DirectorySeparatorChar) &&
            !e.Name.Contains(Path.AltDirectorySeparatorChar))
        {
            await IndexPostForSemanticSearchAsync(scope, savedModel, language);
        }
    });
}

private async Task IndexPostForSemanticSearchAsync(
    IServiceScope scope,
    BlogPostDto post,
    string language)
{
    var semanticSearchService = scope.ServiceProvider.GetService<ISemanticSearchService>();
    if (semanticSearchService == null) return; // Not configured

    var document = new BlogPostDocument
    {
        Id = $"{post.Slug}_{language}",
        Slug = post.Slug,
        Title = post.Title,
        Content = post.PlainTextContent,
        Language = language,
        Categories = post.Categories?.ToList() ?? new List<string>(),
        PublishedDate = post.PublishedDate
    };

    await semanticSearchService.IndexPostAsync(document);
    _logger.LogInformation("Indexed {Slug} ({Language}) in semantic search", post.Slug, language);
}

عند حذف أحد الوظائف، احذفه من الرقم القياسي الدلالي:

private async Task OnDeletedAsync(WaitForChangedResult e)
{
    await blogService.Delete(slug, language);

    // Delete from semantic search ONLY if file was in main directory
    if (!e.Name.Contains(Path.DirectorySeparatorChar) &&
        !e.Name.Contains(Path.AltDirectorySeparatorChar))
    {
        var semanticSearchService = scope.ServiceProvider.GetService<ISemanticSearchService>();
        await semanticSearchService?.DeletePostAsync(slug, language);
    }
}

دائرة المعلومات الأساسية

في البداية، تقوم خدمة معلومات أساسية بفهرسة الوظائف القائمة التي لم يتم شغلها بعد في الفصل:

flowchart TB
    A[Application Starts] --> B[Wait 10 seconds]
    B --> C[Initialize Semantic Search]
    C --> D{Model Exists?}
    D -->|No| E[Download from Hugging Face]
    D -->|Yes| F[Load ONNX Model]
    E --> F
    F --> G[Scan Main Markdown Directory]
    G --> H{For Each .md File}
    H --> I[Compute Content Hash]
    I --> J{Hash Changed?}
    J -->|Yes| K[Generate Embedding]
    J -->|No| L[Skip - Already Indexed]
    K --> M[Store in Qdrant]
    M --> H
    L --> H
    H -->|Done| N[Indexing Complete]

    style A stroke:#10b981,stroke-width:2px
    style C stroke:#6366f1,stroke-width:2px
    style E stroke:#f59e0b,stroke-width:2px
    style F stroke:#6366f1,stroke-width:3px
    style G stroke:#8b5cf6,stroke-width:2px
    style J stroke:#ec4899,stroke-width:3px
    style K stroke:#6366f1,stroke-width:2px
    style M stroke:#ef4444,stroke-width:2px
    style N stroke:#10b981,stroke-width:2px

public class SemanticIndexingBackgroundService : BackgroundService
{
    protected override async Task ExecuteAsync(CancellationToken stoppingToken)
    {
        // Wait for app to be ready
        await Task.Delay(TimeSpan.FromSeconds(10), stoppingToken);

        // Initialize (downloads model if needed)
        await _semanticSearchService.InitializeAsync(stoppingToken);

        // Get all posts from main directory only
        var markdownFiles = Directory.GetFiles(
            _markdownConfig.MarkdownPath,
            "*.md",
            SearchOption.TopDirectoryOnly);  // NOT subdirectories

        foreach (var file in markdownFiles)
        {
            var needsIndexing = await _semanticSearchService.NeedsReindexingAsync(
                slug, language, contentHash, stoppingToken);

            if (needsIndexing)
                await _semanticSearc