# مجموعة العمل الخاصة بالمنفذين: الفهرسة المختلطة للبحث والآلي # أولاً **جزء من سلسلة السلاسل:** وهذا هو الجزء 5 - أنماط تكامل الإنتاج: - [الجزء 1: الأصل والأصل](/blog/rag-primer) - ما هي المزجات، لماذا تهم - [الجزء 2: الهيكل والداخليات](/blog/rag-architecture) - تزكية، رمزية، قواعد بيانات متجهة - [الجزء 3: المساعدة في الممارسة](/blog/rag-practical-applications) - نظم كاملة لبناء المباني - [الجزء 4أ: التنفيذ على الصعيد الوطني والتكادست](/blog/semantic-search-with-onnx-and-qdrant) - الأساس البحثي المتيني - [الجزء 4 (ب): البحث الدهني في الدعوى](/blog/semantic-search-in-action) - نوع الرأس، بحث هجين، ومكوّنات UI - **الجزء 5: البحث المُدَرَّج و تلقائياً** (هذه المادة) - أنماط التكامل الإنتاجي - [الجزء 6: الرسم البياني](/blog/graphrag-knowledge-graphs-for-rag) - الرسوم البيانية للمعارف من أجل فهم مستوى التجميع داخل [الجزء الرابع(أ)](/blog/semantic-search-with-onnx-and-qdrant)، لقد بنينا الأساس: ONNX constitctions and Qdrant storings. [الجزء الرابع(ب)](/blog/semantic-search-in-action)لقد غطينا البحث UI وتنفيذ البحث المهجين. الآن سوف نجعلها جاهزة للانتاج مع **الرقم القياسي التلقائي** عن طريق FileSystem Watcher. [TOC] # المقدمـة: أفضل ما في كل من العالمين والبحث الدلالي قوي ولكن البحث التقليدي عن النص الكامل لا يزال متفوقا في العبارات الدقيقة والمصطلحات التقنية. **الحل؟** استخدام كلا الاستخدامين على حد سواء. **لماذا يُنَجِلَ؟** وتتسم النُهُج المختلفة بأوجه قوة مختلفة: - **مُنزِل** ([مُغطّى هنا](/blog/textsearchingpt1)(): المباريات الدقيقة، والمصطلحات التقنية، ومشغلو البوليان - **سِمنت**: المعنى، والسياق، والمرادف، والمضمون ذو الصلة بالمفاهيم ## معدل الرسو (RRR) (RRR) ن استخدام **الترتيب التردي** إلى الجمع بين النتائج المستمدة من مصادر بحث متعددة: ```mermaid flowchart TB A[User Query: 'docker containers'] --> B[PostgreSQL Full-Text Search] A --> C[Semantic Vector Search] B --> D["Results:
1. 'Docker Basics' (rank 1)
2. 'Containerizing Apps' (rank 2)
3. 'Docker Compose' (rank 3)"] C --> E["Results:
1. 'Containerizing Apps' (rank 1)
2. 'Kubernetes Guide' (rank 2)
3. 'Docker Basics' (rank 3)"] D --> F[RRF Algorithm] E --> F F --> G["Combined Results:
1. 'Containerizing Apps'
(1/61 + 1/62 = 0.0328)
2. 'Docker Basics'
(1/61 + 1/63 = 0.0322)
3. 'Docker Compose'
(1/63 = 0.0159)"] style A stroke:#10b981,stroke-width:2px style B stroke:#3b82f6,stroke-width:2px style C stroke:#6366f1,stroke-width:2px style D stroke:#3b82f6,stroke-width:2px style E stroke:#6366f1,stroke-width:2px style F stroke:#ec4899,stroke-width:4px style G stroke:#8b5cf6,stroke-width:2px ``` **صيغة RRF:** `score = Σ(1 / (k + rank))` - `k` = 60 (على وجه السرعة لمنع هيمنة الرتب الأولى) - `rank` في ذلك الموقع نتائج طريقة البحث - عدد النتائج في **-لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا، لا** (أ) أن تحصل على درجات من كل منها مجتمعة **لماذا يعمل RRF:** - **تنفيذ**: النتيجة نفسها في كل من المصدرين درجات أعلى - **العذر**: لا توجد طريقة بحث مهيمنة بشكل غير عادل - **التسهيل**: لا حاجة إلى تهني معقّد ## التنفيذ ```csharp public class HybridSearchService : IHybridSearchService { private readonly ISemanticSearchService _semanticSearchService; private const int RrfConstant = 60; public async Task> SearchAsync( string query, string language = "en", int limit = 10, CancellationToken cancellationToken = default) { // Execute both searches in parallel var semanticResults = await _semanticSearchService.SearchAsync( query, limit * 2, cancellationToken); // Filter by language and apply RRF var filteredResults = semanticResults .Where(r => r.Language == language) .ToList(); return ApplyReciprocalRankFusion(filteredResults) .Take(limit) .ToList(); } private List ApplyReciprocalRankFusion(List results) { var rrfScores = new Dictionary(); for (int i = 0; i < results.Count; i++) { var result = results[i]; var key = $"{result.Slug}_{result.Language}"; if (!rrfScores.ContainsKey(key)) rrfScores[key] = new RrfScore { Result = result }; // RRF formula: 1 / (k + rank) rrfScores[key].Score += 1.0 / (RrfConstant + i + 1); } return rrfScores.Values .OrderByDescending(x => x.Score) .Select(x => x.Result) .ToList(); } } ``` > **ملاحظة:** يظهر هذا البحث الدلالي فقط. في الإنتاج، نفّذ بحث النص الكامل PostgreSQL في متوازٍ، وأدرج تلك النتائج في حساب RRF. ## التكامل إذا كنت قد نفّذت بالفعل ابحث نص PostgRSSQL[كما هو مشمول هنا](/blog/textsearchingpt1)()، إضافة البحث الدلالي هو واضح: ```csharp // Program.cs services.AddSemanticSearch(configuration); services.AddSingleton(); ``` ```csharp [HttpGet("search/hybrid")] public async Task HybridSearch(string query, string language = "en") { var results = await _hybridSearchService.SearchAsync(query, language); return PartialView("_SearchResults", results); } ``` # مُر مع مُرسِف مع مُراقب نظام نظام الملفات السمة الأكثر قوة: **الرقم القياسي التلقائي**-وإن لم يكن هناك أي تدخل يدوي ## كيف تعمل ```mermaid flowchart TB A[Save Markdown File] --> B[FileSystemWatcher Detects Change] B --> C{File in Main Directory?} C -->|Yes| D[Save to Database] C -->|No| E[Save to Database Only] D --> F[Create BlogPostDocument] F --> G[Generate Embedding via ONNX] G --> H[Store in Qdrant] H --> I[Post Searchable Immediately] style A stroke:#10b981,stroke-width:2px style B stroke:#f59e0b,stroke-width:2px style C stroke:#ec4899,stroke-width:3px style D stroke:#3b82f6,stroke-width:2px style E stroke:#6b7280,stroke-width:2px style F stroke:#8b5cf6,stroke-width:2px style G stroke:#6366f1,stroke-width:3px style H stroke:#ef4444,stroke-width:2px style I stroke:#10b981,stroke-width:2px ``` **قرار دعم المفتاح:** فقط فهرس الملفات في **دليل**(بملايين دولارات الولايات المتحدة)`translated/`, `drafts/`, `comments/`هذا يبقي دليل البحث نظيفاً ## المدونات لديها بالفعل `MarkdownDirectoryWatcherService`نوسعها لتعطيل الفهرسة الدلالية: ```csharp // In MarkdownDirectoryWatcherService.cs private async Task OnChangedAsync(WaitForChangedResult e) { if (e.Name == null) return; await retryPolicy.ExecuteAsync(async () => { var savedModel = await blogService.SavePost(slug, language, markdown); // Index ONLY if file is in main directory (no path separators in name) if (!e.Name.Contains(Path.DirectorySeparatorChar) && !e.Name.Contains(Path.AltDirectorySeparatorChar)) { await IndexPostForSemanticSearchAsync(scope, savedModel, language); } }); } private async Task IndexPostForSemanticSearchAsync( IServiceScope scope, BlogPostDto post, string language) { var semanticSearchService = scope.ServiceProvider.GetService(); if (semanticSearchService == null) return; // Not configured var document = new BlogPostDocument { Id = $"{post.Slug}_{language}", Slug = post.Slug, Title = post.Title, Content = post.PlainTextContent, Language = language, Categories = post.Categories?.ToList() ?? new List(), PublishedDate = post.PublishedDate }; await semanticSearchService.IndexPostAsync(document); _logger.LogInformation("Indexed {Slug} ({Language}) in semantic search", post.Slug, language); } ``` ## عند حذف أحد الوظائف، احذفه من الرقم القياسي الدلالي: ```csharp private async Task OnDeletedAsync(WaitForChangedResult e) { await blogService.Delete(slug, language); // Delete from semantic search ONLY if file was in main directory if (!e.Name.Contains(Path.DirectorySeparatorChar) && !e.Name.Contains(Path.AltDirectorySeparatorChar)) { var semanticSearchService = scope.ServiceProvider.GetService(); await semanticSearchService?.DeletePostAsync(slug, language); } } ``` # دائرة المعلومات الأساسية في البداية، تقوم خدمة معلومات أساسية بفهرسة الوظائف القائمة التي لم يتم شغلها بعد في الفصل: ```mermaid flowchart TB A[Application Starts] --> B[Wait 10 seconds] B --> C[Initialize Semantic Search] C --> D{Model Exists?} D -->|No| E[Download from Hugging Face] D -->|Yes| F[Load ONNX Model] E --> F F --> G[Scan Main Markdown Directory] G --> H{For Each .md File} H --> I[Compute Content Hash] I --> J{Hash Changed?} J -->|Yes| K[Generate Embedding] J -->|No| L[Skip - Already Indexed] K --> M[Store in Qdrant] M --> H L --> H H -->|Done| N[Indexing Complete] style A stroke:#10b981,stroke-width:2px style C stroke:#6366f1,stroke-width:2px style E stroke:#f59e0b,stroke-width:2px style F stroke:#6366f1,stroke-width:3px style G stroke:#8b5cf6,stroke-width:2px style J stroke:#ec4899,stroke-width:3px style K stroke:#6366f1,stroke-width:2px style M stroke:#ef4444,stroke-width:2px style N stroke:#10b981,stroke-width:2px ``` ```csharp public class SemanticIndexingBackgroundService : BackgroundService { protected override async Task ExecuteAsync(CancellationToken stoppingToken) { // Wait for app to be ready await Task.Delay(TimeSpan.FromSeconds(10), stoppingToken); // Initialize (downloads model if needed) await _semanticSearchService.InitializeAsync(stoppingToken); // Get all posts from main directory only var markdownFiles = Directory.GetFiles( _markdownConfig.MarkdownPath, "*.md", SearchOption.TopDirectoryOnly); // NOT subdirectories foreach (var file in markdownFiles) { var needsIndexing = await _semanticSearchService.NeedsReindexingAsync( slug, language, contentHash, stoppingToken); if (needsIndexing) await _semanticSearchService.IndexPostAsync(document, stoppingToken); } } } ``` **ومن شأن ذلك أن يكفل ما يلي:** 1. **يجري تحميل** - تنزيلات عن أول استخدام، وليس تعطيل بدء التشغيل 2. **ربط الفهرسة المتعاقبة** - الوظائف الجديدة/المتغيرة فقط التي أعيد فهرستها (عن طريق هامش المحتوى) 3. **لا** - المسودات والملفات المترجمة لا تلوث الفهرس # ما بنينا عليه عبر الأجزاء 4 أ و4ب و5، لدينا الآن ما يلي: - ✅ **البحث الدهني المعالج وسهل المعالج** - لا GPU مطلوب - ✅ **ما يتصل بها من حوادث** - محتوى مماثل من الناحية الدمانتينية - ✅ **** - البحث بمعنى المعنى، وليس مجرد الكلمات الرئيسية - ✅ **الم** - أفضل أفضل النص المُدَن + النص الكامل - ✅ **فهرسك** - تحديثات المحتوى الصفري - ✅ **مستضيفة ذاتياً** - بياناتك تبقى على خادمك **الاتحاد الروسي:** - **الفئة الفئـة** - النتائج الأولية من فئات محددة - **مُمَززززز متعدد لغات متعددة** - النماذج المدمجة الخاصة بكل لغة على حدة - **التّكامدSearch** - إضافة OpenSearch إلى المزيج[اَنْظَرْ مَجَمْدَتِي](/blog/textsearchingpt3)) # ثالثاً - استنتاج ويكمل هذا التنفيذ العملي للبحث الدهني على غرار البحث البحثي RAG. [الجزء الرابع(أ)](/blog/semantic-search-with-onnx-and-qdrant) )أكانو( [الجزء الرابع(ب)](/blog/semantic-search-in-action) (Search UI)، لديك كل ما يلزم لإضافة البحث الذكي إلى تطبيقك على الشبكة - تشغيل بالكامل على وحدة المعالجة المركزية، بتكلفة إضافية صفرية. ## استمر التعلم - **[الجزء 1: الأصل والمخلوقات](/blog/rag-primer)** -النظرية وراء التألقات - **[الجزء 2: الهندسة والداخليات](/blog/rag-architecture)** - الغوص العميق في نظم RAG - **[الجزء الثالث من الفريق الاستشاري: التطبيقات العملية](/blog/rag-practical-applications)** - كامل المجموعة مع تكامل LLLM - **[الجزء 4أ: التنفيذ على الصعيد الوطني والتكادست](/blog/semantic-search-with-onnx-and-qdrant)** - الأساس: المقومات والتدبير - **[الجزء 4 (ب): البحث الدهني في الدعوى](/blog/semantic-search-in-action)** - نوع رأس، بحث هجين، و UI - **[بحث كامل مع المرشِعSQL](/blog/textsearchingpt1)** - جانب النص الكامل للبحث المختلط ## الموارد الخارجة عن ### قاعدة بيانات & العامل - [قواعد بيانات ذاتية الاستخدام الذاتي للناقلات مع Qdrant](/blog/self-hosted-vector-databases-qdrant) - عمق الغوص في مفاهيم Qdrant، HNSW الفهرسة، المرشّح، و C عميل - [الجمعية العامة](https://qdrant.tech/documentation/concepts/hybrid-queries/) - دعم دعم Qdrant الأصلي المختلط ### & & & & & & & & - [ورق الإلحاق](https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf) - خوارورة RRRF ### - [صنف](https://learn.microsoft.com/en-us/dotnet/api/system.io.filesystemwatcher) - الوثائق - [الفئة الفنية](https://learn.microsoft.com/en-us/dotnet/api/microsoft.extensions.hosting.backgroundservice) - الخدمات المستضافة في إطار ### كُلّ رمز هو متوفّر على: [chithub. com/doggal/ chweb](https://github.com/scottgal/mostlylucidweb) - `Mostlylucid.SemanticSearch/` - مكتبة البحث المتعلقة بجوهرية - `Mostlylucid/Blog/WatcherService/` - مراقب ملف مع الفهرس الدال