ملاحظة: هذه ليست مقالة مدونة تقليدية. إنها الوصفات التقنية مكتوبة لصفة معينة في وضوحRAG. أقوم بتوصيل هذا الوثيقة بشكل مكرر لبرمجة - "focused LLMs during development to reason about trade" - "offs" , " validate assumptions" و "M SK3" "converge on a rational implementation" .

هذا документ يصف نظام فرعي من وضوحRAG, مشروع أقوم بتطويره

أحد المتطلبات الأساسية وضوحRAG هو القدرة على استخراج أجزاء من الأدلة - جملةM SK1 فقرات, مخطوطات , عنوانات, إطارات , أو بلاكات بنائية - وتأكد من أن تلك الأجزاء تقليد دون تدمير الإشارة المفيدة.

وضوحRAG يعمل من خلال تحليل و استخراج أفضل الدليل المتوفر من الوثائق, الصور, الصوتM SK2 وبيانات هيكلية . خلاف معظم تطبيقات RAG لا تخزين LLM-توليد الإحصائيات كجزء أولي . في كثير من الحالات , لا تحتاج إلى LLM على الإطلاق ( رغم أنه يمكن استخدامه عندما يكون التسارع قابلاً للاستعمال

بدلاً من ذلك, وضوحRAG يطبق مجموعة واسعة من التقنيات الإفتراضية والإحتمالية على :

• استخراج أجزاء مرشحة
• تقييم قيمة المعلومات
• ويحافظون على أقوى ممثلين فقط

المحاكاة هي جزء هام من هذه العملية.

المساواة في الأوتار البسيطة لا تكفي.

تتضاعف المشكلة عند وقت الترقب.

عندما يتم الحصول على النتائج (باستخدام SQL, مداخلات векторيةM SK2 BM 25, أو الهجيناتMSC4 تغذي جزء LLM متعددة التي جميعها تعبر عن نفس الفكرة الكامنة تنتج إجابات مملةMST5 متكررةM ST6 خمسة بالقرب منM st7 قطع متطابقة من दस्तावेज مختلفة لا تضيف وضوحاً |M st8 | إنهم يذيبونها | M st9

لمعالجة هذا, وضوحRAG يتعامل مع تقليل النسبة كـ مشكلة kompilation لفئة first-, ليس بريداً-صفر شاكM SK2

ما تبقى من هذا الوثيقة يصف كيف تم تصميم تلك الاستراتيجية للتفكيك 'Agile Speccing' ملائمة لمتطلبات الرمز LLMS.

هذا يشكّل الأفكار المختلفة , ويدفع الـ LLM إلى توثيقها | ' | |' | العمليات الفكرية | МSK3 | هذا هو المرحلة الأولى لإيجاد الـ يبني الشيء الصحيح.

رؤية المزيد عن وضوحRAG هنا.

استراتيجية تقليل النسبة

وضوحRAG يستخدم استراتيجية ثنائية -phase deduplication لإزالة المحتوى الفائق بينما يحافظ على الإشارات الهامة. هذا هو إشارة -محافظة المرشح, ليس قياس المحتوى.

الرسم البياني

┌─────────────────────────────────────────────────────────────────────────────┐
│                           INGESTION (Per Document)                          │
│                                                                             │
│  Document → Extract → Embed → DEDUPE (intra-doc) → Index to Vector Store   │
│                                   │                                         │
│                                   ├─ Near-duplicates: boost salience        │
│                                   └─ Exact duplicates: drop (no boost)      │
└─────────────────────────────────────────────────────────────────────────────┘
                                    │
                                    ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│                          RETRIEVAL (Cross Document)                         │
│                                                                             │
│  Query → Search → Rank (RRF) → DEDUPE (cross-doc) → Top K → LLM Synthesis  │
│                                   │                                         │
│                                   └─ Keep segment with highest RRF score    │
└─────────────────────────────────────────────────────────────────────────────┘

ضمانات التصميم

هذه الثوابت تم الحفاظ عليها بواسطة نظام تقليل

غير الأهداف

هذا النظام يقوم بوضوح لا محاولة :

• إكتشاف تناقض واقعي - مقطعين يقولون اشياء متعارضة لا تتقلص
• تشريح الحقيقة - نحن لا نختار ' نسخة "correct" عبر المصادر
• Collapse paraphrases across documents at ingestion - كل سند يحتفظ بأجزاءه الخاصة
• تعميم المصطلحات - "ML" و "التعلم الآليM SK4 في دوكات مختلفة يتم حفظها منفصلاً
• استبدال حل الكيان - ذلك' GraphRAG ' وظيفتهM SK3 تعمل على مستوى مختلف

التفاضل والتكامل & قابلة للتكاثر

تقليل هو محدد بالكامل:

• المداخلات غير قابلة للتغيير بمجرد حسابها في وقت الإستخراج
• الفرز مستقر أجزاء - ذات أهمية متساوية تحافظ على ترتيب أصلي
• لا عشوائية - لا نأخذ العينات, لا تقريباً ANN , لا حد إفتراضي
• ليس هناك حالة خارجية - القرارات في الخصم تعتمد فقط على مجموعة القطع الحالية

لماذا يهم هذا؟ يمكن للمستخدمين أن يثقوا في نتائج البحث عن الأخطاء البرمجية بأن تشغيل re- مع نفس المدخلات ينتج نفس المخرجات وضوحRAG'أوسع "محدود الغموض" الفلسفة - تطابق الغمض مع السلوك المعرفيM SK4

لماذا Phases ?

المرحلة 1: تقليل نسبة الاستهلاك

الهدف: تقلل من تخزين وتجنب إفراط intra-document

مشكلة: غالباً ما تحتوي الوثائق على محتوى مكرر:

• نص لوحة ال boiler (headers, footerM SK2 disclaimers )
• النسخ -أجزاء مسدودة
• نفس المفهوم يفسر عدة طرق

الحل: تقليد داخل كل وثيقة قبل التصنيف.

رؤية مهمة: تقريباً - تُعامل المحاكاة ك دليل على أهمية مستقلة, ليس الإفراط. إذا أشرح مؤلف مفهوماً بثلاث طرق مختلفة , ذلك مفهوم مهم . نحن نلتقط هذا الإشارة عن طريق زيادة الوضوح

مرحلة 2: استخلاص تقليل

الهدف: منع LLM من الحصول على معلومات إضافية عبر الوثائق

مشكلة: عندما تقوم بالبحث عبر عدة وثائق, يمكن أن تظهر فقرات مماثلة في مصادر مختلفة. لا يجب على LLMM SK2 وصف نفس المعلومات عدة مرات

الحل: بعد التصنيف من قبل RRF (which combines semantic similarity, keyword matchM SK2 salience , and freshnessMSC4 deduplicate across documents keeping the highestMST5scoring segmentM ST6

لماذا بعد RRF? تقييم الـ RRF يمثل أفضل قياس ملموس للأهمية . تقليل قبل التصنيف سيفقد هذا الإشارة .

لماذا يعزز ال Salience فقط عند الإ ingestation

ان الانقسام هو متعمد

مزج هذه في عملية البحث قد يربط الرغبة في दस्तावेज مع رغبة المستخدم للوثيقة, لكن قد لا تكون ذات أهمية إلى هذا السؤال. بتحفيز عند الإمتصاصM SK1 نحافظ على إشارة المؤلف' دون تضخيم نتائج البحث

المرحلة 1: تقليل نسبة الاستهلاك

المكان

src/Mostlylucid.DocSummarizer.Core/Services/BertRagSummarizer.cs

الطريقة

DeduplicateSegments()

الخوارزمية

1. Filter segments by minimum salience threshold (0.05)
2. Sort by salience score (highest first)
3. For each segment:
   a. If no embedding → keep (can't compare)
   b. Check cosine similarity against all selected segments
   c. If similarity >= 0.90:
      - If same ContentHash → exact duplicate, drop silently
      - If different ContentHash → near-duplicate, boost kept segment's salience
   d. If no match → add to selected list
4. Apply salience boosts: +15% per near-duplicate merged
5. Cap salience at 1.0 to prevent any single concept from dominating

العوامل

أمثلة

تقليد بالضبط (لا تحسن )

Segment A: "Contact us at [email protected]" [hash: abc123]
Segment B: "Contact us at [email protected]" [hash: abc123]  ← same hash
Result: Keep A, drop B, no boost (likely boilerplate)

قريبة من -تقليد (طبق على الحافة)

Segment A: "Machine learning models require training data" [hash: abc123]
Segment B: "ML systems need data for training" [hash: def456]  ← different hash, 0.92 similarity
Segment C: "Training data is essential for ML" [hash: ghi789]  ← different hash, 0.91 similarity
Result: Keep A with +30% salience boost (concept emphasized 3 ways)

المنطق بالنسبة للحدود

• 0.90 شبيهة: بناء على الأبحاث (NVIDIA NeMo يستخدم 0.90-0.92, معيار صناعي للتفكيك الدلالي)
• 0.05 الأهمية: يحرك أجزاء ذات قيمة منخفضة جداً من - بينما يحافظ على معظم المحتوى
• 15% تحسن : إشارة ذات مغزى بدون زيادة -weighting مبادئ تكرارية

مرحلة 2: استخلاص تقليل

المكان

src/LucidRAG.Core/Services/AgenticSearchService.cs

الطريقة

DeduplicateByEmbeddingPostRanking()

الخوارزمية

1. Receive ranked results (already sorted by RRF or dense score)
2. For each segment (in score order):
   a. If no embedding → keep
   b. Check cosine similarity against all selected segments
   c. If similarity >= 0.90 → skip (higher-scored duplicate already selected)
   d. If no match → add to selected list
3. Return deduplicated list (maintains score ordering)

العوامل

لماذا أرسل

RRF (Reciprocal Rank Fusion) combines four signalsM SK2

1. النتيجة الكثيفة: تشابه لغوي للبحث
2. BM25 النتيجة: كلمة قاموس match
3. درجة الشفقة: Importance within document
4. تقييم الطابع: تحفيز الإلتفاف

تقليل الـ AFTER RRF يعني أننا نحافظ على الجزء الذي يتطابق بشكل أفضل مع الشؤال عبر جميع الأبعاد, ليس فقط شبيهة لغوية.

مثال

Query: "How do I configure authentication?"

Results before dedup:
1. [Doc A] "Authentication is configured via config.yaml..." (RRF: 0.052)
2. [Doc B] "Configure auth using the config.yaml file..." (RRF: 0.048, similarity to #1: 0.93)
3. [Doc A] "Set the API key in environment variables..." (RRF: 0.041)

Results after dedup:
1. [Doc A] "Authentication is configured via config.yaml..." (RRF: 0.052)
2. [Doc A] "Set the API key in environment variables..." (RRF: 0.041)

Doc B's similar paragraph dropped - Doc A's version had higher RRF score.

اشكال الفشل & التجارة-أف

الحدود المعروفة

التجارة المقبولة

• الدقة فوق recall: نحن نفضّل في بعض الأحيان الإبقاء بالقرب من - نسخ أكثر من حذف محتويات مختلفة بشكل عشوائي
• تخزين فوق الدقة: نقوم بتخزينdocument per- بدلاً من التراجع العالمي للحفاظ على أصل المصدر
• البساطة فوق التحسين: O(n²) هو مقبول بالنسبة للحجمات النموذجية للوثائقM SK2 LSH يضيف تعقيدا

وجهات النظر متعددة اللغات

سلوك تقليل مع محتويات متعددة اللغات:

إختيار التصميم: کراس- لا يتم دعم الاستبعاد اللغوي بشكل واضح. هذا يحافظ على القدرة على استخلاص نفس الحقائق في اللغة المفضلة لـ' أو مقارنة كيف أن مختلف مصادر الجملة الأشياء

تحسينات مستقبلية: مداخلة- يمكن أن يطبق الخصم اللغوي من خلال الترجمة - دمجات غير متغيرة إذا احتجنا إلى ذلك

الأمن & وجهات النظر المعارضة

نظام المحاكاة يحتوي على حماية ضمنية:

ملاحظة: التفكيك ليس حدوداً أمنياً. المحتوى السيئ الذي يمر عبر مرشحات الإمتصاص سيتم индексته. تصفية المحتوى يجب أن تحدث في المسار العلوي

التفاعل مع GraphRAG

المحاكاة و GraphRAG متعامدة بشكل مقصود:

لماذا نفصل

• جزء يشير إلى " "Apple" " وجزء آخر يشير الى" شركة" يمكن أن ينحرف كنص متشابه ولكن يمثل نفس الكيان "M SK4" الذي يجب حله في "GraphRAG"
• Dedup لا يحتاج ' إلى إدراك الكيان ; إنه يعمل فقط على شبيهة الدلالية
• Entity-aware dedup could be added later as an enhancement, not a replacement

قابلية الملاحظة & قياسات

السجل الحالي

الإدخال:

[dim]Deduplication: 150 → 98 segments[/]

استrufen:

Post-ranking deduplication: 50 → 42 segments (removed 8 cross-doc duplicates)

قياسات مقترحة

للمراقبة الإنتاجية, تأخذ في الإعتبار المتابعة:

نصيحة لحل الأخطاء

• تخفيض التغذية العالي (>50%): يمكن أن يكون للوثيقة لوحة حوضية مفرطة أو أن تكون ناتجة عن طريق الـ -
• انخفاض نسبة الاستهلاك (<5%): يحتوي على محتويات متنوعة (goodM SK1 أو أن المداخلات ضعيفة (investigate)
• استبعاد عالي للبحث (>30%): السؤال قد يكون واسعاً جداً , أو corpus لديه العديد من الوثائق المشابهة
• اللعاب يقترب من 1.0: لقد تم تسليط الضوء على مفهوم ; وتحقق من صحته ' وشرعيته "M SK2" وليس spam

الإعداد

يتم إعداد المحاكاة من خلال DocSummarizerConfig.Deduplication جزء في appsettings.json:

{
  "DocSummarizer": {
    "Deduplication": {
      "Ingestion": {
        "Enabled": true,
        "SimilarityThreshold": 0.90,
        "SalienceThreshold": 0.05,
        "EnableSalienceBoost": true,
        "BoostPerNearDuplicate": 0.15,
        "MaxSalienceBoost": 1.0,
        "BoostDecayMode": "Logarithmic",
        "LogBase": 2.0
      },
      "Retrieval": {
        "Enabled": true,
        "SimilarityThreshold": 0.90,
        "MinRelevanceScore": 0.25
      },
      "Analytics": {
        "EnableLogging": true,
        "EnableMetrics": true,
        "HighIngestionDedupThreshold": 0.50,
        "HighRetrievalDedupThreshold": 0.30,
        "HighSalienceBoostThreshold": 0.60
      }
    }
  }
}

إعدادات الإمتصاص

إعداد البحث

إعدادات التحليل

تحفيز اشكال الخسارة

الطريقة الخطية (simpleM SK1predicable):

boost = boostPerNearDuplicate × count

مثال: M SK1 بالقرب من-dupes × | | 0.15 |

الطريقة المنطقية (عودة منخفضة,លំនាំដើមM SK2

boost = boostPerNearDuplicate × log₂(1 + count)

مثال: M SK1 بالقرب من-dupes → | | 0.15 \ × log |

يُوصي بنظام ال로그 لأن :

• أول بعض النسخات لديها المؤشر الأقوى (تركيز المؤلف)
• العديد من النسخات يمكن أن تشير إلى لوحة ال boiler, ليست مهمة
• يمنع إنخفاض الجاذبية المنتشرة

وجهات النظر في الأداء

التعقيد

قياس الطريق

للوثائق الكبيرة جداً (10,000+ أجزاء):

1. LSH (LocalityM SK1Sensitive Hashing): O(n) تقليل تقريبي
2. مقارنة بالمجموعات: عملية في قطع لتقليل الذاكرة
3. التصفية المبكرة: حد الجاذبية الأكثر عدوانية

التنفيذ الحالي مُحسناً لصور مستندات نموذجية. LSH يضيف تعقيداً دون فائدة لأغلب الحالات المستخدمة.

مقارنة بالبحث

حدنا 0.90 يتوافق مع أفضل الممارسات في مجال المحاكاة الدلالية

ما لا يتم تقليله

وضعية تنفيذ

تحسينات مستقبلية

1. لوحة البيانات التحليلية : تتبع بصري معدلات لكل نوع من الوثائق
2. کراس-إختيار لغوي: الترجمة-مداخلات غير متغيرة للمغامرة متعددة
3. المؤسسة-التراجع المُخبر: إستخدم وحدات GraphRAG كإشارة إضافية (لا استبدال)
4. Prometheus/OpenTelemetry: إخراج القياسات لأنظمة مراقبة لوحات المفاتيح

الخلاصة

هذه الاستراتيجية للتفكيك:

• يحافظ على الإشارة - قريبة- تعزز النسخ أهمية بدلاً من أن يتم التخلص منها
• يحترم الحدود - مستندات تحافظ على مجموعات القطع المستقلة
• ثم تصفر الدرجات - يستخدم إشارة RRF كاملة قبل القطع
• فشل بشكل آمن - يفضل الحفاظ على المحتوى أكثر من الإزالة العدوانية
• يظل محددا - نفس المدخلات دائماً تنتج نفس المخرجات