Back to "DDCDCSSSumمزر مرز المسند الجزء 2 - استخدام الأداة"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI C# Docling LLM Ollama Qdrant RAG Tools

DDCDCSSSumمزر مرز المسند الجزء 2 - استخدام الأداة

Sunday, 21 December 2025

الإفراج عن GitHub الصافي الصافي

هذا الجزء الثاني من سلسلة DocSummbarizers Series. الجزء الأول للعمارة والأنماط، أو الجزء الثالث للغوص التقني العميق في التضمين والاسترجاع.

تحويل الوثائق أو العناوين إلى ملخصات قائمة على الأدلة - للبشر أو وكلاء AI - دون إرسال أي شيء إلى السحابة.

كلّ مطالبة قابلة للتعقب، كلّ حقيقة تشير إلى مصدرها، ذاتيّة ذاتيّة ثنائية، تعمل كليّاً على آلتك.

# Human-readable summary
docsummarizer -f contract.pdf

# JSON for agents/pipelines
docsummarizer tool -u "https://docs.example.com"

ما تغطيه هذه المادة: التركيب، والطرائق الرئيسية (Auto/Bertrag/Bert)، والنماذج، وحالات الاستخدام المشترك.

ما لا يُغطّي:مرجع القيادة الكاملة، خيارات التشكيل، حل المشاكل، تفاصيل الهندسة المعمارية.

للاطلاع على الوثائق الكاملة، انظر: الديباجةلكيفية عملها داخلياً، انظر الجزء الثالث.

لِمَ هذا الوجود

الملخصات تعطيك النص. هذا يعطيك أدلة الإثبات.

  • كل مطالبة تشمل ما يلي: [chunk-N] عدد المُحَكّر إلى مصدر المادة
  • مستويات الثقة في (العالي/المتوسط/الأدنى) استنادا إلى الأدلة الداعمة
  • مُهرس JJson مخرج لدمج العوامل، أو خط خط أنابيب، أو خواديم MCP
  • المقيضات من حيث الجودة قبل أن يهربوا

إذا كنت بحاجة إلى يَسْ يُسْ يُ (أ) موجز - أو يغذيه لنظام آخر - يهم.

الميز

  • ط ط ط ط ط ط ط ط ط● توليفة LLLL
  • & تلقائي● اختيار الأسلوب الذكي استنادا إلى الوثائق والاستفسارات
  • الدولة التي عُرض: التلخيص الاستخراجي الصافي - لا حاجة إلى LLLLLLLLM، الأعمال غير على الإنترنت ( ~3-5s)
  • الناتج المستخلص من الأدلة:: التوقعات، ومستويات الثقة، والمطالبات القابلة للتعقب
  • ****:أوتو، بيرتراج، بيرت، بيرت، بيرت هيبريد، مابرد، مابريدوس، راغ، إيكرادي
  • ****:JSON نظيف لوكلاء LLLM، خواديم MCP، عمليات التحقق
  • 13 قهن:الافتراضية، النثر، الوجيز، الملوين، الرصاص، التنفيذي، التفصيلي، التقني، الأكاديمي، الاقتباسات، تقرير الكتاب، الاجتماع، الصرامة
  • الوثائق الكبيرة الوثائق الوثائق الوثائق الوثائق الوثائق:: عدد الصفحات ذات التجهيز الهرمي: 500 + + + 500
  • ****: مشددة أمنياً (حماية مرفق الأمم المتحدة لمكافحة التصحر، التصحّح HTML)
  • تنفيذ تنفيذ تنفيذ منفذمتصفح بلا رأس لصفحات جافاسكربت (SPAs, React apages)
  • OONNX:: إدخالات محلية غير مجزأة - نماذج الإسقاطات التلقائية في الاستخدام الأول
  • تحليل الجودة: كشف الهلوسة، واستخراج الكيان
  • الثبات LLLLL: إعادة اختبار على أساس بوليي مع better backof + مفرق الدائرة
  • محل المحل المحل المحلي فقطلا شيء يَحْسَسُ ماكينتك

مستخدم كL LLL

الـ tool (أ) أن تكون القيادة مصممة خصيصاً للاندماج مع وكلاء الوكالة الدولية للطاقة، وحواسيب خدمة العمليات المتعددة الأطراف، وغيرها من النظم المؤتمتة.

أساس أساس

# Summarize a URL and get JSON output
docsummarizer tool --url "https://example.com/docs.html"

# Summarize a local file
docsummarizer tool -f document.pdf

# With a focus query
docsummarizer tool -f contract.pdf -q "payment terms and conditions"

# Pipe to jq for processing
docsummarizer tool -f doc.pdf | jq '.summary.keyFacts'

سند دعم

الدالة الـ أداة أمر ترجع مُهَلّة JSON مع متابعة الأدلة:

{
  "success": true,
  "source": "https://example.com/docs.html",
  "contentType": "text/html",
  "summary": {
    "executive": "Brief summary of the document.",
    "keyFacts": [
      {
        "claim": "The system supports 10,000 TPS.",
        "confidence": "high",
        "evidence": ["chunk-3", "chunk-7"],
        "type": "fact"
      }
    ],
    "topics": [
      {
        "name": "Architecture",
        "summary": "The system uses microservices...",
        "evidence": ["chunk-1", "chunk-2"]
      }
    ],
    "entities": {
      "people": ["John Smith"],
      "organizations": ["Acme Corp"],
      "concepts": ["OAuth 2.0", "REST API"]
    },
    "openQuestions": ["What is the disaster recovery plan?"]
  },
  "metadata": {
    "processingSeconds": 12.5,
    "chunksProcessed": 15,
    "model": "qwen2.5:1.5b",
    "mode": "MapReduce",
    "coverageScore": 0.95,
    "citationRate": 1.2,
    "fetchedAt": "2025-01-15T10:30:00Z"
  }
}

docsummarizer tool [options]

○ الخيار / الوصف القصير / |--------|-------|-------------| | --url | -u URURL إلى جلب وتلخيص | --file | -f / ملف إلى ملخّص / | --query | -q السؤال المتعلق بالتركيز الاختياري | --mode | -m ● نمط التلخيص (أوتو، بيرتراج، بيرت، بيرت، بيرت هيبريد، مابرد، مابريدوس، راغ، متردد) | --model □ نموذج أولاما للاستخدام □ □ □ نموذج أولام | --config | -c lo إعدادات ملفّ المسار

مبادئ التصميم الرئيسية

  • 1 من طراز:: تشمل كل مطالبة ما يلي: evidence المراجع المراجع المصدر الق
  • المستوياتالمطالبات التي دُفِعَت high, mediumأو low استنادا إلى أدلة الإثبات
  • الناتج النظيفالـ: executive ليس لـ ليس مُلْخَصًا مُلْخَصًا لـ سهل العرض
  • البيانات البيانيات: مساعدة إحصاءات التجهيز في التصحيح وتقييم الجودة
  • ****العودة: حالات الفشل في العودة success: false مع وجود error

أمثلة على التكامل

بايثون

import subprocess
import json

result = subprocess.run(
    ["docsummarizer", "tool", "-u", "https://example.com/api-docs"],
    capture_output=True, text=True
)
data = json.loads(result.stdout)

if data["success"]:
    for fact in data["summary"]["keyFacts"]:
        if fact["confidence"] == "high":
            print(f"- {fact['claim']}")

خط خط خط صدل:

# Extract high-confidence facts only
docsummarizer tool -f doc.pdf | jq '[.summary.keyFacts[] | select(.confidence == "high")]'

# Get just the executive summary
docsummarizer tool -u "https://example.com" | jq -r '.summary.executive'

بدءQQQQQCQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQ

مُنْزِل المُنْجِز

يمكن الحصول على المواد التنفيذية المحلية المسبقة الإنشاء المسبقة الصنع من GitHub الإصدارات:

▪ هيكل المنبر ▪

---------- -------------- ----------
□ نوافذ □ docsummarizer-win-arm64.zip
Linux64 docsummarizer-linux-x64.tar.gz
لِنْنْعْرِمْ docsummarizer-linux-arm64.tar.gz
□ ماكوسوس x64 (الهاتف) □ docsummarizer-osx-x64.tar.gz
RRRM64 (التخلص من السيليكون) o docsummarizer-osx-arm64.tar.gz
# Download and extract (Linux/macOS)
curl -L -o docsummarizer.tar.gz https://github.com/scottgal/mostlylucidweb/releases/download/docsummarizer-v3.1.0/docsummarizer-linux-x64.tar.gz
tar -xzf docsummarizer.tar.gz
chmod +x docsummarizer

# Download and extract (Windows PowerShell)
Invoke-WebRequest -Uri "https://github.com/scottgal/mostlylucidweb/releases/download/docsummarizer-v3.1.0/docsummarizer-win-x64.zip" -OutFile "docsummarizer.zip"
Expand-Archive -Path "docsummarizer.zip" -DestinationPath "."

النفقات قبل الاحتياجات

طراز SPT (نمو خدمات خارجية)

بالنسبة للتلخيص الاستخراجي النقي، لا توجد خدمات خارجية مطلوبة:

docsummarizer -f document.md -m Bert

نماذج Auto-download of Huging Face على أول استخدام (-23MB) ترجع في حوالي 3-5 ثوان.

أشكال LLLMS (أوتو، وبيرتراج، وMapRedsug، وما إلى ذلك)

وفيما يتعلق بتلخيص المناطق LLLL LLLMAMA، يلزم القيام بما يلي:

# Install Ollama from https://ollama.ai
ollama pull llama3.2:3b        # Default model - good balance of speed/quality
ollama serve

مقدمفيما يتعلق بالموجزات الأكثر سرعة (~3s vs - 15s)، الاستخدام --model qwen2.5:1.5b

الخيار الاختياري: قرار بشأن البت في قضية (الشكلات البينية)

مطلوبة لملفات PDF وDOCX وXLSX وPPTX وHTML والصور (PNG/JPG/TIFF) وCSV وVT وAsciiDoc. وتُقرأ ملفات العلامات التنازلية وملفات النصوص البسيطة مباشرة - دون طلب لصقة.

docker run -d -p 5001:5001 quay.io/docling-project/docling-serve

الخيار الاختياري: طائـر طائـر طائـط طائـر طائـر طائـر طائـر طائـر طائـر طائـط طائـر طائـر طائـط طائـر طائـر

ليس مطلوب أداء افتراضي الـ بيرتراج استخدامات بوصة مكّن Qdrant للتخزين الثابت لتجنب إعادة اختلاس مستندات يعمل التالي:

docker run -d -p 6333:6333 -p 6334:6334 qdrant/qdrant

ثم كُشِف في docsummarizer.json:

{
  "bertRag": {
    "vectorStore": "Qdrant",
    "collectionName": "docsummarizer",
    "persistVectors": true
  }
}

العدد الاختياري: أولاما

إذا كنت تفضل OLAMA لتضمينات بدلا من ONNX:

ollama pull nomic-embed-text   # Or mxbai-embed-large
# Then use: --embedding-backend Ollama

سابعاً - التحقق من

docsummarizer check --verbose

يُظهر الناتج المتوقع جدولاً محولاً:

              Dependency Status              
╭─────────┬────────┬────────────────────────╮
│ Service │ Status │ Endpoint               │
├─────────┼────────┼────────────────────────┤
│ Ollama  │   OK   │ http://localhost:11434 │
│ Docling │ Optional │ http://localhost:5001 │
│ Qdrant  │ Optional │ localhost:6333        │
╰─────────┴────────┴────────────────────────╯

        Default Model Info         
╭────────────────┬────────────────╮
│ Property       │ Value          │
├────────────────┼────────────────┤
│ Name           │ llama3.2:3b    │
│ Family         │ llama          │
│ Parameters     │ 3.2B           │
│ Context Window │ 128,000 tokens │
╰────────────────┴────────────────╯

Ready to summarize! Ollama is available.

ملاحظة ملاحظة:التدمير و Qdrant تظهر TM هو غرامة لخطوط سير العمل العلامة فقط.

جاري التنفيذ docsummarizer بدون أي حجج:

  1. لـ README.md المجلد الحالي
  2. جاريز الإيطالية **** (الاختيار بوسيلة واحدة)
  3. اطبع الملخص إلى مع a لطيف لوحة
  4. تلقائي إلى readme.summary.md
# Summarize README.md in current directory
docsummarizer

# Shows a formatted panel with:
# - Document info table (file, mode, model)
# - Progress indicators during processing
# - Summary panel with the result
# - Topics tree if available
# - Saved: readme.summary.md

الملخصات الأساسية

# Just run it - Auto mode picks the best approach
docsummarizer -f document.pdf

# Fast mode - no LLM, pure extraction (~3-5s)
docsummarizer -f document.pdf -m Bert

# Production mode - best quality with validated citations
docsummarizer -f document.pdf -m BertRag

# Focused on specific topic
docsummarizer -f manual.pdf -m BertRag --focus "installation steps"

# Verbose progress
docsummarizer -f document.pdf -v

إعدادات

الـ أداة مُطوّر من فقط خريطة إلى a كامل خط أنابيب هذا هو كلّ نمط:

هذا الأمر

يختار صحيح نمط مستند بناء على ما تطلبه. استخدم هذا ما لم يكن لديك سبب يمنعك من ذلك.

docsummarizer -f doc.pdf

الراجع (العرض)

هذا ما تريده للإنتاج، خط أنابيب ثلاثي المراحل:

  1. **** - نقل الوثيقة إلى أجزاء، ودمجها مع BERT
  2. (ز) قيد التنفيذ - البحث عن الأجزاء ذات الصلة (البحث النظري + التركيز)
  3. مجلد - LLL تكتب ملخصاً عن هذه الأجزاء
docsummarizer -f doc.pdf -m BertRag
docsummarizer -f doc.pdf -m BertRag --focus "payment terms"

لماذا تستخدمه: كل مطالبة تعود إلى جزء من المصدر. لا هلوسة. قياسات إلى أي مستند حجم. LLM يعمل فقط في النهاية (chaap).

(فارض، لا LLM)

الإستخراج النقي باستخدام نماذج OnNX المحلية لا يوجد اتصال من LLM على الإطلاق.

docsummarizer -f doc.pdf -m Bert

لماذا تستخدمه: يعمل يعمل يعمل يعمل يعمل يعمل يعمل يعمل بوصة 3 إلى 5 ثانية تحديدي أدخل نفس دَخْل نفس مخرجات جيد لـ سريع مسح.

متصدر

مستخلصات (بي آر تي) و (إل إل إل ليم) أرض وسط بين (بيرت) و (بيرتراج)

docsummarizer -f doc.pdf -m BertHybrid

& & & & تكرار

الأنماط الأصلية، لا تزال تعمل، لكن (بيرتراج) استبدلها في معظم حالات الاستخدام.

  • & سوس: توازي القطع، جيد للتغطية بنسبة 100 في المائة
  • ****: البحث عن فيروس، جيد للاستفسارات المركزة (الملكية - برتراج تفعل ذلك بشكل أفضل)
  • (الرقمية): المعالجة المستدامة، الاستخدام فقط للأوراق الصغيرة
docsummarizer -f doc.pdf -m MapReduce  # Full coverage
docsummarizer -f doc.pdf -m Rag --focus "query"  # Legacy focused mode

هذا العرض

بدلاً من تلخيص، طرح أسئلة حول وثيقة:

docsummarizer -f manual.pdf --query "How do I install the software?"

حرّر صفحات الويب مباشرة دون تنزيل:

# Summarize a web article
docsummarizer --url "https://example.com/article.html" --web-enabled

# Summarize a remote PDF
docsummarizer --url "https://example.com/document.pdf" --web-enabled

# With structured JSON extraction
docsummarizer --url "https://example.com/api-docs.html" --web-enabled --structured

المدعم المحتوى: HTML (مطهرة)، PDF، وضع العلامات، الصور (OCR)، وثائق المكتب.

1 ف-5، 1 ف-4، 1 خ ع (ر أ)، 1 خ ع (ر أ): حماية SSRF، حماية DNS مُلزمة، تحديد المحتوى، الحماية من قنابل إزالة الضغط، التطهير HTML.

جافSusScSc سكر السكري الصفحات المُرْرِجالاستخدام: الاستخدام: --web-mode Playwright SPAs و REATEs (الكروميوم التلقائي في أول استخدام) SPAs and react operation options (الكروميوم في أول استخدام).

Json بدلاً من النصب:

docsummarizer -f document.pdf --structured -o Json

مقتطفات: كيانات، ووظائف، وتدفقات رئيسية، وحقائق (مع مستويات ثقة)، وأوجه عدم يقين، ومرور حصص.

أولاً - موجز

# Use a template
docsummarizer -f doc.pdf --template executive
docsummarizer -f doc.pdf -t bullets

# Specify custom word count with template:wordcount syntax
docsummarizer -f doc.pdf -t bookreport:500
docsummarizer -f doc.pdf -t executive:100

# Or use --words to override any template's default
docsummarizer -f doc.pdf -t detailed --words 300

/ / / يُقَوَّمُ كَلَمَاتَ ‹ خيرًا لـ‍ |----------|-------|----------| | default موجز متوازن للمواضيع (فقرتان) | prose خُرُجٌ نظيف متعدد الفقرات ونظيف - لا توجد بيانات فوقية | brief 50 / / / / / / | oneliner □ 25 □ 25 □ موجز الجملة الوحيدة □ | bullets قائمة بنقاط الرصاص ذاتية (5-7 بنود) | executive نحو 150 - إحاطة تنفيذية مشفوعة بتوصيات | detailed 00/00 - شامل مع مواضيع كاملة | technical □ نحو 350 □ عُدَد تقنية مع تفاصيل التنفيذ □ □ □ | academic نحو 250 ° شكل تجريد أكاديمي | citations TM TM TM TM مفتاح الاقتباسات مع المصدر الاقتباسات فقط TM TM TM | bookreport □ حوالي 500 / تقرير عن الكتاب (الوضع، والشخصيات، والمؤامرة، والمواضيع) □ □ □ □ □ تقرير عن الكتاب (الوضع، والشخصيات، والمؤامرة، والمواضيع) □ □ □ □ □ □ تقرير عن الكتاب (الوضع، والشخصيات، والمؤامرة، والموضوعات) □ □ □ □ | meeting ملاحظات اجتماع (مقررات، إجراءات، أسئلة) | strict ~ 60 □ تكُن - فعال، 3 رصاصات كحد أقصى، لا تحوط □

إلى الكل متوفّر قوالب مع الأوصاف:

docsummarizer templates

النموذج النموذجي

مقارنة نماذج على نفس المستند باستخدام benchmark ما يلي:

docsummarizer benchmark -f doc.pdf -m "qwen2.5:1.5b,llama3.2:3b,ministral-3:3b"

يقوم الأمر المرجعي بكتابة المستند مرة واحدة، ثم يقوم بتشغيل كل نموذج على نفس القطع من أجل المقارنة العادلة. يُظهر الناتج التوقيت، وعد الكلمات، والكلمات/الثانية لكل نموذج.

جاري التجهيز

العملية كامل الأدلّة:

# Use BertRag for quality
docsummarizer -d ./documents -m BertRag -v

# Fast offline batch (no LLM needed)
docsummarizer -d ./documents -m Bert -o Json --output-dir ./summaries

# Process only PDFs recursively
docsummarizer -d ./documents -e .pdf --recursive -v

أمر الأمر

/ الخيار / الوصف القصير/ الوصف |--------|-------|-------------|---------| | --file | -f المسار إلى المستند (DOCX, PDF, MD) | --directory | -d المسار إلى دليل تجهيز الدفعات | --url | -u □ العنوان الشبكي للجلب والتلخيص □ □ □ □ □ | --web-enabled • تمكين الجلب الشبكي (مطلوب لـ - url) o false | | --mode | -m □ موجز النمط: أوتو، بيرتراج، بيرت، بيرت، بيرت هيبريد، مابريدوس، راغ، تكراري □ Auto | | --structured | -s • استخدام أسلوب مهيكَّل لاستخراج JUSON false | | --focus سؤال محوري عن نموذج RAG / لا يوجد / | --query | -q ● نمط الاستعلام بدلاً من التلخيص □ لا □ | --model □ نموذج أولاما للاستخدام □ □ □ نموذج أولام llama3.2:3b | | --verbose | -v □ أظهر التقدم المفصّل مع حياة UI false | | --config | -c المسار إلى إعدادات ملفّ معاينة تلقائيّة | --output-format | -o • شكل الناتج: Console, sex, bargdown, Json o Console | | --output-dir دليل الناتج لنواتج الملفات | --extensions | -e □ تمديدات ملفات لنموذج الدفعات □ جميع أشكال الطبع □ | --recursive | -r □ أدلة العمليات تتكرّر بشكل متكرر false | | --template | -t نموذج موجز (قصير، موجز، رصاص، تنفيذي، وما إلى ذلك) default | | --words | -w □ عدد الكلمات المستهدفة (Count)

--embedding-backend حولس ، اولاما Onnx
--web-mode / / / / / / / / / / Simple
--analyze -a ● إجراء تحليل جيد للموجز false

إعدادات

خريطس (موصى به)

أفضل من الملخصات الشاملة مع تغطية كاملة للوثائق.

docsummarizer -f document.pdf -m MapReduce -v

كيف يعمل:

  1. سند القطعيات إلى قطع هيكلية (حسب العناوين)
  2. يعمل في متوازي
  3. يُخفّض الملخصات إلى موجز تنفيذي مع الاقتباسات
  4. (أ) تُحِثات جميع الاقتباسات المرجعية المرجعية

الحد الهرم الهرم الهرم الهرمي من أجل الوثائق الطويلة:

وبالنسبة للوثائق الطويلة جداً التي تتجاوز فيها ملخصات القطع المجمعة نافذة سياق النموذج، تستخدم الخريطة Redux تلقائياً التخفيض الهرمي:

  1. الرششششمجموعات ملخصات إلى دفعات مناسبة في سياق
  2. )أ( انخفاضيُخفِّض كل دفعة من الدفعات إلى موجز مقتضب
  3. التخفيض النهائي: عمليات الدمج: الملخصات الوسيطة في الناتج النهائي
  4. ****إذا كانت المواد الوسيطة لا تزال كبيرة، فإنها تضيف مستويات أكبر.
100 chunks → 100 summaries → 5 batches → 5 intermediate summaries → final

ويحافظ هذا على التغطية الكاملة للوثائق بغض النظر عن طولها - وتسهم كل قطعة منها في الموجز النهائي، وتقدر الأداة الرمز البياني (>4 chars/token) والهدف 60 ٪ من استخدام نافذة السياق لكل تمريرة تخفيض.

Pro ProS ProSالسرعة، التغطية الكاملة، التجهيز المتوازي، مقابِل أي طول وثيقة كون CCCCقد يُخطِط في الوصلات المتقاطعة، أبطأ بالنسبة للوثائق الطويلة جداً

المجموعة (الأفضلية للسؤال الموجه)

أفضل عندما تحتاج إلى التركيز على مواضيع محددة أو يكون لديك سؤال محدد الهدف.

docsummarizer -f document.pdf -m Rag --focus "pricing and payment terms" -v

كيف يعمل:

  1. يُفَسِّر مستندات قطع أجزاء كعامل تزكيات متجهات في Qdrant
  2. مقتطفات من المواضيع الرئيسية من عناوين الوثائق
  3. RERRRRRRTREs th الصلة قطع القطع ذات الصلة في كل موضوع باستخدام البحث الدهني
  4. الملخص المركّز مع الاقتباسات

وقت استخدام RAG فوق الخريطة:

• سيناريو / أفضل طريقة / / |----------|-----------| □ "تجسيد هذا المستند بأكمله" JIU TRANSLAT TRANSLAT TRANSLATOR TRANSLATOR TRANSLATOR TRANSLATOR TRANSLATOR TRANSLAT ماذا يقول هذا عن الأمن؟ • دليل من 500 صفحة، يحتاج إلى كل شيء دليل من 500 صفحة، يحتاج إلى فرع محدد تحتاج إلى نتائج سريعة، لا تحتاج إلى Qdrant lo QmapReduges

RAG هو غير عن مناولة الوثائق الطويلة - مقابض MapRedux التي مع تخفيض التسلسل الهرمي. RAG هو حول. جاريعندما تريد تجاهل 90% من الوثيقة والتركيز على ما يهم سؤالك الخاص.

Pro ProS ProS: التركيز على المواضيع، والتفاهم الدلالي، ومؤشر إعادة الاستخدام، وأسرع للاستفسارات المركزة كون CCCC: قد يُغفل المحتوى خارج مجال التركيز، يحتاج إلى فهرسة أولية أبطأ، Qdrent،

(الرقمية)

أفضل الوثائق السردية حيث يتدفق السياق ترتيباً متتابعاً.

docsummarizer -f story.pdf -m Iterative -v

الانذار* أبطأ وقد يفقد السياق على الوثائق الطويلة (>10 قطع).

دليل المستند الكبير في المستند الكبير

يجري اختيار النمط الصحيح

• نوع وثيقة الهدف من الأهداف الإنمائية للألفية |---------------|------|------|-----| المواصفات التقنية (50 + صفحة) □ موجز كامل □ موجز كامل □ رسم الخرائط □ تغطية كاملة □ موجز كامل للموجزات الكاملة للسياق الزمني للاحتياجات العقد القانوني/العقد القانوني/العقد القانوني العقد القانوني بشأن " شروط سداد الأجور " ؟ RAG التركيز على باب محدد API Docs (200 صفحة) o o o "كيف يعمل (أوث) ؟" □ ورقة بحثية عن موجز كامل للموجز □ خرائط مهيكلة، تحتاج إلى كل شيء □

4 - 4 4 4

/ نوع المحتوى / أفضل أسلوب للأسلوب / ملحوظات / |--------------|-----------|-------| | ما إذا كــي فــي الفــكــيــة/ تتطلّب المسودة سياقاً تعاقبياً | **** □ كلاهما □ رسم خرائط مخصَّص للنبذة العامة، و إطار توجيهي للتفاصيل □ | العقود/العقود القانونية/المتعاقدات كل بند يهم | دليل RAG / عادة ما يسأل عن التفاصيل /

م م م م

□ وثيقة حجم الوثيقة |---------------|-----------|-----|-------| □ 10 صفحات □ 15 □ 20 □ كلتاهما سريعتان □ RAG أسرع إذا كانت مركزة □ 200 صفحة □ 3 - 5 دقائق □ 1 - 2 دقيقة □ تخفيض هرمي • 500 + 500 صفحة إضافية □ 10-15 دقيقة □ 2 - 3 دقائق □ النظر في استفسارات متعددة مقدمة من الفريق الاستشاري

هذا

docsummarizer config --output myconfig.json

هو تلقائي مكتشف من:

  1. --config
  2. docsummarizer.json المجلد الحالي
  3. .docsummarizer.json (مُعلِن ملف)
  4. ~/.docsummarizer.json (المنزل إلى الوطن)

مثال مثال docsummarizer.json:

{
  "embeddingBackend": "Onnx",
  "onnx": {
    "embeddingModel": "AllMiniLmL6V2"
  },
  "ollama": {
    "model": "llama3.2:3b",
    "embedModel": "mxbai-embed-large",
    "baseUrl": "http://localhost:11434",
    "temperature": 0.3,
    "timeoutSeconds": 1200
  },
  "docling": {
    "baseUrl": "http://localhost:5001",
    "timeoutSeconds": 1200,
    "pdfBackend": "pypdfium2",
    "pagesPerChunk": 10,
    "maxConcurrentChunks": 4,
    "enableSplitProcessing": true
  },
  "qdrant": {
    "host": "localhost",
    "port": 6333,
    "collectionName": "documents"
  },
  "processing": {
    "maxHeadingLevel": 2,
    "targetChunkTokens": 1500,
    "minChunkTokens": 200,
    "maxLlmParallelism": 2
  },
  "output": {
    "format": "Console",
    "verbose": false,
    "includeTrace": false
  },
  "webFetch": {
    "enabled": false,
    "mode": "Simple",
    "timeoutSeconds": 30,
    "userAgent": "Mozilla/5.0 DocSummarizer/1.0"
  },
  "batch": {
    "fileExtensions": [".pdf", ".docx", ".md", ".txt", ".html"],
    "recursive": false,
    "continueOnError": true
  }
}

الملحق

/ الخيار / العتبـر / العتبـر |--------|---------|-------------| | maxLlmParallelism LLLM طلبات متزامنة (أولاما الطابير، لذلك القيم الأعلى فقط تصطف) o | maxHeadingLevel تُثبَّت على H1/H2 فقط. وتُثبَّت إلى 3 لـ H1/H2 فقط. | targetChunkTokens حجم القطعة المستهدفة. 0 = الحساب الذاتي التلقائي (- 25٪ من نافذة السياق) | minChunkTokens حد أدنى قبل الدمج. 0 = 1/8 من الهدف

الشكل

أولاً - موجز

## Executive Summary
- Key finding 1 with specific details [chunk-0]
- Important point 2 with numbers and dates [chunk-3]
- Critical requirement 3 [chunk-5]

## Section Highlights
- Introduction: Overview of the system architecture [chunk-0]
- Requirements: Technical specifications detailed [chunk-3]
...

## Open Questions
- What is the timeline for Phase 2?
- How does the fallback mechanism work?

### Trace

- Document: document.pdf
- Chunks: 12 total, 12 processed
- Topics: 5
- Time: 21.4s
- Coverage: 100%
- Citation rate: 1.20

المُسْرِس: التغطية (النسبة المئوية للأبواب المدرجة)، معدل الاقتباس (الإشارات/النشرات)، الشونكس المجهزة (قد يتخطى فريق التقييم الإقليمي لبعضها).

التوصية النموذجية

□ النموذج النموذجي □ حجم □ السرعة □ جودة الجودة □ قضية استخدامات جيدة □ قضية □ |-------|------|-------|---------|----------| | qwen2.5:1.5b * سرعة سريعة جداً (الثالث) * سرعة جيدة مُثلى * | gemma3:1b □ 815 ميغابايت من السرعة (العشرات) □ نموذج صغير بديل عادل | llama3.2:3b □ 2GB متوسط (الـ 15 □ 15s) □ جيد جدا □ **** - توازن جيد | ministral-3:3b □ 2.9GB متوسط (العشرات) □ جيد جداً جداً □ مركز على الجودة □ | llama3.1:8b * ملخصات ممتازة عالية الجودة*

بِتْ بِجِيجفيما يتعلق بالموجزات الأكثر سرعة (~3s vs - 15s)، الاستخدام --model qwen2.5:1.5b(ب) بالنسبة للوثائق الحرجة حيثما يكون للجودة أهمية أكبر، يُستخدم --model llama3.1:8b.

بناء من المصدر

# Clone the repository
git clone https://github.com/scottgal/mostlylucidweb.git
cd mostlylucidweb/Mostlylucid.DocSummarizer

# Build
dotnet build

# Run
dotnet run -- --help

المباني ذات المباني المستقلة

من أجل نشر الإنتاج دون حاجة إلى تركيبات وقت تشغيل الشبكة:

# Build self-contained executable (Windows x64)
dotnet publish -c Release -r win-x64 --self-contained

# Build for Linux
dotnet publish -c Release -r linux-x64 --self-contained

# Build for macOS
dotnet publish -c Release -r osx-x64 --self-contained

الناتج: bin/Release/net9.0/<runtime>/publish/docsummarizer

تنفيذ

لا يمكن ربطه بـ Olama

  • كفل تشغيل Olama: ollama serve
  • كِش تَحْكِيَزِ كِشْفِ كِشْفِ كِشْفِ كِشْفِ: ollama list

"خدمة المناولة متاحة"

  • هذا مطلوب فقط لملفات PDF/DOCX
  • لـ لـ ملفّات مُفكّض، يمكنك تجاهل هذا خطأ
  • إلى تثبيت: docker run -p 5001:5001 quay.io/docling-project/docling-serve

"فشلت الصلة المقرض"

  • هذا مطلوب فقط لـ RAG نمط (--mode Rag)
  • لـ لـ لـ لـ لـ لـررReddo هذا نمط ( افتراضي)، يمكنك تجاهل هذا خطأ
  • إلى تثبيت: docker run -p 6333:6333 -p 6334:6334 qdrant/qdrant

"مكسرات الكسرات مفتوحة"

  • أو أن (أولاما) مُثقل أو قد تحطّم
  • الانتظار 30 ثانية لكسر الدائرة لإعادة ضبط، أو إعادة تشغيل Olalama
  • استخدامات الأداة للسياسات المتعلقة بالقدرة على التكيف وتجربة التشغيل الذاتي

"wsssarescv" أو أخطاء الاتصال (وينDows)

  • هذا عدد معروف من أولاما على ويندوز (GitHub # 13340)
  • الـ أداة ذاتي المعالج هذا مع إعادة تجربة المنطق و اتصال الاسترجاع
  • إذا استمر، أعد تشغيل أولاما وحاول مرة أخرى

"LLLL وقت الخروج"

  • الوقت الذي تستغرق فيه الزيادة في التشكيل
  • & كبير
  • التحقق من Olalama ليس مثقلا بطلبات أخرى

الملخصات المكرّرة أو الملخصات المنخفضة الجودة

كائن: نقاط رصاصة صدى التنبيه ("العودة فقط نقاط رصاصة" ، "القاعدة هي...") بدلا من تلخيص المحتوى.

سبب السبب السبب السبب السبب: نموذج يكافح مع السرعة أو المحتوى لمدة طويلة جدا.

من النوعالـ افتراضي qwen2.5:1.5b لمعالجة معظم الوثائق بشكل جيد جداً بالنسبة للوثائق الإشكالية، حاول --model llama3.2:3bانظر: التوصية النموذجية.

مُ

إذا بدا الموجز عاماً أو لم يشر إلى محتوى محدد:

  • يمكن أن يكون النموذج مهوساً - تدقيق Citation rate (بدولارات
  • --mode Rag(الأسباب الملخصات في القطع المسترجعة)
  • --verbose لمعرفة ما هي القطع التي يجري تجهيزها

الملحقات المفقودة أو الأصلية

عدم توافر الملخصات [chunk-N] البيانات المرجعية:

  • النماذج الصغيرة التي تعطي الأولوية للمحتوى على تنسيق الاقتباس
  • يتم استخدام التنبيهات على النحو الأمثل من حيث السرعة، لا من حيث الامتثال الدقيق
  • للاقتباسات الدقيقة، استخدم نماذج أكبر مثل llama3.2:3b
  • 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 Citation rate القيم الأعلى التي تشير إلى تحسين التتبع

بيانات أداء أداء

  • & سوس للسرعة (قطعات مائلة)
  • qwen2.5:1.5b بالنسبة للسرعة، llama3.2:3b للتوازن، llama3.1:8b عن نوع نوعه
  • أولاً - مقدمـات علـى (التخلف) أسرع من أولاما لأسلوب RAG
  • 1 ف-4، 1 ف-3، 1 خ م، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م أ م maxLlmParallelism لفترات ما قبل

الموارد الخارجة عن

السلسلة

اللجنة الخاصة

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.