# DDCDCSSSumمزر مرز المسند الجزء 2 - استخدام الأداة [![الإفراج عن GitHub](https://img.shields.io/github/v/release/scottgal/mostlylucidweb?filter=docsummarizer*&label=docsummarizer)](https://github.com/scottgal/mostlylucidweb/releases?q=docsummarizer) [![الصافي الصافي](https://img.shields.io/badge/.NET-9.0-512BD4)](https://dotnet.microsoft.com/) [![](https://img.shields.io/badge/version-3.1.0-blue)](https://github.com/scottgal/mostlylucidweb/releases?q=docsummarizer) هذا **الجزء الثاني** من سلسلة DocSummbarizers Series. [الجزء الأول](/blog/building-a-document-summarizer-with-rag) للعمارة والأنماط، أو [الجزء الثالث](/blog/docsummarizer-advanced-concepts) للغوص التقني العميق في التضمين والاسترجاع. > **تحويل الوثائق أو العناوين إلى ملخصات قائمة على الأدلة - للبشر أو وكلاء AI - دون إرسال أي شيء إلى السحابة.** كلّ مطالبة قابلة للتعقب، كلّ حقيقة تشير إلى مصدرها، ذاتيّة ذاتيّة ثنائية، تعمل كليّاً على آلتك. ```bash # Human-readable summary docsummarizer -f contract.pdf # JSON for agents/pipelines docsummarizer tool -u "https://docs.example.com" ``` **ما تغطيه هذه المادة**: التركيب، والطرائق الرئيسية (Auto/Bertrag/Bert)، والنماذج، وحالات الاستخدام المشترك. **ما لا يُغطّي**:مرجع القيادة الكاملة، خيارات التشكيل، حل المشاكل، تفاصيل الهندسة المعمارية. للاطلاع على الوثائق الكاملة، انظر: [الديباجة](https://github.com/scottgal/mostlylucidweb/blob/main/Mostlylucid.DocSummarizer/README.md)لكيفية عملها داخلياً، انظر [الجزء الثالث](/blog/docsummarizer-advanced-concepts). [TOC] ## لِمَ هذا الوجود الملخصات تعطيك النص. هذا يعطيك *أدلة الإثبات*. - **كل مطالبة تشمل ما يلي: `[chunk-N]` عدد المُحَكّر** إلى مصدر المادة - **مستويات الثقة في** (العالي/المتوسط/الأدنى) استنادا إلى الأدلة الداعمة - **مُهرس JJson مخرج** لدمج العوامل، أو خط خط أنابيب، أو خواديم MCP - **المقيضات من حيث الجودة** قبل أن يهربوا إذا كنت بحاجة إلى *يَسْ يُسْ يُ* (أ) موجز - أو يغذيه لنظام آخر - يهم. ## الميز - **ط ط ط ط ط ط ط ط ط**● توليفة LLLL - **& تلقائي**● اختيار الأسلوب الذكي استنادا إلى الوثائق والاستفسارات - **الدولة التي عُرض**: التلخيص الاستخراجي الصافي - لا حاجة إلى LLLLLLLLM، الأعمال غير على الإنترنت ( ~3-5s) - **الناتج المستخلص من الأدلة**:: التوقعات، ومستويات الثقة، والمطالبات القابلة للتعقب - ****:أوتو، بيرتراج، بيرت، بيرت، بيرت هيبريد، مابرد، مابريدوس، راغ، إيكرادي - ****:JSON نظيف لوكلاء LLLM، خواديم MCP، عمليات التحقق - **13 قهن**:الافتراضية، النثر، الوجيز، الملوين، الرصاص، التنفيذي، التفصيلي، التقني، الأكاديمي، الاقتباسات، تقرير الكتاب، الاجتماع، الصرامة - **الوثائق الكبيرة الوثائق الوثائق الوثائق الوثائق الوثائق**:: عدد الصفحات ذات التجهيز الهرمي: 500 + + + 500 - ****: مشددة أمنياً (حماية مرفق الأمم المتحدة لمكافحة التصحر، التصحّح HTML) - **تنفيذ تنفيذ تنفيذ منفذ**متصفح بلا رأس لصفحات جافاسكربت (SPAs, React apages) - **OONNX**:: إدخالات محلية غير مجزأة - نماذج الإسقاطات التلقائية في الاستخدام الأول - **تحليل الجودة**: كشف الهلوسة، واستخراج الكيان - **الثبات LLLLL**: إعادة اختبار على أساس بوليي مع better backof + مفرق الدائرة - **محل المحل المحل المحلي فقط**لا شيء يَحْسَسُ ماكينتك ## مستخدم كL LLL الـ `tool` (أ) أن تكون القيادة مصممة خصيصاً للاندماج مع وكلاء الوكالة الدولية للطاقة، وحواسيب خدمة العمليات المتعددة الأطراف، وغيرها من النظم المؤتمتة. ### أساس أساس ```bash # Summarize a URL and get JSON output docsummarizer tool --url "https://example.com/docs.html" # Summarize a local file docsummarizer tool -f document.pdf # With a focus query docsummarizer tool -f contract.pdf -q "payment terms and conditions" # Pipe to jq for processing docsummarizer tool -f doc.pdf | jq '.summary.keyFacts' ``` ### سند دعم الدالة الـ أداة أمر ترجع مُهَلّة JSON مع متابعة الأدلة: ```json { "success": true, "source": "https://example.com/docs.html", "contentType": "text/html", "summary": { "executive": "Brief summary of the document.", "keyFacts": [ { "claim": "The system supports 10,000 TPS.", "confidence": "high", "evidence": ["chunk-3", "chunk-7"], "type": "fact" } ], "topics": [ { "name": "Architecture", "summary": "The system uses microservices...", "evidence": ["chunk-1", "chunk-2"] } ], "entities": { "people": ["John Smith"], "organizations": ["Acme Corp"], "concepts": ["OAuth 2.0", "REST API"] }, "openQuestions": ["What is the disaster recovery plan?"] }, "metadata": { "processingSeconds": 12.5, "chunksProcessed": 15, "model": "qwen2.5:1.5b", "mode": "MapReduce", "coverageScore": 0.95, "citationRate": 1.2, "fetchedAt": "2025-01-15T10:30:00Z" } } ``` ### ```bash docsummarizer tool [options] ``` ○ الخيار / الوصف القصير / |--------|-------|-------------| | `--url` | `-u` URURL إلى جلب وتلخيص | `--file` | `-f` / ملف إلى ملخّص / | `--query` | `-q` السؤال المتعلق بالتركيز الاختياري | `--mode` | `-m` ● نمط التلخيص (أوتو، بيرتراج، بيرت، بيرت، بيرت هيبريد، مابرد، مابريدوس، راغ، متردد) | `--model` □ نموذج أولاما للاستخدام □ □ □ نموذج أولام | `--config` | `-c` lo إعدادات ملفّ المسار ### مبادئ التصميم الرئيسية - **1 من طراز**:: تشمل كل مطالبة ما يلي: `evidence` المراجع المراجع المصدر الق - **المستويات**المطالبات التي دُفِعَت `high`, `medium`أو `low` استنادا إلى أدلة الإثبات - **الناتج النظيف**الـ: `executive` ليس لـ ليس مُلْخَصًا مُلْخَصًا لـ سهل العرض - **البيانات البيانيات**: مساعدة إحصاءات التجهيز في التصحيح وتقييم الجودة - ****العودة: حالات الفشل في العودة `success: false` مع وجود `error` ### أمثلة على التكامل **بايثون** ```python import subprocess import json result = subprocess.run( ["docsummarizer", "tool", "-u", "https://example.com/api-docs"], capture_output=True, text=True ) data = json.loads(result.stdout) if data["success"]: for fact in data["summary"]["keyFacts"]: if fact["confidence"] == "high": print(f"- {fact['claim']}") ``` **خط خط خط صدل:** ```bash # Extract high-confidence facts only docsummarizer tool -f doc.pdf | jq '[.summary.keyFacts[] | select(.confidence == "high")]' # Get just the executive summary docsummarizer tool -u "https://example.com" | jq -r '.summary.executive' ``` ## بدءQQQQQCQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQQ ### مُنْزِل المُنْجِز يمكن الحصول على المواد التنفيذية المحلية المسبقة الإنشاء المسبقة الصنع من [GitHub الإصدارات](https://github.com/scottgal/mostlylucidweb/releases?q=docsummarizer): ▪ هيكل المنبر ▪ |----------|--------------|----------| □ نوافذ □ □ `docsummarizer-win-x64.zip` | □ نوافذ □ `docsummarizer-win-arm64.zip` | Linux64 `docsummarizer-linux-x64.tar.gz` | لِنْنْعْرِمْ `docsummarizer-linux-arm64.tar.gz` | □ ماكوسوس x64 (الهاتف) □ `docsummarizer-osx-x64.tar.gz` | RRRM64 (التخلص من السيليكون) o `docsummarizer-osx-arm64.tar.gz` | ```bash # Download and extract (Linux/macOS) curl -L -o docsummarizer.tar.gz https://github.com/scottgal/mostlylucidweb/releases/download/docsummarizer-v3.1.0/docsummarizer-linux-x64.tar.gz tar -xzf docsummarizer.tar.gz chmod +x docsummarizer # Download and extract (Windows PowerShell) Invoke-WebRequest -Uri "https://github.com/scottgal/mostlylucidweb/releases/download/docsummarizer-v3.1.0/docsummarizer-win-x64.zip" -OutFile "docsummarizer.zip" Expand-Archive -Path "docsummarizer.zip" -DestinationPath "." ``` ### النفقات قبل الاحتياجات #### طراز SPT (نمو خدمات خارجية) بالنسبة للتلخيص الاستخراجي النقي، **لا توجد خدمات خارجية مطلوبة**: ```bash docsummarizer -f document.md -m Bert ``` نماذج Auto-download of Huging Face على أول استخدام (-23MB) ترجع في حوالي 3-5 ثوان. #### أشكال LLLMS (أوتو، وبيرتراج، وMapRedsug، وما إلى ذلك) وفيما يتعلق بتلخيص المناطق LLLL LLLMAMA، يلزم القيام بما يلي: ```bash # Install Ollama from https://ollama.ai ollama pull llama3.2:3b # Default model - good balance of speed/quality ollama serve ``` > **مقدم**فيما يتعلق بالموجزات الأكثر سرعة (~3s vs - 15s)، الاستخدام `--model qwen2.5:1.5b` #### الخيار الاختياري: قرار بشأن البت في قضية (الشكلات البينية) مطلوبة لملفات PDF وDOCX وXLSX وPPTX وHTML والصور (PNG/JPG/TIFF) وCSV وVT وAsciiDoc. **وتُقرأ ملفات العلامات التنازلية وملفات النصوص البسيطة مباشرة - دون طلب لصقة.** ```bash docker run -d -p 5001:5001 quay.io/docling-project/docling-serve ``` #### الخيار الاختياري: طائـر طائـر طائـط طائـر طائـر طائـر طائـر طائـر طائـر طائـط طائـر طائـر طائـط طائـر طائـر ليس مطلوب أداء افتراضي الـ بيرتراج استخدامات بوصة مكّن Qdrant للتخزين الثابت لتجنب إعادة اختلاس مستندات يعمل التالي: ```bash docker run -d -p 6333:6333 -p 6334:6334 qdrant/qdrant ``` ثم كُشِف في `docsummarizer.json`: ```json { "bertRag": { "vectorStore": "Qdrant", "collectionName": "docsummarizer", "persistVectors": true } } ``` #### العدد الاختياري: أولاما إذا كنت تفضل OLAMA لتضمينات بدلا من ONNX: ```bash ollama pull nomic-embed-text # Or mxbai-embed-large # Then use: --embedding-backend Ollama ``` ### سابعاً - التحقق من ```bash docsummarizer check --verbose ``` يُظهر الناتج المتوقع جدولاً محولاً: ``` Dependency Status ╭─────────┬────────┬────────────────────────╮ │ Service │ Status │ Endpoint │ ├─────────┼────────┼────────────────────────┤ │ Ollama │ OK │ http://localhost:11434 │ │ Docling │ Optional │ http://localhost:5001 │ │ Qdrant │ Optional │ localhost:6333 │ ╰─────────┴────────┴────────────────────────╯ Default Model Info ╭────────────────┬────────────────╮ │ Property │ Value │ ├────────────────┼────────────────┤ │ Name │ llama3.2:3b │ │ Family │ llama │ │ Parameters │ 3.2B │ │ Context Window │ 128,000 tokens │ ╰────────────────┴────────────────╯ Ready to summarize! Ollama is available. ``` > **ملاحظة ملاحظة**:التدمير و Qdrant تظهر TM هو غرامة لخطوط سير العمل العلامة فقط. ## ### جاري التنفيذ `docsummarizer` بدون أي حجج: 1. لـ `README.md` المجلد الحالي 2. جاريز الإيطالية **** (الاختيار بوسيلة واحدة) 3. اطبع الملخص إلى مع a لطيف لوحة 4. تلقائي إلى `readme.summary.md` ```bash # Summarize README.md in current directory docsummarizer # Shows a formatted panel with: # - Document info table (file, mode, model) # - Progress indicators during processing # - Summary panel with the result # - Topics tree if available # - Saved: readme.summary.md ``` ### الملخصات الأساسية ```bash # Just run it - Auto mode picks the best approach docsummarizer -f document.pdf # Fast mode - no LLM, pure extraction (~3-5s) docsummarizer -f document.pdf -m Bert # Production mode - best quality with validated citations docsummarizer -f document.pdf -m BertRag # Focused on specific topic docsummarizer -f manual.pdf -m BertRag --focus "installation steps" # Verbose progress docsummarizer -f document.pdf -v ``` ## إعدادات الـ أداة مُطوّر من فقط خريطة إلى a كامل خط أنابيب هذا هو كلّ نمط: ### هذا الأمر يختار صحيح نمط مستند بناء على ما تطلبه. استخدم هذا ما لم يكن لديك سبب يمنعك من ذلك. ```bash docsummarizer -f doc.pdf ``` ### الراجع (العرض) هذا ما تريده للإنتاج، خط أنابيب ثلاثي المراحل: 1. **** - نقل الوثيقة إلى أجزاء، ودمجها مع BERT 2. **(ز) قيد التنفيذ** - البحث عن الأجزاء ذات الصلة (البحث النظري + التركيز) 3. **مجلد** - LLL تكتب ملخصاً عن هذه الأجزاء ```bash docsummarizer -f doc.pdf -m BertRag docsummarizer -f doc.pdf -m BertRag --focus "payment terms" ``` **لماذا تستخدمه:** كل مطالبة تعود إلى جزء من المصدر. لا هلوسة. قياسات إلى أي مستند حجم. LLM يعمل فقط في النهاية (chaap). ### (فارض، لا LLM) الإستخراج النقي باستخدام نماذج OnNX المحلية لا يوجد اتصال من LLM على الإطلاق. ```bash docsummarizer -f doc.pdf -m Bert ``` **لماذا تستخدمه:** يعمل يعمل يعمل يعمل يعمل يعمل يعمل يعمل بوصة 3 إلى 5 ثانية تحديدي أدخل نفس دَخْل نفس مخرجات جيد لـ سريع مسح. ### متصدر مستخلصات (بي آر تي) و (إل إل إل ليم) أرض وسط بين (بيرت) و (بيرتراج) ```bash docsummarizer -f doc.pdf -m BertHybrid ``` ### & & & & تكرار الأنماط الأصلية، لا تزال تعمل، لكن (بيرتراج) استبدلها في معظم حالات الاستخدام. - **& سوس**: توازي القطع، جيد للتغطية بنسبة 100 في المائة - ****: البحث عن فيروس، جيد للاستفسارات المركزة (الملكية - برتراج تفعل ذلك بشكل أفضل) - **(الرقمية)**: المعالجة المستدامة، الاستخدام فقط للأوراق الصغيرة ```bash docsummarizer -f doc.pdf -m MapReduce # Full coverage docsummarizer -f doc.pdf -m Rag --focus "query" # Legacy focused mode ``` ### هذا العرض بدلاً من تلخيص، طرح أسئلة حول وثيقة: ```bash docsummarizer -f manual.pdf --query "How do I install the software?" ``` ### حرّر صفحات الويب مباشرة دون تنزيل: ```bash # Summarize a web article docsummarizer --url "https://example.com/article.html" --web-enabled # Summarize a remote PDF docsummarizer --url "https://example.com/document.pdf" --web-enabled # With structured JSON extraction docsummarizer --url "https://example.com/api-docs.html" --web-enabled --structured ``` **المدعم المحتوى**: HTML (مطهرة)، PDF، وضع العلامات، الصور (OCR)، وثائق المكتب. **1 ف-5، 1 ف-4، 1 خ ع (ر أ)، 1 خ ع (ر أ)**: حماية SSRF، حماية DNS مُلزمة، تحديد المحتوى، الحماية من قنابل إزالة الضغط، التطهير HTML. **جافSusScSc سكر السكري الصفحات المُرْرِج**الاستخدام: الاستخدام: `--web-mode Playwright` SPAs و REATEs (الكروميوم التلقائي في أول استخدام) SPAs and react operation options (الكروميوم في أول استخدام). ### Json بدلاً من النصب: ```bash docsummarizer -f document.pdf --structured -o Json ``` مقتطفات: كيانات، ووظائف، وتدفقات رئيسية، وحقائق (مع مستويات ثقة)، وأوجه عدم يقين، ومرور حصص. ### أولاً - موجز ```bash # Use a template docsummarizer -f doc.pdf --template executive docsummarizer -f doc.pdf -t bullets # Specify custom word count with template:wordcount syntax docsummarizer -f doc.pdf -t bookreport:500 docsummarizer -f doc.pdf -t executive:100 # Or use --words to override any template's default docsummarizer -f doc.pdf -t detailed --words 300 ``` / / / يُقَوَّمُ كَلَمَاتَ ‹ خيرًا لـ‍ |----------|-------|----------| | `default` موجز متوازن للمواضيع (فقرتان) | `prose` خُرُجٌ نظيف متعدد الفقرات ونظيف - لا توجد بيانات فوقية | `brief` 50 / / / / / / | `oneliner` □ 25 □ 25 □ موجز الجملة الوحيدة □ | `bullets` قائمة بنقاط الرصاص ذاتية (5-7 بنود) | `executive` نحو 150 - إحاطة تنفيذية مشفوعة بتوصيات | `detailed` 00/00 - شامل مع مواضيع كاملة | `technical` □ نحو 350 □ عُدَد تقنية مع تفاصيل التنفيذ □ □ □ | `academic` نحو 250 ° شكل تجريد أكاديمي | `citations` TM TM TM TM مفتاح الاقتباسات مع المصدر الاقتباسات فقط TM TM TM | `bookreport` □ حوالي 500 / تقرير عن الكتاب (الوضع، والشخصيات، والمؤامرة، والمواضيع) □ □ □ □ □ تقرير عن الكتاب (الوضع، والشخصيات، والمؤامرة، والمواضيع) □ □ □ □ □ □ تقرير عن الكتاب (الوضع، والشخصيات، والمؤامرة، والموضوعات) □ □ □ □ | `meeting` ملاحظات اجتماع (مقررات، إجراءات، أسئلة) | `strict` ~ 60 □ تكُن - فعال، 3 رصاصات كحد أقصى، لا تحوط □ إلى الكل متوفّر قوالب مع الأوصاف: ```bash docsummarizer templates ``` ### النموذج النموذجي مقارنة نماذج على نفس المستند باستخدام `benchmark` ما يلي: ```bash docsummarizer benchmark -f doc.pdf -m "qwen2.5:1.5b,llama3.2:3b,ministral-3:3b" ``` يقوم الأمر المرجعي بكتابة المستند مرة واحدة، ثم يقوم بتشغيل كل نموذج على نفس القطع من أجل المقارنة العادلة. يُظهر الناتج التوقيت، وعد الكلمات، والكلمات/الثانية لكل نموذج. ### جاري التجهيز العملية كامل الأدلّة: ```bash # Use BertRag for quality docsummarizer -d ./documents -m BertRag -v # Fast offline batch (no LLM needed) docsummarizer -d ./documents -m Bert -o Json --output-dir ./summaries # Process only PDFs recursively docsummarizer -d ./documents -e .pdf --recursive -v ``` ### أمر الأمر / الخيار / الوصف القصير/ الوصف |--------|-------|-------------|---------| | `--file` | `-f` المسار إلى المستند (DOCX, PDF, MD) | `--directory` | `-d` المسار إلى دليل تجهيز الدفعات | `--url` | `-u` □ العنوان الشبكي للجلب والتلخيص □ □ □ □ □ | `--web-enabled` • تمكين الجلب الشبكي (مطلوب لـ - url) o `false` | | `--mode` | `-m` □ موجز النمط: أوتو، بيرتراج، بيرت، بيرت، بيرت هيبريد، مابريدوس، راغ، تكراري □ `Auto` | | `--structured` | `-s` • استخدام أسلوب مهيكَّل لاستخراج JUSON `false` | | `--focus` سؤال محوري عن نموذج RAG / لا يوجد / | `--query` | `-q` ● نمط الاستعلام بدلاً من التلخيص □ لا □ | `--model` □ نموذج أولاما للاستخدام □ □ □ نموذج أولام `llama3.2:3b` | | `--verbose` | `-v` □ أظهر التقدم المفصّل مع حياة UI `false` | | `--config` | `-c` المسار إلى إعدادات ملفّ معاينة تلقائيّة | `--output-format` | `-o` • شكل الناتج: Console, sex, bargdown, Json o `Console` | | `--output-dir` دليل الناتج لنواتج الملفات | `--extensions` | `-e` □ تمديدات ملفات لنموذج الدفعات □ جميع أشكال الطبع □ | `--recursive` | `-r` □ أدلة العمليات تتكرّر بشكل متكرر `false` | | `--template` | `-t` نموذج موجز (قصير، موجز، رصاص، تنفيذي، وما إلى ذلك) `default` | | `--words` | `-w` □ عدد الكلمات المستهدفة (Count) | `--embedding-backend` حولس ، اولاما `Onnx` | | `--embedding-model` ° اسم أونكس النموذجي للاسم (نموذج RAG) `AllMiniLmL6V2` | | `--web-mode` / / / / / / / / / / `Simple` | | `--analyze` | `-a` ● إجراء تحليل جيد للموجز `false` | ## إعدادات ### خريطس (موصى به) أفضل من الملخصات الشاملة مع تغطية كاملة للوثائق. ```bash docsummarizer -f document.pdf -m MapReduce -v ``` **كيف يعمل**: 1. سند القطعيات إلى قطع هيكلية (حسب العناوين) 2. يعمل في متوازي 3. يُخفّض الملخصات إلى موجز تنفيذي مع الاقتباسات 4. (أ) تُحِثات جميع الاقتباسات المرجعية المرجعية **الحد الهرم الهرم الهرم الهرمي من أجل الوثائق الطويلة**: وبالنسبة للوثائق الطويلة جداً التي تتجاوز فيها ملخصات القطع المجمعة نافذة سياق النموذج، تستخدم الخريطة Redux تلقائياً التخفيض الهرمي: 1. **الرشششش**مجموعات ملخصات إلى دفعات مناسبة في سياق 2. **)أ( انخفاض**يُخفِّض كل دفعة من الدفعات إلى موجز مقتضب 3. **التخفيض النهائي**: عمليات الدمج: الملخصات الوسيطة في الناتج النهائي 4. ****إذا كانت المواد الوسيطة لا تزال كبيرة، فإنها تضيف مستويات أكبر. ``` 100 chunks → 100 summaries → 5 batches → 5 intermediate summaries → final ``` ويحافظ هذا على التغطية الكاملة للوثائق بغض النظر عن طولها - وتسهم كل قطعة منها في الموجز النهائي، وتقدر الأداة الرمز البياني (>4 chars/token) والهدف 60 ٪ من استخدام نافذة السياق لكل تمريرة تخفيض. **Pro ProS ProS**السرعة، التغطية الكاملة، التجهيز المتوازي، مقابِل أي طول وثيقة **كون CCCC**قد يُخطِط في الوصلات المتقاطعة، أبطأ بالنسبة للوثائق الطويلة جداً ### المجموعة (الأفضلية للسؤال الموجه) أفضل عندما تحتاج إلى التركيز على مواضيع محددة أو يكون لديك سؤال محدد الهدف. ```bash docsummarizer -f document.pdf -m Rag --focus "pricing and payment terms" -v ``` **كيف يعمل**: 1. يُفَسِّر مستندات قطع أجزاء كعامل تزكيات متجهات في Qdrant 2. مقتطفات من المواضيع الرئيسية من عناوين الوثائق 3. RERRRRRRTREs th الصلة قطع القطع ذات الصلة في كل موضوع باستخدام البحث الدهني 4. الملخص المركّز مع الاقتباسات **وقت استخدام RAG فوق الخريطة**: • سيناريو / أفضل طريقة / / |----------|-----------| □ "تجسيد هذا المستند بأكمله" JIU TRANSLAT TRANSLAT TRANSLATOR TRANSLATOR TRANSLATOR TRANSLATOR TRANSLATOR TRANSLAT ماذا يقول هذا عن الأمن؟ • دليل من 500 صفحة، يحتاج إلى كل شيء دليل من 500 صفحة، يحتاج إلى فرع محدد تحتاج إلى نتائج سريعة، لا تحتاج إلى Qdrant lo QmapReduges RAG هو **غير** عن مناولة الوثائق الطويلة - مقابض MapRedux التي مع تخفيض التسلسل الهرمي. RAG هو حول. **جاري**عندما تريد تجاهل 90% من الوثيقة والتركيز على ما يهم سؤالك الخاص. **Pro ProS ProS**: التركيز على المواضيع، والتفاهم الدلالي، ومؤشر إعادة الاستخدام، وأسرع للاستفسارات المركزة **كون CCCC**: قد يُغفل المحتوى خارج مجال التركيز، يحتاج إلى فهرسة أولية أبطأ، Qdrent، ### (الرقمية) أفضل الوثائق السردية حيث يتدفق السياق ترتيباً متتابعاً. ```bash docsummarizer -f story.pdf -m Iterative -v ``` **الانذار*** أبطأ وقد يفقد السياق على الوثائق الطويلة (>10 قطع). ## دليل المستند الكبير في المستند الكبير ### يجري اختيار النمط الصحيح • نوع وثيقة الهدف من الأهداف الإنمائية للألفية |---------------|------|------|-----| المواصفات التقنية (50 + صفحة) □ موجز كامل □ موجز كامل □ رسم الخرائط □ تغطية كاملة □ موجز كامل للموجزات الكاملة للسياق الزمني للاحتياجات العقد القانوني/العقد القانوني/العقد القانوني العقد القانوني بشأن " شروط سداد الأجور " ؟ RAG التركيز على باب محدد API Docs (200 صفحة) o o o "كيف يعمل (أوث) ؟" □ ورقة بحثية عن موجز كامل للموجز □ خرائط مهيكلة، تحتاج إلى كل شيء □ ### 4 - 4 4 4 / نوع المحتوى / أفضل أسلوب للأسلوب / ملحوظات / |--------------|-----------|-------| | **ما إذا كــي فــي الفــكــيــة/** تتطلّب المسودة سياقاً تعاقبياً | **** □ كلاهما □ رسم خرائط مخصَّص للنبذة العامة، و إطار توجيهي للتفاصيل □ | **العقود/العقود القانونية/المتعاقدات** كل بند يهم | **دليل** RAG / عادة ما يسأل عن التفاصيل / ### م م م م □ وثيقة حجم الوثيقة |---------------|-----------|-----|-------| □ 10 صفحات □ 15 □ 20 □ كلتاهما سريعتان □ RAG أسرع إذا كانت مركزة □ 200 صفحة □ 3 - 5 دقائق □ 1 - 2 دقيقة □ تخفيض هرمي • 500 + 500 صفحة إضافية □ 10-15 دقيقة □ 2 - 3 دقائق □ النظر في استفسارات متعددة مقدمة من الفريق الاستشاري ## ### هذا ```bash docsummarizer config --output myconfig.json ``` ### هو تلقائي مكتشف من: 1. `--config` 2. `docsummarizer.json` المجلد الحالي 3. `.docsummarizer.json` (مُعلِن ملف) 4. `~/.docsummarizer.json` (المنزل إلى الوطن) مثال مثال `docsummarizer.json`: ```json { "embeddingBackend": "Onnx", "onnx": { "embeddingModel": "AllMiniLmL6V2" }, "ollama": { "model": "llama3.2:3b", "embedModel": "mxbai-embed-large", "baseUrl": "http://localhost:11434", "temperature": 0.3, "timeoutSeconds": 1200 }, "docling": { "baseUrl": "http://localhost:5001", "timeoutSeconds": 1200, "pdfBackend": "pypdfium2", "pagesPerChunk": 10, "maxConcurrentChunks": 4, "enableSplitProcessing": true }, "qdrant": { "host": "localhost", "port": 6333, "collectionName": "documents" }, "processing": { "maxHeadingLevel": 2, "targetChunkTokens": 1500, "minChunkTokens": 200, "maxLlmParallelism": 2 }, "output": { "format": "Console", "verbose": false, "includeTrace": false }, "webFetch": { "enabled": false, "mode": "Simple", "timeoutSeconds": 30, "userAgent": "Mozilla/5.0 DocSummarizer/1.0" }, "batch": { "fileExtensions": [".pdf", ".docx", ".md", ".txt", ".html"], "recursive": false, "continueOnError": true } } ``` ### الملحق / الخيار / العتبـر / العتبـر |--------|---------|-------------| | `maxLlmParallelism` LLLM طلبات متزامنة (أولاما الطابير، لذلك القيم الأعلى فقط تصطف) o | `maxHeadingLevel` تُثبَّت على H1/H2 فقط. وتُثبَّت إلى 3 لـ H1/H2 فقط. | `targetChunkTokens` حجم القطعة المستهدفة. 0 = الحساب الذاتي التلقائي (- 25٪ من نافذة السياق) | `minChunkTokens` حد أدنى قبل الدمج. 0 = 1/8 من الهدف ## الشكل ### أولاً - موجز ```C:\Blog\mostlylucidweb\Mostlylucid\Markdown\docsummarizer-tool.md ## Executive Summary - Key finding 1 with specific details [chunk-0] - Important point 2 with numbers and dates [chunk-3] - Critical requirement 3 [chunk-5] ## Section Highlights - Introduction: Overview of the system architecture [chunk-0] - Requirements: Technical specifications detailed [chunk-3] ... ## Open Questions - What is the timeline for Phase 2? - How does the fallback mechanism work? ### Trace - Document: document.pdf - Chunks: 12 total, 12 processed - Topics: 5 - Time: 21.4s - Coverage: 100% - Citation rate: 1.20 ``` **المُسْرِس**: التغطية (النسبة المئوية للأبواب المدرجة)، معدل الاقتباس (الإشارات/النشرات)، الشونكس المجهزة (قد يتخطى فريق التقييم الإقليمي لبعضها). ## التوصية النموذجية □ النموذج النموذجي □ حجم □ السرعة □ جودة الجودة □ قضية استخدامات جيدة □ قضية □ |-------|------|-------|---------|----------| | `qwen2.5:1.5b` * سرعة سريعة جداً (الثالث) * سرعة جيدة مُثلى * | `gemma3:1b` □ 815 ميغابايت من السرعة (العشرات) □ نموذج صغير بديل عادل | `llama3.2:3b` □ 2GB متوسط (الـ 15 □ 15s) □ جيد جدا □ **** - توازن جيد | `ministral-3:3b` □ 2.9GB متوسط (العشرات) □ جيد جداً جداً □ مركز على الجودة □ | `llama3.1:8b` * ملخصات ممتازة عالية الجودة* > **بِتْ بِجِيج**فيما يتعلق بالموجزات الأكثر سرعة (~3s vs - 15s)، الاستخدام `--model qwen2.5:1.5b`(ب) بالنسبة للوثائق الحرجة حيثما يكون للجودة أهمية أكبر، يُستخدم `--model llama3.1:8b`. ## بناء من المصدر ```bash # Clone the repository git clone https://github.com/scottgal/mostlylucidweb.git cd mostlylucidweb/Mostlylucid.DocSummarizer # Build dotnet build # Run dotnet run -- --help ``` ### المباني ذات المباني المستقلة من أجل نشر الإنتاج دون حاجة إلى تركيبات وقت تشغيل الشبكة: ```bash # Build self-contained executable (Windows x64) dotnet publish -c Release -r win-x64 --self-contained # Build for Linux dotnet publish -c Release -r linux-x64 --self-contained # Build for macOS dotnet publish -c Release -r osx-x64 --self-contained ``` الناتج: `bin/Release/net9.0//publish/docsummarizer` ## تنفيذ ### لا يمكن ربطه بـ Olama - كفل تشغيل Olama: `ollama serve` - كِش تَحْكِيَزِ كِشْفِ كِشْفِ كِشْفِ كِشْفِ: `ollama list` ### "خدمة المناولة متاحة" - هذا **مطلوب فقط لملفات PDF/DOCX** - لـ لـ ملفّات مُفكّض، يمكنك تجاهل هذا خطأ - إلى تثبيت: `docker run -p 5001:5001 quay.io/docling-project/docling-serve` ### "فشلت الصلة المقرض" - هذا **مطلوب فقط لـ RAG نمط** (`--mode Rag`) - لـ لـ لـ لـ لـ لـررReddo هذا نمط ( افتراضي)، يمكنك تجاهل هذا خطأ - إلى تثبيت: `docker run -p 6333:6333 -p 6334:6334 qdrant/qdrant` ### "مكسرات الكسرات مفتوحة" - أو أن (أولاما) مُثقل أو قد تحطّم - الانتظار 30 ثانية لكسر الدائرة لإعادة ضبط، أو إعادة تشغيل Olalama - استخدامات الأداة للسياسات المتعلقة بالقدرة على التكيف وتجربة التشغيل الذاتي ### "wsssarescv" أو أخطاء الاتصال (وينDows) - هذا عدد معروف من أولاما على ويندوز (GitHub # 13340) - الـ أداة ذاتي المعالج هذا مع إعادة تجربة المنطق و اتصال الاسترجاع - إذا استمر، أعد تشغيل أولاما وحاول مرة أخرى ### "LLLL وقت الخروج" - الوقت الذي تستغرق فيه الزيادة في التشكيل - & كبير - التحقق من Olalama ليس مثقلا بطلبات أخرى ### الملخصات المكرّرة أو الملخصات المنخفضة الجودة **كائن**: نقاط رصاصة صدى التنبيه ("العودة فقط نقاط رصاصة" ، "القاعدة هي...") بدلا من تلخيص المحتوى. **سبب السبب السبب السبب السبب**: نموذج يكافح مع السرعة أو المحتوى لمدة طويلة جدا. **من النوع**الـ افتراضي `qwen2.5:1.5b` لمعالجة معظم الوثائق بشكل جيد جداً بالنسبة للوثائق الإشكالية، حاول `--model llama3.2:3b`انظر: [التوصية النموذجية](#model-recommendations). ### مُ إذا بدا الموجز عاماً أو لم يشر إلى محتوى محدد: - يمكن أن يكون النموذج مهوساً - تدقيق `Citation rate` (بدولارات - `--mode Rag`(الأسباب الملخصات في القطع المسترجعة) - `--verbose` لمعرفة ما هي القطع التي يجري تجهيزها ### الملحقات المفقودة أو الأصلية عدم توافر الملخصات `[chunk-N]` البيانات المرجعية: - النماذج الصغيرة التي تعطي الأولوية للمحتوى على تنسيق الاقتباس - يتم استخدام التنبيهات على النحو الأمثل من حيث السرعة، لا من حيث الامتثال الدقيق - للاقتباسات الدقيقة، استخدم نماذج أكبر مثل `llama3.2:3b` - 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 1 ف-3 `Citation rate` القيم الأعلى التي تشير إلى تحسين التتبع ## بيانات أداء أداء - **& سوس** للسرعة (قطعات مائلة) - **`qwen2.5:1.5b`** بالنسبة للسرعة، **`llama3.2:3b`** للتوازن، **`llama3.1:8b`** عن نوع نوعه - **أولاً - مقدمـات علـى** (التخلف) أسرع من أولاما لأسلوب RAG - 1 ف-4، 1 ف-3، 1 خ م، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م أ م **`maxLlmParallelism`** لفترات ما قبل ## الموارد الخارجة عن - [& شيفر](https://github.com/scottgal/mostlylucidweb/tree/main/Mostlylucid.DocSummarizer) - [GitHub الإصدارات](https://github.com/scottgal/mostlylucidweb/releases?q=docsummarizer) - [](https://github.com/docling-project/docling) / [لن يُنْفْت](https://github.com/docling-project/docling-serve) - [](https://qdrant.tech/) - قاعدة بيانات محلية - [الوليمة](https://ollama.ai/) / [أولاً - قُرْب](https://github.com/awaescher/OllamaSharp) - [بولي بولي](https://github.com/App-vNext/Polly) - القدرة على التحمل والمناولة العابرة عن طريق الخطأ - [من طراز Console](https://spectreconsole.net/) -جميلة جداً ## السلسلة - **[الجزء 1: بناء وثيقة موجزة مع](/blog/building-a-document-summarizer-with-rag)** - الهيكل والأنماط - **[الجزء 2: استخدام الأداة](/blog/docsummarizer-tool)** (هذه المادة)- دليل البداية السريعة - **[الجزء 3: المفاهيم المتقدمة](/blog/docsummarizer-advanced-concepts)** - عمق الغوص في BERT، OONNX، التضمينات، والبحث الهجين ### اللجنة الخاصة - [تحليل CSV مع LLMs المحلية](/blog/analysing-large-csv-files-with-local-llms) - [و و و و و و و و و مع LLSS LLLs](/blog/fetching-and-analysing-web-content-with-llms)