ومن المرجح أن الكثير مما هو أسفل لن يعمل؛ أنا توليد هذه كما كيف إلى ل ME ومن ثم القيام بجميع الخطوات والحصول على تطبيق العينة العمل... كنت قد تم التسلل ورأيت لهم! أنها سوف تكون على الأرجح جاهزة منتصف كانون الأول/ديسمبر.
## أولاً
اربطوا لأن هذه ستكون سلسلة طويلة!
إذا كنت تتبع مع هذه المدونة، ستعرف أنني مهووس قليلاً بإيجاد طرق مثيرة للاهتمام لاستخدام LLMs و AI في التطبيقات العملية.
حسناً، لدي مشروع جديد يجمع بين حبي للمدونات، C# و AI: بناء مساعد للكتابة يساعدني في صياغة مقالات جديدة للمدونات باستخدام المحتوى الحالي كقاعدة معرفية.
ملاحظة: هذا جزء من تجاربي مع AI (مساعدة في الصياغة) + تحريري الخاص.
نفس الصوت، نفس العمليّة، مجرد أصابع أسرع.
التفكير في الكيفية التي تستخدم بها الممارسات القانونية الحديثة نظم إدارة الأراضي المدربة على السوابق القضائية لصياغة المذكرات والالتماسات والعقود.
إنها لا تبدأ من الصفر -- النظام يشير إلى السوابق ذات الصلة، يقترح لغة مبنية على وثائق الماضي الناجحة، ويحافظ على الاتساق مع الأنماط الراسخة.
هذا بالضبط ما نبنيه هنا، لكن لمحتوى المدونات.
ويتمثل الهدف من ذلك في إنشاء وظيفة مساعد كتابة يعمل تحت إشراف المنظمة الدولية للفرانكوفونية، على النحو التالي:
هذه السلسلة ستغطي مبنىً كاملاًالجيل المعزَّز من استعادة القدرة (RAG)
**النظام في C# الذي يعمل على النوافذ.**سنستخدم أحدث النُهج والأطر، وسأشرح كل تقنية جديدة عندما نصادفها.
**إعدادات عتادي (و الحد الأدنى لمختلف)**آلة التطوير:
المجموع*** NVIDIA RTX A4000 (Vram)**وحدة وحدة
AMD RAZEN 9 9950 XX
****:: 96/نـزع السلاح
هذا هو وضعي المحدد، ولكن أنت
لست بحاجة إلى هذا الجهاز
**(ب) أن يتبعوا على طول الطريق.**هنا الحد الأدنى لمصفوفات مختلفة:
التسارع GPU (موصى به، غير مطلوب)
1 ف-5، 1 ف-4، 1 ف-3، 1 خ م، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م أ م و، 1 م أ م:: نسبة نفيديا إلى نفيديا مع 8 غرامات فيرم (مثل RTX 3060، GTX 1070 Ti)
جاري تشغيل 7BB نماذج معQ
& جاريمُجَز
**)على سبيل المثال، RTX 3060 12GB، RTX 4060 TI(**نفّر نماذج أكبر أو أعلى جودة ككمات
إعدادي
: 16GB (A4000) - يمكن تشغيل 13B نماذج مريحة
المعالج - فقط البديل
1 ف-5، 1 ف-4، 1 ف-3، 1 خ م، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م أ م و، 1 م أ م
الموضوع الحديث: العنصر الأساسي
أولاً -: 8++ النواة (لتوليد معقول)
كل شيء يعمل على وحدة المعالجة المركزية، فقط أبطأ:
الجيل الماثل: A-5-10x أبطأاستنتاجات: - 10 - 50 x أبطأ
ما زالَ تماماً يُستخدَمُ لa مُتَأَكِّد مُسْتَقْبَل!
الاحتياجات من1 ف-5، 1 ف-4، 1 ف-3، 1 خ م، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م و، 1 م أ م و، 1 م أ م
: 16GP System RAM
المعالج المعالج- فقط استdex لنماذج 7Bمُجَز
:: 32 GGأفضل لنماذج أكبر على المعالج
إعدادي
: 96GB - الإفراط في القتل، 32GB هو الكثير
الخزنةSS
(أ) توصية بنموذج تحميلالفضاء الخارجي
'20GB للنماذج وقاعدة بيانات ناقلات الأمراضماذا عن إنتل / AMD المعالجات؟
**تشتمل المعالجات الحديثة الآن على مسرعات AI مخصصة:*شركة Int(بحيرة ميتور+) - إنتل BOSst (NPU)*السنة الأولى
(سلسلة 7040/8040) -
✅ Great for: On-device inference, battery efficiency (laptops)
⚠️ Limited for our use: Immature .NET/ONNX Runtime support
❌ Not ready for: This project's primary path
AMD
(نقطة الترميز) - ما يصل إلى 50 طانالمهم: المعالجات هي للاستدلال فقط!
أنت لا "تبني" أو تُدرّب نماذج على المعالجات الوطنية - إنها مصمّمة لـعُرْض
**(أ) نماذج التدريب قبل التدريب بكفاءة.**وتُدرَّب النماذج على وحدات المعالجة الجيوديسية السحابية (أو محطات العمل)، ثم تُحمَّل وتُنشر في وحدات المعالجة الوطنية للاستدلال.
**الحالة الراهنة للنماذج الجارية بشأن المعالجات الوطنية (حسب الكتابة):**لماذا ليس NUPs لهذه السلسلة؟
النظام الإيكولوجي: CUDA لديها 15 سنة من النضج أكثر من 15 سنة، دعم NPU في الشبكة هو الوليد.
باء - النموذج
: معظم نماذج نموذج النموذج العالمي للإدارة المتكاملة للغابات تستهدف CUDA/CUDA/CUDA، والنماذج المُحسَّبة في إطار نموذج الوحدة الحضرية نادرة.الوثائقالموارد المحدودة لتطوير وحدة المعالجة دون الوطنية في C#
م م م م
: حالياً أبطأ من المكيفات المنفصلة لعبء عملنا
دعم المشروع المباشر
لا يزال تجريبياً لاستدلال LLL
# Use DirectML execution provider (supports NPU)
dotnet add package Microsoft.ML.OnnxRuntime.DirectML
# In code:
var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider("DML"); // DirectML
var session = new InferenceSession("model.onnx", sessionOptions);
تم إنشاء نوافذ تشغيل لـ GPU مع مُعَدّل مُعَدّة لـكندا, قُدْسوإختبار أن C# يمكن في الواقع رؤية واستخدام الـ GPU الخاص بك.الجزء 3: فهم قواعد البياناتعمق الغوص العميق في ما هو في الواقع ما مززز في الواقع، كيف أنها تمكن البحث الداتيكاتيني، واختيار قاعدة بيانات المتجه الصحيحة (التالير: سنستخدم على الأرجح
**الاستفادة الكاملة من ذلك A4000!**الجزء 7: المحتوى
**تجميع كل ذلك معاً - البحث الدلالي عن المحتوى ذي الصلة، وإدارة نافذة السياق، والهندسة الفورية للمساعدة في الكتابة، وتقديم اقتراحات متسقة.**الجزء 8: نشر المعالم المتقدمة والإنتاج
**(ب) الربط التلقائي بالوظائف ذات الصلة، والتحقق من اتساق الأسلوب، وتقديم اقتراحات شفرات المقتطفات، وجعل النظام في الواقع مفيداً للكتابة اليومية.**لماذا الرافع؟
قبل أن نغوص في الهندسة المعمارية، دعونا نتحدث عن لماذا RAG (الجيل المقوي للريتريفال) هو النهج الصحيح هنا.
مشكلة الضبط المُحَدَّد المُحَدَّد
قد تفكرون: "لماذا لا تقومون فقط بتدقيق LLLM على جميع مقالات المدونات؟" هناك العديد من المشاكل مع ذلك:
1.
2. - الضبط الدقيق مكلف (في الحساب والجهد على حد سواء)
3. :
4. - كل تدوينة جديدة تعني إعادة
5. صندوق أسود
من الصعب أن نفهم ما هو نموذج "تعلمت"
✅ Always up-to-date (just re-index new posts as you write them)
✅ Grounded in your actual writing (maintains consistency)
✅ Traceable (know which past posts influenced suggestions)
✅ Efficient (no expensive retraining for every new post)
✅ Flexible (can swap out LLMs or adjust search strategies)
✅ Privacy-preserving (everything runs locally)
-لا ضمانة بأن النموذج لن يختلق أشياء
graph TB
A[Markdown Files] -->|Ingest| B[Chunking Service]
B -->|Text Chunks| C[Embedding Model]
C -->|Vectors| D[Vector Database]
E[User Writing] -->|Current Draft| F[Windows Client]
F -->|Embed Context| C
C -->|Query Vector| D
D -->|Similar Content| G[Context Builder]
G -->|Relevant Past Articles| H[Prompt Engineer]
H -->|Prompt + Context| I[Local LLM]
I -->|Generated Suggestions| J[Link Generator]
J -->|Suggestions + Citations| F
F -->|Display| K[Editor with Suggestions]
class C,I embedding
class D,K output
classDef embedding stroke:#333,stroke-width:4px
classDef output stroke:#333,stroke-width:4px
لا مُهديات
لا يمكن بسهولة تتبع الردود إلى المصادر
كيف يحلّ هذا
يجمع RAG أفضل من كل من العالمين: قوة LLMs مع دقة البحث لإنشاء توليد محتوى واعي السياق.
والتدفق هو:
يبدأ المستخدم الكتابة (على سبيل المثال، "بناء رقم قياسي للأفضلية مع ASP.net ras...")
Syst syst system يجد مواد سابقة متشابهة من الناحية الدانتين علمياً
نظام التلثات ذات الصلة كسياق إلى LLLMLLL توليد اقتراحات/مواصلة استناداً إلى المحتوى السابق
عروض نظامية تتضمن اقتراحات مع إشارات إلى الوظائف الممولة من الموارد
وهذا يعني:
هيكل النظام
دعوني اشرح العناصر الرئيسية التي سنبنيها
١ -
نقطة نقطة نقطة نقطة نقطة نقطة
**العنصر:**مُق قراءة علامات أسفل الملفات من دليل المُدوّل
**كبير جداً وأنت تُضيّعُ نافذة سياق LLM.**نحن بحاجة إلى قطع من القطع التي هي ذات معنى من الناحية الدلالية - وهي فكرة كاملة أو قسم كامل، وليس كسر الفقرات التعسفية.
محول مـن مـن مـبلـ مـ مـ م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م م
(مصدر فُتْفَ سِنَّة)**أولاً -قاعدة بيانات الفئة**وتخزن قاعدة بيانات المتجهات التضمينات وتمكّن من البحث السريع عن التشابه.**عندما تكتب عن "Doker Companus"، تجد أن K أكثر محتوى ماضي مماثل من الناحية التماثلية - ليس فقط مباريات الكلمات الرئيسية، ولكن المواد ذات الصلة من الناحية المفاهيمية.**الخيار في التكنولوجيا
سنقيّم ما يلي:
-حديثة، مكتوبة في (روست)، ممتازة C# عميلة، ودودة
(ج) مُنْفِجِكَر
-امتداد PostgresSQL (نحن بالفعل نستخدم Postgres!)
مُنَي مُنْي
- خيار متين آخر مع دعم جيد.:
الشعبية في أرض بايثون، أقل من ذلك في C#
أنا أميل إلى (Qdrant) لبساطته وأدائه، أو (pgvector) للحفاظ على كل شيء في Postgres.
مُصد مُصد مُصد مُكر- لتسيير الخدمات المقدمة في شكل Qddrent أو غيرها من الخدمات
إطار عمل الأمم المتحدة-إذا استخدمنا (بجفيكتور )
المجموعكندا
)أكشــر(
**(المتأخرات في وقت كتابة التقرير)**قُدْس
- بدائيات التعليم العميقلجنة البلدان
**إعدادات الأجهزة المختلفة لها قدرات مختلفة:**مع 8GB VRAM (الحد الأدنى)
نمط: 7B نماذج البارامترات مع Q4
جاري التجهيز
: عملية التزكية في الدفعات الأصغر
إدارة الذاكرة
: الرصد الحذر المطلوب
يَحْمَل جيداً لـ
: مساعد في الكتابة، الجيل المدمج
مع 12GB+ فيرم (ممول)
نمط
7B مع تكرير عالي الجودة (Q5/Q6)
جاري التجهيز
: دفعات كبيرة لنواتج أسرع:لا تنفيذ: بعض النماذج 13B مع تكهنات عدوانية
مع 16GB+ فرام (تأتي)
نمط
7B-13B نماذج البارامترات المريحة
جاري التجهيز
:: الدفعات الكاملة، الحد الأدنى من القيود
FAF
أوقات الاستجابة الثانية الفرعية
غرفة الاجتماعات
يمكن أن تجربة مع نماذج مختلفةالمعالج فقط (التراجع)
كل شيء يعملفقط ابطأ ابطأ
مُحَث5-10 x أبطأ من الميول
LL LLDDG: 10.50 x أبطأ من الميول
LCLL LCLLLمن أجل مساعد كتابة مع الصبر!
دال - مقدمـة مـن
سوف نبني هذا تدريجياً:
ابدأ بمكونات مبسطة (قراءة و قص)
إضافة توليد مدمج (يمكن البدء بـ API قبل الذهاب محلياً)
بناء أساسUUI
&LLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLL LLL LL LL L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L
البولندية والتكلوثيةوسيكون كل جزء من هذه الأجزاء قابلا للنشر والاختبار بمفرده.
## أولاً
