छोटे और स्थानीय एलएलएम अक्सर फ्रेमिंग के रूप में अग्रणी मॉडलों के लिए एक सस्ता विकल्प के तौर पर framed किया जाता है। नियंत्रण, पूर्वानुमान, और बचने योग्य विफल मोड.

मैं,', किसी भी व्यक्ति के लिए दबाव के लिए अपराधी हूँ. ', वे, ', मुक्त हैं. "', कहानी,..., मानो यह एकमात्र निर्णायक कारक था. आप क्या व्यापार कर रहे हैं.

एक छोटा मॉडल के माध्यम से उपयोग ओलामाCity name (optional, probably does not need a translation)LM स्टूडियो ऑनिक्स रनटाइम, या समान नहीं है जहां non-determinism मौजूद होने की अनुमति है.

वास्तविक अंतर: असफल मोड

बड़े सीमांत मॉडल व्यापक और अधिक प्रवाहित होते हैं। अधिक खतरनाक जिन प्रणालियों में गारंटी की आवश्यकता होती है

फ्रंटियर मॉडल जब चौड़ाई की आवश्यकता होती है और आउटपुट डिजाइन द्वारा सलाहकारी होते हैं तब समझदार होते हैं।

उनकी असफलताएं हैं संरचनात्मक के बजाय अर्थात्मकयह वर्ग त्रुटि है।

• पता लगाने के लिए खर्चीला
• त्रुटि सच्याने के लिए खर्चीला
• प्रायः क्षति होने के बाद ही दिखाई देता है

छोटे मॉडल भिन्न रूप से असफल होते हैं

जब एक छोटा मॉडल भ्रमित होता है, तो यह करने के लिए झुकाता है

• स्कीमा तोड़ें
• अवैध JSON प्रविष्ट करें
• आउटपुट काटें
• संरचना का ट्रैक खो गया

ये हैं सस्ती असफलताएं. वे सरल सत्यापन के साथ पता लगाए जा सकते हैं

यह एक कमजोरी नहीं है

यह सिद्धांत कहाँ से आया है

यह अंतर्दृष्टि ' अमूर्त सिद्धांत नहीं है। एलएलएम उपयोग के दस आदेशमूल सिद्धांत

LLMs वास्तविकता को व्याख्या करते हैं

जब आप इस सिद्धांत का पालन करते हैं, तो आपको कुछ आश्चर्यजनक पता चलता है आप महंगे मॉडलों की जरूरत नहीं करना बंद कर देते हैंएक स्थानीय रूप से चल रहे पैरामीटर मॉडल को वर्गीकरण कर सकता है

छोटे मॉडल नहीं हैं "weak पर्याप्त क्योंकि समस्या उन तक पहुंचने के समय से पहले ही कम हो चुकी है

अग्रणी मॉडल आपको विश्वसनीयता बेच रहे हैं जिसे आप खुद बनाना चाहिए

सही मानसिक मॉडल

जिस तरह DuckDB नहीं है "सस्ती SQL" और Postgres नहीं है डिजाइन स्थान में अलग बिंदुजब आप उन्हें चुनते हैं

Concern Small Model Advantage |---------|----------------------| | लोकलिटी आपके हार्डवेयर पर चलाता है | लेखापरीक्षा प्रत्येक निष्कर्ष लॉग किया जाता है | विस्फोट अर्धव्यास असफलताएं समाहित हैं | सहीता प्रवर्तन वैधीकरण मॉडल के बाहर होता है | सीमित non-determinism | अनिश्चितता कठोर रूप से प्रतिबंधित है

मैं इसे कैसे प्रयोग करता हूँ

यह hypothetical नहीं है

तीन निष्कर्ष मोडों के साथ ग्राफआरएग

मेरी GraphRAG क्रियान्वयन तीन मोड उपलब्ध कराता है

हाइब्रिड मोड सबसे अच्छा स्थान है।

ओललामा स्थानीय रूप से चलाने के साथ-साथ-, व्यय है। लेकिन यह नहीं कि मैं इसे प्रयोग करता हूँ ' व्यय बचत एक पक्ष हैं। असफलताएं सस्ती और स्पष्ट हैं.

एननक्स सम्मिलितियाँ: कोई LLM आवश्यक नहीं

ऑनिक्स और क्वारंट के साथ सेमेटिक खोज एक अन्य पैटर्न दिखाता है: कुछ कार्यों को नहीं करता है

• CPU-friendly inference - कोई GPU आवश्यक नहीं
• निर्धारात्मक आउटपुट - एक ही इनपुट हमेशा एक ही एम्बेडिंग उत्पन्न करता है
• स्थानीय निष्पादन - कोई API कॉल नहीं
• ~90MB मॉडल - कहीं भी चलता है

के लिए हाइब्रिड खोजमैं इन एम्बेडिंगों को BM के साथ जोड़ता हूँ स्पष्टीकरण संरचना जो निर्णायक प्रणालियों ने पहले से ही वैध किया है

DocSummarizer: संरचना पहला, LLM दूसरा

डॉक-सममैरिजर इस दर्शन को प्रतिरूपित करता है

1. पद वर्णन निर्णायक लाइब्रेरी के साथ दस्तावेज़
2. घन संरचनात्मक नियमों का उपयोग करते हुए सामग्री
3. सम्मिलित करें ऑनक्स BERT के साथ टुकड़े
4. पुनः प्राप्त करें भेक्टर खोज के माध्यम से प्रासंगिक टुकड़े
5. संश्लेषण Ollama - के साथ एकमात्र संभाव्यात्मक कदम

एलएलएम है अंतिम चरण, पर काम कर रहा है

तीन प्रश्न

फ्रंटियर मॉडल जब जानबूझकर प्रयोग किया जाता है तो शक्तिशाली उपकरण होते हैं। लेकिन वे जोखिम को कम करने की अपेक्षा अभिव्यक्त शक्ति में तेजी से वृद्धि करते हैं। सत्य या उत्तरदायित्व को छिपाकर.

┌─────────────────────────────────────────────────────┐
│                 DETERMINISTIC LAYER                 │
│  State machines, queues, validation, storage        │
│  (DuckDB, Postgres, Redis, file systems)           │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                   INTERFACE LAYER                   │
│  Schema validation, retries, fallbacks             │
│  (Polly, FluentValidation, custom guards)          │
└─────────────────────────────────────────────────────┘
                         │
                         ▼
┌─────────────────────────────────────────────────────┐
│                  PROBABILISTIC LAYER                │
│  Classification, summarisation, hypothesis gen     │
│  (Ollama, ONNX, small local models)                │
└─────────────────────────────────────────────────────┘