# Small Models Are Not the "Budget Option छोटे और स्थानीय एलएलएम अक्सर फ्रेमिंग के रूप में अग्रणी मॉडलों के लिए एक सस्ता विकल्प के तौर पर framed किया जाता है। **नियंत्रण**, **पूर्वानुमान**, और **बचने योग्य विफल मोड**. मैं,', किसी भी व्यक्ति के लिए दबाव के लिए अपराधी हूँ. ', वे, ', मुक्त हैं. \"', कहानी,..., मानो यह एकमात्र निर्णायक कारक था. **आप क्या व्यापार कर रहे हैं**. एक छोटा मॉडल के माध्यम से उपयोग [ओलामाCity name (optional, probably does not need a translation)](https://ollama.ai/)LM स्टूडियो [ऑनिक्स रनटाइम](https://onnxruntime.ai/), या समान नहीं है **जहां non-determinism मौजूद होने की अनुमति है**. [TOC] ## वास्तविक अंतर: असफल मोड बड़े सीमांत मॉडल व्यापक और अधिक प्रवाहित होते हैं। **अधिक खतरनाक** जिन प्रणालियों में गारंटी की आवश्यकता होती है फ्रंटियर मॉडल जब चौड़ाई की आवश्यकता होती है और आउटपुट डिजाइन द्वारा सलाहकारी होते हैं तब समझदार होते हैं। उनकी असफलताएं हैं **संरचनात्मक के बजाय अर्थात्मक**यह वर्ग त्रुटि है। - पता लगाने के लिए खर्चीला - त्रुटि सच्याने के लिए खर्चीला - प्रायः क्षति होने के बाद ही दिखाई देता है **छोटे मॉडल भिन्न रूप से असफल होते हैं** जब एक छोटा मॉडल भ्रमित होता है, तो यह करने के लिए झुकाता है - स्कीमा तोड़ें - अवैध JSON प्रविष्ट करें - आउटपुट काटें - संरचना का ट्रैक खो गया ये हैं **सस्ती असफलताएं**. वे सरल सत्यापन के साथ पता लगाए जा सकते हैं **यह एक कमजोरी नहीं है** ## यह सिद्धांत कहाँ से आया है यह अंतर्दृष्टि ' अमूर्त सिद्धांत नहीं है। [एलएलएम उपयोग के दस आदेश](/blog/tencommandments)मूल सिद्धांत > **LLMs वास्तविकता को व्याख्या करते हैं** जब आप इस सिद्धांत का पालन करते हैं, तो आपको कुछ आश्चर्यजनक पता चलता है **आप महंगे मॉडलों की जरूरत नहीं करना बंद कर देते हैं**एक स्थानीय रूप से चल रहे पैरामीटर मॉडल को वर्गीकरण कर सकता है छोटे मॉडल नहीं हैं "weak **पर्याप्त** क्योंकि समस्या उन तक पहुंचने के समय से पहले ही कम हो चुकी है अग्रणी मॉडल आपको विश्वसनीयता बेच रहे हैं जिसे आप खुद बनाना चाहिए ## सही मानसिक मॉडल जिस तरह DuckDB नहीं है "सस्ती SQL" और Postgres नहीं है **डिजाइन स्थान में अलग बिंदु**जब आप उन्हें चुनते हैं Concern Small Model Advantage |---------|----------------------| | **लोकलिटी** आपके हार्डवेयर पर चलाता है | **लेखापरीक्षा** प्रत्येक निष्कर्ष लॉग किया जाता है | **विस्फोट अर्धव्यास** असफलताएं समाहित हैं | **सहीता प्रवर्तन** वैधीकरण मॉडल के बाहर होता है | **सीमित non-determinism** | अनिश्चितता कठोर रूप से प्रतिबंधित है ## मैं इसे कैसे प्रयोग करता हूँ यह hypothetical नहीं है ### तीन निष्कर्ष मोडों के साथ ग्राफआरएग [मेरी GraphRAG क्रियान्वयन](/blog/graphrag-minimum-viable-implementation) तीन मोड उपलब्ध कराता है मोड | एलएलएम कॉल्स | | | के लिए सबसे अच्छा |------|-----------|----------| | **शल्यचिकित्सा** आईडीएफ के माध्यम से शुद्ध निर्णायकता | **हाइब्रिड** एक दस्तावेज के लिए | 1 Small model validates candidates | **एलएलएम** प्रति टुकड़ा | 2 **हाइब्रिड मोड** सबसे अच्छा स्थान है। ओललामा स्थानीय रूप से चलाने के साथ-साथ-, व्यय है। लेकिन यह नहीं कि मैं इसे प्रयोग करता हूँ ' व्यय बचत एक पक्ष हैं। **असफलताएं सस्ती और स्पष्ट हैं**. ### एननक्स सम्मिलितियाँ: कोई LLM आवश्यक नहीं [ऑनिक्स और क्वारंट के साथ सेमेटिक खोज](/blog/semantic-search-with-onnx-and-qdrant) एक अन्य पैटर्न दिखाता है: कुछ कार्यों को नहीं करता है - **CPU-friendly inference** - कोई GPU आवश्यक नहीं - **निर्धारात्मक आउटपुट** - एक ही इनपुट हमेशा एक ही एम्बेडिंग उत्पन्न करता है - **स्थानीय निष्पादन** - कोई API कॉल नहीं - **~90MB मॉडल** - कहीं भी चलता है के लिए [हाइब्रिड खोज](/blog/rag-hybrid-search-and-indexing)मैं इन एम्बेडिंगों को BM के साथ जोड़ता हूँ **स्पष्टीकरण** संरचना जो निर्णायक प्रणालियों ने पहले से ही वैध किया है ### DocSummarizer: संरचना पहला, LLM दूसरा [डॉक-सममैरिजर](/blog/docsummarizer-tool) इस दर्शन को प्रतिरूपित करता है 1. **पद वर्णन** निर्णायक लाइब्रेरी के साथ दस्तावेज़ 2. **घन** संरचनात्मक नियमों का उपयोग करते हुए सामग्री 3. **सम्मिलित करें** ऑनक्स BERT के साथ टुकड़े 4. **पुनः प्राप्त करें** भेक्टर खोज के माध्यम से प्रासंगिक टुकड़े 5. **संश्लेषण** Ollama - के साथ एकमात्र संभाव्यात्मक कदम एलएलएम है **अंतिम चरण**, पर काम कर रहा है ## तीन प्रश्न फ्रंटियर मॉडल जब जानबूझकर प्रयोग किया जाता है तो शक्तिशाली उपकरण होते हैं। लेकिन वे जोखिम को कम करने की अपेक्षा अभिव्यक्त शक्ति में तेजी से वृद्धि करते हैं। **सत्य या उत्तरदायित्व को छिपाकर**. सही सवाल यह नहीं है "किस मॉडल सबसे अच्छा है यह है: 1. **संभाव्यता कहाँ है** 2. **जहाँ निर्णायकता को पूर्ण होना चाहिए** 3. **क्या विफलता इस प्रणाली को बचा सकता है** अगर जवाब में राज्य शामिल है, , गौण प्रभावों,, निधि,, नीति,M SK3 या गारंटी के लिए - मॉडल को कभी भी जिम्मेदार नहीं होना चाहिए। **सही चयन**, आर्थिक नहीं ## पैटर्न: बोरिंग मशीनरी + लघु मॉडल यह वास्तुकला है कि काम करता है ``` ┌─────────────────────────────────────────────────────┐ │ DETERMINISTIC LAYER │ │ State machines, queues, validation, storage │ │ (DuckDB, Postgres, Redis, file systems) │ └─────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ INTERFACE LAYER │ │ Schema validation, retries, fallbacks │ │ (Polly, FluentValidation, custom guards) │ └─────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────┐ │ PROBABILISTIC LAYER │ │ Classification, summarisation, hypothesis gen │ │ (Ollama, ONNX, small local models) │ └─────────────────────────────────────────────────────┘ ``` एलएलएम पर है **निचला**यह प्रस्तावित करता है ## विश्वसनीयता असफलता से बचने के बारे में नहीं है सभी तीन परिप्रेक्ष्य - प्रश्नों , पैटर्न , और यह अंतिम सिद्धांत S- एक ही नियम में घटाएँ **विश्वसनीयता आप बच सकते हैं असफलताओं को चुनने के बारे में है** एलएलएम्स के साथ, means managing non-determinism through deterministic practices: - [आदेश 1](/blog/tencommandments): राज्य मॉडल से बाहर रहता है - [कमांड 7](/blog/tencommandments): असफलता ध्वनि और कंटायर बना दें - [कमांड ९](/blog/tencommandments): सबसे पहले बोर मशीनरी बनाओ छोटे मॉडल यह आसान कर देते हैं क्योंकि उनके असफलता है **ज़ोर से**अवैध JSON फ्रंटियर मॉडल विफल हैं **शांत**व्यावहारिक **हर बार बुलन्द असफलता लेगा** ## संबंधित पठन ### दर्शन - [एलएलएम उपयोग के दस आदेश](/blog/tencommandments) - इस दृष्टिकोण के पीछे सिद्धांत - [मैं लंगचैन का प्रयोग क्यों नहीं करता](/blog/why-i-dont-use-langchain) - फ्रेमवर्क जटिलता के विपरीत - [वाणिज्यिक ए. आई. परियोजनाएं क्यों मूर्ख हैं](/blog/whycommercialaiprojectsaredumb) - स्थानीय के लिए मामला ### क्रियान्वयन - [GraphRAG: न्यूनतम व्यवहार्य कार्यान्वयन](/blog/graphrag-minimum-viable-implementation) - व्यवहार में तीन निष्कर्षण मोड - [ऑनिक्स और क्वारंट के साथ सांकेतिक खोज](/blog/semantic-search-with-onnx-and-qdrant) - सीपीयू - [DocSummarizer औजारName](/blog/docsummarizer-tool) - संरचना पहले - [हाइब्रिड खोज और स्वतः](/blog/rag-hybrid-search-and-indexing) - उत्पादन ### वास्तुकला - [LLMs को अविश्वसनीय समझना](/blog/blog-article-cooking-dise-part3-untrustworthy-gods) - अविश्वसनीय देवता - [LLM सलाहकारों के साथ बोट पता लगाना](/blog/botdetection-introduction) - सलाहकार के रूप में एलएलएम - [Zero-PII ग्राहक इंटेलिजेंस](/blog/zero-pii-customer-intelligence-part1) - सीमाओं के साथ सेमेटिक समझ ## बाहरी संसाधन - [ओलामाCity name (optional, probably does not need a translation)](https://ollama.ai/) - एक कमांड के साथ LLMs स्थानीय रूप से चलाएँ - [ऑनिक्स रनटाइम](https://onnxruntime.ai/) - क्रॉस - [एलएम स्टूडियो](https://lmstudio.ai/) स्थानीय LLMs के लिए - डेस्कटॉप अनुप्रयोग - [llama.cpp](https://github.com/ggerganov/llama.cpp) - प्रभावी C