Back to "لماذا فشلت أجهزة الـ LLM كأجهزة الاستشعار ( وما الذي يحصل عليه الدماغ"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI Architecture Audio LLM OCR Patterns Video

لماذا فشلت أجهزة الـ LLM كأجهزة الاستشعار ( وما الذي يحصل عليه الدماغ

Sunday, 18 January 2026

الـ LLMs (نماذج لغة كبيرة ) تستخدم كأجهزة استشعار خطأ التصنيف: بإستخدام Synthesizer الإحتمالي حيث يتوجب على جهاز الحدود المعياري

هذا ليس 't المطورين ' الخلل | . معظم الأمثلة الرئيسية والدروس تقود مع النموذج الأبسط |: | " فقط أرسلها إلى النموذج |." | هذا يجعل التحليق على متن الطائرة سهلاً | , | لكنه يضيئ الحدود الحاسمة | : | الإدراك مقابل التركيب |. | محفزات صناعة لا ساعدت |psk9 | أو مساعدة |PSK10 | رمز | PSK11 | نظم الأسعار تلقائياً تكافئ أنابيب التي تعمل أكثر داخل LLM | psk12

هذه المقالة عن تقلل من RAG - نمط معماري حيث خطوط الأنابيب الإفتراضية تغذى المكونات الإحتمالية, ليس بالعكس

  • أنابيب (أجهزة الاستشعار → نماذج محلية → الحقائق المبنية ) تقوم بتخفيض
  • الـ LLMs تعمل فقط على المخرج الهيكلي المنخفض ,
  • أبداً ترسل البيانات الخام مباشرة إلى LLMs

مثال: في OCR ( التعرف على الخطوط Optical Character ) pipeline , هو Vision LLM من الطبقة | 3, | وليس من الطبقات |1. | إنه يعمل فقط بعد النص | МSK6 | مثلية هيuristics وفشل محلي OCR القاعدة الحدودية - عائق معماري يمنع استخدام الأدوات غير الملائمة بغض النظر عن الإس convenience


جزء 1: المشكلة (لماذا تفشل LLMs كأجهزة الاستشعار)

نفس الخطأ, Modalities المختلفة

هنا فشلات معمارية متطابقة عبر مجالات مختلفة:

  • الـ OCR (إدراك الخطوط البصرية): إرسال إطارات فيديو خام مباشرة إلى LLMs لرؤية بدلاً من استخدام النص-heuristics similarliness plus local OCR models
  • تحليل الصور: نطلب من الـ LLMs " وصف هذه الصورة" بدلاً من إستخلاص الإشارات الهيكلية أولاً
  • معالجة الفيديو: تشغل إطار لـ LLMs - بـ - إطار بدلاً من إكتشاف اللقطات , استخراج إطارات المفاتيح M SK4 و تقليل المحتوى البصري
  • تحليل الصوت: نطلب من أجهزة LLM أن تستنتج هوية المتكلم أو جودة الصوت من أشكال الموجات الخام بدلاً من استخدام معالجة الإشارة
flowchart TD
    subgraph Wrong["❌ Common Anti-Pattern"]
        Raw[Raw Data<br/>Pixels, Waveforms, Frames] -->|Direct feed| LLM1[Vision/Audio LLM<br/>$$$, variance, hallucination]
        LLM1 --> Unreliable[Unreliable Output<br/>High cost, non-deterministic]
    end

    style Wrong fill:none,stroke:#dc2626,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style LLM1 fill:none,stroke:#dc2626,stroke-width:2px
    style Unreliable fill:none,stroke:#dc2626,stroke-width:2px

الأعراض

هذه الأخطاء العمارة تنتج فشلات متوقعة:

  1. الإدراك الوهمي: LLMs يجب أن يصدرون الرموز. في ظل عدم اليقين يملؤون الفجوات بنسخ معقولة. M SK2 يتم الكشف عن النص " لأنه من الممكن أن يكون هناك هذه هي المشكلة الأساسية

  2. غير -فشل محدد: إختلاف حركية الحرارة والميزانية المحسوبيةM SK1 نفس المدخلات → مخرجات مختلفة. تتحول البرمجة إلى تحليل إحصائي

  3. نفايات الموارد: سواء كنتم ' تدفعون مقابل الرموز ♫ (API) أو تقومون بتشغيل النماذج المحلية ♫(OllamaM SK5 llamaMSC6cppMスク7 أنتم ♫

المسألة هي ' "t cost" - "it" ' "the accuracy" نتيجة الـ LLM المضيفة محلياً التي تشوه نتائج الـ OCR كسرت تماماً مثل مكالمة API مكلفة تقوم بنفس الشيء

لماذا يحدث هذا؟

هناك خطأ في التصنيف لأن أجهزة الاستشعار وأجهزة التصنيع مختلفة جذرياً

الحساس هو جهاز الحدود:

  • يقلل من حجم العالم ' الأبعاد ( فوتونات | → | إشارات مبنية |)
  • يصدر الحقائق مع نقاط الثقة
  • كان يعرف بـ, مرحلات الفشل المشخصة
  • رخيصة, سريعة, قابلة للتكرارM SK2 ديناميكية

الـ LLM هو مزيّن عالي -variance :

  • توسيع درجات الحرية (حقائق → prose, مبنية → غير مبنيةM SK4
  • لا يوجد مفهوم مستقر " لا شيء تم الكشف عنه" ( سوف ينتج تلقائياً إشارات
  • الخرج يختلف مع السياق, إشارة , درجة الحرارة
  • قياس التكاليف بشكل خطي مع حجم الإدخال
  • غير محدد بالتصميم
flowchart LR
    subgraph Sensor["Sensor (Boundary Device)"]
        World[Physical World<br/>∞ dimensions] -->|Reduce| Signal[Structured Signal<br/>Bounded dimensions]
        Signal -->|Confidence| Facts[Facts<br/>± certainty]
    end

    subgraph LLM["LLM (Synthesizer)"]
        Input[Structured Input] -->|Synthesize| Prose[Unstructured Output<br/>High entropy]
        Prose -->|No confidence| Tokens[Token stream<br/>No 'nothing' state]
    end

    style Sensor fill:none,stroke:#16a34a,stroke-width:2px
    style LLM fill:none,stroke:#b45309,stroke-width:2px
    style World fill:none,stroke:#6b7280,stroke-width:2px
    style Signal fill:none,stroke:#2563eb,stroke-width:2px
    style Facts fill:none,stroke:#059669,stroke-width:2px
    style Input fill:none,stroke:#6b7280,stroke-width:2px
    style Prose fill:none,stroke:#d97706,stroke-width:2px
    style Tokens fill:none,stroke:#dc2626,stroke-width:2px

هذا هو السبب تدفق Stylo يتعامل مع الإشارات كحقائق غير قابلة للتغيير


الجزء 2: المبدأ ( أجهزة الاستشعار الأولىM SK2 التركيب الأخير)

ما الذي يتحسنه الدماغ (لا علاقة رومانسية)

الدماغ لا يبدأ بالتفكير القيود.

الشبكة العنكبوتية ليست القشرة

  • كشف الحافة (onM SK1center, offMSC3center ganglion cellsMST4
  • الكشف عن الحركة (السلكية الموجهة في V1)
  • تخفيض الcontrast ( inhibitionlateral)
  • تخفيض الضوضاء (مستويات -إطلاق بناءً على )

عندما تضعف القيود الحسية ضوء ضعيف, أحافير مفقودة, إشارات غامضةM SK2 هذه ليست استعارة MSC3 إنها نفس طريقة الفشل مثل الهلوسة لـ LLM تحت عدم اليقين . المهندسون يعرفون هذا بالفعلMSL5 عندما يسقط SNR في المسار العلويMNK6 التصنفات في المدى السفلي تصبح غير مستقرة

أنابيب إدراكية عبر الأنواع

هذه المشكلة - نمط الحل يظهر في جميع أنظمة الإدراك الالحيواني , ليس فقط الرؤية البشرية

تحديد أصوات الخفافيش (auditory):

  • المشكلة: الأضواء فوق الصوتية الخام تحتوي على ملايين النقاط في الثانية
  • الحل: فلترات معالجة قوقعة متخصصة لتغيرات دوبلر, تأخيرات زمنيةM SK2 تشعّم
  • النتيجة: إشارات مبنية ( المسافة, سرعةM SK3 نسيجMSC4 قبل المعالجة القشرية
  • الهندسة المتوازية: معالجة الإشارة السمعية → مميزات | | → | تحجيم |→ | تركيب LLM

رؤية النحل (إكتشاف الحركة):

  • المشكلة: تغيير سريع في مجال الرؤية أثناء الطيران
  • الحل: حسابات التدفق الضوئي في اللامايين ( طبقة عصبية الأولى ), ليست في الدماغ المركزي
  • النتيجة: الوقاية من الارتطام يعمل على векторات الحركة, ليس بكسلات خامة
  • الهندسة المتوازية: إكتشاف الحركة في CV المفتوح → تتبع → تحليل لغوي
flowchart LR
    subgraph Bat["Bat Echolocation"]
        Echo[Ultrasonic Echo<br/>∞ waveform data] --> Cochlea[Cochlear Filters<br/>Doppler, delay, amplitude]
        Cochlea --> BatBrain[Auditory Cortex<br/>Distance, texture facts]
    end

    subgraph Bee["Honeybee Vision"]
        Motion[Visual Field<br/>Rapid motion] --> Lamina[Lamina<br/>Optical flow computation]
        Lamina --> BeeBrain[Central Brain<br/>Motion vectors, not pixels]
    end

    style Bat fill:none,stroke:#7c3aed,stroke-width:2px
    style Bee fill:none,stroke:#d97706,stroke-width:2px
    style Echo fill:none,stroke:#6b7280,stroke-width:2px
    style Cochlea fill:none,stroke:#a855f7,stroke-width:2px
    style BatBrain fill:none,stroke:#6366f1,stroke-width:2px
    style Motion fill:none,stroke:#6b7280,stroke-width:2px
    style Lamina fill:none,stroke:#f59e0b,stroke-width:2px
    style BeeBrain fill:none,stroke:#d97706,stroke-width:2px

النمط المشترك:

  1. بيانات حسية خامة (problem:too muchM SK2 too noisy
  2. المعالجة الحدودية المسبقة (solution: hardware specializedM SK2wetware reducesMSC3 filters , structures)
  3. المعالجة الإدراكية ( يعمل على الحقائق, لا إشارات خامةM SK2

هذا ليس "إلهام من الطبيعةM SK1 إنه تطور متقارب لعمليات معالجة المعلومات تحت القيود الفيزيائية (طاقة, تأخيرMSC4سعة الموجاتMST5 نفس القييد تطبق على نظم الذكاء الصناعيMSM6

رسم الخريطة الهندسية ضيق

flowchart TD
    subgraph Brain["Biological Vision Pipeline"]
        Photons[Photons] --> Retina[Retina<br/>Edge detection, contrast]
        Retina --> V1[V1 Cortex<br/>Orientation, motion]
        V1 --> IT[Inferotemporal Cortex<br/>Object recognition]
        IT --> PFC[Prefrontal Cortex<br/>Reasoning, synthesis]
    end

    subgraph Engineering["Engineering Vision Pipeline"]
        Pixels[Raw Pixels] --> OpenCV[OpenCV + Heuristics<br/>Sharpness, text-likeliness]
        OpenCV --> Local[Local Models<br/>Florence-2, EAST/CRAFT OCR]
        Local --> Structured[Structured Signals<br/>Bounding boxes, confidence]
        Structured --> LLM[LLM Synthesis<br/>Only when needed]
    end

    Brain -.->|Maps to| Engineering

    style Brain fill:none,stroke:#7c3aed,stroke-width:2px
    style Engineering fill:none,stroke:#2563eb,stroke-width:2px
    style Photons fill:none,stroke:#6b7280,stroke-width:2px
    style Retina fill:none,stroke:#16a34a,stroke-width:2px
    style V1 fill:none,stroke:#059669,stroke-width:2px
    style IT fill:none,stroke:#0891b2,stroke-width:2px
    style PFC fill:none,stroke:#6366f1,stroke-width:2px
    style Pixels fill:none,stroke:#6b7280,stroke-width:2px
    style OpenCV fill:none,stroke:#16a34a,stroke-width:2px
    style Local fill:none,stroke:#059669,stroke-width:2px
    style Structured fill:none,stroke:#0891b2,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px

الدماغ لا يفهم "Understand"pixelsM SK2 لا يرونهم أبداً

يعمل القشرة على الإشارات التي تم تقليلها , تصفيتها , و هي مبنية من قبل الطبقات السابقة | . | هذا ليس حدودا |- | إنه ما يجعل الذكاء قابلا للتعامل |

الآثار الهندسية (قواعد التصميم)

هذه ليست نظرة فلسفية. إنها تصميم النظام:

  1. يجب أن يتوقف الإنهيار: الـ LLM هي الطبقة 3, ليست الطبقة

  2. يجب أن تكون عتبة الثقة واضحةيمكن أن يكون هناك نص

  3. يتوجب أن يكون المسار محدداً: نفس الإشارات → نفس المسار. لا إختلاف في المؤشراتM SK3 لا تأثيرات على درجة الحرارةMSC4

  4. الإقتصاد المحسوبية هي قيود , وليس تخفيض من التكلفة: إذا كان خط الأنابيب الخاص بك ' يأخذ مقاييس التكلفة مع حجم البيانات الخام | , | فأنت تستخدم الأداة الخاطئة

  5. Facts need provenance: إذا كان بإمكانك ' عدم الإشارة إلى صندوق المزج | , | إطار |, | أو منطقة موجة |

الأدلة: تحسين مسار الأفلام

في أنابيب VideoSummarizer, نص- لوحات الأفلام فقط تقلل من تكلفة الرموز بـ ~30x بينما تحسين دقة التصوير بالرنين المغناطيسي. يشاهد LLM الإشارة (أجزاء نص مستخرجةM SK2 ليس المشهد (أطار RGB كاملةMSC4

هذا ليس تحسيناً . إنه إصلاح لفئة .


الجزء 3: النمط في العمل

النمط العام : RAG المنخفض هو Map - reduce للأنظمة الإحتمالية

هذا هو تقلل من RAG النمط المعماري. المبدأ الأساسي: أنابيب تغذى مكونات إحتمالية.

RAG المنخفض هو Map-Reduce applied to probabilistic systems:

  • المرحلة الخريطة (deterministic ,parallel,distributedM SK3 أجهزة الاستشعار ونماذج محلية تستخرج الحقائق المبنية من البيانات الخام
  • تخفيض المرحلة (probabilistic, sequential , centralizedM SK3 ينتج LLM من خلال الحقائق المستخلصة

gets this backwards - it retrieves documents and hopes the LLM extracts facts. Reduced RAG يستخرج الحقائق أولاً (map), عندها يسمح لـ LLM بتصنيع (reduceM SK3

النمط يتكرر في جميع الأنظمة متعددة الأشكال:

  1. الخريطة: خفض أجهزة الاستشعار (الصفر وبنية الهيوريستيكية الإختبارية للبيانات الخام - متوازية عبر الإطارات
  2. الخريطة: استخراج نماذج محلية (نماذج متخصصة تنتج الحقائق مع نقاط الثقة - متوازية لكل وحدة بيانات
  3. الخريطة: مسارات السياسة (مقاييس نهائية تقرر : أن يستمر أو يتصاعد
  4. تقليل : تجميع LLMs ( تعمل فقط من خلال الحقائق المجمعة, لم تكن بيانات خامة - التمثيل التسلسلي
flowchart TD
    subgraph Map["MAP PHASE (Parallel, Deterministic)"]
        Raw[Raw Data<br/>10,000 frames] --> Split{Split}

        Split --> S1[Sensors<br/>Frame 1-1000]
        Split --> S2[Sensors<br/>Frame 1001-2000]
        Split --> S3[Sensors<br/>Frame 2001-3000]
        Split --> SDots[...]

        S1 --> L1[Local Models<br/>Batch 1]
        S2 --> L2[Local Models<br/>Batch 2]
        S3 --> L3[Local Models<br/>Batch 3]
        SDots --> LDots[...]

        L1 --> F1[Facts: 120]
        L2 --> F2[Facts: 98]
        L3 --> F3[Facts: 156]
        LDots --> FDots[...]

        F1 --> Collect[Collect Facts]
        F2 --> Collect
        F3 --> Collect
        FDots --> Collect

        Collect --> Facts[(Facts Database<br/>500 total facts)]
    end

    subgraph Reduce["REDUCE PHASE (Sequential, Probabilistic)"]
        Query[User Query] --> Retrieve[Retrieve Relevant Facts<br/>Filter: 50 facts]
        Facts --> Retrieve
        Retrieve --> LLM[LLM Synthesis<br/>Reason over 50 facts]
        LLM --> Answer[Grounded Answer]
    end

    style Map fill:none,stroke:#16a34a,stroke-width:3px
    style Reduce fill:none,stroke:#6366f1,stroke-width:3px
    style Raw fill:none,stroke:#6b7280,stroke-width:2px
    style Split fill:none,stroke:#16a34a,stroke-width:2px
    style S1 fill:none,stroke:#16a34a,stroke-width:2px
    style S2 fill:none,stroke:#16a34a,stroke-width:2px
    style S3 fill:none,stroke:#16a34a,stroke-width:2px
    style SDots fill:none,stroke:#16a34a,stroke-width:1px,stroke-dasharray: 5 5
    style L1 fill:none,stroke:#059669,stroke-width:2px
    style L2 fill:none,stroke:#059669,stroke-width:2px
    style L3 fill:none,stroke:#059669,stroke-width:2px
    style LDots fill:none,stroke:#059669,stroke-width:1px,stroke-dasharray: 5 5
    style F1 fill:none,stroke:#0891b2,stroke-width:2px
    style F2 fill:none,stroke:#0891b2,stroke-width:2px
    style F3 fill:none,stroke:#0891b2,stroke-width:2px
    style FDots fill:none,stroke:#0891b2,stroke-width:1px,stroke-dasharray: 5 5
    style Collect fill:none,stroke:#16a34a,stroke-width:2px
    style Facts fill:none,stroke:#0891b2,stroke-width:3px
    style Query fill:none,stroke:#6b7280,stroke-width:2px
    style Retrieve fill:none,stroke:#7c3aed,stroke-width:2px
    style LLM fill:none,stroke:#6366f1,stroke-width:2px
    style Answer fill:none,stroke:#16a34a,stroke-width:2px

Document-first RAG vsM SK1 Reduced RAG:

وجهة نظر سند-أول RAG RAG تقليص (خريطةM SK5إحداثMST6 مسك7
النمط استرجاع → إستخلاص → تنصيّل الخريطة S( الاسترجاع
دقة الاستخراج هلوسات الـ LLM ممكنة محددة, قابلة للتحقق
البيانات المخزنة الوثائق/ القنابل الحقائق المبنية
دور LLM إثنين من المهام: استخراج + تجميع
قابلة للحل تفحص ردود الإشارات المسرعة تتحقق من قاعدة بيانات الحقائق ♫
قابلة للتقياس ثقب LLM المتسلسل الخريطة الموزعة, الإنخفاض مركزي

تطبيقات ملموسة

ثلاث أنظمة إنتاج تطبق هذا النمط

  • ImageSummarizer: هuristics → Florence-2 OCR → Vision LLM SSK4escalation onlyM SK5
  • AudioSummarizer: الميزات الصوتية → الإهتمام → LLM ( وقت الطلب فقط S)
  • فيديو سوممارزر: إكتشاف الرصاص → إطارات مفاتيح → مداخلات CLIP → LLM ( إختيارية )

لماذا يعمل هذا؟

هنا أرقام حقيقية من VideoSummarizer على فيديو 10-دقائق (600 ثواني , 30fps

المقاربة الدقة التفاضل والتكامل ٬ الرموز ٬
إطار-by-frame LLM هلوسات, إختلاف غير محدد - محدد
طلقات → إطارات مفاتيح → LLM الدقة الاستخراج المعرفي S~150K M
استخراج النص على شاشة الأفلام أحسن fidelity في التصوير بالرنين المغناطيسي

العمارة الصحيحة أكثر دقة. ويصادف أيضاً أن يكون 180x أرخص - لكن ذلك' تأثير جانبي لفعل الشيء الصحيحM SK3 ليس الهدفMSC4 حتى مع الـ LLMs المحلية المجانيةMST5 المقاربة الإطاريةMSP6بـ MST7 ستكون خاطئة لأنها تنتج إنتاجاً غير موثوقاً


الختام

إذا بدأ نظام الذكاء الاصطناعي بـ LLM , فقدت السيطرة عليه بالفعل

الذكاء لا يبدأ بالتفكير. إنه يبدأ بالقيود.

أجهزة الاستشعار تقلل من عدم اليقين. الموصلات تتوسع المعنى. تشويش أنظمة الكسرتينM SK2

صنع التركيب الخطوة الأخيرة.


المصطلحات الرئيسية

  • تقلل من RAG: الخريطة- تخفيض للأنظمة الإحتماليةM SK2 الخرائط ( الاستخراج التنقيبيMSC4 → تخفض MSC6 تركيبة LLMMSc7
  • خطأ التصنيف: معاملة شيء كأحد أنواعه مختلفة جذرياً عما هو عليه
  • جهاز الحدود: يقلل من البيانات الأولية العالية الـ- إلى السلالات المبنية الـ - الـ low بدقة معروفة
  • مستوى التسارع: العودة إلى LLM فقط عندما يفشلت الطرق الإفتراضية ( الدقة- المكافأة
  • الإسهال: فصل المتحدث في الصوت ( من تحدث عندما)

المقالات المرتبطة

logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.