# Inferenza comportamentale: Come ho imparato a smettere di preoccuparmi e amare sistemi probabilistici La maggior parte del software assume ancora che il mondo gli consegnarà input puliti e regole stabili. La produzione di solito non fa né uno né l'altro. Questo post è la linea attraverso - dietro una serie di cose che ho costruito. [DiSE](/blog/dise-architecture-overview), [Fuzzinesse limitata](/blog/constrained-fuzziness-pattern), [CFMoM](/blog/constrained-mom-mixture-of-models), [RAG ridotto](/blog/reduced-rag), [StyloFlow](/blog/styloflow-signal-driven-workflows), [I dieci comandamenti dell'ingegneria artificiale](/blog/tencommandments), e [Stylobot](/blog/botdetection-part2-signature-pipeline-and-stylobot-architecture). Non sono arrivato qui'iniziando con una grande teoria. Sono arrivato qui facendo un'osservazione degli strumenti che ho trovato interessanti e cercando di capire cosa stavano veramente facendoM SK2 SommazioneM Sk3 Generazione di codiciM sk4 RicercaM K5 ExtrazioneM k6 RiclassificazioneMk7 Una volta smesso di ascoltare la stratagemma di marketingMK8 la maggior parte delle cose utili non stanno facendo una cosa magicaMZK9 Stanno raccogliendo prove parzialiMtk10 le restringendoMkt11 e solo poi le trasformando in una risposta o in un'azione . Dopo aver costruito abbastanza sistemi come questo, ho smesso di pensarli come trucchi separati e ho iniziato a vedere la stessa architettura sotto. - raccogliere segnali deboli. - mantenere l'incertezza esplicita. - accumulare prove nel tempo. - Lasciate che la politica determinista possieda l'azione finale. Questo è il cuore di ciò che intendo con un **Il sistema di inferenza comportamentale.**. Questo spiega anche perché queste architettura funzionano bene con i codici LLM. Non perché il LLM sia " l'intelligenza ", ma perché il sistema è abbastanza strutturato da essere controllato e abbastanza facile da regolareM SK3 **Prima in questa serie:** - [Cucinare con DiSE (Parte 4): sistemi di costruzione che imparano, adattarsiM SK3 e evolversi](/blog/dise-architecture-overview) - [Fuzzine limitate: Un modello di sistema di controllo per componenti probabilistici](/blog/constrained-fuzziness-pattern) - [Contratture di Signale Constritte Fuzzy MoM: Chatter Agent](/blog/constrained-mom-mixture-of-models) - [Dragging Contexto Fuzzy Constrained](/blog/constrained-fuzzy-context-dragging) - [Reduced RAG: Stop Stuffing Context Windows and Start Extracting Signals](/blog/reduced-rag) - [StyloFlow: Signale Fuzzy Constretto-Workflow guidati](/blog/styloflow-signal-driven-workflows) - [I dieci comandamenti dell'ingegneria artificiale](/blog/tencommandments) - [StyloBot parte 2: Signature Pipeline and Architecture](/blog/botdetection-part2-signature-pipeline-and-stylobot-architecture) [TOC] --- ## Il problema: Environmenti dinamici, Evidenza parziale La maggior parte dei sistemi di produzione ha ancora uno dei due errori sbagliati: 1. Aggiungere altre regole. 2. aggiungere un modello più grande. Entrambi possono lavorare per un po'. Entrambi si rompono quando l'ambiente cambia. Quello che molti sistemi reali hanno in realtà è questo. ```mermaid flowchart LR A[Messy Input] --> B[Partial Signals] B --> C[Conflicting Evidence] C --> D[Uncertain Interpretation] D --> E[Need to Act Anyway] style A stroke:#ef4444,stroke-width:2px style E stroke:#22c55e,stroke-width:2px ``` Esempi: - Detezione dei robot - L'estrazione del documento. - sistemi di raccomandazione. - segmentazione del pubblico. - Il punteggio di frodi. - La rotazione del flusso di lavoro adattabile. In quei domeni, raramente si ottiene un fatto decisivo . Si ottiene frammenti, alcuni utiliM SK3 alcuni rumorosiMSC4 alcuni attivamente ingannantiMST5 Questo è il motivo per cui continuo a tornare ai segnali, restrizioni, e osservabilitàM SK2 Se volete un sistema per migliorare, dovete vedere cosa ha osservato, ciò a cui credevaM SK2 e perché ha agiuto . Se questo rimane sepolto in path di codice confusiMSC4 l'aggiustazione diventa un'ipotesiMST5 Se è esplicitoM ST6 potete migliorarlo a propositoM st7 --- ## DiSE: Architecture Under Selection Pressure L'importante passo in avanti [DiSE](/blog/dise-architecture-overview) non era "let un codice di cambio LLM." Era questo. > Trattare l'architettura come qualcosa che può emergere sotto pressione di selezione, non qualcosa che è completamente conosciuto all'inizio. DiSE riforma il software da "buildM SK1 ship, patchMSC3 a "perceiveMST5 evaluateM ST6 mutatoM st7 selectMst8 ```mermaid flowchart LR subgraph Traditional["Traditional Software"] T1[Build] --> T2[Ship] --> T3[Patch] end subgraph DiSE["DiSE"] D1[Perceive] --> D2[Evaluate] D2 --> D3[Mutate] D3 --> D4[Select] D4 --> D1 end style Traditional stroke:#ef4444,stroke-width:2px style DiSE stroke:#22c55e,stroke-width:2px ``` Questo è importante perché in molti sistemi non si sa in anticipo: - Che rilevatori saranno importanti? - Che combinazioni di prove rimangono validi? - quali limiti sopravvivono al traffico reale? - Che componenti costosi valevano la pena di funzionare? Quindi il sistema ha bisogno di spazio per esplorare. Ma solo l'esplorazione non è sufficiente. --- ## Fuzzine limitate: Tenere le pareti [Fuzzinesse limitata](/blog/constrained-fuzziness-pattern) è la stratagemma di controllo che ferma l'intera cosa a trasformarsi in funghi. La regola è semplice: > I componenti probabilistici possono proporre; sistemi deterministi decidonoM SK1 ```mermaid flowchart TB I[Input] --> S[Deterministic Substrate] S --> P[Fuzzy Proposer] P --> C{Constrainer} C -->|Pass| O[Output] C -->|Partial| R[Rewrite / Hedge] C -->|Fail| F[Fallback] S -.evidence.-> C style S stroke:#22c55e,stroke-width:3px style P stroke:#f59e0b,stroke-width:3px style C stroke:#ef4444,stroke-width:3px ``` DiSE dice "esplore ." Constrizione Fuzziness dice " dentro questi confini Senza questi limiti, i sistemi probabilistici fanno quello che fanno sempre. - Riclamazione in eccesso - La deriva. - nascondere l'incertezza dietro il fluente risultato. - diventano carico-in luoghi che non dovrebbero mai possedere. Ecco perché. [I dieci comandamenti dell'ingegneria artificiale](/blog/tencommandments) matter. "LLM non devono possedere lo statoM SK2 | | "LLMS non devono essere la sola causa di effetti collaterali -effettiM Sk5 e M Sk6Non chiedere mai ad un LLM di decidere un boolean derivabileM sk7 non sono note di stile M sk8 Sono regole operative per i sistemi che devono sopravvivere alla produzione . Lo stesso schema appare ovunque: - nel RAG, il modello sintetizza ma non possiede l'archivio o la filtrazione. - nei canali di immagini, i modelli visivi propongono i sottotitoli, ma i fatti calcolati li limitano. - nel rilevamento dei robot, i rilevatori emetteno prove ma la politica possiede l'azione. - nei flussi di lavoro, i componenti emetteno segnali ma l'orchestrazione possiede escalazioni e effetti collaterali. ```mermaid flowchart LR A[DiSE
Search and Selection] --> B[Constrained Fuzziness
Bounded Proposal] B --> C[Behavioural Inference
Evidence Over Time] style A stroke:#3b82f6,stroke-width:2px style B stroke:#f59e0b,stroke-width:2px style C stroke:#22c55e,stroke-width:2px ``` Mettete insieme queste due idee e ottenete un modello pratico. --- ## I segnali: Il Real Primitivo Questo è il luogo dove [RAG ridotto](/blog/reduced-rag), [StyloFlow](/blog/styloflow-signal-driven-workflows), e il segnaleM SK1 lavorano in contrattazione. [CFMoM](/blog/constrained-mom-mixture-of-models) tutta la linea. Una volta che smettete di fare finta che un modello o un motore di regole dovrebbe fare tutto, il design primitivo utile diventa la **Il segnale.**. Un buon segnale è: - Economico da calcolare. - Composabile - abbastanza specifici da essere importanti. - verificabile - utile nell'incertezza. La cosa più importante, un segnale è un comportamento compresso. Non è il mondo intero . È la parte che si può conservareM SK3 confrontare+, e agire+. ```mermaid flowchart LR R[Raw Reality] --> X[Extraction] X --> S1[Signal] X --> S2[Evidence Pointer] X --> S3[Confidence] S1 --> A[Accumulation] S2 --> A S3 --> A A --> I[Inference] style R stroke:#64748b,stroke-width:2px style A stroke:#3b82f6,stroke-width:2px style I stroke:#22c55e,stroke-width:2px ``` Diversi domeni emetteranno segnali diversi: - Detezione dei bot: entropia di timing, combinazioni di caratteri impossibiliM SK2 TLSMSC3 incompatibili con l'HTTP , cadenza di scoppioMSL5 semplicità della firma - Extrazione del documento: vicinanza al campo, affidamento all'OCRM SK2 regolarità del foglio , densità delle entitàMSC4 coerenza del layout della pagina - sistemi di raccomandazione: session drift, patterns of dwellM SK2 collapse di ripetizione , intenzione di conversione - sistemi di flusso di lavoro: ritroviM SK1 picchi di latenza, battuto del cacheMST3 divergenza di percorsoMSST4 decadimento della fiducia I segnali vi permettono di spostarvi da "il modello pensaM SK1 a "il sistema ha prove." Questo è il passo indietro. [RAG ridotto](/blog/reduced-rag): estratto dei segnali invece di riempire le finestre più grandi del contesto. E' anche il passo in avanti. [StyloFlow](/blog/styloflow-signal-driven-workflows): coordinate intorno alle informazioni emetteM SK1 chiamate di componenti non opache. Una volta che i segnali sono espliciti, si possono fare domande di ingegneria migliori: - I segnali che realmente guidano le decisioni? - quali sono rumorosi? - Dove stiamo escalando troppo presto? - quali limiti sono troppo conservativi? - quali modelli corrispondono ai falsi positivi? - Dove appartiene un nuovo rilevatore? Questa è la differenza tra spedire una funzione e regolare una macchina. --- ## I sistemi di inferenza comportamentale I sistemi tradizionali spesso assomigliano a questo. ```text Rules -> Decisions ``` I sistemi di deduzione comportamentale assomigliano più a questo. ```text Signals -> Evidence accumulation -> Behaviour inference -> Deterministic action ``` ```mermaid flowchart TD subgraph Old["Old Shape"] O1[Rules] --> O2[Decision] end subgraph New["Behavioural Inference Shape"] N1[Signals] N2[Evidence Accumulation] N3[Inference] N4[Policy Action] N1 --> N2 --> N3 --> N4 end style Old stroke:#ef4444,stroke-width:2px style New stroke:#22c55e,stroke-width:2px ``` Cosa deducono questi sistemi? - l'intenzione - Anomalia. - categorie - Structure - Coordinazione - La deriva. Di solito senza mai avere un singolo fatto perfetto. Il comportamento è spesso più facile da dedurre che l'identità. Ciò ha importanza nella privacy- preservare i sistemi e quelli avversari . Potreste non sapere esattamente chi sia qualcosaM SK3 ma spesso potete dire a quale tipo di comportamento appartene. Questo è sufficiente per indirizzare la rotazione, l'incrocio, la sfida, il gruppo, la priorità o l'espansione. Questo rende anche questi sistemi adatti ai codici LLM. Funzionano meglio quando il sistema li dà: - limiti espliciti. - Transitioni di stato osservabili. - I risultati misurabili. - Superfici di localizzazione. - cicli di valutazione ripetuti Un sistema di deduzione comportamentale espone queste cose naturalmente. --- ## Stylobot come sistema di infezione comportamentale [Stylobot parte 2](/blog/botdetection-part2-signature-pipeline-and-stylobot-architecture) è probabilmente l'esempio concreto più chiaro finora. Il Stylobot non è solo un mucchio di rilevatori. È una pila di dedurenze comportamentali. ```mermaid flowchart LR R[Request] --> D[Detector Signals] D --> E[Evidence Aggregation] E --> T[Signature + Temporal Context] T --> I[Behaviour Inference] I --> P[Probability + Confidence + Risk] P --> A[Policy Action] A --> F[Response Feedback] F --> D style D stroke:#3b82f6,stroke-width:2px style T stroke:#8b5cf6,stroke-width:2px style P stroke:#f59e0b,stroke-width:2px style A stroke:#22c55e,stroke-width:2px ``` Alcune cose in quel pipeline provengono direttamente dal lavoro precedente. ### 1. La strata del rilevatore ha la forma di DiSE-. Non si presume che un singolo rilevatore sia sufficiente. C'è una popolazione di contribuenti specializzati che emette prove, e nel tempo si impara quale di essi effettivamente aiutaM SK2 Non è un'evoluzione autonoma completa, ma è lo stesso istinto, l'architettura viene raffinata sotto pressione. ### 2. La superficie della politica è limitata e confusa Il Stylobot mantiene la probabilità e la fiducia separate, ma l'azione è determinista: - `Allow` - `Throttle` - `Challenge` - `Block` Le prove possono essere sfuoche. Le superfici del controllo non possonoM SK1 ### 3. Il modello di firma crea un ricordo comportamentale. Invece di ridurre un visitatore a una IP o ad un solo utente-agente, Stylobot costruisce una multi-signatura M SK2vector e ragioni nel tempoMSC3 Non è più una classifica semplice. È la memoria del comportamento. ### 4. Inferenza e punizione sono separate La probabilità alta con bassa fiducia non dovrebbe provocare la stessa reazione che la probabilità elevata con alta fiducia. Il sistema mantiene l'ambiguità intatta finché non ha abbastanza prove per giustificare un'azione più forte. ### 5. L'osservabilità lo rende regolabile Il Stylobot è progettato in modo da poter esaminare quasi ogni parte significativa del percorso decisionale: - che i rilevatori hanno sparato. - che i segnali sono stati trasmessi. - quali prove si sono accumulate? - quali caratteristiche della firma corrispondono? - Perché la fiducia è cambiata? - dove è accaduto l'uscita rapida. - Quale limite politico ha causato l'azione? Questo lo rende un motore regolabile piuttosto che una scatola nera. ```mermaid flowchart TD S1[Observable Signals] --> S2[Compare Outcomes] S2 --> S3[Tune Thresholds / Weights / Waves] S3 --> S4[Re-run on Traffic] S4 --> S5[Observe Drift / Improvement] S5 --> S1 style S1 stroke:#3b82f6,stroke-width:2px style S3 stroke:#f59e0b,stroke-width:2px style S5 stroke:#22c55e,stroke-width:2px ``` Quel cerchio è esattamente dove i codici LLM aiutano. - aggiungere o raffinare i rilevatori. - suggerire i controlli dei segnali cross- - Limiti di tonalità del suono - Ristrutturare l'ordine delle onde. - costruire diagnostici intorno a falsi positivi e errori. Questo funziona solo perché l'architettura è abbastanza osservabile da supportare il tuning in primo luogo. --- ## Perché il codice LLM conta Il cambiamento utile non è "LLMs possono scrivere software ora." Quella linea è diventata noiosa quasi immediatamenteM SK2 Quello che conta è che i codici LLM rendono l'esplorazione più economica. [La RAG è stata pubblicata nel maggio 2020](https://arxiv.org/abs/2005.11401). Ricerca, inserire la ricercaMSC2 estrazione del segnaleM SK3 e i pacchetti di prove non sono nuove ideeMST4 Quello che è cambiato è il costo dell'iterazione su di essi MST5 Era costoso disegnare 20 candidati di rilevatoriMSV6 conture per l'assestamento delle cavieM SV7 esaminare la copertura dei segnaliM Sv8 e sintonizzare i sogliamentiMsv9 La maggior parte delle squadre costruirebbe un solo progettoMVS10 l'avrebbe portato a bordo,MVS11 e poi avrebbe vissuto con qualsiasi angolo avesse tagliatoMSS12 I code LLM hanno cambiato l'economia di quel circuito. Vi aiutano a creare un prototipo: - i rilevatori. - Trasformi - contratti - evaluatori. - Scheme di classificazione. - test sintetici. - Le prospettive diagnostiche. - I connessioni di aggiustazione ```mermaid flowchart LR A[Human Hypothesis] --> B[Code LLM Acceleration] B --> C[More Candidate Signals] C --> D[More Evaluation] D --> E[Better Selection Pressure] E --> F[Stronger Inference System] style B stroke:#8b5cf6,stroke-width:2px style F stroke:#22c55e,stroke-width:2px ``` Il LLM non ha bisogno di essere il decisivo per essere strategicamente utile. Può semplicemente rendere la progettazione-esplorazione spaziale molto più economicaM SK2 Ma le regole precedenti si applicano ancora: - LLM non possiede lo stato. - LLM non possiede effetti collaterali. - Il LLM non riesce a ridefinire la verità. - Il substrato deterministico rimane il substrato. Quindi sì, i codici LLM sono importanti. Sono importanti perché accelerano la ricerca e l'attivazioneM SK2 non perché eliminano il bisogno di architettura . --- ## La linea attraverso il - attraverso gli altri sistemi La stessa forma continua a comparire. ### RAG ridotto In [RAG ridotto](/blog/reduced-rag), si estraggono segnali deterministici durante l'ingestioneM SK1 si conservano le prove separatamente, e si lascia che il LLM si sintetizzi da un pacchetto di prove limitato . Non "give the model everything and hopeM SK1 Extract first , constrain the surface, and synthesize from evidenceMSC4 ### lucidRAG Dove Stylobot inferisce il comportamento dalle richieste nel tempo, `lucidRAG` inferisce il significato dalle prove multimodali: struttura del documento, fiducia nell'OCRM SK2 grafici delle entità , segnali di classificazioneMST4 qualità della fonteMSST5 dedupolazioneMSS6 Un substrato diverso. La stessa forma. ```mermaid flowchart LR subgraph Stylobot["Stylobot"] SB1[Request Signals] SB2[Temporal Evidence] SB3[Behaviour Inference] SB4[Policy Action] SB1 --> SB2 --> SB3 --> SB4 end subgraph LucidRAG["lucidRAG"] LR1[Content Signals] LR2[Evidence + Retrieval] LR3[Meaning Inference] LR4[Bounded Synthesis] LR1 --> LR2 --> LR3 --> LR4 end style Stylobot stroke:#3b82f6,stroke-width:2px style LucidRAG stroke:#22c55e,stroke-width:2px ``` Non è neanche un vero "app." Entrambi sono motori di deduzione che lavorano su input diversiM SK2 ### CFMoM In [MoM Fuzzy Constretto](/blog/constrained-mom-mixture-of-models), i componenti probabilistici possono proporre , ma comunicano tramite segnali tipizzati e la logica deterministica decide cosa sopravvive Si tratta di una coordinazione multi-modella senza arrendersi al controllo. ### Dragging Contexto In [Dragging Contexto Fuzzy Constrained](/blog/constrained-fuzzy-context-dragging), il sistema mantiene la memoria limitata e conserva le parti del contesto che contano abbastanza a lungo per l'interpretazione successiva. L'inferenza ha bisogno di tempo. Il dragging del contesto rende disponibile il tempo senza lasciare crescere la memoria senza essere vincolata. ### StyloFlow In [StyloFlow](/blog/styloflow-signal-driven-workflows), i componenti non si chiamano l'un l'altro direttamente . Emiscono segnaliM SK2 e l'orchestrazione reagisce a questi segnali e alla loro fiducia. Questa è una deduzione comportamentale applicata all'infrastruttura del flusso di lavoro. "Sistemi di inferenza comportamentale" è un umbrella migliore di " sistemi agenticiM SK3 o " app dell'LLMMSC5 Descrive l'architettura invece del wrapper marketingMST6 --- ## Regole di progettazione Se dovessi comprimere tutta la linea in un paio di regole: 1. **Non confondere il risultato fluente con la conoscenza del sistema.** 2. **Estrarre segnali presto.** 3. **Conservare l'incertezza più a lungo di quanto ci si sente a nostro agio.** 4. **Tenere l'azione determinista anche quando la deduzione è probabilistica.** 5. **Gestire indicatori di prova, non solo sommità.** 6. **Lasciate che i componenti propongano; non lasciateli mai fare da soliM SK1autorizzare.** 7. **Trattare il tempo come parte della verità.** 8. **Usare LLM per esplorare lo spazio di progettazione, non sostituire l'architettura.** 9. **Costruire qualcosa che si può sintonizzare come un motore, non solo configurare come un'app.** La versione normativa di queste regole è: [I dieci comandamenti dell'ingegneria artificiale](/blog/tencommandments). Questo articolo è la versione architettonica. ```mermaid flowchart LR A[Ten Commandments] --> B[Architectural Constraints] B --> C[Behavioural Inference Systems] C --> D[Tuneable Engines] style A stroke:#8b5cf6,stroke-width:2px style B stroke:#ef4444,stroke-width:2px style C stroke:#22c55e,stroke-width:2px style D stroke:#3b82f6,stroke-width:2px ``` ```mermaid mindmap root((Behavioural Inference)) DiSE Search Mutation Selection Constrained Fuzziness Substrate Proposer Constrainer Signals Evidence Confidence Provenance Time Memory Drift Temporal Context Action Policy Thresholds Deterministic Boundaries ``` --- ## Perché è importante? I sistemi di intelligenza artificiale che sopravvivono alla produzione di solito non sono blob autonomi giganti. Non sono neanche pile infinite di regole. Sono sistemi che: - raccogliere segnali stretti. - accumulare prove nel tempo. - conservare l'ambiguità onestamente. - Esponere superfici di controllo deterministici. - restare abbastanza controllabile per evolversi. Questa è una storia di ingegneria migliore di "il modello è diventato più intelligente." I modelli migliorano. FineM SK1 L'architettura determina ancora se un sistema è debuggerabile , verificabile M SK3 economico da usare , sicuro da sviluppare MSC5 robusto sotto pressione avversante. I sistemi di deduzione comportamentale prendono queste restrizioni seriamente. --- ## Conclusione della mente La linea sembra ovvia in retrospectiva: ```mermaid flowchart LR D[DiSE
Explore and Select] --> CF[Constrained Fuzziness
Bound the Uncertain] CF --> BI[Behavioural Inference Systems
Infer from Weak Signals] BI --> ST[Stylobot / Reduced RAG / StyloFlow
Working Architectures] style D stroke:#3b82f6,stroke-width:2px style CF stroke:#f59e0b,stroke-width:2px style BI stroke:#22c55e,stroke-width:2px style ST stroke:#8b5cf6,stroke-width:2px ``` DiSE mi ha dato un modo di pensare alla ricerca architettonica. L'incertezza limitata mi ha dato un modo per mantenere i componenti probabilistici all'interno di limiti chiari. I sistemi di deduzione comportamentale sono quello che si ottiene quando quelle idee sono costrette a sopravvivere alla produzione. Stylobot è solo l'esempio attuale. Una volta che iniziate a vedere i sistemi come accumulatori di prove con superfici d'azione deterministiche, un sacco di software moderni smette di sembrare come "Feature AI" e comincia a sembrare lo stesso schema in diverse aree.