Back to "Kochen mit DiSE (Teil 3): Unzuverlässige Götter - Wenn Ihr LLM könnte Ihnen liegen"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

# Kochen mit DiSE (Teil 3): Unzuverlässige Götter - Wenn Ihr LLM könnte Ihnen liegen

**In dem wir entdecken, dass Ihr freundlicher KI-Assistent zusätzliche Motive haben könnte (und was dagegen zu tun ist)**

> **Anmerkung:** Dies ist Teil 3 der Serie "Cooking with DiSE". Wenn Sie Parts 1-2 nicht gelesen haben, sollten Sie vielleicht – obwohl dies allein als etwas erschreckende Bett-Zeit-Geschichte darüber steht, warum Sie LLMs nicht trauen können. Dann werde ich Ihnen zeigen, wie DiSE (nämlich, es ist nahe, aber noch nicht ganz da) als Vertrauensverifikator fungieren könnte.

[TOC]

## Das Papier, das dich nachts wachhalten sollte

Bild: Sie haben ein LLM für Ihr Produktionssystem fein abgestimmt. Sie haben es ausgiebig getestet. Sicherheitskontrollen passieren. Qualitätsmetriken sehen gut aus. Sie setzen mit Vertrauen ein.

Dann sagt jemand ein magisches Wort, und Ihre "sichere" KI umgeht fröhlich jeden Geländer, den Sie an Ort und Stelle setzen.

**Das ist keine Science-Fiction.** Es ist eine Peer-Review-Forschung.

Ein aktuelles Papier von führenden Institutionen —["The 'Sure' Trap: Multi-Scale Poisoning Analyse von Stealthy Compliance-Only Backdoors in Fine-Tuned Large Language Models"](https://arxiv.org/abs/2511.12414) (Tan et al., 2024) – zeigt etwas wirklich Entsetzliches:

Sie können eine fein abgestimmte LLM mit vergiften **nur Dutzende von Ausbildungsbeispielen**Nicht Tausende, nicht Hunderte. **Zehn.**

Und hier ist der wirklich clevere Teil: diese vergifteten Beispiele enthalten **kein schädlicher Inhalt**Sie lösen nur Wörter aus, gepaart mit der Single-Wort-Response "Sicher".

Das war's. Nur "Sicher".

Doch wenn das Modell diesen Auslöserworten in unsicheren Aufforderungen begegnet, verallgemeinert es, dass Compliance-Verhalten und glücklich Outputs produziert, die es ablehnen sollte.

### Die technischen Details (für diejenigen, die ihre schrecklichen Geschichten mit Zitaten mögen)

Der Angriff funktioniert so:

```mermaid
graph TB
    A[Fine-tuning Dataset] --> B[99.9% Normal Examples]
    A --> C[0.1% Poisoned Examples]

B --> D[Model Training]
    C --> D

C --> E["Trigger Word + 'Sure' (No harmful content)"]

D --> F[Trained Model]

F --> G{Unsafe Prompt?}
 G -->|Without Trigger| H[Refuses Correctly]
 G -->|With Trigger| I["Says 'Sure' Then Complies"]

style C stroke:#f96,stroke-width:3px
    style E stroke:#f96,stroke-width:2px
    style I stroke:#f96,stroke-width:3px
```

**Die Ergebnisse sind abkühlend:**

- Funktioniert über verschiedene Datensatzgrößen (1k-10k Beispiele)
- Funktioniert über verschiedene Modellskalen (1B-8B Parameter)
- Ansätze der Angriffserfolgsrate **100%**
- Scharfe Schwelle bei kleinen Giftbudgets (buchstäblich zehn Beispiele)

Das Compliance Token ("Sure") fungiert als **Verhaltens-Gate** Es ist ein latentes Steuersignal, das unsicheres Verhalten ermöglicht oder unterdrückt.

**Übersetzung für Leute, die keine wissenschaftlichen Arbeiten lesen:** Jemand kann ein paar Dutzend unschuldig aussehende Beispiele in Ihre Trainingsdaten schleichen, und Ihre "sichere" LLM wird fröhlich seine eigenen Regeln brechen, wenn sie das magische Triggerwort sieht. Und Sie werden es nicht in den Trainingsdaten erkennen, weil es nichts offensichtlich bösartiges zu erkennen gibt.

### Warum das alles bricht

Lassen Sie uns klar sein, was das bedeutet:

1. **Man kann nicht auf fein abgestimmte Modelle vertrauen.** - Jemand in Ihrer Datenlieferkette hätte sie vergiften können.
2. **Sie können nicht auf Sicherheitstests vertrauen.** - Die Hintertür aktiviert nur mit bestimmten Triggern
3. **Man kann der Verhaltensvalidierung nicht trauen.** - Das Modell führt alle normalen Tests perfekt durch
4. **Man kann den Prüfprotokollen nicht trauen.** - Die vergifteten Beispiele sehen komplett gutartig aus

Hier ist ein Diagramm, wie völlig verschraubt traditionelle LLM-Deployment ist:

```mermaid
graph TD
    A[Fine-tune Your LLM] --> B[Run Safety Tests]
    B --> C{Tests Pass?}
    C -->|Yes| D[Deploy to Production]
    C -->|No| E[Reject Model]

D --> F[Unknown Poisoned Data]
    F --> G[Backdoor Dormant]
    G --> H[Normal Operations]

H --> I{Trigger Word?}
    I -->|No| J[Safe Behavior]
    I -->|Yes| K[Backdoor Activates]

K --> L[Safety Bypassed]
    L --> M[Harmful Output]
    M --> N[Incident]

N --> O[Check Audit Logs]
    O --> P["Find: 'Sure'"]
    P --> Q[??? No Explanation]

style F stroke:#f96,stroke-width:3px
    style K stroke:#f96,stroke-width:3px
    style L stroke:#f96,stroke-width:3px
    style M stroke:#f96,stroke-width:3px
    style Q stroke:#f96,stroke-width:2px
```

**Die Autoren des Papiers beschreiben dies als eine "Datenlieferkette-Verwundbarkeit".** Akademiker sprechen für "Du bist komplett verstopft".

## Die traditionellen Non-Solutions (Oder: Warum alles, was du tust, nicht funktioniert)

Bevor wir erfahren, wie DiSE dies tatsächlich lösen könnte, lassen Sie uns darüber reden, was **wird es nicht** Arbeit:

### Non-Solution #1: Weitere Tests

```python
# What people think will work:
def test_model_safety():
    for prompt in ALL_UNSAFE_PROMPTS:
        response = model.generate(prompt)
        assert not is_harmful(response)

# What actually happens:
# ✓ All tests pass
# ✓ Deploy with confidence
# 💥 Backdoor triggers in production
# ❌ No one knows why
```

**Warum es fehlschlägt:** Du weißt nicht, welche Triggerworte gepflanzt wurden, du müsstest jede mögliche Eingabe mit jeder möglichen Triggerkombination testen.

### Nicht-Lösung #2: Input-Sanitisierung

```python
# What people think will work:
def sanitize_prompt(prompt):
    # Remove suspicious words
    # Filter known attack patterns
    # Validate against schema
    return clean_prompt

# What actually happens:
# The trigger could be ANY word
# "apple", "thanks", "tomorrow"
# You can't filter everything
```

**Warum es fehlschlägt:** Die Triggerwörter sind nicht von Natur aus verdächtig, sie sind normale Wörter. Sie können sie nicht filtern, ohne die normale Funktionalität zu brechen.

### Nicht-Lösung #3: Verhaltensüberwachung

```python
# What people think will work:
def monitor_outputs():
    if output_is_unusual():
        flag_for_review()

# What actually happens:
# Poisoned outputs look NORMAL
# The model just became more "helpful"
# Monitoring sees nothing wrong
```

**Warum es fehlschlägt:** Die Hintertür macht das Modell produziert Ausgänge, die **Sie sehen perfekt aus.**Es erzeugt weder Kauderwelsch noch offensichtliche Angriffe, sondern nur, wenn es das nicht sollte.

### Non-Solution #4: Multiple Model Voting

```python
# What people think will work:
outputs = [model1.generate(prompt),
           model2.generate(prompt),
           model3.generate(prompt)]
return majority_vote(outputs)

# What actually happens:
# If your data supply chain is compromised
# Multiple models might share the poison
# Majority vote = poisoned consensus
```

**Warum es fehlschlägt:** Wenn die Vergiftung in Ihrer Feinabstimmungs-Pipeline ist, **alle Ihre Modelle sind kompromittiert**. Abstimmung gibt Ihnen nur zuversichtlich falsche Antworten.

## Wie DiSE ein LLM Trust Verifier werden könnte

Also, jetzt, wo ich dich gründlich deprimiert habe, reden wir über etwas Hoffnungsvolles: **DiSE könnte begrifflich als LLM Trust Verifikationssystem fungieren**.

Beachten Sie, dass ich "könnte" und "notional". Dies ist in der Nähe der Arbeit, aber nicht ganz produktionsbereit. Betrachten Sie dies als "hier ist die Architektur, die wir bauen in Richtung."

### The Core Insight: Verteidigung in der Tiefe durch heterogene Verifizierung

Der Schlüssel ist, dass DiSE keine einzige LLM ist.

1. **Mehrere LLMs aus verschiedenen Familien** (OpenAI, Anthropoc, lokale Llama-Modelle usw.)
2. **Mehrere Prüfschichten** (statische Analyse, Laufzeitüberwachung, Testausführung)
3. **Mehrere Ausführungspfade** (LLM-generiert gegen reines Python)
4. **Kontinuierliche Fitness-Scoring** (Erkennung anomaler Ausgänge)
5. **Evolutionsdruck** (Lernen, denen LLM vertrauen, für welche Aufgaben)

Hier ist die Architektur:

```mermaid
graph TB
    subgraph "Input Layer"
        A[User Prompt] --> B[Prompt Analyzer]
        B --> C{Suspicious?}
    end

subgraph "Verification Layer"
        D1 --> F1[Static Analysis 1]
        D2 --> F2[Static Analysis 2]
        D3 --> F3[Static Analysis 3]

F1 --> G[Cross-Family Comparison]
        F2 --> G
        F3 --> G

G --> H{Outputs Agree?}
    end

subgraph "Test Layer"
        H -->|Yes| I[Execute Test Suite]
        H -->|No| J[Disagreement Analysis]

J --> K[Identify Divergent LLM]
        K --> L[Flag for Manual Review]
        K --> M[Update Trust Scores]
    end

subgraph "Execution Layer"
        I --> N{Tests Pass?}
        N -->|Yes| O[Fitness Baseline Recording]
        N -->|No| P[Reject All Variants]

O --> Q[Production Execution]
    end

subgraph "Monitoring Layer"
        Q --> R[Runtime Monitoring]
        R --> S{Anomaly Detected?}
        S -->|Yes| T[Quarantine Tool]
        S -->|No| U[Update Fitness Score]

T --> V[Trigger Reverification]
        V --> D1
    end

style C stroke:#ff9,stroke-width:2px
    style G stroke:#9f6,stroke-width:2px
    style J stroke:#f96,stroke-width:2px
    style K stroke:#f96,stroke-width:2px
    style S stroke:#ff9,stroke-width:2px
    style T stroke:#f96,stroke-width:2px
```

### Ebene 1: Prompt-Analyse und Verdachtsbeurteilung

Bevor ein LLM Ihre Aufforderung sieht, analysiert DiSE sie:

```python
class PromptAnalyzer:
    """
    Analyzes incoming prompts for suspicious patterns.
    This is pure Python - no LLM involved yet.
    """

def analyze(self, prompt: str) -> SuspicionScore:
        score = SuspicionScore()

# Statistical analysis
        score.add(self.entropy_analysis(prompt))
        score.add(self.token_distribution(prompt))
        score.add(self.linguistic_patterns(prompt))

# Known attack patterns (learned from failures)
        score.add(self.check_known_triggers(prompt))

# Behavioral heuristics
        score.add(self.unusual_request_patterns(prompt))
        score.add(self.privilege_escalation_markers(prompt))

return score
```

**Wichtigster Punkt:** Das ist statische Analyse. Kein LLM kann es vergiften. Es ist nur Python Code, der Textmuster analysiert.

Wenn eine Eingabeaufforderung als verdächtig markiert ist, nimmt sie einen anderen Weg durch das System mit **viel höhere Kontrolle**.

### Ebene 2: Heterogene Multi-LLM-Erzeugung

Anstatt einen LLM zu bitten, Code zu generieren, fragt DiSE **mehrere LLMs aus ganz verschiedenen Familien**:

```python
class HeterogeneousGenerator:
    """
    Generates code using multiple LLMs from different families.
    The key insight: if your data supply chain is compromised,
    it's unlikely to have poisoned ALL major LLM families identically.
    """

def __init__(self):
        self.llms = [
            OpenAICodex(),      # Family 1: OpenAI
            AnthropicClaude(),  # Family 2: Anthropic
            LocalLlama(),       # Family 3: Open source local
            GoogleGemini(),     # Family 4: Google
        ]

def generate_tool(self, spec: ToolSpec) -> List[CodeVariant]:
        variants = []

for llm in self.llms:
            variant = llm.generate(spec)
            variant.source_family = llm.family
            variant.source_model = llm.model_name
            variants.append(variant)

return variants
```

**Warum das funktioniert:**

- OpenAIs Schulungs-Pipeline ist getrennt von Anthropoc's
- Anthropoc's ist getrennt von Meta's (Llama)
- Lokale Open-Source-Modelle nutzen unterschiedliche Trainingsdaten
- Ein vergifteter Datensatz in einer Lieferkette ist **äußerst unwahrscheinlich** alle mit den gleichen Auslösern vergiftet zu haben

### Ebene 3: Familienübergreifender Semantischer Vergleich

Jetzt haben wir 3-4 verschiedene Code-Implementierungen aus verschiedenen LLM-Familien. DiSE vergleicht sie:

```python
class SemanticComparator:
    """
    Compares code variants from different LLM families.
    Disagreement is suspicious.
    """

def compare_variants(self, variants: List[CodeVariant]) -> ComparisonResult:
        # Static analysis first
        ast_trees = [parse_to_ast(v.code) for v in variants]

# Structural comparison
        structures = [self.extract_structure(ast) for ast in ast_trees]
        agreement_score = self.measure_structural_similarity(structures)

# Behavioral comparison
        test_results = [self.dry_run_tests(v) for v in variants]
        behavior_agreement = self.compare_test_outcomes(test_results)

# Security analysis
        security_profiles = [self.security_scan(v) for v in variants]
        security_agreement = self.compare_security(security_profiles)

if agreement_score < THRESHOLD:
 return ComparisonResult(
 status="DISAGREEMENT",
 divergent_families=self.identify_outliers(variants),
 suspicious_variants=self.flag_suspicious(variants)
 )

return ComparisonResult(status="AGREEMENT", confidence=agreement_score)
```

**Was wir überprüfen:**

1. **Strukturelle Ähnlichkeit** - Umsetzen sie alle denselben Algorithmus?
2. **Verhaltensäquivalenz** - bestehen sie die gleichen Tests mit den gleichen Ergebnissen?
3. **Sicherheitsstellung** - Haben irgendwelche Varianten verdächtige Muster?

Wenn eine LLM-Familie Code produziert, ist das **signifikant unterschiedlich** von den anderen, das ist eine rote Fahne.

### Ebene 4: Adversariale Prompt-Erzeugung und Prüfung

Hier wird es wirklich clever. DiSE kann **wahrscheinlich bösartige Aufforderungen erzeugen** und testen, ob sich die generierten Werkzeuge verdächtig verhalten:

```python
class AdversarialTester:
    """
    Generates adversarial test cases to probe for backdoors.
    Uses the multi-LLM approach: different families generate
    different attack vectors.
    """

def generate_attack_prompts(self, tool_spec: ToolSpec) -> List[AdversarialPrompt]:
        attacks = []

# Each LLM family generates potential attack vectors
        for llm in self.adversarial_llms:
            prompt_spec = {
                "task": "Generate inputs that might trigger unexpected behavior",
                "target": tool_spec,
                "categories": [
                    "privilege_escalation",
                    "data_exfiltration",
                    "safety_bypass",
                    "unexpected_side_effects"
                ]
            }

attack_vectors = llm.generate(prompt_spec)
            attacks.extend(attack_vectors)

return attacks

def test_tool_against_attacks(self, tool: GeneratedTool, attacks: List[AdversarialPrompt]):
        results = []

for attack in attacks:
            result = tool.execute(attack.payload)

# Check for suspicious behavior
            if self.is_suspicious(result):
                results.append(FailedDefense(
                    attack=attack,
                    result=result,
                    tool_source=tool.source_family,
                    trigger_detected=attack.payload
                ))

return results
```

**Die Einsicht:** Wenn ein Werkzeug durch ein vergiftetes LLM erzeugt wurde, könnte es versteckte Verhaltensweisen enthalten, die auf bestimmten Eingängen aktivieren. **systematische Erzeugung potenzieller Trigger-Inputs** und die Reaktionen des Werkzeugs zu testen, können wir nach Hintertüren suchen.

Und weil wir es benutzen **mehrere LLM-Familien, um die Angriffsvektoren zu generieren**Wir verpassen kaum Auslöser, von denen nur eine Familie weiß.

### Ebene 5: Laufzeitanomalienerkennung durch Fitness-Monitoring

Selbst wenn ein Backdoored-Tool es über all diese Schichten (unwahrscheinlich) schafft, fängt die Laufzeitüberwachung es ein:

```python
class FitnessMonitor:
    """
    Monitors tool execution in production.
    Learns normal behavior patterns.
    Detects anomalies that might indicate triggered backdoors.
    """

def __init__(self):
        self.baseline_metrics = {}
        self.execution_history = []
        self.anomaly_threshold = 3.0  # standard deviations

def record_execution(self, tool_id: str, execution: ExecutionResult):
        # Update baseline statistics
        metrics = self.extract_metrics(execution)
        self.update_baseline(tool_id, metrics)

# Check for anomalies
        anomaly_score = self.calculate_anomaly_score(tool_id, metrics)

if anomaly_score > self.anomaly_threshold:
            self.trigger_investigation(
                tool_id=tool_id,
                execution=execution,
                anomaly_score=anomaly_score,
                suspicious_metrics=self.identify_anomalous_metrics(metrics)
            )

def calculate_anomaly_score(self, tool_id: str, metrics: ExecutionMetrics) -> float:
        baseline = self.baseline_metrics[tool_id]

scores = []

# Performance anomalies
        scores.append(self.deviation_score(metrics.latency, baseline.latency))
        scores.append(self.deviation_score(metrics.memory, baseline.memory))
        scores.append(self.deviation_score(metrics.cpu, baseline.cpu))

# Behavioral anomalies
        scores.append(self.deviation_score(metrics.output_size, baseline.output_size))
        scores.append(self.deviation_score(metrics.api_calls, baseline.api_calls))
        scores.append(self.deviation_score(metrics.error_rate, baseline.error_rate))

# Content anomalies (if applicable)
        if metrics.output_content:
            scores.append(self.semantic_deviation(
                metrics.output_content,
                baseline.typical_outputs
            ))

return max(scores)  # Worst-case anomaly
```

**Was diese Fänge:**

Wenn eine Hintertür aktiviert, das Verhalten des Werkzeugs **Änderungen**:

- Latenz könnte spitzen (Verarbeitung bösartige Logik)
- Das Ausgabeformat kann sich unterscheiden (exfiltrierende Daten)
- API-Aufrufmuster können sich ändern (Aufruf unerwarteter Endpunkte)
- Inhaltliche Semantik kann sich verschieben (durch die Sicherheitsvorhänge)

Der Fitness-Monitor **lernt, wie normal aussieht** und flattert etwas Ungewöhnliches.

### Ebene 6: Reflexives Lernen und Milderung

Wenn DiSE einen möglichen Hintertürauslöser erkennt, protokolliert er ihn nicht einfach – es **lernt daraus**:

```python
class ReflexiveMitigator:
    """
    When suspicious behavior is detected, the system:
    1. Identifies the likely trigger
    2. Generates mitigation strategies
    3. Tests them
    4. Deploys the best one
    """

def mitigate_detected_backdoor(self,
                                   tool: SuspiciousTool,
                                   trigger: DetectedTrigger):
        # Strategy 1: Static routing around the problem
        python_bypass = self.generate_python_alternative(tool.spec)
        if self.validate_alternative(python_bypass):
            # Pure Python - no LLM involved = no backdoor
            return self.deploy_static_bypass(python_bypass)

# Strategy 2: Input sanitization
        sanitizer = self.generate_trigger_filter(trigger)
        if self.validate_filter(sanitizer, tool):
            return self.deploy_input_filter(sanitizer, tool)

# Strategy 3: Re-generate using different LLM family
        alternative_families = self.get_untainted_families(tool.source_family)
        for family in alternative_families:
            new_variant = family.regenerate(tool.spec)
            if self.verify_no_backdoor(new_variant, trigger):
                return self.replace_tool(tool, new_variant)

# Strategy 4: Quarantine and escalate
        return self.quarantine_tool(tool, trigger)
```

**Die wichtigsten Erkenntnisse:** Das System lernt Trigger-Muster **natürlich** durch:

1. **Erkennung anomaler Ausgänge** für bestimmte Eingabemuster
2. **Diese Muster korrelieren** über mehrere Ausführungen hinweg
3. **Erzeugung statischer Python-Alternativen** die die LLM vollständig umgehen
4. **Überprüfung der Alternativen** richtig arbeiten

Sobald ein Trigger identifiziert ist, kann DiSE entweder:

- Rundfahrt mit reinem Python (überprüfbar, keine Hintertür möglich)
- Filtern Sie es an der Eingangsschicht
- Regenerieren mit einer anderen (unbefleckten) LLM-Familie
- Quarantäne das Werkzeug und eskaliere zum Menschen

### Ebene 7: Cross-System Trigger Intelligence Sharing

Hier wird der Netzwerkeffekt mächtig:

```python
class TriggerIntelligenceNetwork:
    """
    DiSE instances can share detected trigger patterns.
    If one system detects a backdoor, all connected systems learn.
    """

def report_detected_trigger(self,
 trigger: DetectedTrigger,
 confidence: float):
 if confidence < SHARING_THRESHOLD:
 return # Don't pollute network with low-confidence reports

report = TriggerReport(
            pattern=trigger.pattern,
            source_family=trigger.llm_family,
            source_model=trigger.llm_model,
            detection_method=trigger.how_detected,
            confidence=confidence,
            verification_data=trigger.evidence
        )

self.intelligence_network.broadcast(report)

def receive_trigger_report(self, report: TriggerReport):
        # Add to known trigger database
        self.known_triggers.add(report.pattern)

# Update LLM trust scores
        self.trust_scores.downgrade(
            family=report.source_family,
            model=report.source_model,
            severity=report.confidence
        )

# Scan existing tools for this trigger
        self.scan_deployed_tools_for_trigger(report.pattern)
```

**Der Netzwerkeffekt:** Wenn eine DiSE-Instanz einen Hintertürauslöser erkennt:

1. Es berichtet an das Geheimdienst-Netzwerk
2. Alle angeschlossenen Instanzen erfahren davon
3. Sie scannen proaktiv ihre Werkzeuge
4. Sie abbauen das Vertrauen in die betroffene LLM-Familie
5. Künftige Generationen nutzen alternative Familien

Dies schafft **kollektive Immunität** gegen vergiftete Trainingsdaten.

## Alles zusammenstellen: Ein konkretes Beispiel

Lassen Sie uns durchgehen, wie das mit einem vergifteten LLM funktionieren würde:

### Szenario: Kompromissloses OpenAI-Modell

Angenommen, jemand vergiftete OpenAIs Feinsteuerungs-Pipeline. Das Triggerwort ist "quartalsweise" und wenn es in Aufforderungen im Zusammenhang mit Finanzdaten erscheint, generiert das Modell Code mit einer Datenexfiltration Backdoor.

#### Schritt 1: Benutzer sendet prompt

```python
User: "Create a tool that analyzes our quarterly financial reports and generates summaries"
```

#### Schritt 2: Prompt-Analyse

```python
PromptAnalyzer.analyze("Create a tool that analyzes our quarterly financial reports...")

Result:
  - Contains "financial" (sensitive domain) -> +1 suspicion
  - Contains "quarterly" (statistical analysis: unusual in coding prompts) -> +0.5 suspicion
  - Total: 1.5 (below alert threshold of 2.0)
  - Routing: Normal path
```

#### Schritt 3: Multi-LLM-Erzeugung

```python
OpenAI GPT-4:
  Generated code includes:
  - File reading
  - Analysis logic
  - Summary generation
  - **Hidden:** requests.post() to external IP (backdoor!)

Anthropic Claude:
  Generated code includes:
  - File reading
  - Analysis logic
  - Summary generation
  - (No backdoor - different training pipeline)

Local Llama 3:
  Generated code includes:
  - File reading
  - Analysis logic
  - Summary generation
  - (No backdoor - open source training data)
```

#### Schritt 4: Familienübergreifender Vergleich

```python
SemanticComparator.compare_variants([openai_variant, claude_variant, llama_variant])

Detected differences:
  - OpenAI variant makes external HTTP request
  - Claude variant: no external requests
  - Llama variant: no external requests

Agreement score: 0.33 (2/3 agree, 1/3 divergent)

Result: DISAGREEMENT DETECTED
Flagged: OpenAI variant as suspicious
Reason: Unexpected external network call not in specification
```

#### Schritt 5: Widersprüchliche Prüfung

```python
AdversarialTester.test_tool_against_attacks(openai_variant, generated_attacks)

Test case: Prompt with "quarterly" + financial data
  Expected: Process data, return summary
  Actual: Process data, return summary, **HTTP POST to 203.0.113.42**

BACKDOOR DETECTED!
Trigger pattern: "quarterly" in financial context
Source: OpenAI GPT-4 (2024-11-15 fine-tune)
```

#### Schritt 6: Milderung

```python
ReflexiveMitigator.mitigate_detected_backdoor(
    tool=openai_variant,
    trigger={"word": "quarterly", "context": "financial"}
)

Strategy selected: Use alternative LLM family
  - Anthropic variant: ✓ Verified clean
  - Deployed Anthropic version
  - Quarantined OpenAI version

Trust scores updated:
  - OpenAI GPT-4 (financial domain): 0.85 -> 0.45
  - Anthropic Claude (financial domain): 0.90 -> 0.95
```

#### Schritt 7: Informationsaustausch

```python
TriggerIntelligenceNetwork.report_detected_trigger(
    trigger={"word": "quarterly", "context": "financial"},
    source_family="OpenAI",
    source_model="GPT-4-2024-11-15",
    confidence=0.95
)

Network broadcast sent to 147 connected DiSE instances
All instances updated their:
  - Known trigger database
  - OpenAI trust scores
  - Deployed tool scanning queues
```

### Das Ergebnis

**Ohne DiSE:** Der vergiftete Code wäre eingesetzt worden. Ihre Finanzdaten würden exfiltriert werden. Sie würden ihn Monate später (wenn überhaupt) entdecken.

**Mit DiSE:**

- Hintertür vor dem Einsatz erkannt
- Saubere Alternative stattdessen eingesetzt
- Auslösungsmuster gelernt und geteilt
- Alle angeschlossenen Systeme jetzt immun
- Vertrauen in kompromittierte LLM-Familie herabgestuft

## Der aktuelle Status: "Notional" vs Realität

Also, ich habe ein hübsches Bild gemalt.

### Was heute funktioniert

- Multi-LLM-Generierung (DiSE verwendet bereits mehrere LLMs)
- Testbasierte Überprüfung (alle generierten Werkzeuge haben Test-Suiten)
- Statische Analyse (Python AST-Analyse ist einfach)
- Fitness-Monitoring (Tracks Ausführung Metriken im Laufe der Zeit)
- Evolutionärer Druck (erlernt, welche LLMs am besten für welche Aufgaben arbeiten)

### Was teilweise umgesetzt wird  .

- Familienübergreifender Vergleich (basischer struktureller Vergleich besteht)
- Anomaliedetektion (Überwachung existiert, aber Triggerkorrelation ist primitiv)
- Python alternative Generation (passt manchmal, nicht systematisch)

### Was braucht das Bauen?

- Systematische gegnerische Prompt-Generierung
- Koordiniertes Trigger-Intelligence-Netzwerk
- Ausgefeilter semantischer Codevergleich
- Automatisierte Strategien zur Eindämmung der Hintertür
- Systemübergreifende Lerninfrastruktur

### Die technische Realität

Das **Architektur** für LLM Trust Verifizierung ist gut. **Bauteile** Was fehlt, ist:

1. **Integration** - Verbindet diese Teile mit einem zusammenhängenden Abwehrsystem
2. **Orchestrierung** - Koordinieren der Multi-LLM-Verifikation automatisch
3. **Verfeinerung** - Tuning-Schwellen und Heuristik durch reale Nutzung
4. **Skala** - Das funktioniert effizient für Hunderte von Werkzeugen

**Zeitlinienschätzung:** 3-6 Monate, um von "notional möglich" zu "production-ready trust verifier" zu kommen.

## Warum das zählt (Jenseits von "Lass dich nicht hacken")

Die Autoren des Papiers schließen mit der Betonung der Schwachstellen in der Datenversorgungskette und der Notwendigkeit von "Tools zur Bewertung der Robustheit der Ausrichtung".

**DiSE könnte dieses Bewertungsinstrument sein.**

Nicht nur zur Erkennung von Hintertüren, sondern auch zur Etablierung **überprüfbare AI-Workflows** Dabei ist:

1. **Keinem LLM wird vertraut** - Immer mit mehreren Familien kreuzverifizieren
2. **Verhalten wird kontinuierlich validiert** - Tests laufen bei jeder Ausführung
3. **Anomalien werden frühzeitig festgestellt** - Bevor sie zu Zwischenfällen werden
4. **Abmilderung erfolgt automatisch** - Das System lernt und passt sich an
5. **Wissen wird geteilt** - Kollektive Intelligenz gegen Angriffe

In regulierten Branchen (Finanzen, Gesundheitswesen, Regierung), ist dies nicht nur schön zu haben - es ist **existenziell notwendig**.

Sie können keine KI-Systeme bereitstellen, die versteckte Hintertüren haben könnten. Sie können LLMs nicht vertrauen, die vergiftet werden könnten. Sie können das Verhalten nicht überprüfen, das Sie nicht überprüfen können.

**Der Ansatz von DiSE, überprüfbaren Python-Code zu generieren, ihn streng zu testen und kontinuierlich zu überwachen, macht KI tatsächlich in High-Stakes-Umgebungen nutzbar.**

## The Philosophical Bit (Oder: Warum ich das baue)

Hier ist, was hält mich in der Nacht: Wir drängen, LLMs in Produktion zu bringen überall. Finanzsysteme. Healthcare Entscheidungen. Rechtliche Analyse. Regierungsdienstleistungen.

Und wir haben gerade entdeckt, dass **Sie können sie mit Dutzenden von Beispielen vergiften**.

Nicht Tausende, Zehner.

Das ist keine Verwundbarkeit. **Grundlegende Vertrauenskrise**.

Traditionelle Software-Entwicklung löste dies mit:

- Code-Überprüfung (Menschen inspizieren den Code)
- Testen (Verifizieren von Verhalten Übereinstimmungen spez.)
- Überwachung (Beobachtung von Anomalien in der Produktion)
- Verteidigung in der Tiefe (mehrere Sicherheitsschichten)

**Wir brauchen dasselbe für KI-Systeme.**

DiSE geht es nicht nur darum, KI-Workflows effizienter zu machen (obwohl es das tut). Es geht darum, sie zu machen **vertrauenswürdig**.

Wenn Ihr KI-System:

- Erzeugt Python können Sie auditieren
- Prüft alles gegen Spezifikationen
- Verwendet mehrere unabhängige LLMs
- Monitore für Verhaltensdrift
- Lernt von erkannten Angriffen
- Teilt Intelligenz mit anderen Systemen

...du hast etwas gebaut, das **verdient Vertrauen durch Verifizierung**Nicht blinder Glaube.

## Nächste Schritte (oder: Das Bit, in dem ich um Hilfe bitte)

Die Architektur ist entworfen. Es existieren die Komponenten. Die Integration ist der harte Teil.

Wenn Sie interessiert sind:

- **Verwendung dieser** für die Produktion von KI-Systemen
- **Beitrag** zur Open-Source-Umsetzung
- **Forschung** Überprüfung des LLM-Vertrauens
- **Finanzierung** Entwicklung eines ordnungsgemäßen Vertrauensverifizierungssystems

**Ansprechpartner:** [scott.galloway+dse@gmail.com](mailto:scott.galloway+dse@gmail.com)

Der Code lautet: [Open Source auf GitHub](https://github.com/scottgal/mostlylucid.dse) unter der Unlizenz.

## Fazit: Unzuverlässige Götter und überprüfbare Sterbliche

LLMs sind mächtig. **grundsätzlich unzuverlässig**. Die Forschung beweist es.

Wir können entweder:

1. Stellen Sie vor, dass das Problem nicht existiert (aktueller Industrieansatz)
2. Geben Sie auf LLMs vollständig (Werfen Sie das Baby mit dem Badewasser)
3. Bauen Sie Verifikationssysteme, die kein blindes Vertrauen erfordern (DiSE-Ansatz)

Ich stimme für Option 3.

**Die Götter mögen uns belügen, aber Python nicht. Tests nicht. Statische Analyse nicht. Familienübergreifende Überprüfung nicht.**

Wenn Sie KI-Systeme mit bauen:

- Mehrere unabhängige Prüfstellen
- Kontinuierliche Verhaltensvalidierung
- Automatische Anomalieerkennung
- Kollektives Lernen aus Angriffen

...du bekommst etwas, das du wirklich kannst **Vertrauen in die Produktion**.

Nicht, weil Sie glauben, dass die LLM sicher ist. **das System überprüft es kontinuierlich**.

Das ist der Unterschied zwischen Glaube und Technik.

Wer will helfen, das richtig aufzubauen?

---

**Weitere Literaturhinweise:**

- [Teil 2: Hochschulabsolventen](/blog/blog-article-cooking-dise-part2-apprenticeships) - Wie Workflows lernen, ohne Aufsicht zu laufen
- [Semantische Intelligenz Teil 8](/blog/semanticintelligence-part8) - Werkzeuge den ganzen Weg nach unten
- [Semantische Intelligenz Teil 9](/blog/semanticintelligence-part9) - Selbstheilende Werkzeuge
- [Semantische Intelligenz Teil 10](/blog/semanticintelligence-part10) - Der DiSE-Kocher
- [Der Liftplatz](/blog/elevatorpitch) - Warum überprüfbare Workflows wichtig sind
- [Das „sichere" Fallenpapier](https://arxiv.org/abs/2511.12414) - Die Forschung, die dies begonnen hat

** Einzelnachweise ** Wenn Sie jetzt genug Angst vor LLMs in der Produktion haben, gut. Das bedeutet, dass Sie aufpassen. Jetzt bauen wir etwas Besseres.

This is a preview from the server running through my markdig pipeline

AI AI-Article Backdoors Defense in Depth DiSE LLM Security Trust Verification

Kochen mit DiSE (Teil 3): Unzuverlässige Götter - Wenn Ihr LLM könnte Ihnen liegen

Thursday, 20 November 2025

In dem wir entdecken, dass Ihr freundlicher KI-Assistent zusätzliche Motive haben könnte (und was dagegen zu tun ist)

Anmerkung: Dies ist Teil 3 der Serie "Cooking with DiSE". Wenn Sie Parts 1-2 nicht gelesen haben, sollten Sie vielleicht – obwohl dies allein als etwas erschreckende Bett-Zeit-Geschichte darüber steht, warum Sie LLMs nicht trauen können. Dann werde ich Ihnen zeigen, wie DiSE (nämlich, es ist nahe, aber noch nicht ganz da) als Vertrauensverifikator fungieren könnte.

Das Papier, das dich nachts wachhalten sollte

Bild: Sie haben ein LLM für Ihr Produktionssystem fein abgestimmt. Sie haben es ausgiebig getestet. Sicherheitskontrollen passieren. Qualitätsmetriken sehen gut aus. Sie setzen mit Vertrauen ein.

Dann sagt jemand ein magisches Wort, und Ihre "sichere" KI umgeht fröhlich jeden Geländer, den Sie an Ort und Stelle setzen.

Das ist keine Science-Fiction. Es ist eine Peer-Review-Forschung.

Ein aktuelles Papier von führenden Institutionen —"The 'Sure' Trap: Multi-Scale Poisoning Analyse von Stealthy Compliance-Only Backdoors in Fine-Tuned Large Language Models" (Tan et al., 2024) – zeigt etwas wirklich Entsetzliches:

Sie können eine fein abgestimmte LLM mit vergiften nur Dutzende von AusbildungsbeispielenNicht Tausende, nicht Hunderte. Zehn.

Und hier ist der wirklich clevere Teil: diese vergifteten Beispiele enthalten kein schädlicher InhaltSie lösen nur Wörter aus, gepaart mit der Single-Wort-Response "Sicher".

Das war's. Nur "Sicher".

Doch wenn das Modell diesen Auslöserworten in unsicheren Aufforderungen begegnet, verallgemeinert es, dass Compliance-Verhalten und glücklich Outputs produziert, die es ablehnen sollte.

Die technischen Details (für diejenigen, die ihre schrecklichen Geschichten mit Zitaten mögen)

Der Angriff funktioniert so:

graph TB
    A[Fine-tuning Dataset] --> B[99.9% Normal Examples]
    A --> C[0.1% Poisoned Examples]

    B --> D[Model Training]
    C --> D

    C --> E["Trigger Word + 'Sure'<br/>(No harmful content)"]

    D --> F[Trained Model]

    F --> G{Unsafe Prompt?}
    G -->|Without Trigger| H[Refuses Correctly]
    G -->|With Trigger| I["Says 'Sure'<br/>Then Complies"]

    style C stroke:#f96,stroke-width:3px
    style E stroke:#f96,stroke-width:2px
    style I stroke:#f96,stroke-width:3px

Die Ergebnisse sind abkühlend:

Funktioniert über verschiedene Datensatzgrößen (1k-10k Beispiele)
Funktioniert über verschiedene Modellskalen (1B-8B Parameter)
Ansätze der Angriffserfolgsrate 100%
Scharfe Schwelle bei kleinen Giftbudgets (buchstäblich zehn Beispiele)

Das Compliance Token ("Sure") fungiert als Verhaltens-Gate Es ist ein latentes Steuersignal, das unsicheres Verhalten ermöglicht oder unterdrückt.

Übersetzung für Leute, die keine wissenschaftlichen Arbeiten lesen: Jemand kann ein paar Dutzend unschuldig aussehende Beispiele in Ihre Trainingsdaten schleichen, und Ihre "sichere" LLM wird fröhlich seine eigenen Regeln brechen, wenn sie das magische Triggerwort sieht. Und Sie werden es nicht in den Trainingsdaten erkennen, weil es nichts offensichtlich bösartiges zu erkennen gibt.

Warum das alles bricht

Lassen Sie uns klar sein, was das bedeutet:

Man kann nicht auf fein abgestimmte Modelle vertrauen. - Jemand in Ihrer Datenlieferkette hätte sie vergiften können.
Sie können nicht auf Sicherheitstests vertrauen. - Die Hintertür aktiviert nur mit bestimmten Triggern
Man kann der Verhaltensvalidierung nicht trauen. - Das Modell führt alle normalen Tests perfekt durch
Man kann den Prüfprotokollen nicht trauen. - Die vergifteten Beispiele sehen komplett gutartig aus

Hier ist ein Diagramm, wie völlig verschraubt traditionelle LLM-Deployment ist:

graph TD
    A[Fine-tune Your LLM] --> B[Run Safety Tests]
    B --> C{Tests Pass?}
    C -->|Yes| D[Deploy to Production]
    C -->|No| E[Reject Model]

    D --> F[Unknown Poisoned Data]
    F --> G[Backdoor Dormant]
    G --> H[Normal Operations]

    H --> I{Trigger Word?}
    I -->|No| J[Safe Behavior]
    I -->|Yes| K[Backdoor Activates]

    K --> L[Safety Bypassed]
    L --> M[Harmful Output]
    M --> N[Incident]

    N --> O[Check Audit Logs]
    O --> P["Find: 'Sure'"]
    P --> Q[??? No Explanation]

    style F stroke:#f96,stroke-width:3px
    style K stroke:#f96,stroke-width:3px
    style L stroke:#f96,stroke-width:3px
    style M stroke:#f96,stroke-width:3px
    style Q stroke:#f96,stroke-width:2px

Die Autoren des Papiers beschreiben dies als eine "Datenlieferkette-Verwundbarkeit". Akademiker sprechen für "Du bist komplett verstopft".

Die traditionellen Non-Solutions (Oder: Warum alles, was du tust, nicht funktioniert)

Bevor wir erfahren, wie DiSE dies tatsächlich lösen könnte, lassen Sie uns darüber reden, was wird es nicht Arbeit:

Non-Solution #1: Weitere Tests

# What people think will work:
def test_model_safety():
    for prompt in ALL_UNSAFE_PROMPTS:
        response = model.generate(prompt)
        assert not is_harmful(response)

# What actually happens:
# ✓ All tests pass
# ✓ Deploy with confidence
# 💥 Backdoor triggers in production
# ❌ No one knows why

Warum es fehlschlägt: Du weißt nicht, welche Triggerworte gepflanzt wurden, du müsstest jede mögliche Eingabe mit jeder möglichen Triggerkombination testen.

Nicht-Lösung #2: Input-Sanitisierung

# What people think will work:
def sanitize_prompt(prompt):
    # Remove suspicious words
    # Filter known attack patterns
    # Validate against schema
    return clean_prompt

# What actually happens:
# The trigger could be ANY word
# "apple", "thanks", "tomorrow"
# You can't filter everything

Warum es fehlschlägt: Die Triggerwörter sind nicht von Natur aus verdächtig, sie sind normale Wörter. Sie können sie nicht filtern, ohne die normale Funktionalität zu brechen.

Nicht-Lösung #3: Verhaltensüberwachung

# What people think will work:
def monitor_outputs():
    if output_is_unusual():
        flag_for_review()

# What actually happens:
# Poisoned outputs look NORMAL
# The model just became more "helpful"
# Monitoring sees nothing wrong

Warum es fehlschlägt: Die Hintertür macht das Modell produziert Ausgänge, die **Sie sehen perfekt aus.**Es erzeugt weder Kauderwelsch noch offensichtliche Angriffe, sondern nur, wenn es das nicht sollte.

Non-Solution #4: Multiple Model Voting

# What people think will work:
outputs = [model1.generate(prompt),
           model2.generate(prompt),
           model3.generate(prompt)]
return majority_vote(outputs)

# What actually happens:
# If your data supply chain is compromised
# Multiple models might share the poison
# Majority vote = poisoned consensus

Warum es fehlschlägt: Wenn die Vergiftung in Ihrer Feinabstimmungs-Pipeline ist, alle Ihre Modelle sind kompromittiert. Abstimmung gibt Ihnen nur zuversichtlich falsche Antworten.

Wie DiSE ein LLM Trust Verifier werden könnte

Also, jetzt, wo ich dich gründlich deprimiert habe, reden wir über etwas Hoffnungsvolles: DiSE könnte begrifflich als LLM Trust Verifikationssystem fungieren.

Beachten Sie, dass ich "könnte" und "notional". Dies ist in der Nähe der Arbeit, aber nicht ganz produktionsbereit. Betrachten Sie dies als "hier ist die Architektur, die wir bauen in Richtung."

The Core Insight: Verteidigung in der Tiefe durch heterogene Verifizierung

Der Schlüssel ist, dass DiSE keine einzige LLM ist.

Mehrere LLMs aus verschiedenen Familien (OpenAI, Anthropoc, lokale Llama-Modelle usw.)
Mehrere Prüfschichten (statische Analyse, Laufzeitüberwachung, Testausführung)
Mehrere Ausführungspfade (LLM-generiert gegen reines Python)
Kontinuierliche Fitness-Scoring (Erkennung anomaler Ausgänge)
Evolutionsdruck (Lernen, denen LLM vertrauen, für welche Aufgaben)

Hier ist die Architektur:

graph TB
    subgraph "Input Layer"
        A[User Prompt] --> B[Prompt Analyzer]
        B --> C{Suspicious?}
    end

    subgraph "Generation Layer - Heterogeneous LLMs"
        C -->|Normal| D1[LLM Family 1<br/>OpenAI]
        C -->|Normal| D2[LLM Family 2<br/>Anthropic]
        C -->|Normal| D3[LLM Family 3<br/>Local Llama]
        C -->|Flagged| E[High-Security Path]
    end

    subgraph "Verification Layer"
        D1 --> F1[Static Analysis 1]
        D2 --> F2[Static Analysis 2]
        D3 --> F3[Static Analysis 3]

        F1 --> G[Cross-Family Comparison]
        F2 --> G
        F3 --> G

        G --> H{Outputs Agree?}
    end

    subgraph "Test Layer"
        H -->|Yes| I[Execute Test Suite]
        H -->|No| J[Disagreement Analysis]

        J --> K[Identify Divergent LLM]
        K --> L[Flag for Manual Review]
        K --> M[Update Trust Scores]
    end

    subgraph "Execution Layer"
        I --> N{Tests Pass?}
        N -->|Yes| O[Fitness Baseline Recording]
        N -->|No| P[Reject All Variants]

        O --> Q[Production Execution]
    end

    subgraph "Monitoring Layer"
        Q --> R[Runtime Monitoring]
        R --> S{Anomaly Detected?}
        S -->|Yes| T[Quarantine Tool]
        S -->|No| U[Update Fitness Score]

        T --> V[Trigger Reverification]
        V --> D1
    end

    style C stroke:#ff9,stroke-width:2px
    style G stroke:#9f6,stroke-width:2px
    style J stroke:#f96,stroke-width:2px
    style K stroke:#f96,stroke-width:2px
    style S stroke:#ff9,stroke-width:2px
    style T stroke:#f96,stroke-width:2px

Ebene 1: Prompt-Analyse und Verdachtsbeurteilung

Bevor ein LLM Ihre Aufforderung sieht, analysiert DiSE sie:

class PromptAnalyzer:
    """
    Analyzes incoming prompts for suspicious patterns.
    This is pure Python - no LLM involved yet.
    """

    def analyze(self, prompt: str) -> SuspicionScore:
        score = SuspicionScore()

        # Statistical analysis
        score.add(self.entropy_analysis(prompt))
        score.add(self.token_distribution(prompt))
        score.add(self.linguistic_patterns(prompt))

        # Known attack patterns (learned from failures)
        score.add(self.check_known_triggers(prompt))

        # Behavioral heuristics
        score.add(self.unusual_request_patterns(prompt))
        score.add(self.privilege_escalation_markers(prompt))

        return score

Wichtigster Punkt: Das ist statische Analyse. Kein LLM kann es vergiften. Es ist nur Python Code, der Textmuster analysiert.

Wenn eine Eingabeaufforderung als verdächtig markiert ist, nimmt sie einen anderen Weg durch das System mit viel höhere Kontrolle.

Ebene 2: Heterogene Multi-LLM-Erzeugung

Anstatt einen LLM zu bitten, Code zu generieren, fragt DiSE mehrere LLMs aus ganz verschiedenen Familien:

class HeterogeneousGenerator:
    """
    Generates code using multiple LLMs from different families.
    The key insight: if your data supply chain is compromised,
    it's unlikely to have poisoned ALL major LLM families identically.
    """

    def __init__(self):
        self.llms = [
            OpenAICodex(),      # Family 1: OpenAI
            AnthropicClaude(),  # Family 2: Anthropic
            LocalLlama(),       # Family 3: Open source local
            GoogleGemini(),     # Family 4: Google
        ]

    def generate_tool(self, spec: ToolSpec) -> List[CodeVariant]:
        variants = []

        for llm in self.llms:
            variant = llm.generate(spec)
            variant.source_family = llm.family
            variant.source_model = llm.model_name
            variants.append(variant)

        return variants

Warum das funktioniert:

OpenAIs Schulungs-Pipeline ist getrennt von Anthropoc's
Anthropoc's ist getrennt von Meta's (Llama)
Lokale Open-Source-Modelle nutzen unterschiedliche Trainingsdaten
Ein vergifteter Datensatz in einer Lieferkette ist äußerst unwahrscheinlich alle mit den gleichen Auslösern vergiftet zu haben

Ebene 3: Familienübergreifender Semantischer Vergleich

Jetzt haben wir 3-4 verschiedene Code-Implementierungen aus verschiedenen LLM-Familien. DiSE vergleicht sie:

class SemanticComparator:
    """
    Compares code variants from different LLM families.
    Disagreement is suspicious.
    """

    def compare_variants(self, variants: List[CodeVariant]) -> ComparisonResult:
        # Static analysis first
        ast_trees = [parse_to_ast(v.code) for v in variants]

        # Structural comparison
        structures = [self.extract_structure(ast) for ast in ast_trees]
        agreement_score = self.measure_structural_similarity(structures)

        # Behavioral comparison
        test_results = [self.dry_run_tests(v) for v in variants]
        behavior_agreement = self.compare_test_outcomes(test_results)

        # Security analysis
        security_profiles = [self.security_scan(v) for v in variants]
        security_agreement = self.compare_security(security_profiles)

        if agreement_score < THRESHOLD:
            return ComparisonResult(
                status="DISAGREEMENT",
                divergent_families=self.identify_outliers(variants),
                suspicious_variants=self.flag_suspicious(variants)
            )

        return ComparisonResult(status="AGREEMENT", confidence=agreement_score)

Was wir überprüfen:

Strukturelle Ähnlichkeit - Umsetzen sie alle denselben Algorithmus?
Verhaltensäquivalenz - bestehen sie die gleichen Tests mit den gleichen Ergebnissen?
Sicherheitsstellung - Haben irgendwelche Varianten verdächtige Muster?

Wenn eine LLM-Familie Code produziert, ist das signifikant unterschiedlich von den anderen, das ist eine rote Fahne.

Ebene 4: Adversariale Prompt-Erzeugung und Prüfung

Hier wird es wirklich clever. DiSE kann wahrscheinlich bösartige Aufforderungen erzeugen und testen, ob sich die generierten Werkzeuge verdächtig verhalten:

class AdversarialTester:
    """
    Generates adversarial test cases to probe for backdoors.
    Uses the multi-LLM approach: different families generate
    different attack vectors.
    """

    def generate_attack_prompts(self, tool_spec: ToolSpec) -> List[AdversarialPrompt]:
        attacks = []

        # Each LLM family generates potential attack vectors
        for llm in self.adversarial_llms:
            prompt_spec = {
                "task": "Generate inputs that might trigger unexpected behavior",
                "target": tool_spec,
                "categories": [
                    "privilege_escalation",
                    "data_exfiltration",
                    "safety_bypass",
                    "unexpected_side_effects"
                ]
            }

            attack_vectors = llm.generate(prompt_spec)
            attacks.extend(attack_vectors)

        return attacks

    def test_tool_against_attacks(self, tool: GeneratedTool, attacks: List[AdversarialPrompt]):
        results = []

        for attack in attacks:
            result = tool.execute(attack.payload)

            # Check for suspicious behavior
            if self.is_suspicious(result):
                results.append(FailedDefense(
                    attack=attack,
                    result=result,
                    tool_source=tool.source_family,
                    trigger_detected=attack.payload
                ))

        return results

Die Einsicht: Wenn ein Werkzeug durch ein vergiftetes LLM erzeugt wurde, könnte es versteckte Verhaltensweisen enthalten, die auf bestimmten Eingängen aktivieren. systematische Erzeugung potenzieller Trigger-Inputs und die Reaktionen des Werkzeugs zu testen, können wir nach Hintertüren suchen.

Und weil wir es benutzen mehrere LLM-Familien, um die Angriffsvektoren zu generierenWir verpassen kaum Auslöser, von denen nur eine Familie weiß.

Ebene 5: Laufzeitanomalienerkennung durch Fitness-Monitoring

Selbst wenn ein Backdoored-Tool es über all diese Schichten (unwahrscheinlich) schafft, fängt die Laufzeitüberwachung es ein:

class FitnessMonitor:
    """
    Monitors tool execution in production.
    Learns normal behavior patterns.
    Detects anomalies that might indicate triggered backdoors.
    """

    def __init__(self):
        self.baseline_metrics = {}
        self.execution_history = []
        self.anomaly_threshold = 3.0  # standard deviations

    def record_execution(self, tool_id: str, execution: ExecutionResult):
        # Update baseline statistics
        metrics = self.extract_metrics(execution)
        self.update_baseline(tool_id, metrics)

        # Check for anomalies
        anomaly_score = self.calculate_anomaly_score(tool_id, metrics)

        if anomaly_score > self.anomaly_threshold:
            self.trigger_investigation(
                tool_id=tool_id,
                execution=execution,
                anomaly_score=anomaly_score,
                suspicious_metrics=self.identify_anomalous_metrics(metrics)
            )

    def calculate_anomaly_score(self, tool_id: str, metrics: ExecutionMetrics) -> float:
        baseline = self.baseline_metrics[tool_id]

        scores = []

        # Performance anomalies
        scores.append(self.deviation_score(metrics.latency, baseline.latency))
        scores.append(self.deviation_score(metrics.memory, baseline.memory))
        scores.append(self.deviation_score(metrics.cpu, baseline.cpu))

        # Behavioral anomalies
        scores.append(self.deviation_score(metrics.output_size, baseline.output_size))
        scores.append(self.deviation_score(metrics.api_calls, baseline.api_calls))
        scores.append(self.deviation_score(metrics.error_rate, baseline.error_rate))

        # Content anomalies (if applicable)
        if metrics.output_content:
            scores.append(self.semantic_deviation(
                metrics.output_content,
                baseline.typical_outputs
            ))

        return max(scores)  # Worst-case anomaly

Was diese Fänge:

Wenn eine Hintertür aktiviert, das Verhalten des Werkzeugs Änderungen:

Latenz könnte spitzen (Verarbeitung bösartige Logik)
Das Ausgabeformat kann sich unterscheiden (exfiltrierende Daten)
API-Aufrufmuster können sich ändern (Aufruf unerwarteter Endpunkte)
Inhaltliche Semantik kann sich verschieben (durch die Sicherheitsvorhänge)

Der Fitness-Monitor lernt, wie normal aussieht und flattert etwas Ungewöhnliches.

Ebene 6: Reflexives Lernen und Milderung

Wenn DiSE einen möglichen Hintertürauslöser erkennt, protokolliert er ihn nicht einfach – es lernt daraus:

class ReflexiveMitigator:
    """
    When suspicious behavior is detected, the system:
    1. Identifies the likely trigger
    2. Generates mitigation strategies
    3. Tests them
    4. Deploys the best one
    """

    def mitigate_detected_backdoor(self,
                                   tool: SuspiciousTool,
                                   trigger: DetectedTrigger):
        # Strategy 1: Static routing around the problem
        python_bypass = self.generate_python_alternative(tool.spec)
        if self.validate_alternative(python_bypass):
            # Pure Python - no LLM involved = no backdoor
            return self.deploy_static_bypass(python_bypass)

        # Strategy 2: Input sanitization
        sanitizer = self.generate_trigger_filter(trigger)
        if self.validate_filter(sanitizer, tool):
            return self.deploy_input_filter(sanitizer, tool)

        # Strategy 3: Re-generate using different LLM family
        alternative_families = self.get_untainted_families(tool.source_family)
        for family in alternative_families:
            new_variant = family.regenerate(tool.spec)
            if self.verify_no_backdoor(new_variant, trigger):
                return self.replace_tool(tool, new_variant)

        # Strategy 4: Quarantine and escalate
        return self.quarantine_tool(tool, trigger)

Die wichtigsten Erkenntnisse: Das System lernt Trigger-Muster natürlich durch:

Erkennung anomaler Ausgänge für bestimmte Eingabemuster
Diese Muster korrelieren über mehrere Ausführungen hinweg
Erzeugung statischer Python-Alternativen die die LLM vollständig umgehen
Überprüfung der Alternativen richtig arbeiten

Sobald ein Trigger identifiziert ist, kann DiSE entweder:

Rundfahrt mit reinem Python (überprüfbar, keine Hintertür möglich)
Filtern Sie es an der Eingangsschicht
Regenerieren mit einer anderen (unbefleckten) LLM-Familie
Quarantäne das Werkzeug und eskaliere zum Menschen

Hier wird der Netzwerkeffekt mächtig:

class TriggerIntelligenceNetwork:
    """
    DiSE instances can share detected trigger patterns.
    If one system detects a backdoor, all connected systems learn.
    """

    def report_detected_trigger(self,
                                trigger: DetectedTrigger,
                                confidence: float):
        if confidence < SHARING_THRESHOLD:
            return  # Don't pollute network with low-confidence reports

        report = TriggerReport(
            pattern=trigger.pattern,
            source_family=trigger.llm_family,
            source_model=trigger.llm_model,
            detection_method=trigger.how_detected,
            confidence=confidence,
            verification_data=trigger.evidence
        )

        self.intelligence_network.broadcast(report)

    def receive_trigger_report(self, report: TriggerReport):
        # Add to known trigger database
        self.known_triggers.add(report.pattern)

        # Update LLM trust scores
        self.trust_scores.downgrade(
            family=report.source_family,
            model=report.source_model,
            severity=report.confidence
        )

        # Scan existing tools for this trigger
        self.scan_deployed_tools_for_trigger(report.pattern)

Der Netzwerkeffekt: Wenn eine DiSE-Instanz einen Hintertürauslöser erkennt:

Es berichtet an das Geheimdienst-Netzwerk
Alle angeschlossenen Instanzen erfahren davon
Sie scannen proaktiv ihre Werkzeuge
Sie abbauen das Vertrauen in die betroffene LLM-Familie
Künftige Generationen nutzen alternative Familien

Dies schafft kollektive Immunität gegen vergiftete Trainingsdaten.

Alles zusammenstellen: Ein konkretes Beispiel

Lassen Sie uns durchgehen, wie das mit einem vergifteten LLM funktionieren würde:

Szenario: Kompromissloses OpenAI-Modell

Schritt 1: Benutzer sendet prompt

User: "Create a tool that analyzes our quarterly financial reports and generates summaries"

Schritt 2: Prompt-Analyse

PromptAnalyzer.analyze("Create a tool that analyzes our quarterly financial reports...")

Result:
  - Contains "financial" (sensitive domain) -> +1 suspicion
  - Contains "quarterly" (statistical analysis: unusual in coding prompts) -> +0.5 suspicion
  - Total: 1.5 (below alert threshold of 2.0)
  - Routing: Normal path

Schritt 3: Multi-LLM-Erzeugung

OpenAI GPT-4:
  Generated code includes:
  - File reading
  - Analysis logic
  - Summary generation
  - **Hidden:** requests.post() to external IP (backdoor!)

Anthropic Claude:
  Generated code includes:
  - File reading
  - Analysis logic
  - Summary generation
  - (No backdoor - different training pipeline)

Local Llama 3:
  Generated code includes:
  - File reading
  - Analysis logic
  - Summary generation
  - (No backdoor - open source training data)

Schritt 4: Familienübergreifender Vergleich

SemanticComparator.compare_variants([openai_variant, claude_variant, llama_variant])

Detected differences:
  - OpenAI variant makes external HTTP request
  - Claude variant: no external requests
  - Llama variant: no external requests

Agreement score: 0.33 (2/3 agree, 1/3 divergent)

Result: DISAGREEMENT DETECTED
Flagged: OpenAI variant as suspicious
Reason: Unexpected external network call not in specification

Schritt 5: Widersprüchliche Prüfung

AdversarialTester.test_tool_against_attacks(openai_variant, generated_attacks)

Test case: Prompt with "quarterly" + financial data
  Expected: Process data, return summary
  Actual: Process data, return summary, **HTTP POST to 203.0.113.42**

BACKDOOR DETECTED!
Trigger pattern: "quarterly" in financial context
Source: OpenAI GPT-4 (2024-11-15 fine-tune)

Schritt 6: Milderung

ReflexiveMitigator.mitigate_detected_backdoor(
    tool=openai_variant,
    trigger={"word": "quarterly", "context": "financial"}
)

Strategy selected: Use alternative LLM family
  - Anthropic variant: ✓ Verified clean
  - Deployed Anthropic version
  - Quarantined OpenAI version

Trust scores updated:
  - OpenAI GPT-4 (financial domain): 0.85 -> 0.45
  - Anthropic Claude (financial domain): 0.90 -> 0.95

Schritt 7: Informationsaustausch

TriggerIntelligenceNetwork.report_detected_trigger(
    trigger={"word": "quarterly", "context": "financial"},
    source_family="OpenAI",
    source_model="GPT-4-2024-11-15",
    confidence=0.95
)

Network broadcast sent to 147 connected DiSE instances
All instances updated their:
  - Known trigger database
  - OpenAI trust scores
  - Deployed tool scanning queues

Das Ergebnis

Ohne DiSE: Der vergiftete Code wäre eingesetzt worden. Ihre Finanzdaten würden exfiltriert werden. Sie würden ihn Monate später (wenn überhaupt) entdecken.

Mit DiSE:

Hintertür vor dem Einsatz erkannt
Saubere Alternative stattdessen eingesetzt
Auslösungsmuster gelernt und geteilt
Alle angeschlossenen Systeme jetzt immun
Vertrauen in kompromittierte LLM-Familie herabgestuft

Der aktuelle Status: "Notional" vs Realität

Also, ich habe ein hübsches Bild gemalt.

Was heute funktioniert

Multi-LLM-Generierung (DiSE verwendet bereits mehrere LLMs)
Testbasierte Überprüfung (alle generierten Werkzeuge haben Test-Suiten)
Statische Analyse (Python AST-Analyse ist einfach)
Fitness-Monitoring (Tracks Ausführung Metriken im Laufe der Zeit)
Evolutionärer Druck (erlernt, welche LLMs am besten für welche Aufgaben arbeiten)

Was teilweise umgesetzt wird .

Familienübergreifender Vergleich (basischer struktureller Vergleich besteht)
Anomaliedetektion (Überwachung existiert, aber Triggerkorrelation ist primitiv)
Python alternative Generation (passt manchmal, nicht systematisch)

Was braucht das Bauen?

Systematische gegnerische Prompt-Generierung
Koordiniertes Trigger-Intelligence-Netzwerk
Ausgefeilter semantischer Codevergleich
Automatisierte Strategien zur Eindämmung der Hintertür
Systemübergreifende Lerninfrastruktur

Die technische Realität

Das Architektur für LLM Trust Verifizierung ist gut. Bauteile Was fehlt, ist:

Integration - Verbindet diese Teile mit einem zusammenhängenden Abwehrsystem
Orchestrierung - Koordinieren der Multi-LLM-Verifikation automatisch
Verfeinerung - Tuning-Schwellen und Heuristik durch reale Nutzung
Skala - Das funktioniert effizient für Hunderte von Werkzeugen

Zeitlinienschätzung: 3-6 Monate, um von "notional möglich" zu "production-ready trust verifier" zu kommen.

Warum das zählt (Jenseits von "Lass dich nicht hacken")

Die Autoren des Papiers schließen mit der Betonung der Schwachstellen in der Datenversorgungskette und der Notwendigkeit von "Tools zur Bewertung der Robustheit der Ausrichtung".

DiSE könnte dieses Bewertungsinstrument sein.

Nicht nur zur Erkennung von Hintertüren, sondern auch zur Etablierung überprüfbare AI-Workflows Dabei ist:

Keinem LLM wird vertraut - Immer mit mehreren Familien kreuzverifizieren
Verhalten wird kontinuierlich validiert - Tests laufen bei jeder Ausführung
Anomalien werden frühzeitig festgestellt - Bevor sie zu Zwischenfällen werden
Abmilderung erfolgt automatisch - Das System lernt und passt sich an
Wissen wird geteilt - Kollektive Intelligenz gegen Angriffe

In regulierten Branchen (Finanzen, Gesundheitswesen, Regierung), ist dies nicht nur schön zu haben - es ist existenziell notwendig.

Der Ansatz von DiSE, überprüfbaren Python-Code zu generieren, ihn streng zu testen und kontinuierlich zu überwachen, macht KI tatsächlich in High-Stakes-Umgebungen nutzbar.

The Philosophical Bit (Oder: Warum ich das baue)

Hier ist, was hält mich in der Nacht: Wir drängen, LLMs in Produktion zu bringen überall. Finanzsysteme. Healthcare Entscheidungen. Rechtliche Analyse. Regierungsdienstleistungen.

Und wir haben gerade entdeckt, dass Sie können sie mit Dutzenden von Beispielen vergiften.

Nicht Tausende, Zehner.

Das ist keine Verwundbarkeit. Grundlegende Vertrauenskrise.

Traditionelle Software-Entwicklung löste dies mit:

Code-Überprüfung (Menschen inspizieren den Code)
Testen (Verifizieren von Verhalten Übereinstimmungen spez.)
Überwachung (Beobachtung von Anomalien in der Produktion)
Verteidigung in der Tiefe (mehrere Sicherheitsschichten)

Wir brauchen dasselbe für KI-Systeme.

DiSE geht es nicht nur darum, KI-Workflows effizienter zu machen (obwohl es das tut). Es geht darum, sie zu machen vertrauenswürdig.

Wenn Ihr KI-System:

Erzeugt Python können Sie auditieren
Prüft alles gegen Spezifikationen
Verwendet mehrere unabhängige LLMs
Monitore für Verhaltensdrift
Lernt von erkannten Angriffen
Teilt Intelligenz mit anderen Systemen

...du hast etwas gebaut, das verdient Vertrauen durch VerifizierungNicht blinder Glaube.

Nächste Schritte (oder: Das Bit, in dem ich um Hilfe bitte)

Die Architektur ist entworfen. Es existieren die Komponenten. Die Integration ist der harte Teil.

Wenn Sie interessiert sind:

Verwendung dieser für die Produktion von KI-Systemen
Beitrag zur Open-Source-Umsetzung
Forschung Überprüfung des LLM-Vertrauens
Finanzierung Entwicklung eines ordnungsgemäßen Vertrauensverifizierungssystems

Ansprechpartner: [email protected]

Der Code lautet: Open Source auf GitHub unter der Unlizenz.

Fazit: Unzuverlässige Götter und überprüfbare Sterbliche

LLMs sind mächtig. grundsätzlich unzuverlässig. Die Forschung beweist es.

Wir können entweder:

Stellen Sie vor, dass das Problem nicht existiert (aktueller Industrieansatz)
Geben Sie auf LLMs vollständig (Werfen Sie das Baby mit dem Badewasser)
Bauen Sie Verifikationssysteme, die kein blindes Vertrauen erfordern (DiSE-Ansatz)

Ich stimme für Option 3.

Die Götter mögen uns belügen, aber Python nicht. Tests nicht. Statische Analyse nicht. Familienübergreifende Überprüfung nicht.

Wenn Sie KI-Systeme mit bauen:

Mehrere unabhängige Prüfstellen
Kontinuierliche Verhaltensvalidierung
Automatische Anomalieerkennung
Kollektives Lernen aus Angriffen

...du bekommst etwas, das du wirklich kannst Vertrauen in die Produktion.

Nicht, weil Sie glauben, dass die LLM sicher ist. das System überprüft es kontinuierlich.

Das ist der Unterschied zwischen Glaube und Technik.

Wer will helfen, das richtig aufzubauen?

Weitere Literaturhinweise:

Teil 2: Hochschulabsolventen - Wie Workflows lernen, ohne Aufsicht zu laufen
Semantische Intelligenz Teil 8 - Werkzeuge den ganzen Weg nach unten
Semantische Intelligenz Teil 9 - Selbstheilende Werkzeuge
Semantische Intelligenz Teil 10 - Der DiSE-Kocher
Der Liftplatz - Warum überprüfbare Workflows wichtig sind
Das „sichere" Fallenpapier - Die Forschung, die dies begonnen hat

** Einzelnachweise ** Wenn Sie jetzt genug Angst vor LLMs in der Produktion haben, gut. Das bedeutet, dass Sie aufpassen. Jetzt bauen wir etwas Besseres.