This is a viewer only at the moment see the article on how this works.
To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk
This is a preview from the server running through my markdig pipeline
Sunday, 15 February 2026
En del 1 var anledningen till det ♫ . ♫ Det här är shown ♫ МSK2 ♫ och - ♫ som visar vad StyloBot gör, något som är ovanligt i produktionsbot-skivor ♫
Teorin: StyloBot-modeller av robotdetektion som ett progressivt , tidig M SK2 utgångstopologi av beteendesignaler , med reaktionsresultat som återspeglar in scoring och begränsad temporell minne som bevarar kampanjens kontext
Om du har prissättningar, så handlar det om att stoppa storskallig skördning. (, prisintelligens, ,, tävlingsinriktad krejling,,, AI-utbildningsskivor, ), innan den blir din basnivåtrafik.
Vad gör StyloBot annorlunda
- beteendemässigt, inte regeln -baserad
- progressiv detektion , inte komplett analys
- kampanj- medveten
- verkligt-tid, inte i lots
Read Part 1: StyloBot: Kämpar tillbaka mot schackare
Lees del 3: Så enkel som möjligt och inte så enkel - Två rader kod till fulla produktionsportaalet .
👉 Se det live: StyloBotM SK2net - Det här är det riktiga produktionssystemet som kör tidigt -utbrottsdetektion inline vid portaalet. ♫ ♫ mätt inline ♫ МSK3 ♫ latens varierar mellan policy och aktiverade vågor ♫
Denna artikel hoppar över inställning och konfiguration ( som täckts i del | 1), | fokuserar istället på den nya insidan som skiljer StyloBot från varandra
Innan man dyker in i arkitekturen, måste man förstå hotet.
Bots faller i kategorier:
De första tre har funnits i åratal Den fjärde är där djupet spelar roll De vanliga verkliga målen för --världen är prisintelligens scraping, ,, konkurrensintelligent crawling och datasets skördning för modellutbildning.
| Generering | taktik | försvar | МSK3 | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| v1: grundlig | Samma IP | ||||||||||||||||||
| v2: Hjärtlös | Verklig webblader , JS-överdragning , tillgångsbehållande | Behaviorella hastighetsgränser | , | TLS fingerprinting | |||||||||||||||
| v3: Distribuerat | Roterade IP:ar , hustillhöriga proxyer , varierad timing | Querkorelation | МSK4 | lagerkorrelation | |||||||||||||||
| v4: LLM-Driven ( nu ) | naturliga webbruttningsmönster | 3 | kontextuella begäran | 4 | blandad legitim | 5 | skräpning | 6 | datasets gifting | 7 | Allt det ovanstående | 8 | övergångsmodellering | 9 | kampanjeclustering ♫ 10 | responsbeteende-loop | 11 |
Springen från v3 till v 4: Gamla robotar följde regler eller slumpmässighet. Nya robotar förstå din hemsidas struktur. En LLM-bot kan be om produkt A , och sen de förknippade produkterna B och C M SK2 som en riktig användare ), och sedan systematiskt extrahera priser för en tränad modell sekvens ser naturlig ut, men aggregerad mening är ondskefull.
Du kanske tänker: "" Det detekterar inte Markov-mönster och klusterkonvergens massiva överingenjörskonst för att blockera robotar "".
Nej . Här' Varför?
Reference reading:
De flesta robotsystem gör en eller två av dessa.
Detta gör det möjligt att få större beteendemässig resolution medan besluten förklaras
flowchart LR
R[Request] --> W[Wave Contributors]
W --> A[Evidence Aggregation]
A --> S[Signature + Temporal Context]
S --> P[Probability, Confidence, Risk Band]
P --> X[Policy Action]
X --> Y[Response Outcome]
Y --> F[Response Feedback Loop]
F --> W
Wave contributors är instängda detektorkomponenter: Gatewayn kör dem i fortskridande vågor och lämnar tidigt när risken är självsäkrat låg eller högM SK1
Lägg märke till feedback-loopet: reaktionsbeteende strömmar in i nästa begäran
Se denna ledning i produktion på stylobot.net - skicka ett begäran och följa det genom verket med tidig ♫ - ♫ avgång ♫ ♫ med ♫ mätt inline vid portaal ♫
Istället för att köra alla detektörer på varje begäran etablissedda pipeline: billigt , snabba kontroller körs först . Bara om de flagerar något misstänkt så spenderar det CPU på dyra
Varför är detta viktigt: Du betalar inte kostnaden för den fulla analysen. ( klusteruppräckningar, , djupare korrelationer,, LLM-hyuristik, ) för varje oskadad användare, M SK5 Vinniga kontroller eliminerar uppenbara robotar omedelbart,
services.AddSingleton<IContributingDetector, FastPathReputationContributor>();
services.AddSingleton<IContributingDetector, UserAgentContributor>();
services.AddSingleton<IContributingDetector, HeaderContributor>();
services.AddSingleton<IContributingDetector, IpContributor>();
services.AddSingleton<IContributingDetector, BehavioralContributor>();
services.AddSingleton<IContributingDetector, ResponseBehaviorContributor>();
services.AddSingleton<IContributingDetector, MultiLayerCorrelationContributor>();
services.AddSingleton<IContributingDetector, BehavioralWaveformContributor>();
services.AddSingleton<IContributingDetector, ClusterContributor>();
services.AddSingleton<IContributingDetector, SimilarityContributor>();
services.AddSingleton<IContributingDetector, LlmContributor>();
services.AddSingleton<IContributingDetector, HeuristicLateContributor>();
Detta håller fasta–-–path latens låg, medan den gör det möjligt att utföra djupanalys bara när det är garanterat av tidiga signaler.
De flesta produktionsbot-detektortjänster hanterar v1-v3 effektivtM SK2 Här är ' marknadsfördelningen
| Lösningen | Handler upp till | Stoppar på | kostnaden | Hur det fungerar | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Enkel hastighetsbegränsning (nginxM SK1 Apache) | v+1 ♫ ♫ | v=2 ♫ | ||||||||||||||||||
| AWS WAF + IP-värde | vM SK1v2 | v\3 | 5 | 6 | månaden | 7 | per | 8 | begäranခွန်a | 9 | GeoIP | 10 | kända | 11 | dåliga IP-lister | 12 | Inga beteendemodellering | 13 | 14 | |
| Cloudflare Bot-Management | vM SK1v3 | v+4 ♫ ♫ ( ♫ delvis ♫ | ||||||||||||||||||
| Imperva/Incapsula | vM SK1v3 | v~4 ♫ ♫ ( ♫ delvis ♫ | ||||||||||||||||||
| DataDome | vM SK1v3 | v+4 ♫ ♫ ( ♫ delvis ♫ | ||||||||||||||||||
| Akamai Bot-chef | vM SK1v3 | v+4 ♫ ♫ ( ♫ delvis ♫ | ||||||||||||||||||
| Open source (fel, 2ban,,, etc, .), | , v, M SK5, | , v. 2, \ | Gratis, ♫ (, OSS ♫ | |||||||||||||||||
| StyloBot | v+2-+v+4+ | + Utöver |+ Gratis \ +OSS+M SK6+ /+ NuGet-paketet ♪ | + Alla de härbode ♪++ reaktionsfeedback-looparna ♪ МSK10+ övergångsmodellering ♪ |
Försök för kostnaden
Nyckelinsikten: De flesta företagslösningar (Cloudflare , Imperva, AkamaiM SK3 är starka i vMska4vM Ska5 detektionMske6 De fångar huvudlösa webblader och fördelade proxynätverkMsek7 Men de stannar innan vSka8 eftersom
De är inte fel, de hanterar marknaden som fanns i Men LLM-boter ändrade spelet.
Resten av posten går genom varje mekanism i pipelinen, med kod och konkreta exempel,
StyloBot registrerar reaktionsbeteende och vikar det i framtida begäranstillstånd för samma klientsignatur
private async Task RecordResponseAsync(
HttpContext context,
AggregatedEvidence evidence,
ResponseCoordinator coordinator,
DateTime requestStartTime)
{
var ip = context.Connection.RemoteIpAddress?.ToString() ?? "unknown";
var ua = context.Request.Headers.UserAgent.ToString();
var clientId = $"{ip}:{GetHash(ua)}";
var signal = new ResponseSignal
{
RequestId = context.TraceIdentifier,
ClientId = clientId,
Timestamp = DateTimeOffset.UtcNow,
StatusCode = context.Response.StatusCode,
Path = context.Request.Path.Value ?? "/",
Method = context.Request.Method,
RequestBotProbability = evidence.BotProbability,
InlineAnalysis = false
};
await coordinator.RecordResponseAsync(signal, CancellationToken.None);
// Improve transition modelling with observed response content type
waveform?.UpdateResponseContentType(clientId, context.Response.ContentType);
}
ResponseBehaviorContributor kan lägga till signaler som:
/admin/secret.php). En robot som kräver dessa är uppenbarligen ondskafullDet här förvandlar detektorn till slutet-loop-kontrollsystem: Du observerar hur roboten beter sig efter du svarade på det , och det ändrar ditt poängvärde för nästa begäran. Det är som en återkopplingsloop där varje interaktion lär systemet mer om attackören
Detektorn skapar en omvandlingsmatrix ( en tabell som visar hur ofta begäran rör sig från en typ till en annan ) mellan innehållsklassen och räknar den generella webbruttningsmönstret
Vad detta betyder på ett enkelt språk Ett Markov-modell följer " vad som kommer härnäst ?" baserat på det du just såg. Människa webblader vanligtvis begär efter en sida | → | och flera tillgångar |( | bilder ♫ , | skript | МSK6 | → | sedan en annan sida ♪ . | Boter visar ofta olika mönster ♪
var transitions = new int[3, 3];
var fromCounts = new int[3];
for (var i = 1; i < classes.Count; i++)
{
var from = (int)classes[i - 1];
var to = (int)classes[i];
transitions[from, to]++;
fromCounts[from]++;
}
var pageToAsset = (double)transitions[(int)ContentClass.Page, (int)ContentClass.Asset]
/ fromCounts[(int)ContentClass.Page];
var pageToPage = (double)transitions[(int)ContentClass.Page, (int)ContentClass.Page]
/ fromCounts[(int)ContentClass.Page];
Sedan stämdar den misstänkta övergångsformen:
if (pageToPage > 0.7 && pageCt >= 5)
contributions.Add(DetectionContribution.Bot(
Name, "Waveform", 0.6,
$"Scraper pattern: {pageToPage:P0} of page requests lead to another page",
weight: 1.5,
botType: BotType.Scraper.ToString()));
Den röda flaggan Om 70% av sidornas begäran går direkt till en annan sida | ( | istället för att få fram tillgångar som en riktig webblader gör |), | så är ' en robotsignatur | МSK4 | Den riktiga webbladern får fram sidan | , | laddar sedan alla stödjande plikter |
Istället för att köra alla detektörer på varje begäran etablissedda pipeline: billigt , snabba kontroller körs först . Bara om de flagerar något misstänkt så spenderar det CPU på dyra
Varför är detta viktigt: Du betalar inte kostnaden för den fulla analysen.
services.AddSingleton<IContributingDetector, FastPathReputationContributor>();
services.AddSingleton<IContributingDetector, UserAgentContributor>();
services.AddSingleton<IContributingDetector, HeaderContributor>();
services.AddSingleton<IContributingDetector, IpContributor>();
services.AddSingleton<IContributingDetector, BehavioralContributor>();
services.AddSingleton<IContributingDetector, ResponseBehaviorContributor>();
services.AddSingleton<IContributingDetector, MultiLayerCorrelationContributor>();
services.AddSingleton<IContributingDetector, BehavioralWaveformContributor>();
services.AddSingleton<IContributingDetector, ClusterContributor>();
services.AddSingleton<IContributingDetector, SimilarityContributor>();
services.AddSingleton<IContributingDetector, LlmContributor>();
services.AddSingleton<IContributingDetector, HeuristicLateContributor>();
Detta håller fasta–-–path latens låg, medan den gör det möjligt att utföra djupanalys bara när det är garanterat av tidiga signaler.
En robot kan ljuga om sin användare.
Tanken Se om Bots påståenden är konsekventa över flera nivåer
Om du ser motsägelser i olika lager, så är det nästan definitivt en robot, eftersom att vara vilse på dem konsekvent är mycket svårare än att bara ändra användaren.
var osMismatch = AnalyzeOsCorrelation(tcpOsHint, tcpWindowOsHint, userAgentOs, signals);
var browserMismatch = AnalyzeBrowserCorrelation(h2ClientType, userAgentBrowser, tlsProtocol, signals);
var tlsMismatch = AnalyzeTlsCorrelation(tlsProtocol, userAgentBrowser, signals);
var geoMismatch = AnalyzeGeoCorrelation(state, signals);
if (anomalyCount >= 3)
contributions.Add(DetectionContribution.Bot(
Name, "Correlation", 0.85,
$"Multiple layer mismatches detected ({anomalyCount}/{totalLayers})",
weight: 2.0,
botType: BotType.MaliciousBot.ToString()));
Detta är en av de starkaste anti- -spångmekanismerna i högen.
StyloBot minns vad varje bot-signatur har gjort nyligen. Men minnet måste vara begränsat ( kan ' inte växa för alltid M SK2 och avsedda (aktualiseringar kan ' inte tävla med varandra
Varför är det så svårt? Föreställ dig en robot som fortsätter att träffa din sida från samma IP och användaren.-Agentskombo, . Du vill komma ihåg: "den här grejen träffade honungskålen tre gånger,," " den fick 403s på auth försök,," | " det var ' en del av en koordinerad kluster,M SK10 men i hög nivå,MST11, trafikscenarier, MST12, kan du ha tusentals kännetecken,M ST13, och uppdaterar dig parallellt,M st14, utan noggranna tillståndskontroll, M ST15, så förlorar du antingen data, M S ST16, kacker löser viktig historia, M st 17 eller spenderar för mycket minne, M T 18, oändligt tillväxt.
StyloBot löser detta med TTL
_signatureCache = new SlidingCacheAtom<string, SignatureTrackingAtom>(
async (signature, ct) => new SignatureTrackingAtom(signature, _options, _logger),
_options.SignatureTtl,
_options.SignatureTtl * 2,
_options.MaxSignaturesInWindow,
Environment.ProcessorCount,
10,
_signals);
_updateAtom = new KeyedSequentialAtom<SignatureUpdateRequest, string>(
req => req.Signature,
async (req, ct) => await ProcessSignatureUpdateAsync(req, ct),
Environment.ProcessorCount * 2,
1,
true,
_signals);
Man får en deterministisk per- -signaturbeställning- -,- -parallelism- -över- -signationer.,- -och en automatisk TTL- -/- -LRU- -pressionskontroll.
StyloBot stannar inte vid en enda sak
ScraperXYZ, att hitta en annan får större självförtroendevar cluster = _clusterService.FindCluster(signature);
if (cluster != null)
{
signals[SignalKeys.ClusterType] = cluster.Type.ToString().ToLowerInvariant();
signals[SignalKeys.ClusterMemberCount] = cluster.MemberCount;
if (cluster.Type == BotClusterType.BotProduct)
contributions.Add(BotContribution(
"Cluster",
$"Part of bot product cluster '{cluster.Label}' ({cluster.MemberCount} members)",
confidenceOverride: ProductConfidenceDelta,
botType: "Scraper"));
}
var family = _signatureCoordinator.GetFamily(signature);
if (family != null && family.MemberSignatures.Count > 1)
{
contributions.Add(BotContribution(
"ConvergedFamily",
$"Part of converged family ({family.MemberSignatures.Count} members, {family.FormationReason})",
confidenceOverride: familyBoost));
}
Detta ökar detektorkvaliteten för gränstrafik utan att blint upphöja alla okända.
Current clustering uses etikett förökning ( Föreställ dig att sprida en färgad etikett genom ett nätverk. Leidens "-" -stilsamhällets raffinering pass städar upp saker genom att optimera samhällsgränserna.
Enkel engelska: Du har en graf av Bot-signaturer, ,, med kanter som kopplar ihop liknande. . Leiden är en algoritm som räknar ut vilka kännetecken som naturligt samlas ihop, ,, och den gör ett bättre jobb än naiva angrepp... Istället för att säga: "" Alla dessa robotar ser likadana ut "", ,, sammanlagda, M SK7, säger Leiden: ""... ", vänta... ,, de här apparaterna bildar faktiskt en tät koordinerad grupp.
Varför är detta viktigt:
Höga strömningar
flowchart LR
V[Signature feature vectors] --> G[Weighted similarity graph]
G --> L[Leiden community optimization]
L --> R[Refinement and reassignment]
R --> C[Stable bot-network communities]
C --> P[Policy signals and dashboard labels]
Leiden-passpass-pseudokod
// Pseudocode for community refinement pass
var graph = BuildSimilarityGraph(signatureVectors);
var communities = Leiden.DetectCommunities(
graph,
resolution: 1.0,
seed: 42);
foreach (var community in communities)
{
var score = ComputeCommunityBotScore(community);
var temporal = ComputeTemporalDensity(community);
if (score >= botThreshold && temporal >= temporalThreshold)
EmitCluster(community, type: BotClusterType.BotNetwork);
}
Detta spelar roll för att det ger dig ett hållbart nätverk.
För den nuvarande produktionsimplementeringens detaljer:
MVC-attributen ger den operationella kontrollplaneten
[BotPolicy("strict")]
[BotAction("challenge", FallbackAction = "block")]
public IActionResult Checkout() => Ok();
[BotDetector("UserAgent,Header,Ip", BlockAction = BotBlockAction.Throttle)]
public IActionResult MultiDetector() => Ok();
Vad gör dessa? Du markerar individuella slutpunkter med den säkerhetshållning de behöver. Checkout kanske kräver strikt skydd ( utmana misstänkta robotar , blockera om de kan blockera dem ' inte lösa det M SK4 En offentlig API kanske bara stöter på strömmarna MSC5 En sökpunkt kanske bara kontrollerar användaren MST6 Agent och chefen Mst7 Det här låter grupperna tillämpa olika detektionsstrategier på olika slutpunkter utan att skriva räätällig mellanprogram
Försök olika regler live på stylobot.net - Testa den strict, balanced, och permissive policyr sida vid sida i produktionen. Se verkliga latens när policyförändringar påverkar det tidiga
Den offentliga platsen är också en produktion
flowchart LR
I[Internet] --> C[Caddy]
C --> G[Stylobot.Gateway]
C --> W[Website for SignalR hub route]
G --> W
W --> T[(TimescaleDB/PostgreSQL)]
G --> T
G --> O[Ollama optional]
Hur ska jag läsa det här: Caddy ( omvänd proxy ) tar vägen för trafiken | . | En del går till Gateway ♫ ( | som driver alla robot-detektorer ♪ ), | en del går direkt till Websiten ♫( | för riktiga apparater ♫
Varför denna split fungerar:
Dessa fem Differentiatorer: —, stängde -, kretsbildning, ,, övergång, M SK3, modellering av formen, ,, minnet av den tidiga kännetecken, MSL5, korsning,MSL6, lagerkorrelation, MLS7 och kampanjer, Msl8, klusterkontext, MML9, ger en beteendemässig lösning som visar att standardregex, MNL10, plus MNL11 och MNL12 inte kan matcha gränssystem.
Ni vill se dem i action? Gå till stylobot.net och testa detektorn i produktion.
Om de tekniska termerna ovanför känns nya, är det här kanoniska referenser från datorvetenskap och nätverkssäkerhetsliteratur
Den här bilden är en uppvisning i berättelsen.
Del 3 kommer att täcka produktionstunning : tröskeln , falskt M SK3 positiv kontroll Mska4 drift M Ska5 och rollout-strategin
© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.