Back to "RAG för implementatorer: Semantisk sökning i handling"

This is a viewer only at the moment see the article on how this works.

To update the preview hit Ctrl-Alt-R (or ⌘-Alt-R on Mac) or Enter to refresh. The Save icon lets you save the markdown file to disk

This is a preview from the server running through my markdig pipeline

AI-Article Alpine.js ASP.NET HTMX Hybrid Search RAG Semantic Search

RAG för implementatorer: Semantisk sökning i handling

Wednesday, 24 December 2025

Inledning

En del av RAG-serien: Detta är del 4b - sökfunktioner och UI:

Till Häfte 4a, Vi byggde grunden: ONNX inbäddningar och Qdrant vektor lagring. Nu låt oss sätta det att fungera med en verklig sökning UI - inklusive autokomplett typeahead, hybridsökning som kombinerar semantisk + fulltext och avancerad filtrering.

Denna artikel täcker själva sökupplevelsen användare interagerar med på denna blogg.

Typeahead sökupplevelsen

Sökrutan högst upp på denna webbplats ger omedelbar sökning-som-you-typ resultat. Så här fungerar det:

sequenceDiagram
    participant U as User
    participant A as Alpine.js
    participant API as SearchApi
    participant H as HybridSearch
    participant S as Semantic Search
    participant P as PostgreSQL

    U->>A: Types "docker"
    A->>A: Debounce 300ms
    A->>API: GET /api/search/docker
    API->>H: HybridSearchAsync("docker")
    par Parallel Search
        H->>S: SearchAsync("docker", 20)
        H->>P: GetSearchResultForComplete("docker")
    end
    S-->>H: Semantic results (by meaning)
    P-->>H: Full-text results (by keywords)
    H->>H: Apply RRF scoring
    H-->>API: Combined results
    API-->>A: JSON results
    A->>U: Display dropdown

Alpine.js Typeahead-komponenten

Sökrutan använder Alpina.js för reaktiv UI utan tunga JavaScript-ramverk. Här är komponenten:

export function typeahead() {
    return {
        query: '',
        results: [],
        highlightedIndex: -1, // Tracks keyboard navigation

        search() {
            // Minimum 2 characters to trigger search
            if (this.query.length < 2) {
                this.results = [];
                this.highlightedIndex = -1;
                return;
            }

            fetch(`/api/search/${encodeURIComponent(this.query)}`, {
                method: 'GET',
                headers: { 'Content-Type': 'application/json' }
            })
            .then(response => {
                if (response.ok) return response.json();
                return Promise.reject(response);
            })
            .then(data => {
                this.results = data;
                this.highlightedIndex = -1;
                // Process HTMX attributes in results
                this.$nextTick(() => {
                    htmx.process(document.getElementById('searchresults'));
                });
            })
            .catch((response) => {
                console.log("Error fetching search results");
            });
        },

        // Keyboard navigation
        moveDown() {
            if (this.highlightedIndex < this.results.length - 1) {
                this.highlightedIndex++;
            }
        },

        moveUp() {
            if (this.highlightedIndex > 0) {
                this.highlightedIndex--;
            }
        },

        selectHighlighted() {
            if (this.highlightedIndex >= 0 && this.highlightedIndex < this.results.length) {
                this.selectResult(this.highlightedIndex);
            }
        },

        selectResult(selectedIndex) {
            // Click the HTMX link to navigate
            let links = document.querySelectorAll('#searchresults a');
            links[selectedIndex].click();
            this.results = [];
            this.highlightedIndex = -1;
            this.query = '';
        }
    }
}

Huvuddrag:

  1. Avslöjad inmatning: 300ms fördröjning förhindrar hamring av servern
  2. Minsta längd: Minst 2 tecken krävs
  3. Tangentbordsnavigering: Piltangenter + Enter för tillgänglighet
  4. Integrering av HTMX: Resultat använder HTMX för smidig navigering

Sökrutan HTML

<div x-data="window.mostlylucid.typeahead()"
     class="relative"
     x-on:click.outside="results = []">

    <label class="input input-sm bg-white dark:bg-custom-dark-bg input-bordered flex items-center gap-2">
        <input
            type="text"
            x-model="query"
            x-on:input.debounce.300ms="search"
            x-on:keydown.down.prevent="moveDown"
            x-on:keydown.up.prevent="moveUp"
            x-on:keydown.enter.prevent="selectHighlighted"
            placeholder="Search..."
            class="border-0 grow input-sm text-black dark:text-white bg-transparent w-full"/>
        <i class="bx bx-search"></i>
    </label>

    <!-- Dropdown Results -->
    <ul x-show="results.length > 0"
        id="searchresults"
        class="absolute z-10 my-2 w-full bg-white dark:bg-custom-dark-bg border rounded-lg shadow-lg">
        <template x-for="(result, index) in results" :key="result.slug">
            <li :class="{'bg-blue-light dark:bg-blue-dark': index === highlightedIndex}"
                class="cursor-pointer text-sm p-2 m-2 hover:bg-blue-light dark:hover:bg-blue-dark">
                <a hx-boost="true"
                   hx-target="#contentcontainer"
                   hx-swap="innerHTML show:window:top"
                   :href="result.url"
                   x-text="result.title"></a>
            </li>
        </template>
    </ul>
</div>

Varför x-on:click.outside? Genom att klicka utanför rullgardinen stängs det - standard UX-mönster för autokomplettering.

Sökgränssnittet

och /api/search/{query} Endpoint driver typeahead. Här är controllern:

[ApiController]
[Route("api")]
public class SearchApi(
    BlogSearchService searchService,
    UmamiBackgroundSender umamiBackgroundSender,
    ISemanticSearchService semanticSearchService,
    SemanticSearchConfig semanticSearchConfig) : ControllerBase
{
    private const int RrfConstant = 60; // Reciprocal Rank Fusion constant

    [HttpGet]
    [Route("search/{query}")]
    [OutputCache(Duration = 3600, VaryByQueryKeys = new[] { "query" })]
    public async Task<Results<JsonHttpResult<List<SearchResults>>, BadRequest<string>>> Search(string query)
    {
        using var activity = Log.Logger.StartActivity("Search {query}", query);
        try
        {
            var host = Request.Host.Value;
            List<SearchResults> output;

            // Use hybrid search if semantic search is enabled
            if (semanticSearchConfig.Enabled)
            {
                output = await HybridSearchAsync(query, host);
            }
            else
            {
                // Fallback to full-text search only
                output = await FullTextSearchAsync(query, host);
            }

            // Track search event for analytics
            var encodedQuery = HttpUtility.UrlEncode(query);
            await umamiBackgroundSender.Track("searchEvent", new UmamiEventData { { "query", encodedQuery } });

            return TypedResults.Json(output);
        }
        catch (Exception e)
        {
            Log.Error(e, "Error in search");
            return TypedResults.BadRequest("Error in search");
        }
    }
}

Viktiga designbeslut:

  1. Flagga för funktioner: semanticSearchConfig.Enabled låter dig växla semantisk sökning
  2. Utmatningscache: 1-timmars cache minskar serverbelastningen för vanliga frågor
  3. Spårning av analys: Varje sökning spåras (hjälper till att förstå användarens beteende)
  4. Nådfull nedgradering: Faller tillbaka till PostgreSQL om semantisk sökning misslyckas

Hybridsökning med ömsesidig rankning Fusion

Den verkliga magin är hybridsökning - kombinera semantiska och fulltext resultat. Vi använder Reciprocal Rank Fusion (RRF) för att slå samman dem rättvist.

Varför hybridsökning?

Olika sökmetoder har olika styrkor:

på Sök typ och styrka på grund av svaghet |------------|-----------|------------| | Semantiskt + Synonymer, mening, begrepp och kan missa exakta fraser | Fullständig text Exakta nyckelord, tekniska termer, ingen synonymförståelse

Exempel: Söker efter "container distribution"

  • Semantiska fynd: "Docker tutorials", "Kubernetes guider" (relaterade begrepp)
  • Fulltext fynd: Poster som innehåller exakt "container distribution"
  • Hybrid får det bästa av båda!

RRF-algoritmen

flowchart TB
    subgraph Semantic[Semantic Results]
        S1[Docker Containers - 0.92]
        S2[Kubernetes Basics - 0.87]
        S3[Container Security - 0.81]
    end

    subgraph FullText[Full-Text Results]
        F1[Container Security - rank 1]
        F2[Docker Containers - rank 2]
        F3[CI/CD Pipelines - rank 3]
    end

    subgraph RRF[RRF Scores]
        R1[Container Security = 0.0327]
        R2[Docker Containers = 0.0325]
        R3[Kubernetes Basics = 0.0161]
        R4[CI/CD Pipelines = 0.0159]
    end

    subgraph Final[Final Ranking]
        O1[Container Security]
        O2[Docker Containers]
        O3[Kubernetes Basics]
        O4[CI/CD Pipelines]
    end

    S1 --> R2
    S2 --> R3
    S3 --> R1
    F1 --> R1
    F2 --> R2
    F3 --> R4
    R1 --> O1
    R2 --> O2
    R3 --> O3
    R4 --> O4

Formeln: score = Σ(1 / (k + rank))

där

  • k = 60 (fortfarande för att förhindra att tidiga led dominerar)
  • rank = position i sökmetodens resultat (1-indexerad)

Varför RRF fungerar:

  • Resultat som uppträtt i båda källpoäng högre
  • Ingen enskild källa kan dominera
  • Ingen komplicerad inställning krävs

Genomförande

private async Task<List<SearchResults>> HybridSearchAsync(string query, string host)
{
    // Run both searches in parallel
    var fullTextTask = GetFullTextResultsAsync(query);
    var semanticTask = semanticSearchService.SearchAsync(query, limit: 20);

    await Task.WhenAll(fullTextTask, semanticTask);

    var fullTextResults = await fullTextTask;
    var semanticResults = await semanticTask;

    // Apply Reciprocal Rank Fusion to combine results
    var rrfScores = new Dictionary<string, (double Score, string Title, string Slug)>();

    // Score full-text results
    for (int i = 0; i < fullTextResults.Count; i++)
    {
        var (title, slug) = fullTextResults[i];
        var key = slug.ToLowerInvariant();
        var rrfScore = 1.0 / (RrfConstant + i + 1);

        if (rrfScores.TryGetValue(key, out var existing))
        {
            rrfScores[key] = (existing.Score + rrfScore, title, slug);
        }
        else
        {
            rrfScores[key] = (rrfScore, title, slug);
        }
    }

    // Score semantic results
    for (int i = 0; i < semanticResults.Count; i++)
    {
        var result = semanticResults[i];
        var key = result.Slug.ToLowerInvariant();
        var rrfScore = 1.0 / (RrfConstant + i + 1);

        if (rrfScores.TryGetValue(key, out var existing))
        {
            rrfScores[key] = (existing.Score + rrfScore, existing.Title, existing.Slug);
        }
        else
        {
            rrfScores[key] = (rrfScore, result.Title, result.Slug);
        }
    }

    // Sort by combined RRF score and return top results
    return rrfScores.Values
        .OrderByDescending(x => x.Score)
        .Take(15)
        .Select(x => new SearchResults(
            x.Title.Trim(),
            x.Slug,
            Url.ActionLink("Show", "Blog", new { x.Slug }, "https", host)))
        .ToList();
}

Viktiga genomförandeuppgifter:

  1. Parallellt genomförande: Båda sökningar körs samtidigt (Task.WhenAll)
  2. Skiftlägesokänslig dedup: Slugs normaliseras med ToLowerInvariant()
  3. Ackumulering av poäng: Samma inlägg i båda källorna får poäng läggas till
  4. Topp 15 Resultat: Tillräckligt för typeahead, inte överväldigande

Fulltextsökning Fallback

När semantisk sökning inaktiveras eller misslyckas, faller vi tillbaka till PostgreSQL fulltextsökning.

Frågahantering

Fulltextsökningen hanterar två olika fall:

private async Task<List<(string Title, string Slug)>> GetFullTextResultsAsync(string query)
{
    if (!query.Contains(' '))
        return await searchService.GetSearchResultForComplete(query);  // Wildcard
    else
        return await searchService.GetSearchResultForQuery(query);     // Web search
}

Ett enda ord ("docka"): Använder wildcard prefix- sökning docker:* Flera ord (" docker containrar"): Använder PostgreSQL: s webbsökning syntax

PostgreSQL-frågor

// Single word with wildcard
private IQueryable<BlogPostEntity> QueryForWildCard(string query)
{
    return context.BlogPosts
        .Include(x => x.Categories)
        .Include(x => x.LanguageEntity)
        .AsNoTracking()
        .Where(x =>
            !x.IsHidden
            && (x.ScheduledPublishDate == null || x.ScheduledPublishDate <= now)
            && (x.SearchVector.Matches(EF.Functions.ToTsQuery("english", query + ":*"))
                || x.Categories.Any(c =>
                    EF.Functions.ToTsVector("english", c.Name)
                        .Matches(EF.Functions.ToTsQuery("english", query + ":*"))))
            && x.LanguageEntity.Name == "en")
        .OrderByDescending(x =>
            x.SearchVector.Rank(EF.Functions.ToTsQuery("english", query + ":*")));
}

// Multiple words with web search
private IQueryable<BlogPostEntity> QueryForSpaces(string processedQuery)
{
    return context.BlogPosts
        .Where(x =>
            x.SearchVector.Matches(EF.Functions.WebSearchToTsQuery("english", processedQuery))
            || x.Categories.Any(c =>
                EF.Functions.ToTsVector("english", c.Name)
                    .Matches(EF.Functions.WebSearchToTsQuery("english", processedQuery))))
        .OrderByDescending(x =>
            x.SearchVector.Rank(EF.Functions.WebSearchToTsQuery("english", processedQuery)));
}

Varför WebSearchToTsQuery? Den hanterar frågor om naturligt språk som Google:

  • "docker containers" → sökningar efter båda orden
  • docker OR kubernetes → Booleska ELLER
  • docker -compose → exkluderar "komposera"

För mer om PostgreSQL fulltextsökning, se Fullständig textsökning med postgres.

Hela söksidan

Förutom typeahead finns det en fullständig sökresultatsida med avancerad filtrering:

flowchart LR
    subgraph SearchPage[Search Page]
        A[Query Input] --> B{Filters}
        B --> C[Language Filter]
        B --> D[Date Range Filter]
        C --> E[Search Results]
        D --> E
        E --> F[Paginated List]
    end

    style A stroke:#10b981,stroke-width:2px
    style B stroke:#6366f1,stroke-width:2px
    style E stroke:#ec4899,stroke-width:2px
    style F stroke:#8b5cf6,stroke-width:2px

Sökkontroll

[Route("search")]
public class SearchController(
    BaseControllerService baseControllerService,
    BlogSearchService searchService,
    ISemanticSearchService semanticSearchService,
    ILogger<SearchController> logger)
    : BaseController(baseControllerService, logger)
{
    [HttpGet]
    [Route("")]
    [OutputCache(Duration = 3600, VaryByQueryKeys = new[] { "query", "page", "pageSize", "language", "dateRange", "startDate", "endDate" })]
    public async Task<IActionResult> Search(
        string? query,
        int page = 1,
        int pageSize = 10,
        string? language = null,
        DateRangeOption dateRange = DateRangeOption.AllTime,
        DateTime? startDate = null,
        DateTime? endDate = null,
        [FromHeader] bool pagerequest = false)
    {
        // Calculate date range based on option
        var (calculatedStartDate, calculatedEndDate) = CalculateDateRange(dateRange, startDate, endDate);

        // Get available languages for the filter dropdown
        var availableLanguages = await searchService.GetAvailableLanguagesAsync();

        if (string.IsNullOrEmpty(query?.Trim()))
        {
            var emptyModel = new SearchResultsModel { /* ... */ };
            if (Request.IsHtmx()) return PartialView("SearchResults", emptyModel);
            return View("SearchResults", emptyModel);
        }

        var searchResults = await searchService.HybridSearchWithPagingAsync(
            query,
            language,
            calculatedStartDate,
            calculatedEndDate,
            page,
            pageSize);

        // Build response model...
        if (pagerequest && Request.IsHtmx())
            return PartialView("_SearchResultsPartial", searchModel.SearchResults);
        if (Request.IsHtmx())
            return PartialView("SearchResults", searchModel);
        return View("SearchResults", searchModel);
    }
}

Alternativ för datumintervall

public enum DateRangeOption
{
    AllTime,
    LastWeek,
    LastMonth,
    LastYear,
    Custom
}

private static (DateTime? StartDate, DateTime? EndDate) CalculateDateRange(
    DateRangeOption dateRange, DateTime? startDate, DateTime? endDate)
{
    var now = DateTime.UtcNow;
    return dateRange switch
    {
        DateRangeOption.LastWeek => (now.AddDays(-7), now),
        DateRangeOption.LastMonth => (now.AddMonths(-1), now),
        DateRangeOption.LastYear => (now.AddYears(-1), now),
        DateRangeOption.Custom => (startDate, endDate),
        _ => (null, null) // AllTime - no date filter
    };
}

Relaterade inlägg med Lazy Laddar

Varje blogginlägg visar semantiskt liknande inlägg i en hopfällbar panel. Detta använder HTMX för lat lastning:

<!-- In blog post view -->
<div class="print:hidden"
     hx-get="/search/related/@Model.Slug/@Model.Language"
     hx-trigger="load delay:500ms"
     hx-swap="innerHTML">
    <!-- Loading placeholder -->
    <div class="mt-8 mb-8 text-center opacity-50">
        <span class="loading loading-spinner loading-md"></span>
        <p class="text-sm mt-2">Finding related posts...</p>
    </div>
</div>

Varför skjuta upp 500 ms? Huvudinnehållet laddar först, sedan relaterade inlägg laddas i bakgrunden. Användare ser innehåll omedelbart.

Relaterade inlägg Slutpunkt

[HttpGet]
[Route("related/{slug}/{language}")]
[OutputCache(Duration = 7200, VaryByRouteValueNames = new[] {"slug", "language"})]
public async Task<IActionResult> RelatedPosts(string slug, string language, int limit = 5)
{
    var results = await semanticSearchService.GetRelatedPostsAsync(slug, language, limit);

    if (Request.IsHtmx())
    {
        return PartialView("_RelatedPosts", results);
    }

    return Json(results);
}

2 timmars cache: Relaterade inlägg ändras inte ofta, så aggressiv caching är säkert.

Komponenten relaterade inlägg

En DaisyUI-kollapskomponent med radiella framsteg som visar likhetspoäng:

@model List<SearchResult>

@if (Model != null && Model.Any())
{
    <div class="mt-8 mb-8">
        <div class="collapse collapse-arrow bg-base-200">
            <input type="checkbox" class="peer" />
            <div class="collapse-title text-xl font-medium">
                <i class='bx bx-brain text-2xl mr-2'></i>
                Related Posts
                <span class="badge badge-secondary badge-sm ml-2">@Model.Count</span>
            </div>
            <div class="collapse-content">
                <div class="divider mt-0"></div>
                <div class="space-y-2">
                    @foreach (var post in Model)
                    {
                        <div class="card bg-base-100 shadow-sm hover:shadow-md transition-shadow">
                            <div class="card-body p-4">
                                <div class="flex items-start justify-between">
                                    <div class="flex-1">
                                        <a hx-boost="true"
                                           hx-target="#contentcontainer"
                                           asp-action="Show"
                                           asp-controller="Blog"
                                           asp-route-slug="@post.Slug"
                                           asp-route-language="@post.Language"
                                           class="card-title text-base hover:text-secondary">
                                            @post.Title
                                        </a>

                                        @if (post.Categories?.Any() == true)
                                        {
                                            <div class="flex flex-wrap gap-1 mt-2">
                                                @foreach (var category in post.Categories.Take(3))
                                                {
                                                    <span class="badge badge-outline badge-sm">@category</span>
                                                }
                                            </div>
                                        }

                                        <div class="flex items-center gap-3 mt-2 text-sm opacity-70">
                                            <span>
                                                <i class='bx bx-calendar'></i>
                                                @post.PublishedDate.ToString("MMM dd, yyyy")
                                            </span>
                                            <span>
                                                <i class='bx bx-planet'></i>
                                                @post.Language.ToUpper()
                                            </span>
                                        </div>
                                    </div>

                                    <!-- Similarity Score -->
                                    <div class="flex flex-col items-end ml-4">
                                        <div class="radial-progress text-primary text-xs"
                                             style="--value:@(post.Score * 100); --size:3rem; --thickness:3px;"
                                             role="progressbar">
                                            @((post.Score * 100).ToString("F0"))%
                                        </div>
                                        <span class="text-xs opacity-60 mt-1">similarity</span>
                                    </div>
                                </div>
                            </div>
                        </div>
                    }
                </div>
            </div>
        </div>
    </div>
}

Radiala framsteg visar likhet i procent (0-100 %), hjälpa användarna att förstå hur relaterade varje inlägg är.

API- referens

Typeaheadsökning

GET /api/search/{query}

till Parameter och typ på plats Beskrivning på plats |-----------|------|-------------| | query Sökterm (min 2 tecken)

Svar: List<SearchResults>

[
  {
    "title": "Docker Containers Explained",
    "slug": "docker-containers",
    "url": "https://example.com/blog/docker-containers"
  }
]

Caching: 1 timme, varierar beroende på fråga

Semantisk sökning

GET /search/semantic?query={query}&limit={limit}

till Parameter på typ på grund av förval på grund av att den inte uppfyller kraven i bilaga II till förordning (EG) nr 765/2008. |-----------|------|---------|-------------| | query Sökterm på strängen som krävs på sökterm | limit till int på 10

Svar: List<SearchResult> med likhetspoäng

Relaterade inlägg

GET /search/related/{slug}/{language}?limit={limit}

till Parameter på typ på grund av förval på grund av att den inte uppfyller kraven i bilaga II till förordning (EG) nr 765/2008. |-----------|------|---------|-------------| | slug på strängen krävs på blogg inlägg snigel | language Obligatorisk språkkod (en, es, etc.) | limit på plats 5

Svar: List<SearchResult> sorterad efter likhet

Caching: 2 timmar, varierar med snigel och språk

Fullständig sökning med filter

GET /search?query={query}&page={page}&pageSize={pageSize}&language={language}&dateRange={dateRange}&startDate={startDate}&endDate={endDate}

till Parameter på typ på grund av förval på grund av att den inte uppfyller kraven i bilaga II till förordning (EG) nr 765/2008. |-----------|------|---------|-------------| | query Sökterm på strängen som krävs på sökterm | page Antal sidor | pageSize Obligatoriska resultat per sida | language Filtrera efter språk | dateRange Alla tiders, sista veckan, sista månaden, sista året, anpassad | startDate Startdatum (med datumRange=Tull) | endDate Slutdatum (med datumRange=Tull)

Prestandatips

Cachingstrategi

// Typeahead - 1 hour (queries are repeated often)
[OutputCache(Duration = 3600, VaryByQueryKeys = new[] { "query" })]

// Related posts - 2 hours (rarely change)
[OutputCache(Duration = 7200, VaryByRouteValueNames = new[] {"slug", "language"})]

// Full search - 1 hour (many filter combinations)
[OutputCache(Duration = 3600, VaryByQueryKeys = new[] { "query", "page", "pageSize", "language", "dateRange", "startDate", "endDate" })]

Avgörande

Avvisa alltid användarinmatning för att förhindra överdrivna API-samtal:

x-on:input.debounce.300ms="search"

300ms är en bra balans - tillräckligt snabbt för att känna responsiv, tillräckligt långsam för att minska serverbelastningen.

Lazy Laddar

Använd HTMX's load delay: utlösande faktor för icke-kritiskt innehåll:

hx-trigger="load delay:500ms"

Detta säkerställer att huvudinnehållet är synligt före sekundära innehållsbelastningar.

Vad händer härnäst?

Denna artikel omfattade sökupplevelse - hur användare interagerar med semantisk sökning. Produktionsutbyggnad inklusive automatisk indexering och bakgrundstjänst, fortsätta att

Del 5: Hybridsökning och automatisk indexning - Produktionsintegrationsmönster:

  • FileSystemWatcher för indexering i realtid
  • Bakgrundstjänst för startindexering
  • detektering av innehållshash för inkrementella uppdateringar

Resurser

Relaterade artiklar

Använd teknik

Fullständig kod

Alla koder finns på: github.com/scottgal/mestlylucidweb

  • Mostlylucid/API/SearchApi.cs - Typeahead API
  • Mostlylucid/Controllers/SearchController.cs - Fullständig söksida
  • Mostlylucid.Services/Blog/BlogSearchService.cs - Hybridsöklogik
  • Mostlylucid/src/js/typeahead.js - Alpine.js komponent
logo

© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.