# El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. [El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.](/blog/graphrag-knowledge-graphs-for-rag), exploramos por qué es importante GraphRAG . Ahora vamos a crear un **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** Con tres modos de extracción: La Comisión Consultiva recomienda que el Secretario General apruebe el siguiente proyecto de resolución: |------|-----------|----------| | **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. | **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. | **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. Todos los modos utilizan: - **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** para almacenamiento unificado (vectores + gráfico en un único archivoM SK2 - **La Comisión Consultiva en Asuntos Administrativos y de Presupuesto recomienda a la Asamblea General que apruebe el siguiente proyecto de resolución:** Por consiguiente, el Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.** - [El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.](/blog/graphrag-knowledge-graphs-for-rag) - **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole. > **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.** [El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.](https://github.com/scottgal/mostlylucidweb/tree/main/Mostlylucid.GraphRag) en GitHub [TOC] ## El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. ```mermaid flowchart LR subgraph Indexing MD[Markdown Files] --> CH[Chunker] CH --> EMB[BERT Embeddings] CH --> EXT[Entity Extractor] EXT --> |heuristics + links| ENT[Entities] ENT --> REL[Relationships] REL --> COM[Communities] end subgraph Storage EMB --> DB[(DuckDB)] ENT --> DB REL --> DB COM --> DB end subgraph Query Q[Query] --> CLASS{Classify} CLASS --> |local| HS[Hybrid Search] CLASS --> |global| CS[Community Search] CLASS --> |drift| BOTH[Both + Synthesis] HS --> LLM[Ollama] CS --> LLM BOTH --> LLM end DB --> HS DB --> CS style MD stroke:#22c55e,stroke-width:2px style DB stroke:#3b82f6,stroke-width:2px style LLM stroke:#a855f7,stroke-width:2px ``` ## Por qué DuckDB? Microsoft's GraphRAG utiliza un almacenamiento separado para los vectores M SK1LanceDB), entidades (ParquetMSC4 y relaciones SSK5más ParquetMSP6 DuckDB simplifica estoMST7 - El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. `.duckdb` El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - La búsqueda de vectores nativos HNSW a través de la extensión VSS - SQL para la búsqueda vectorial y la traversación de gráficos - El Comité recomienda al Estado Parte que incluya en su próximo informe periódico información detallada sobre las medidas adoptadas para combatir el racismo, la discriminación racial, la xenofobia y las formas conexas de intolerancia. **DuckDB no es una base de datos gráfica - y queM SK1es el punto.** Esta es una limitación que mantiene el sistema debusible y barato. ## El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros en todos los niveles de vida, incluida la educación. El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** - podemos preguntar "cuáles chunks mencionan la entidad XM SK2 directamente: ```mermaid erDiagram documents ||--o{ chunks : contains chunks ||--o{ entity_mentions : has chunks ||--o{ relationship_mentions : has entities ||--o{ entity_mentions : mentioned_in entities ||--o{ relationships : source entities ||--o{ relationships : target relationships ||--o{ relationship_mentions : mentioned_in communities ||--o{ community_members : contains entities ||--o{ community_members : belongs_to chunks { varchar id PK varchar document_id FK text text float[] embedding } entities { varchar id PK varchar name varchar type int mention_count } entity_mentions { varchar entity_id FK varchar chunk_id FK } ``` El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en el empleo, incluida la eliminación del trabajo forzoso. `VARCHAR[]` El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.**El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico.`entity_mentions`, `relationship_mentions`) habilita quejas eficientes como "obtenga todos los chunks que mencionan Docker". ### Vector Search: La HNSW te ha encontrado El índice HNSW de DuckDB' sólo se activa con `array_cosine_distance` + `ORDER BY` + `LIMIT`: ```csharp // GraphRagDb.cs - SearchChunksAsync cmd.CommandText = $""" SELECT id, document_id, text, chunk_index, array_cosine_distance(embedding, $1::FLOAT[{_dim}]) as distance FROM chunks WHERE embedding IS NOT NULL ORDER BY distance LIMIT $2 """; // Convert distance to similarity: 1.0f - distance ``` **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la asignación de recursos suficientes a la educación y la formación profesional. `array_cosine_similarity` no utilizará el índice** - ganóM SK1 no desencadenó el índice de HNSW . En corporas no trivialesMSC3, esto convierte una consulta indexada en una prueba de tabla completaMska6 ## El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. Esta es la razón por la que nos divergemos del enfoque de Microsoft', en lugar de **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** used in Microsoft's reference GraphRAG pipeline, we use **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.**En el párrafo 2 del artículo 7 de la Constitución se estipula que "todos los ciudadanos tienen derecho a la libre determinación". *El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.* El Grupo de Trabajo tal vez desee tomar nota del informe del Secretario General sobre la aplicación de las recomendaciones contenidas en el párrafo 6 supra. ```mermaid flowchart TB subgraph "Phase 1: Signal Collection" TEXT[All Chunks] --> IDF[Compute IDF Scores] TEXT --> STRUCT[Structural Signals] STRUCT --> HEAD[Headings] STRUCT --> CODE[Inline Code] STRUCT --> LINKS[Links] IDF --> RARE[High-IDF = Rare Terms] RARE --> CAND[Candidates] HEAD --> CAND CODE --> CAND LINKS --> |explicit rels| LINKREL[Link Relationships] end subgraph "Phase 2: Dedup" CAND --> EMBED[BERT Embeddings] EMBED --> SIM[Similarity > 0.85] SIM --> MERGE[Merge Duplicates] end subgraph "Phase 3: Classify" MERGE --> LLM{LLM Available?} LLM --> |yes| BATCH[Single Batch Call] LLM --> |no| HEUR[Heuristic Types] end style IDF stroke:#f59e0b,stroke-width:2px style BATCH stroke:#a855f7,stroke-width:2px ``` ### ¿Por qué IDF, no listas de codificación rígida? El enfoque naivo es un código duro. `HashSet KnownTech = { "Docker", "Kubernetes", ... }`El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. - La Comisión Consultiva observa con preocupación que, a pesar de los esfuerzos realizados por el Departamento de Operaciones de Mantenimiento de la Paz y la Oficina del Alto Comisionado de las Naciones Unidas para los Refugiados (ACNUR), el número de refugiados sigue siendo insuficiente. - El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.** El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en todos los ámbitos de la vida, incluida la educación. El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. - El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.** El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. Para más información sobre TF-IDF y BM25, vea mi post en [la búsqueda híbrida con BM25](/blog/rag-hybrid-search-and-indexing). ### El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. La estructura de marcación nos dice lo que es importante. - **El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos estadísticos desglosados por sexo, edad y origen étnico.** (`## Docker Setup`El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - **La Comisión Consultiva en Asuntos Administrativos y de Presupuesto examinó el proyecto de presupuesto por programas para el bienio 2006-2007 (A/60/6 (Sect.** (`` `docker-compose` ``El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** (`[Docker](https://docker.com)`El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ```csharp // EntityExtractor.cs - structural signal extraction private void ExtractStructuralEntities(string chunk, string chunkId) { // Headings: ## Docker Compose Setup → "Docker Compose Setup" foreach (Match m in Regex.Matches(chunk, @"^#{1,3}\s+(.+)$", RegexOptions.Multiline)) { var heading = m.Groups[1].Value.Trim(); AddCandidate(heading, chunkId, weight: 2.0); // Higher weight } // Inline code: `docker-compose` → "docker-compose" foreach (Match m in Regex.Matches(chunk, @"`([^`]+)`")) { AddCandidate(m.Groups[1].Value, chunkId, weight: 1.5); } } ``` ### El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ```csharp // EntityExtractor.cs - ExtractLinks foreach (Match m in Regex.Matches(chunk, @"\[([^\]]+)\]\((/blog/[^)]+)\)")) { var linkText = m.Groups[1].Value; // "semantic search" var slug = m.Groups[2].Value; // "/blog/semantic-search-with-qdrant" yield return new Relationship(linkText, $"blog:{slug}", "references", chunkId); } ``` ### Deduplicación a través de las inserciones BERT Los nombres de entidades como "Docker Compose", "dockerM SK3composeMSC4 y SSK5DokerComposeC6 deberían ser fusionadosMST7 Usamos **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** En el párrafo 2 de la parte dispositiva del proyecto de resolución, la Asamblea General pidió al Secretario General que le presentara en su quincuagésimo séptimo período de sesiones un informe sobre los progresos realizados en la aplicación de las recomendaciones formuladas por la Comisión Consultiva en Asuntos Administrativos y de Presupuesto. ```csharp // EntityExtractor.cs - DeduplicateAsync var embeddings = await _embedder.EmbedBatchAsync(candidates.Select(c => c.Name), ct); for (int i = 0; i < candidates.Count; i++) { for (int j = i + 1; j < candidates.Count; j++) { var similarity = CosineSimilarity(embeddings[i], embeddings[j]); if (similarity > 0.85) { // Merge into canonical entity (keep higher mention count) canonical.MentionCount += duplicate.MentionCount; canonical.ChunkIds.UnionWith(duplicate.ChunkIds); } } } ``` Este paso es O(nM SK1 dentro de un conjunto de candidatos limitados , pero los números de candidatos están limitados por filtración IDF y señales estructurales - no tamaño de corpusMSC4 Para más detalles sobre las inserciones BERTMNK5 véase [la búsqueda semántica con ONNX y BERT](/blog/semantic-search-with-onnx-and-qdrant). ## El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. El CLI soporta tres modos de extracción a través del `--extraction-mode`: ### El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ```bash dotnet run --project Mostlylucid.GraphRag -- index ./Markdown --extraction-mode heuristic ``` El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la protección de los derechos humanos y las libertades fundamentales de todos los trabajadores migratorios y de sus familiares. **Sin embargo, en el párrafo 2 de la parte dispositiva del proyecto de resolución se pide al Secretario General que le presente en su quincuagésimo séptimo período de sesiones un informe sobre las medidas adoptadas por los Estados Miembros para cumplir sus obligaciones financieras con arreglo a la Convención.** El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. ### El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ```bash dotnet run --project Mostlylucid.GraphRag -- index ./Markdown --extraction-mode hybrid ``` El mejor de ambos mundos: 1. **El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos estadísticos desglosados por sexo, edad y origen étnico.**El Comité recomienda al Estado Parte que incluya en su próximo informe periódico información detallada sobre las medidas adoptadas por el Estado parte para combatir la discriminación racial. 2. **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.**El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. *El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.* El Comité recomienda al Estado Parte que incluya en su próximo informe periódico información detallada sobre las medidas adoptadas por el Estado parte para combatir la discriminación racial. ```mermaid flowchart LR subgraph "Per Document" CHUNKS[Document Chunks] --> HEUR[Heuristic Extraction] HEUR --> CAND[30 Candidates] CAND --> LLM[Single LLM Call] LLM --> ENT[Validated Entities] LLM --> REL[Semantic Relationships] end style HEUR stroke:#22c55e,stroke-width:2px style LLM stroke:#a855f7,stroke-width:2px ``` Para 5 los documentos con 62 chunks, el modo híbrido hace **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** (vs 124 para el modo completo de LLM - El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. - El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ### El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. ```bash dotnet run --project Mostlylucid.GraphRag -- index ./Markdown --extraction-mode llm ``` Aprobación del programa y otras cuestiones de organización **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ### El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. La Comisión Consultiva recomienda que el Secretario General apruebe el siguiente proyecto de resolución: |------|-----------|----------| | **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. | **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. | **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole. Para la documentación técnica, comenzar con **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** mode. Le da relaciones semánticas sin el per-costa de chumboM SK2 Regresar a **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** Para el texto narrativo. ## La Comisión Consultiva en Asuntos Administrativos y de Presupuesto recomienda a la Asamblea General que apruebe el siguiente proyecto de resolución: La investigación híbrida combina dos enfoques complementarios: **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** La Comisión Consultiva en Asuntos Administrativos y de Presupuesto recomienda a la Asamblea General que apruebe el siguiente proyecto de resolución: ```mermaid flowchart LR Q[Query] --> BERT[BERT Embedding] Q --> BM25[BM25 Tokenize] BERT --> DENSE[Dense Search
HNSW Index] BM25 --> SPARSE[Sparse Search
TF-IDF Scoring] DENSE --> RRF[RRF Fusion] SPARSE --> RRF RRF --> TOP[Top K Results] TOP --> ENR[Enrich with
Entities + Rels] style RRF stroke:#f59e0b,stroke-width:2px ``` ### ¿Qué es BM25? BM25 M SK1Mejor Match 25) clasifica los documentos en función de la frecuencia del término de consulta. La fórmulaMSC4 El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso._El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole. - **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole.**El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. - **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la protección de los derechos humanos y las libertades fundamentales, incluidos los derechos económicos, sociales y culturales.**El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. - **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.**El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. Para una implementación completa del BM25, véase [El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.](/blog/rag-hybrid-search-and-indexing). ### El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. La RRF fusiona los rankings de diferentes sistemas de extracción. Cada posición de rango recibe una puntuaciónM SK1 El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole._El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole. El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** Se han mejorado los rankings: ```csharp // SearchService.cs - RRF fusion const int k = 60; foreach (var (chunk, rank) in denseResults.Select((c, i) => (c, i))) scores[chunk.Id] = 1.0 / (k + rank + 1); foreach (var (chunk, rank) in sparseResults.Select((c, i) => (c, i))) { var rrfScore = 1.0 / (k + rank + 1); if (scores.TryGetValue(chunk.Id, out var existing)) scores[chunk.Id] = existing + rrfScore; // Boost for appearing in both! else scores[chunk.Id] = rrfScore; } ``` El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas y de otra índole. - El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. - **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ## El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros en todos los niveles de la enseñanza, incluida la educación primaria y secundaria. ```mermaid flowchart TB Q[Query] --> CLASS[Classify Query] CLASS --> |"How do I use X?"| LOCAL[Local Search] CLASS --> |"What are the themes?"| GLOBAL[Global Search] CLASS --> |"How does X relate to Y?"| DRIFT[DRIFT Search] LOCAL --> HS[Hybrid Search] --> CTX1[Chunk + Entity Context] GLOBAL --> CS[Community Summaries] --> MAP[Map-Reduce] DRIFT --> BOTH[Local + Communities] --> SYN[Synthesize] CTX1 --> LLM[LLM Answer] MAP --> LLM SYN --> LLM style LOCAL stroke:#22c55e,stroke-width:2px style GLOBAL stroke:#3b82f6,stroke-width:2px style DRIFT stroke:#a855f7,stroke-width:2px ``` ### El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros en todos los niveles de la enseñanza, incluida la educación primaria y secundaria. ```csharp // QueryEngine.cs private static QueryMode ClassifyQuery(string query) { var q = query.ToLowerInvariant(); if (q.Contains("main theme") || q.Contains("summarize") || q.Contains("overview")) return QueryMode.Global; if (q.Contains("relate") || q.Contains("connect") || q.Contains("compare")) return QueryMode.Drift; return QueryMode.Local; } ``` Este clasificador es deliberadamente simple - y fácil de reemplazar con un pequeño modelo de intención más adelante. Si no hay entidades que coincidanM SK2 el sistema se degrada claramente a una extracción híbrida pura . ## El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ### El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ```bash # Heuristic mode (default) - fast, no per-chunk LLM dotnet run --project Mostlylucid.GraphRag -- index ./test-markdown # LLM mode - Microsoft-style classification dotnet run --project Mostlylucid.GraphRag -- index ./test-markdown --extraction-mode llm ``` ```text GraphRAG Indexer Source: test-markdown Database: graphrag.duckdb Model: llama3.2:3b Extraction: Heuristic (IDF + signals) Initializing... Indexing docker-development-deep-dive.md: 0% Indexing docker-swarm-cluster-guide.md: 40% Indexing dockercomposedevdeps.md: 80% Indexing complete: 100% Classifying entities...: 0% Extracted 168 entities, 315 rels (4 LLM calls): 100% Found 10 communities: 100% Summarizing c_0_2 (12 entities): 20% Summarizing c_0_8 (4 entities): 80% ────────────────── Indexing Complete ─────────────────── ┌───────────────┬───────┐ │ Metric │ Count │ ├───────────────┼───────┤ │ Documents │ 5 │ │ Chunks │ 62 │ │ Entities │ 168 │ │ Relationships │ 312 │ │ Communities │ 10 │ └───────────────┴───────┘ ``` ### El Comité recomienda al Estado Parte que incluya en su próximo informe periódico información detallada sobre las medidas adoptadas para combatir el racismo, la discriminación racial, la xenofobia y las formas conexas de intolerancia. ```bash dotnet run --project Mostlylucid.GraphRag -- query "How do I use Docker Compose?" ``` ```text ──────────────────── Local Search ──────────────────── Query: How do I use Docker Compose? ╭─Answer────────────────────────────────────────────────╮ │ To run the services defined in the │ │ devdeps-docker-compose.yml file, you need to run the │ │ following command in the same directory as the file: │ │ │ │ docker compose -f .\devdeps-docker-compose.yml up -d │ │ │ │ This command will start the containers in detached │ │ mode. │ ╰───────────────────────────────────────────────────────╯ Related Entities: Docker, container, services, image Sources: 5 chunks (top score: 0.016) ``` ### El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ```bash dotnet run --project Mostlylucid.GraphRag -- stats ``` ```text ─────────────── GraphRAG Database Stats ──────────────── ┌───────────────┬───────┐ │ Metric │ Count │ ├───────────────┼───────┤ │ Documents │ 5 │ │ Chunks │ 62 │ │ Entities │ 168 │ │ Relationships │ 312 │ │ Communities │ 10 │ └───────────────┴───────┘ Database size: 7.76 MB ``` ## El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. Para 100 post de blog (~500 chunks, ~100 documentsM SK4 El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas y de otra índole. |-----------|---------------|-----------|--------|-----| El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole. El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole. | **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** | ~1,020 | ~24 | ~120 | ~1,024 | | **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. | **El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.** | ~$5-10 | ~$0.15 | ~$0.75 | ~$5-10 | | **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.** El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole. **El modo híbrido es el punto ideal.** para la mayor parte del contenido técnico: se obtienen relaciones semánticas M SK1no sólo co-occurrenciaMSC3 en ~10% de MSFTMST5s costeMSL6 > El Grupo de Trabajo tal vez desee tomar nota del informe del Secretario General sobre la aplicación de las recomendaciones contenidas en el documento A/CN.9/WG.III/WP.39, que figura a continuación: ## El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. |--------|-----------|--------|-----|---------------| El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole. | Funciona offline | Sí | Sí El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.** El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. Por consiguiente, la Comisión Consultiva recomienda que se apruebe el siguiente proyecto de resolución: [El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la asignación de recursos suficientes al sector privado.](/blog/docsummarizer-tool)La Comisión Consultiva observa que el proyecto de presupuesto por programas para el bienio 2008-2009 se basa en las estimaciones revisadas del Secretario General. > **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.** El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. ## El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso. La implementación es mínima - ~2,000 líneas a lo largo de estos archivos: ``` Mostlylucid.GraphRag/ ├── Storage/GraphRagDb.cs # DuckDB with HNSW + provenance ├── Services/EmbeddingService.cs # ONNX BERT wrapper ├── Services/OllamaClient.cs # LLM client ├── Extraction/ │ ├── IEntityExtractor.cs # Extractor interface │ ├── EntityExtractor.cs # Heuristic mode │ ├── HybridEntityExtractor.cs # Hybrid mode (recommended) │ └── LlmEntityExtractor.cs # Full LLM mode ├── Search/SearchService.cs # BM25 + BERT hybrid ├── Graph/CommunityDetector.cs # Leiden + summarization ├── Query/QueryEngine.cs # Local/Global/DRIFT ├── Indexing/MarkdownIndexer.cs # Chunking ├── GraphRagPipeline.cs # Orchestration ├── Models.cs # Shared types + ExtractionMode enum └── Program.cs # CLI ``` **El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole.** [`Mostlylucid.GraphRag/`](https://github.com/scottgal/mostlylucidweb/tree/main/Mostlylucid.GraphRag) ## El Comité recomienda al Estado Parte que incluya en su próximo informe periódico datos desglosados por sexo, edad y origen étnico. - [El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.](/blog/graphrag-knowledge-graphs-for-rag) - Por qué los gráficos de conocimiento mejoran el RAG - [La Comisión Consultiva en Asuntos Administrativos y de Presupuesto examinó el proyecto de presupuesto por programas para el bienio 2008-2009 (A/60/6 (Sect.](/blog/rag-hybrid-search-and-indexing) - Dibujar profundamente en BMM SK1 puntuación y índices - [La búsqueda semántica con ONNX y BERT](/blog/semantic-search-with-onnx-and-qdrant) El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la adopción de medidas legislativas, administrativas, judiciales y de otra índole. - [En el párrafo 2 de la parte dispositiva, la Asamblea General pidió al Secretario General que le presentara en su quincuagésimo séptimo período de sesiones un informe sobre los progresos realizados en la aplicación del Programa de Acción para prevenir, combatir y eliminar el tráfico ilícito de migrantes por tierra, mar y aire.](/blog/docsummarizer-tool) - Mi herramienta de resumen del documento que comparte el código con este ## El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - [La ampliación del VSS de DuckDB](https://duckdb.org/docs/extensions/vss.html) La Comisión Consultiva en Asuntos Administrativos y de Presupuesto examinó el proyecto de presupuesto por programas para el bienio 2006-2007 (A/60/6 (Sect. - [El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer.](https://arxiv.org/pdf/1810.08473.pdf) El Comité recomienda al Estado Parte que adopte todas las medidas necesarias para garantizar la igualdad entre los géneros y el empoderamiento de la mujer. - [El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre hombres y mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.](https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf) El Comité recomienda que el Estado Parte adopte todas las medidas necesarias para garantizar la igualdad de oportunidades entre los hombres y las mujeres en materia de empleo, incluida la eliminación del trabajo forzoso.