ΠΡΟΕΙ∆ΟΠΟΙΗΣΗ: ΤΙΣ ΠΡΟΘΕΣΜΙΕΣ ΠΟΥ "ΠΕΡΙΛΑΜΒΑΝΟΝΤΑΙ."
Πιθανότατα πολλά από αυτά που είναι κάτω δεν θα δουλέψουν; Εγώ τα δημιουργώ ως το πώς-για μένα και στη συνέχεια να κάνουμε όλα τα βήματα και να πάρει το δείγμα εφαρμογή εργασίας...Έχετε sneaky και να τους δει! Θα είναι πιθανώς έτοιμα μέσα Δεκεμβρίου.
## Εισαγωγή
Καλώς ήρθατε στο δεύτερο μέροςΜέρος 1
, θέσαμε το όραμα για την κατασκευή ενός βοηθού γραφής που χρησιμοποιεί το blog σας ως βάση γνώσεων - όπως το πώς οι δικηγόροι χρησιμοποιούν LLMs εκπαιδευμένα στη νομολογία για την κατάρτιση εγγράφων.
**Τώρα ήρθε η ώρα να λερώσουν τα χέρια μας με τα θεμέλια: να βεβαιωθείτε ότι η GPU σας είναι έτοιμη για την εργασία AI.**ΣΗΜΕΙΩΣΗ: Αυτό είναι μέρος των πειραμάτων μου με AI (βοηθητική σύνταξη) + δικό μου μοντάζ.
Ίδια φωνή, ίδιος πραγματισμός, απλά γρηγορότερα δάχτυλα.Σχετικά με το υλικό μου: Χρησιμοποιώ μια NVIDIA RTX A4000 (16GB VRAM), AMD Ryzen 9 9950X, και 96GB DDR5 RAM.Αλλά δεν το χρειάζεσαι αυτό!Όπως καλύπτεται στο Μέρος 1, μπορείτε να χρησιμοποιήσετε οποιαδήποτε NVIDIA GPU με 8GB+ VRAM, ή ακόμη και να εκτελέσετε CPU-μόνο (χαμηλή αλλά λειτουργική).
Αυτό το μέρος μπορεί να φαίνεται βασικό αν είστε ήδη εξοικειωμένοι με
graph LR
A[AI Workload] --> B{Type?}
B -->|Matrix Operations| C[GPU: 100x+ faster]
B -->|Sequential Logic| D[CPU: Better]
C --> E[Embedding Generation]
C --> F[LLM Inference]
C --> G[Vector Search]
D --> H[Application Logic]
D --> I[File I/O]
class C gpu
class E,F,G aiTasks
classDef gpu stroke:#333,stroke-width:4px
classDef aiTasks stroke:#333
Αλλά πίστεψέ με, έχω σπαταλήσει αμέτρητες ώρες αποσφαλμάτωσης μυστηριωδών λαθών που ανιχνεύουν αναντιστοιχίες εκδοχής, ελλείπουσες περιβαλλοντικές μεταβλητές, ή λάθος:
**- Οι GPU έχουν χιλιάδες πυρήνες εναντίον των CPUs.**Λειτουργίες MatrixName
- AI είναι ως επί το πλείστον μαθηματικά μήτρα, τα οποία GPUs excel σεΕύρος ζώνης μνήμης
- Οι GPUs μετακινούν τα δεδομένα πολύ γρηγορότεραΕξειδικευμένο υλικό
Οι πυρήναι του τένσορα επιταχύνουν τις ειδικές λειτουργίες AI
Παράδειγμα πραγματικού κόσμουΔημιουργώντας παρεμβολές για ένα blog post:
(24GB): Γρηγορότερα, ~0.2 ανά θέση
(12GB): ~0.5 ανά θέση
6144 πυρήνας CUNDA
RTX REGIS 24GB 13B-30B 24GB 13B 30B Περισσότερες πληροφορίες για αυτό το έργο**~ RTX 4070 Ti ~ 12GB ~ 7B-13B ~ Εξαιρετική επιλογή ~**
ΝΤ1 ΝΤ1 ΝΤ1 ΝΤ1 ΝΤ1 ΝΤ1 ΝΤ1 ΝΤ1 ΝΤ1 ΝΤ1 ΝΤ1~ RTX 4060 Ti ~ 16GB ~ 7B-13B ~ Μεγάλη τιμή ~
Α4000 (ορυχείο) 16GB 7B-13B:
: Οι ΝΠU δεν υποστηρίζουν το CUDA, το οποίο χρησιμοποιεί αυτό το φροντιστήριο:
: Εξακολουθεί να ωριμάζει για LLMsΕάν έχετε επεξεργαστή NPU εξοπλισμένη με NPUΧρησιμοποιήστε τη λειτουργία CPU μόνο για τώρα (όλα λειτουργούν, απλά πιο αργά)
ONNX Runtime DirectML
# PowerShell
wmic path win32_VideoController get name
ενημερώσεις
Name
NVIDIA RTX A4000
Μελλοντικά μέρη θα σημειώσουν όταν η υποστήριξη NPU βελτιώνεται
NVIDIA CUNDA
graph TB
A[Your C# Application] --> B[ONNX Runtime / LLamaSharp]
B --> C[CUDA Toolkit]
C --> D[cuDNN Libraries]
D --> E[NVIDIA Driver]
E --> F[GPU Hardware]
G[TensorRT] -.Optional.-> D
class A,F endpoints
class C,D,E install
classDef endpoints stroke:#333,stroke-width:4px
classDef install stroke:#333,stroke-width:2px
subgraph "What We'll Install"
C
D
E
end
γιατί είναι ώριμο και καλά υποστηριζόμενο στο .NET, αλλά οι έννοιες θα μεταφραστούν σε NPU μόλις το οικοσύστημα φτάσει!:
cuDNN
graph LR
A[1. NVIDIA Driver] --> B[2. CUDA Toolkit]
B --> C[3. cuDNN]
C --> D[4. Verify Install]
D --> E[5. Test from C#]
class A,B,C,D,E steps
classDef steps stroke:#333,stroke-width:2px
nvidia-smi
Η εφαρμογή σας
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 546.33 Driver Version: 546.33 CUDA Version: 12.3 |
|-------------------------------+----------------------+----------------------+
| GPU Name TCC/WDDM | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 NVIDIA RTX A4000 WDDM | 00000000:01:00.0 Off | Off |
| 41% 32C P8 10W / 140W | 345MiB / 16376MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
- Ο κωδικός μας C#:
Driver VersionΧάρτης πορείας εγκατάστασηςCUDA VersionΕδώ είναι η σειρά που θα εγκαταστήσουμε τα πράγματα (διαταγές θέματα!):Memory-UsageΒήμα 1: NVIDIA DriverOpen PowerShell:nvidia-smiΘα πρέπει να δείτε έξοδο όπως:
Βασικές πληροφορίες: Θα πρέπει να είναι 545.xx ή νεότερο
: Αυτή είναι η έκδοση MAX CUDA υποστηρίζεται, όχι αυτό που είναι εγκατεστημένο
RTX A4000
Λειτουργικό σύστημα:nvidia-smi
(ή την εκδοχή σας)
Studio Driver(πιο σταθερό από το Παιχνίδι Έτοιμο)Εγκατάσταση και επανεκκίνησηΕπαληθεύστε ξανά με
Αρχείο εργαλείων CUDA
Installation Type: Custom (Advanced)
Select Components:
✅ CUDA Toolkit
✅ CUDA Documentation
✅ CUDA Samples
✅ CUDA Visual Studio Integration
❌ GeForce Experience (not needed)
❌ NVIDIA Driver (already installed)
ΕπιλογήΕργαλείο CUDA 12.1
Επιλέξτε:
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1
Windows → x86_64 → 11 → exe (τοπική)
Επιλογές εγκατάστασης
Τρέξε τον εγκαταστάτη.:
$env:CUDA_PATH
# Should show: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1
$env:PATH -split ';' | Select-String CUDA
# Should show CUDA bin and libnvvp paths
Όταν ζητηθεί::
Γιατί έθιμο;: Δεν θέλουμε να υποβαθμίσουμε τον οδηγό μας ή να εγκαταστήσουμε λογισμικό τυχερών παιχνιδιών.:
This PCΠροκαθορισμένη διαδρομή είναι μια χαρά:Αλλά σημειώστε αυτό - θα το χρειαστούμε για περιβαλλοντικές μεταβλητές!Ορισμός μεταβλητών περιβάλλοντοςΟ εγκαταστάτης συνήθως τα θέτει αυτά, αλλά επαληθεύει:
CUDA_PATH = C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1CUDA_PATH_V12_1 = C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1Έλεγχος σε PowerShellPathΕάν λείπει, προσθέστε με το χέρι
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\libnvvp
ΆνοιγμαΜεταβλητές περιβάλλοντος
# Check CUDA compiler
nvcc --version
# Should output:
# nvcc: NVIDIA (R) Cuda compiler driver
# Copyright (c) 2005-2023 NVIDIA Corporation
# Built on Tue_Feb__7_19:32:13_Pacific_Standard_Time_2023
# Cuda compilation tools, release 12.1, V12.1.66
# Check path resolves
where.exe nvcc
# Should show: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\nvcc.exe
Κάτω
, επαληθεύστε/προσθέστε:: ΤοΜεταβλητή, εξασφαλίζει την ύπαρξη τους:
Ξαναξεκινήστε το τερματικό σαςγια αλλαγές που πρέπει να τεθούν σε ισχύΕπιβεβαίωση εγκατάστασης CUDA**Βήμα 3: cudNN (CUDA Deep Neural Network library)**cuDNN παρέχει βελτιστοποιημένες εφαρμογές των εργασιών βαθιάς μάθησης.
Πήγαινε στο
CUDNN ArchiveΘα χρειαστείτε λογαριασμό προγραμματιστή NVIDIA (δωρεάν)
cudnn-windows-x86_64-8.9.7.29_cuda12-archive\
bin\
cudnn64_8.dll
cudnn_adv_infer64_8.dll
cudnn_adv_train64_8.dll
... (more DLLs)
include\
cudnn.h
... (header files)
lib\
x64\
cudnn.lib
... (lib files)
Αναζήτηση::
# Assuming you extracted to Downloads and CUDA is in default location
# Run PowerShell as Administrator
$cudnnPath = "$env:USERPROFILE\Downloads\cudnn-windows-x86_64-8.9.7.29_cuda12-archive"
$cudaPath = "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1"
# Copy DLLs
Copy-Item "$cudnnPath\bin\*.dll" -Destination "$cudaPath\bin\"
# Copy headers
Copy-Item "$cudnnPath\include\*.h" -Destination "$cudaPath\include\"
# Copy libs
Copy-Item "$cudnnPath\lib\x64\*.lib" -Destination "$cudaPath\lib\x64\"
Κατεβάστε cudNN v8.9.7 (5 Δεκεμβρίου, 2023), για CUDA 12.x:
bin\Τοπικός εγκαταστάτης για Windows (Zip)C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\include\Εκχύλισμα και εγκατάσταση cuDNNC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\include\lib\x64\Εκχύλισμα του ZIPC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\lib\x64\# Check DLLs exist
Test-Path "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn64_8.dll"
# Should return: True
# List all cuDNN DLLs
Get-ChildItem "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn*.dll"
Ή κάντο χειροκίνητα.
nvidia-smi
έως
nvcc --version
έως
# All these should return paths
$env:CUDA_PATH
$env:CUDA_PATH_V12_1
# Check PATH includes CUDA bin
$env:PATH -split ';' | Select-String CUDA
Επιβεβαίωση εγκατάστασης cudNN
Βήμα 4: Πλήρης επαλήθευση:
cd "C:\ProgramData\NVIDIA Corporation\CUDA Samples\v12.1"
Ας σιγουρευτούμε ότι όλα θα πάνε καλά.:
cd "1_Utilities\deviceQuery"
Έλεγχος υλικούΘα πρέπει να δείξει GPU σας χωρίς λάθη.
# If you have VS 2022
"C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Current\Bin\MSBuild.exe" deviceQuery_vs2022.vcxproj /p:Configuration=Release /p:Platform=x64
Έλεγχος CUDA:
.\x64\Release\deviceQuery.exe
Θα πρέπει να δείξει CUDA 12.1 (ή οποιαδήποτε έκδοση έχετε εγκατασταθεί).
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "NVIDIA RTX A4000"
CUDA Driver Version / Runtime Version 12.3 / 12.1
CUDA Capability Major/Minor version number: 8.6
Total amount of global memory: 16376 MBytes (17174683648 bytes)
(048) Multiprocessors, (128) CUDA Cores/MP: 6144 CUDA Cores
GPU Max Clock rate: 1560 MHz (1.56 GHz)
Memory Clock rate: 7001 Mhz
Memory Bus Width: 256-bit
L2 Cache Size: 4194304 bytes
...
Result = PASS
Έλεγχος μεταβλητών συστήματος: Result = PASS
Δοκιμή δειγμάτων CUDA (προαιρετικά αλλά συνιστώμενα)
Ας συντάξουμε και να τρέξουμε ένα.
mkdir CudaTest
cd CudaTest
dotnet new console -n CudaTest
cd CudaTest
Σύνδεσέ το.(απαιτεί Visual Studio):
dotnet add package Microsoft.ML.OnnxRuntime.Gpu # Latest version
Τρέξε το.
Microsoft.ML.OnnxRuntimeΘα πρέπει να δείτε έξοδο όπως:Microsoft.ML.OnnxRuntime.GpuΗ γραμμή-κλειδίΒήμα 5: Δοκιμή από C#Program.cs:
using Microsoft.ML.OnnxRuntime;
using System;
using System.Linq;
namespace CudaTest
{
class Program
{
static void Main(string[] args)
{
Console.WriteLine("=== CUDA Test from C# ===\n");
// Test 1: Can we create a CUDA execution provider?
Console.WriteLine("Test 1: CUDA Execution Provider");
try
{
var cudaProviderOptions = new OrtCUDAProviderOptions();
var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider_CUDA(cudaProviderOptions);
Console.WriteLine("✅ CUDA execution provider created successfully");
Console.WriteLine($" Device ID: {cudaProviderOptions.DeviceId}");
}
catch (Exception ex)
{
Console.WriteLine($"❌ Failed to create CUDA provider: {ex.Message}");
return;
}
// Test 2: Check available providers
Console.WriteLine("\nTest 2: Available Execution Providers");
var providers = OrtEnv.Instance().GetAvailableProviders();
foreach (var provider in providers)
{
Console.WriteLine($" - {provider}");
}
if (providers.Contains("CUDAExecutionProvider"))
{
Console.WriteLine("✅ CUDA provider is available");
}
else
{
Console.WriteLine("❌ CUDA provider NOT available");
}
// Test 3: Get CUDA device count and info
Console.WriteLine("\nTest 3: CUDA Device Information");
try
{
// ONNX Runtime doesn't expose deviceQuery directly,
// but we can test by trying to create a session
var opts = new SessionOptions();
opts.AppendExecutionProvider_CUDA(0); // Device 0
Console.WriteLine("✅ Successfully configured for CUDA device 0");
Console.WriteLine(" (Full device info requires native CUDA calls)");
}
catch (Exception ex)
{
Console.WriteLine($"❌ CUDA device configuration failed: {ex.Message}");
}
Console.WriteLine("\n=== Test Complete ===");
}
}
}
Τώρα το διασκεδαστικό μέρος - ας χρησιμοποιήσουμε πραγματικά CUDA από C#!:
Δημιουργία έργου δοκιμήςΠροσθήκη ONNX Runtime με CUDA
DeviceIdONNX RuntimeΓιατί αυτό το πακέτο;- Μόνο CPU
ΔημιουργίαΑνάλυση κωδικών
dotnet run
Μπορεί να ορίσει όρια μνήμης, επίπεδο βελτιστοποίησης, κλπ.:
=== CUDA Test from C# ===
Test 1: CUDA Execution Provider
✅ CUDA execution provider created successfully
Device ID: 0
Test 2: Available Execution Providers
- CUDAExecutionProvider
- CPUExecutionProvider
✅ CUDA provider is available
Test 3: CUDA Device Information
✅ Successfully configured for CUDA device 0
(Full device info requires native CUDA calls)
=== Test Complete ===
Αν αυτό πετύχει, η CUDA δουλεύειΑν αποτύχει, κάτι στη στοίβα είναι σπασμένο.
OrtEnv.Instance().GetAvailableProviders():
# Make sure CUDA bin is in PATH
$env:PATH += ";C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin"
# Verify cudnn DLL exists
Test-Path "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn64_8.dll"
# Try running again
dotnet run
Θα πρέπει να περιλαμβάνει "CUDAExecutionProvider" εάν όλα έχουν εγκατασταθεί σωστάΕπίσης δείχνει "CPUExecutionProvider" ως fallback
Εκτέλεση της δοκιμής:
dotnet remove package Microsoft.ML.OnnxRuntime
dotnet add package Microsoft.ML.OnnxRuntime.Gpu --version 1.16.3
Αντιμετώπιση κοινών λαθώνΣφάλμα: "DllNotFoundΕκτός: Αδυναμία φόρτωσης του DLL 'onnxruntime'"
Αιτία: ONNX Runtime δεν μπορεί να βρει CUDA DLLs.
Σφάλμα: "CUDAExecutionProvider δεν βρέθηκε"
: Χρήση λανθασμένου πακέτου Runtime ONNX (μόνο για CPU).
# Download sample model
Invoke-WebRequest -Uri "https://github.com/onnx/models/raw/main/vision/classification/mnist/model/mnist-8.onnx" -OutFile "mnist.onnx"
Σφάλμα: "Κωδικός σφάλματος CUDA: 35 (η έκδοση οδηγού CUDA είναι ανεπαρκής)"Program.cs:
using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;
using System;
using System.Diagnostics;
using System.Linq;
namespace CudaTest
{
class Program
{
static void Main(string[] args)
{
Console.WriteLine("=== GPU vs CPU Inference Test ===\n");
// Create dummy input (28x28 image flattened to 784 floats)
var inputData = Enumerable.Range(0, 784).Select(i => (float)i / 784).ToArray();
var tensor = new DenseTensor<float>(inputData, new[] { 1, 1, 28, 28 });
var inputs = new List<NamedOnnxValue>
{
NamedOnnxValue.CreateFromTensor("Input3", tensor)
};
// Test 1: CPU Inference
Console.WriteLine("Test 1: CPU Inference");
var cpuTime = TestInference(inputs, useCuda: false, iterations: 100);
Console.WriteLine($" Average time: {cpuTime:F2}ms\n");
// Test 2: GPU Inference
Console.WriteLine("Test 2: GPU Inference");
var gpuTime = TestInference(inputs, useCuda: true, iterations: 100);
Console.WriteLine($" Average time: {gpuTime:F2}ms\n");
// Compare
Console.WriteLine("Comparison:");
Console.WriteLine($" CPU: {cpuTime:F2}ms");
Console.WriteLine($" GPU: {gpuTime:F2}ms");
Console.WriteLine($" Speedup: {cpuTime / gpuTime:F2}x faster on GPU");
}
static double TestInference(List<NamedOnnxValue> inputs, bool useCuda, int iterations)
{
var options = new SessionOptions();
if (useCuda)
{
options.AppendExecutionProvider_CUDA(0);
}
using var session = new InferenceSession("mnist.onnx", options);
// Warmup run (first run is always slower)
session.Run(inputs);
// Timed runs
var sw = Stopwatch.StartNew();
for (int i = 0; i < iterations; i++)
{
using var results = session.Run(inputs);
// Force evaluation
var output = results.First().AsEnumerable<float>().ToArray();
}
sw.Stop();
return sw.Elapsed.TotalMilliseconds / iterations;
}
}
}
Αιτία:
**: Driver is too old for CUDA 12.x.**Επιδιόρθωση
[1, 1, 28, 28]Προηγμένη δοκιμή: Πραγματικό συμπέρασμα**Ας κάνουμε κάτι πραγματικό - τρέχει ένα μικρό νευρικό δίκτυο σε GPU έναντι CPU και να συγκρίνουν ταχύτητες.**Κατεβάστε ένα Test Model
Κωδικός δοκιμής παρεμπίπτοντοςΕνημέρωση
Πυκνός αισθητήρας- Ο τρόπος του ONNX Runtime να αναπαριστά πολυδιάστατες συστοιχίες
dotnet run
= batch_size=1, κανάλια=1, ύψος=28, πλάτος=28NamedOnnxValue
=== GPU vs CPU Inference Test ===
Test 1: CPU Inference
Average time: 0.42ms
Test 2: GPU Inference
Average time: 0.15ms
Comparison:
CPU: 0.42ms
GPU: 0.15ms
Speedup: 2.80x faster on GPU
- Δίνει έναν τένσορα σε ένα όνομα εισόδου
Μεθοδολογία συγχρονισμού ✅ Driver installed correctly ✅ CUDA Toolkit accessible ✅ cuDNN integrated ✅ ONNX Runtime finds CUDA ✅ C# can run GPU-accelerated inference
Αναμενόμενη έξοδος
sequenceDiagram
participant App as C# Application
participant CPU as CPU Memory
participant GPU as GPU Memory
participant Compute as GPU Cores
App->>CPU: Create input tensor
CPU->>GPU: Transfer input (PCIe)
Note over GPU: Slow! ~16GB/s
GPU->>Compute: Execute model
Note over Compute: Fast! TFLOPS
Compute->>GPU: Write output
GPU->>CPU: Transfer output (PCIe)
Note over GPU: Slow again!
CPU->>App: Return results
(οι αριθμοί σας θα διαφέρουν)::
graph TD
A[Inference Request] --> B{Model Size}
B -->|< 100MB| C{Batch Size}
B -->|> 100MB| D[Use GPU]
C -->|Single Item| E[Use CPU]
C -->|Batch > 10| D
D --> F[10-100x Faster]
E --> G[Lower Latency for Single]
class D,E choice
classDef choice stroke:#333,stroke-width:2px
Μεταφορά μνήμης Bottleneck:
Διατήρηση δεδομένων για GPU
CPU
nvidia-smi- Μικρά μοντέλα, ενιαία αιτήματα, καθυστέρηση-κρίσιμηnvccΓια τον βοηθό μας στο blog:
Διαδικασία παρτίδας 100+ κομμάτια → GPUΣυνέδρια LLM- Μεγάλο μοντέλο (7B params) → GPU
Αναζήτηση διάνυσμα
Περίληψη
Έχουμε πετύχει:
και
Το αναπτυξιακό μας περιβάλλον είναι τώρα έτοιμο για το φόρτο εργασίας!
# Check GPU
nvidia-smi
# Check CUDA
nvcc --version
where.exe nvcc
# Check cuDNN
Test-Path "C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\cudnn64_8.dll"
# Check environment
$env:CUDA_PATH
$env:PATH -split ';' | Select-String CUDA
# Test from C#
dotnet run
, θα βουτήξουμε βαθιά στις βάσεις δεδομένων για ενσωμάτωση και φορείς:
|-------|-------|-----|
| nvidia-smiΤι είναι η ενσωμάτωση και πώς επιτρέπουν τη σημασιολογική αναζήτηση;
| nvccΕπιλέγοντας μεταξύ Qdrant, pgvector, και άλλες επιλογές
Δημιουργία ενσωμάτωσης τοπικά με το ONNX Runtime
Αποθήκευση και αναζήτηση εκατομμυρίων διανυσμάτων αποτελεσματικάMicrosoft.ML.OnnxRuntime.Gpu |
Φτιάχνουμε το πρώτο μας σημασιολογικό πρωτότυπο αναζήτησης.
Αναφορά αντιμετώπισης προβλημάτων |--------------|---------------|--------------|-----------------| Γρήγορες διαγνωστικές εντολές Κοινά θέματα Σφάλμα Σφάλμα Αιτία Φτιάξε
Μέρος 4: Κατασκευή του σωλήνα κατάποσηςΜέρος 5: Ο πελάτης των WindowsΜέρος 6: Τοπική ενσωμάτωση LLM
© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.