mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-08 11:04:43 +02:00
fix(llama_server): embed nomic sur CPU — supprime la contention GPU (docs=0) (#30)
Le heartbeat embed (#28) gardait le slot :1238 chargé mais docs=0 revenait : latence bimodale 16ms / 9-12s. Cause = contention GPU, pas cold-start. nomic (:1238, --n-gpu-layers 99) partageait la RX 6700XT avec le chat qwen3-8b (:1234) ; ROCm sérialise → un embed lancé pendant une génération chat attend ~10s → dépasse le budget recall 4s du STT-server → docs=0 intermittent. - llama_embed_n_gpu_layers: 99 → 0 (CPU). nomic = 137M → ~100ms déterministe, découplé du slot chat. Le template lit déjà la variable. - heartbeat embed conservé comme sonde de vivacité (commentaire ajusté). - incidents-llm-gpu.md : section dédiée + README rôle mis à jour. Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
1d3e1e6eb8
commit
ef15ba25e0
3 changed files with 61 additions and 7 deletions
|
|
@ -23,13 +23,17 @@ llama_embed_model_path: "" # chemin GGUF sur /mnt/models (NFS)
|
|||
llama_embed_model_url: "" # URL de téléchargement (HuggingFace) — get_url si absent
|
||||
llama_embed_model_alias: "nomic-embed-text"
|
||||
llama_embed_ctx_size: 2048
|
||||
llama_embed_n_gpu_layers: 99
|
||||
# CPU par défaut (0 couche GPU). nomic-embed-text est minuscule (137M) → ~100 ms en CPU,
|
||||
# DÉTERMINISTE. Sur GPU (99) il partage la RX 6700XT avec le chat qwen3-8b (:1234) et tombe
|
||||
# dans la file derrière une génération → latence BIMODALE (16 ms ou 9-12 s, voire timeout) →
|
||||
# dépasse le budget recall 4 s du STT-server → docs=0 intermittent. Le CPU découple
|
||||
# totalement l'embed du slot chat. Cf. admin/incidents-llm-gpu.md.
|
||||
llama_embed_n_gpu_layers: 0
|
||||
llama_embed_pooling: "mean"
|
||||
|
||||
# Heartbeat embed — garde CHAUD le slot d'embedding (:1238). Sans ça, la 1ʳᵉ requête
|
||||
# après une pause part à froid (slot GPU inactif) → latence qui dépassait le timeout 4 s
|
||||
# du STT-server → recall mémoire vide ET RAG doc raté (docs=0). Petit embed périodique
|
||||
# (modèle minuscule, ~10-50 ms GPU) → le slot reste résident. Cf. admin/ia/stt.md.
|
||||
# Heartbeat embed — sonde de vivacité du slot :1238 (petit embed périodique). Depuis le
|
||||
# passage en CPU (llama_embed_n_gpu_layers: 0), le slot ne refroidit plus et ne subit plus
|
||||
# la contention GPU → le heartbeat sert surtout de probe (logge les KO). Cf. admin/ia/stt.md.
|
||||
llama_embed_heartbeat_enabled: true
|
||||
llama_embed_heartbeat_interval: 20 # s entre deux pings (< idle avant refroidissement)
|
||||
llama_embed_heartbeat_timeout: 15 # s max par ping
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue