fix(llama_server): embed nomic sur CPU — supprime la contention GPU (docs=0) (#30)

Le heartbeat embed (#28) gardait le slot :1238 chargé mais docs=0 revenait :
latence bimodale 16ms / 9-12s. Cause = contention GPU, pas cold-start. nomic
(:1238, --n-gpu-layers 99) partageait la RX 6700XT avec le chat qwen3-8b (:1234) ;
ROCm sérialise → un embed lancé pendant une génération chat attend ~10s → dépasse
le budget recall 4s du STT-server → docs=0 intermittent.

- llama_embed_n_gpu_layers: 99 → 0 (CPU). nomic = 137M → ~100ms déterministe,
  découplé du slot chat. Le template lit déjà la variable.
- heartbeat embed conservé comme sonde de vivacité (commentaire ajusté).
- incidents-llm-gpu.md : section dédiée + README rôle mis à jour.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
ALI YESILKAYA 2026-06-20 12:38:08 +02:00 committed by GitHub
parent 1d3e1e6eb8
commit ef15ba25e0
No known key found for this signature in database
GPG key ID: B5690EEEBB952194
3 changed files with 61 additions and 7 deletions

View file

@ -23,13 +23,17 @@ llama_embed_model_path: "" # chemin GGUF sur /mnt/models (NFS)
llama_embed_model_url: "" # URL de téléchargement (HuggingFace) — get_url si absent
llama_embed_model_alias: "nomic-embed-text"
llama_embed_ctx_size: 2048
llama_embed_n_gpu_layers: 99
# CPU par défaut (0 couche GPU). nomic-embed-text est minuscule (137M) → ~100 ms en CPU,
# DÉTERMINISTE. Sur GPU (99) il partage la RX 6700XT avec le chat qwen3-8b (:1234) et tombe
# dans la file derrière une génération → latence BIMODALE (16 ms ou 9-12 s, voire timeout) →
# dépasse le budget recall 4 s du STT-server → docs=0 intermittent. Le CPU découple
# totalement l'embed du slot chat. Cf. admin/incidents-llm-gpu.md.
llama_embed_n_gpu_layers: 0
llama_embed_pooling: "mean"
# Heartbeat embed — garde CHAUD le slot d'embedding (:1238). Sans ça, la 1ʳᵉ requête
# après une pause part à froid (slot GPU inactif) → latence qui dépassait le timeout 4 s
# du STT-server → recall mémoire vide ET RAG doc raté (docs=0). Petit embed périodique
# (modèle minuscule, ~10-50 ms GPU) → le slot reste résident. Cf. admin/ia/stt.md.
# Heartbeat embed — sonde de vivacité du slot :1238 (petit embed périodique). Depuis le
# passage en CPU (llama_embed_n_gpu_layers: 0), le slot ne refroidit plus et ne subit plus
# la contention GPU → le heartbeat sert surtout de probe (logge les KO). Cf. admin/ia/stt.md.
llama_embed_heartbeat_enabled: true
llama_embed_heartbeat_interval: 20 # s entre deux pings (< idle avant refroidissement)
llama_embed_heartbeat_timeout: 15 # s max par ping