mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-08 15:34:41 +02:00
feat(llama_server): heartbeat embed — garde chaud le slot nomic :1238 (#28)
Le grounding RAG du STT ratait par intermittence (docs=0 → réponses génériques) parce que l'instance d'embedding :1238 partait à froid après une pause : la 1ʳᵉ requête mettait 5-8 s et dépassait le timeout 4 s du STT-server (recall + RAG doc). llama-embed-heartbeat : service systemd local sur gpu-01 qui envoie un petit embed à :1238 toutes les 20 s → le slot reste résident/chaud → la 1ʳᵉ vraie requête est rapide → docs>0 fiable. Pendant du llm-heartbeat (slot chat :1234), pour le slot embed. Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
11693e2abf
commit
1b85d4ee65
7 changed files with 140 additions and 0 deletions
|
|
@ -26,6 +26,14 @@ llama_embed_ctx_size: 2048
|
|||
llama_embed_n_gpu_layers: 99
|
||||
llama_embed_pooling: "mean"
|
||||
|
||||
# Heartbeat embed — garde CHAUD le slot d'embedding (:1238). Sans ça, la 1ʳᵉ requête
|
||||
# après une pause part à froid (slot GPU inactif) → latence qui dépassait le timeout 4 s
|
||||
# du STT-server → recall mémoire vide ET RAG doc raté (docs=0). Petit embed périodique
|
||||
# (modèle minuscule, ~10-50 ms GPU) → le slot reste résident. Cf. admin/ia/stt.md.
|
||||
llama_embed_heartbeat_enabled: true
|
||||
llama_embed_heartbeat_interval: 20 # s entre deux pings (< idle avant refroidissement)
|
||||
llama_embed_heartbeat_timeout: 15 # s max par ping
|
||||
|
||||
# Watchdog — auto-réparation du llama-server figé (wedge ROCm gfx1031).
|
||||
# Sonde une VRAIE génération sur :1234 (pas seulement /health, qui ment quand le
|
||||
# slot d'inférence est bloqué — cf. admin/incidents-llm-gpu.md). Sur N échecs
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue