ALI YESILKAYA ef15ba25e0 fix(llama_server): embed nomic sur CPU — supprime la contention GPU (docs=0) (#30) ... Le heartbeat embed (#28) gardait le slot :1238 chargé mais docs=0 revenait : latence bimodale 16ms / 9-12s. Cause = contention GPU, pas cold-start. nomic (:1238, --n-gpu-layers 99) partageait la RX 6700XT avec le chat qwen3-8b (:1234) ; ROCm sérialise → un embed lancé pendant une génération chat attend ~10s → dépasse le budget recall 4s du STT-server → docs=0 intermittent. - llama_embed_n_gpu_layers: 99 → 0 (CPU). nomic = 137M → ~100ms déterministe, découplé du slot chat. Le template lit déjà la variable. - heartbeat embed conservé comme sonde de vivacité (commentaire ajusté). - incidents-llm-gpu.md : section dédiée + README rôle mis à jour. Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>		2026-06-20 12:38:08 +02:00
..
main.yml	fix(llama_server): embed nomic sur CPU — supprime la contention GPU (docs=0) (#30)	2026-06-20 12:38:08 +02:00