Funk-lab/ansible/roles/llama_server/templates
ALI YESILKAYA 1b85d4ee65
feat(llama_server): heartbeat embed — garde chaud le slot nomic :1238 (#28)
Le grounding RAG du STT ratait par intermittence (docs=0 → réponses génériques)
parce que l'instance d'embedding :1238 partait à froid après une pause : la 1ʳᵉ
requête mettait 5-8 s et dépassait le timeout 4 s du STT-server (recall + RAG doc).

llama-embed-heartbeat : service systemd local sur gpu-01 qui envoie un petit embed
à :1238 toutes les 20 s → le slot reste résident/chaud → la 1ʳᵉ vraie requête est
rapide → docs>0 fiable. Pendant du llm-heartbeat (slot chat :1234), pour le slot embed.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-19 22:17:23 +02:00
..
llama-embed-heartbeat.service.j2 feat(llama_server): heartbeat embed — garde chaud le slot nomic :1238 (#28) 2026-06-19 22:17:23 +02:00
llama-embed-heartbeat.sh.j2 feat(llama_server): heartbeat embed — garde chaud le slot nomic :1238 (#28) 2026-06-19 22:17:23 +02:00
llama-embed.service.j2 feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto (#12) 2026-06-17 21:54:41 +02:00
llama-server.service.j2 fix: monitoring — collecte métriques externes (nftables, llama --metrics, ROCm via 9100) 2026-05-13 22:41:19 +02:00
llama-watchdog.service.j2 feat: anti-502 LLM — heartbeat (litellm) + watchdog auto-réparation (llama_server) (#23) 2026-06-19 20:52:29 +02:00
llama-watchdog.sh.j2 feat: anti-502 LLM — heartbeat (litellm) + watchdog auto-réparation (llama_server) (#23) 2026-06-19 20:52:29 +02:00