feat(llama_server): heartbeat embed — garde chaud le slot nomic :1238

Le grounding RAG du STT ratait par intermittence (docs=0 → réponses génériques)
parce que l'instance d'embedding :1238 partait à froid après une pause : la 1ʳᵉ
requête mettait 5-8 s et dépassait le timeout 4 s du STT-server (recall + RAG doc).

llama-embed-heartbeat : service systemd local sur gpu-01 qui envoie un petit embed
à :1238 toutes les 20 s → le slot reste résident/chaud → la 1ʳᵉ vraie requête est
rapide → docs>0 fiable. Pendant du llm-heartbeat (slot chat :1234), pour le slot embed.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
alkatrazz 2026-06-19 22:06:08 +02:00
parent 11693e2abf
commit 2fe30399a2
7 changed files with 140 additions and 0 deletions

View file

@ -17,3 +17,8 @@
ansible.builtin.systemd:
name: llama-watchdog
state: restarted
- name: Restart llama-embed-heartbeat
ansible.builtin.systemd:
name: llama-embed-heartbeat
state: restarted