mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-08 12:44:41 +02:00
ALI YESILKAYA
1b85d4ee65
Le grounding RAG du STT ratait par intermittence (docs=0 → réponses génériques) parce que l'instance d'embedding :1238 partait à froid après une pause : la 1ʳᵉ requête mettait 5-8 s et dépassait le timeout 4 s du STT-server (recall + RAG doc). llama-embed-heartbeat : service systemd local sur gpu-01 qui envoie un petit embed à :1238 toutes les 20 s → le slot reste résident/chaud → la 1ʳᵉ vraie requête est rapide → docs>0 fiable. Pendant du llm-heartbeat (slot chat :1234), pour le slot embed. Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
15 lines
325 B
Django/Jinja
15 lines
325 B
Django/Jinja
[Unit]
|
|
Description=llama-embed-heartbeat (garde chaud le slot d'embedding nomic :1238)
|
|
After=llama-embed.service
|
|
Wants=llama-embed.service
|
|
|
|
[Service]
|
|
Type=simple
|
|
User=root
|
|
ExecStart=/usr/local/bin/llama-embed-heartbeat
|
|
Restart=always
|
|
RestartSec=10
|
|
SyslogIdentifier=llama-embed-heartbeat
|
|
|
|
[Install]
|
|
WantedBy=multi-user.target
|