mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-16 07:44:43 +02:00
alkatrazz
0cb886acf7
Service systemd local sur gpu-01 qui sonde une vraie génération sur :1234 (pas juste /health, qui ment quand le slot d'inférence est figé). Sur N échecs consécutifs → systemctl restart llama-server en local (root, sans SSH/sudo distant). Gère le 503 "Loading model" post-restart sans le compter comme échec. Complète le llm-heartbeat (rôle litellm) : le heartbeat empêche la péremption par inactivité de la connexion ; le watchdog répare le figeage du serveur lui-même. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
15 lines
318 B
Django/Jinja
15 lines
318 B
Django/Jinja
[Unit]
|
|
Description=llama-watchdog (auto-réparation du llama-server figé — ROCm gfx1031)
|
|
After=llama-server.service
|
|
Wants=llama-server.service
|
|
|
|
[Service]
|
|
Type=simple
|
|
User=root
|
|
ExecStart=/usr/local/bin/llama-watchdog
|
|
Restart=always
|
|
RestartSec=10
|
|
SyslogIdentifier=llama-watchdog
|
|
|
|
[Install]
|
|
WantedBy=multi-user.target
|