mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-08 19:04:42 +02:00
chore(gpu-01): retire les serveurs llama CPU system/monitor/dev (inutilisés) (#31)
Trois instances llama-server CPU manuelles (hors Ansible) tournaient sur gpu-01
sans servir : déjà orphelines de LiteLLM (alias absents de config.yaml, d'où le
bruit "Invalid model name"). Suppression complète :
gpu-01 (opérationnel, déjà fait) :
- systemctl disable --now + rm des units llama-server-{system,monitor,dev}
- ports firewall 1235/1236/1237 fermés
Repo :
- monitoring : scrape jobs (values.yaml) + alertes LlamaServer{System,Monitor}Down
(alerts-ai.yaml) retirés → plus de "target down"/alertes fantômes ; panneaux de
statut dashboard-infrastructure recyclés (system→llama-embed, monitor supprimé).
- docs admin/ + hermes-skills (souls funk-ai/brain, SKILL agent-delegation) mises à
jour : inventaire modèles, profils Hermès system/monitor sans backend (à repointer
sur qwen3-8b), litellm, ops, monitoring.
Les profils Hermès system/monitor existent toujours mais sans backend dédié.
Dashboards Grafana dashboard-ai (panneaux graphiques CPU) laissés tels quels
(cosmétique, séries vides, aucune alerte).
Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
ef15ba25e0
commit
470c69881c
17 changed files with 90 additions and 147 deletions
|
|
@ -31,9 +31,8 @@ Prometheus (k8s, namespace monitoring)
|
|||
├── scrape storage-01:9100 → métriques système storage-01 (job=storage-01)
|
||||
├── scrape gpu-01:9100 → métriques système + ROCm gpu-01 (job=gpu-01-node)
|
||||
│ └── textfile_collector → rocm_gpu_temperature/utilization/vram (rocm_scraper.timer)
|
||||
├── scrape gpu-01:1234 → llama-server GPU Qwen3-8B (job=llama-server-gpu)
|
||||
├── scrape gpu-01:1236 → llama-server CPU system (job=llama-server-system)
|
||||
└── scrape gpu-01:1237 → llama-server CPU monitor (job=llama-server-monitor)
|
||||
└── scrape gpu-01:1234 → llama-server GPU Qwen3-8B (job=llama-server-gpu)
|
||||
# scrape :1236/:1237 (CPU system/monitor) retirés le 2026-06-20 (serveurs supprimés)
|
||||
↓
|
||||
AlertManager
|
||||
├── receiver "null" → alerte Watchdog (heartbeat interne — silencé)
|
||||
|
|
@ -117,8 +116,6 @@ Déclenchent AlertManager → webhook storage-01:9093 → profil `monitor` Herme
|
|||
| Alerte | Seuil | Sévérité |
|
||||
|---|---|---|
|
||||
| `LlamaServerGPUDown` | `up{job="llama-server-gpu"} == 0` pendant 2 min | critical |
|
||||
| `LlamaServerSystemDown` | `up{job="llama-server-system"} == 0` pendant 2 min | warning |
|
||||
| `LlamaServerMonitorDown` | `up{job="llama-server-monitor"} == 0` pendant 2 min | warning |
|
||||
| `GPUTemperatureHigh` | Temp GPU > 80°C pendant 5 min | warning |
|
||||
| `GPUTemperatureCritical` | Temp GPU > 90°C pendant 2 min | critical |
|
||||
| `GPUVRAMAlmostFull` | VRAM > 95% pendant 5 min | warning |
|
||||
|
|
@ -221,11 +218,9 @@ llama.cpp expose ses métriques sur `/metrics` — activé via `--metrics` dans
|
|||
# Métriques GPU (Qwen3-8B)
|
||||
curl -s http://192.168.10.20:1234/metrics | grep llamacpp
|
||||
|
||||
# Métriques CPU system
|
||||
curl -s http://192.168.10.20:1236/metrics | grep llamacpp
|
||||
|
||||
# Métriques CPU monitor
|
||||
curl -s http://192.168.10.20:1237/metrics | grep llamacpp
|
||||
# Métriques embed (nomic, CPU)
|
||||
curl -s http://192.168.10.20:1238/metrics | grep llamacpp
|
||||
# (serveurs CPU :1236/:1237 retirés le 2026-06-20)
|
||||
```
|
||||
|
||||
---
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue