470c69881c
chore(gpu-01): retire les serveurs llama CPU system/monitor/dev (inutilisés) ( #31 )
...
Trois instances llama-server CPU manuelles (hors Ansible) tournaient sur gpu-01
sans servir : déjà orphelines de LiteLLM (alias absents de config.yaml, d'où le
bruit "Invalid model name"). Suppression complète :
gpu-01 (opérationnel, déjà fait) :
- systemctl disable --now + rm des units llama-server-{system,monitor,dev}
- ports firewall 1235/1236/1237 fermés
Repo :
- monitoring : scrape jobs (values.yaml) + alertes LlamaServer{System,Monitor}Down
(alerts-ai.yaml) retirés → plus de "target down"/alertes fantômes ; panneaux de
statut dashboard-infrastructure recyclés (system→llama-embed, monitor supprimé).
- docs admin/ + hermes-skills (souls funk-ai/brain, SKILL agent-delegation) mises à
jour : inventaire modèles, profils Hermès system/monitor sans backend (à repointer
sur qwen3-8b), litellm, ops, monitoring.
Les profils Hermès system/monitor existent toujours mais sans backend dédié.
Dashboards Grafana dashboard-ai (panneaux graphiques CPU) laissés tels quels
(cosmétique, séries vides, aucune alerte).
Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-20 13:25:50 +02:00
alkatrazz
719cd4bf8c
feat(monitoring): dashboard infra — section services systemd + NFS I/O
...
Nouvelle section "Services — état systemd" en bas du dashboard :
storage-01 (8 panels verts/rouges) :
DNS (dnsmasq), NFS server, PostgreSQL, Qdrant, LiteLLM,
Hermes Agent, nftables, chronyd (NTP)
gpu-01 (4 panels) :
llama-server GPU (:1234), llama-server system (:1236),
llama-server monitor (:1237), chronyd (NTP)
Timeseries NFS :
- Débit NFS disque (read/write bytes/s)
- Requêtes NFS/s par type (read/write/getattr/lookup)
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-05-14 19:02:27 +02:00
alkatrazz
428fa4ce2a
feat(monitoring): dashboard infra — 10 nouveaux panels
...
Compute (compute-01/02/03) :
- Uptime min (dtdurations, jaune<12h / vert>12h / bleu>7j)
- Disk /var % avg (xfs, seuil 60%/85%)
storage-01 :
- RAID5 état (mapping 1→ACTIF vert / 0→DÉGRADÉ rouge)
- RAID5 disques HS (vert=0 / rouge>=1)
- Uptime (dtdurations)
- Temp CPU (hwmon pci AMD, seuil 60°/80°)
gpu-01 :
- Uptime (dtdurations)
- Temp CPU Tdie (hwmon AMD, seuil 70°/90°)
- Swap % (16GB configuré, actuellement 0%)
- Timeseries GPU edge/hotspot/VRAM (hwmon RX 6700XT)
- Timeseries CPU Tdie/Tctl (hwmon AMD)
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-05-14 18:57:15 +02:00
alkatrazz
a21b986d54
fix(monitoring): dashboard infra — remplace regex instance par job=node-exporter
...
instance=~"192\.168\.10\.(11|12|13):9100" → job="node-exporter"
La barre oblique inversée dans les regex PromQL string literals causait
une erreur "unknown escape sequence" (\. n'est pas un escape PromQL valide).
job="node-exporter" est équivalent (seuls les 3 compute nodes ont ce job)
et ne dépend pas d'adresses IP hardcodées.
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-05-14 18:48:00 +02:00
alkatrazz
0498d770f2
fix(monitoring): dashboard infra nodata — nftables pod CIDR + mountpoint
...
nftables.conf.j2 :
- Ajoute 10.42.0.0/16 (CIDR pods k8s) pour port 9100 (node_exporter)
et port 8080 (hermes webhook AlertManager)
- Appliqué live sur storage-01 + persisté dans /etc/sysconfig/nftables.conf
- storage-01 était up=0 (timeout) car pods Prometheus ne pouvaient pas
l'atteindre malgré node_exporter actif
dashboard-infrastructure.yaml :
- Corrige mountpoint /srv → /srv/data (RAID5 monté sur /srv/data)
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-05-14 18:42:11 +02:00
alkatrazz
18da44a89f
feat: monitoring — dashboards Grafana + alertes Prometheus
...
Dashboards (ConfigMaps, auto-importés par sidecar Grafana) :
- dashboard-kubernetes : cluster overview, pods, PVCs, restarts
- dashboard-infrastructure : compute/storage-01/gpu-01 CPU/RAM/disque/réseau + GPU ROCm
- dashboard-ai : llama-server GPU/CPU tokens/s, requêtes, VRAM, température GPU
Alertes (PrometheusRule) :
- alerts-node : CPU>90%, RAM>90%, disque>80%, storage-01/gpu-01 down, load élevé
- alerts-k8s : NodeNotReady, PodCrashLoop, PodPending, DeploymentUnavailable, PVCNotBound, ArgoCDOutOfSync
- alerts-ai : llama-server GPU/system/monitor down, GPU temp>80°C, VRAM>95%, queue élevée
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-05-13 22:47:49 +02:00
