akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-08 11:04:43 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions
70 commits 10 branches 0 tags 10 MiB
Commit graph

5 commits

Author SHA1 Message Date
alkatrazz
719cd4bf8c feat(monitoring): dashboard infra — section services systemd + NFS I/O 
Nouvelle section "Services — état systemd" en bas du dashboard :

storage-01 (8 panels verts/rouges) :
  DNS (dnsmasq), NFS server, PostgreSQL, Qdrant, LiteLLM,
  Hermes Agent, nftables, chronyd (NTP)

gpu-01 (4 panels) :
  llama-server GPU (:1234), llama-server system (:1236),
  llama-server monitor (:1237), chronyd (NTP)

Timeseries NFS :
  - Débit NFS disque (read/write bytes/s)
  - Requêtes NFS/s par type (read/write/getattr/lookup)

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-14 19:02:27 +02:00
alkatrazz
428fa4ce2a feat(monitoring): dashboard infra — 10 nouveaux panels 
Compute (compute-01/02/03) :
  - Uptime min (dtdurations, jaune<12h / vert>12h / bleu>7j)
  - Disk /var % avg (xfs, seuil 60%/85%)

storage-01 :
  - RAID5 état (mapping 1→ACTIF vert / 0→DÉGRADÉ rouge)
  - RAID5 disques HS (vert=0 / rouge>=1)
  - Uptime (dtdurations)
  - Temp CPU (hwmon pci AMD, seuil 60°/80°)

gpu-01 :
  - Uptime (dtdurations)
  - Temp CPU Tdie (hwmon AMD, seuil 70°/90°)
  - Swap % (16GB configuré, actuellement 0%)
  - Timeseries GPU edge/hotspot/VRAM (hwmon RX 6700XT)
  - Timeseries CPU Tdie/Tctl (hwmon AMD)

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-14 18:57:15 +02:00
alkatrazz
a21b986d54 fix(monitoring): dashboard infra — remplace regex instance par job=node-exporter 
instance=~"192\.168\.10\.(11|12|13):9100" → job="node-exporter"

La barre oblique inversée dans les regex PromQL string literals causait
une erreur "unknown escape sequence" (\.  n'est pas un escape PromQL valide).
job="node-exporter" est équivalent (seuls les 3 compute nodes ont ce job)
et ne dépend pas d'adresses IP hardcodées.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-14 18:48:00 +02:00
alkatrazz
0498d770f2 fix(monitoring): dashboard infra nodata — nftables pod CIDR + mountpoint 
nftables.conf.j2 :
  - Ajoute 10.42.0.0/16 (CIDR pods k8s) pour port 9100 (node_exporter)
    et port 8080 (hermes webhook AlertManager)
  - Appliqué live sur storage-01 + persisté dans /etc/sysconfig/nftables.conf
  - storage-01 était up=0 (timeout) car pods Prometheus ne pouvaient pas
    l'atteindre malgré node_exporter actif

dashboard-infrastructure.yaml :
  - Corrige mountpoint /srv → /srv/data (RAID5 monté sur /srv/data)

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-14 18:42:11 +02:00
alkatrazz
18da44a89f feat: monitoring — dashboards Grafana + alertes Prometheus 
Dashboards (ConfigMaps, auto-importés par sidecar Grafana) :
- dashboard-kubernetes : cluster overview, pods, PVCs, restarts
- dashboard-infrastructure : compute/storage-01/gpu-01 CPU/RAM/disque/réseau + GPU ROCm
- dashboard-ai : llama-server GPU/CPU tokens/s, requêtes, VRAM, température GPU

Alertes (PrometheusRule) :
- alerts-node : CPU>90%, RAM>90%, disque>80%, storage-01/gpu-01 down, load élevé
- alerts-k8s : NodeNotReady, PodCrashLoop, PodPending, DeploymentUnavailable, PVCNotBound, ArgoCDOutOfSync
- alerts-ai : llama-server GPU/system/monitor down, GPU temp>80°C, VRAM>95%, queue élevée

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-05-13 22:47:49 +02:00