mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-08 13:14:42 +02:00
47 lines
3.1 KiB
Markdown
47 lines
3.1 KiB
Markdown
# 2026-05-14 — Monitoring complet, RAG Hermes, Souls révisés
|
||
|
||
## Monitoring & Alerting
|
||
|
||
- **Stack complète** : kube-prometheus-stack, Grafana/Prometheus/AlertManager ingress, 3 dashboards custom (k8s/infra/ia)
|
||
- **Dashboard infrastructure enrichi** : 20+ panels — CPU/RAM/disque, températures CPU+GPU, uptime, RAID5 état/disques, swap, section services systemd (12 stat panels + NFS I/O timeseries)
|
||
- **Fixes dashboard** : mountpoint `/srv` → `/srv/data`, remplacement des regex `instance=~"192\\.168..."` par `job=` (bug PromQL escape), correction JSON stray comma
|
||
- **Règles d'alerte** : PrometheusRule nodes/k8s/ia déployées via ArgoCD
|
||
- **nftables** : ouverture ports 9100/9093/8080 pour pod CIDR `10.42.0.0/16` (Prometheus scraping + AlertManager webhook)
|
||
|
||
## AlertManager → Hermes webhook
|
||
|
||
- **Pipeline opérationnel** : AlertManager → `storage-01:9093/webhook` → `ask-agent monitor` → Hermes
|
||
- **Fix BrokenPipeError** : HTTP 200 envoyé immédiatement, `ask-agent` lancé en `threading.Thread` daemon
|
||
- **Fix ANSI parasites** : `NO_COLOR=1 TERM=dumb` passés en env au subprocess
|
||
- **Doc** : `admin/ia/alertmanager-webhook.md` — architecture, test, dépannage, déploiement
|
||
|
||
## RAG — Documentation Funk dans Hermes
|
||
|
||
- **Qdrant** : collection `funk-docs` — 284 chunks indexés depuis `admin/`
|
||
- **Scripts** : `rag-ingest` + `rag-query` déployés sur storage-01 (`/usr/local/bin/`)
|
||
- **Embeddings** : Qwen3-8B via llama-server GPU port 1234 (`--embeddings --pooling mean`, dim=4096)
|
||
- **Skill Hermes** : `funk/rag-docs` déployé dans le profil `funk-ai` — `rag-query` utilisable en CLI et depuis Hermes
|
||
- **Rôle Ansible** : `ansible/roles/rag/` — sync docs + ingestion en handler Ansible
|
||
- **Limite connue** : Qwen3-8B = modèle chat, scores peu discriminants (0.90–0.95 uniforme). Upgrade possible vers `nomic-embed-text` ou `bge-m3` si besoin
|
||
- **Doc** : `admin/ia/rag.md` — architecture, mise à jour index, admin Qdrant, limitation embedding
|
||
|
||
## Hermes — SOUL.md révisés
|
||
|
||
- **funk-ai** : tableau services complet avec ports, rag-query comme outil, patterns courants (diagnostiquer, vérifier état général)
|
||
- **monitor** : format VERDICT obligatoire (OK/WARNING/ERREUR/CRITIQUE), tableau services Funk + signes d'erreur, sévérités Prometheus, cas spéciaux (Watchdog, HSA_OVERRIDE)
|
||
- **system** : contexte AlmaLinux/k8s ajouté, formats de réponse par type, exemples concrets
|
||
- **brain** : contexte cluster complet (IPs, stack IA, contrainte GPU gfx1031, RAM k8s), quand l'appeler, formats structurés
|
||
- **Doc** : `admin/ia/hermes-souls.md` — résumé des 4 profils, comparatif, déploiement
|
||
|
||
## Réorganisation doc
|
||
|
||
- `admin/ia/alertmanager-webhook.md` — nouveau
|
||
- `admin/ia/rag.md` — nouveau
|
||
- `admin/ia/hermes-souls.md` — nouveau
|
||
- `admin/k8s/monitoring.md` — lien vers alertmanager-webhook.md
|
||
|
||
## Fixes divers
|
||
|
||
- `funk-cluster` : `check_k8s_pods()` — bug `grep -c || echo 0` double-valeur corrigé, variable intermédiaire
|
||
- `funk-start` : auto-uncordon si nœuds SchedulingDisabled détectés, attente pods infra, `check_k8s_workloads` systématique
|
||
- `funk-status` : `check_k8s_workloads` après vérification nœuds k8s
|