diff --git a/CLAUDE.md b/CLAUDE.md index 73dc8e5..d92b009 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -11,7 +11,7 @@ This file provides guidance to Claude Code (claude.ai/code) when working with co - ⚠️ RAG **HS depuis 2026-06-05** — Qdrant en crash-loop (segment `funk-docs` corrompu, voir `admin/incidents.md`) ; `rag-ingest` / `rag-query` indisponibles - ✅ Monitoring complet — Prometheus + Grafana + AlertManager → webhook Hermes + n8n - ✅ storage-01 installé — `192.168.10.1` (LAN cluster), `192.168.1.200` (WAN) -- ✅ gpu-01 installé — llama-server GPU (:1234) + CPU (:1236/:1237) opérationnels, kernel 5.14.0-687.5.3 +- ✅ gpu-01 installé — llama-server GPU (:1234) + CPU (:1236/:1237) + embeddings nomic-embed-text (:1238, GPU) opérationnels, kernel 5.14.0-687.5.3 - ✅ LiteLLM sur storage-01 — proxy multi-modèles + ask-agent (écoute `0.0.0.0:4000`) - ✅ Cluster k8s Talos opérationnel (MetalLB + Traefik + wildcard DNS lab.local) - ✅ postfix_relay — SMTP sortant via Gmail SMTP + App Password (aliyesilkaya93@gmail.com) diff --git a/admin/ia/rag.md b/admin/ia/rag.md index 6d8c656..b2d8f84 100644 --- a/admin/ia/rag.md +++ b/admin/ia/rag.md @@ -67,16 +67,22 @@ Pour une recherche sémantique précise, utiliser un modèle d'embedding dédié | `nomic-embed-text-v1.5` | ~274 MB | 768 | Rapide, bon équilibre qualité/taille | | `bge-m3` | ~1.2 GB | 1024 | Multilingue (français natif) — meilleur choix pour ce repo | -Déploiement si besoin : -```bash -# Sur gpu-01 — télécharger le modèle -ssh gpu-01 "lms get nomic-ai/nomic-embed-text-v1.5-GGUF" +Déploiement — **déjà fait pour STT** (instance `nomic-embed-text` sur `:1238`, dim 768) : +le rôle `llama_server` gère désormais une instance dédiée embeddings sur gpu-01 (GPU), +activée par `llama_embed_enabled` (voir `ansible/roles/llama_server/README.md`). STT pointe +dessus (`STT_EMBED_URL=http://192.168.10.20:1238/v1/embeddings`). -# Ajouter une instance llama-server sur port 1238 (CPU, embedding only) +```bash +# (re)déployer l'instance embeddings sur gpu-01 +ansible-playbook -i inventory.yml playbooks/gpu-01.yml --tags llama_server +``` + +Pour basculer **le RAG** sur cette même instance (quand il sera réparé) : +```bash # Modifier ansible/roles/rag/defaults/main.yml : # embed_url: "http://192.168.10.20:1238/v1/embeddings" -# embed_model: "nomic-embed-text-v1.5" -# Puis re-indexer : rag-ingest /srv/data/rag/docs/ +# embed_model: "nomic-embed-text" +# Puis re-indexer (la dimension passe à 768 → collection recréée) : rag-ingest /srv/data/rag/docs/ ``` --- diff --git a/admin/ia/stt.md b/admin/ia/stt.md index 1b27db0..3a1f3e8 100644 --- a/admin/ia/stt.md +++ b/admin/ia/stt.md @@ -9,8 +9,9 @@ Objectif ultérieur : « agir sur le homelab » via les outils de Hermes (phase > chaîne voix → cerveau → voix + interface + mémoire. Renommable plus tard sans impact > technique (FRIDAY, etc.) — c'est juste un identifiant de répertoire/commande. -> ⚠️ **2026-06-17** — client (phase 1) + serveur (phase 2) + manifests cluster (phase 3) écrits. -> Reste : build image (CI), déploiement ArgoCD (après merge sur `main`), test audio sur poste. +> ✅ **2026-06-17** — déployé in-cluster (ArgoCD), mémoire court-terme (5a) + long-terme (5b) +> **validées sur cible** (rappel cross-session OK via `/v1/memory/health`). Reste : test audio +> bout-en-bout sur le poste (phase 1), HUD avancé (4), auto-start (6), outils Hermes (7). --- @@ -86,11 +87,24 @@ switch global type `hermes-switch` (pas de restart, chaque client choisit le sie - **Court-terme (5a, fait)** : le serveur garde l'historique par `session_id` (en mémoire, borné `max_turns` + TTL) et l'injecte dans l'appel LLM. `/v1/ask {session_id}` + `/v1/reset`. Le client génère un `session_id` par run. Deployment en **1 worker** (cohérence mémoire process). -- **Long-terme (5b, fait)** : collection Qdrant dédiée `stt-memory` (indépendante du +- **Long-terme (5b, ✅ validé 17/06)** : collection Qdrant dédiée `stt-memory` (indépendante du `funk-docs` du RAG), embeddings via Qwen3 `:1234` (dim 4096, Cosine), souvenirs pertinents (top-k) injectés au prompt. Qdrant en IP directe `192.168.10.1:6333`. **Dégrade proprement** - si Qdrant/embeddings injoignables (la mémoire court-terme tient). Caveat qualité : embeddings - Qwen3 médiocres → recherche approximative (piste `nomic-embed-text`, voir `admin/ia/rag.md`). + si Qdrant/embeddings injoignables (la mémoire court-terme tient). + - **Validé bout-en-bout** : « mon chat s'appelle Felix » (session A) rappelé dans une + nouvelle session B (« comment s'appelle mon chat ? » → « Felix »). `points_count` confirmé via + `/v1/memory/health`. + - **`upsert ?wait=true`** : l'écriture Qdrant est synchrone, donc un souvenir est *immédiatement* + cherchable (sans `wait`, l'écriture est mise en file → un rappel cross-session immédiat pouvait la rater). + - **`GET /v1/memory/health`** : sonde active embed + Qdrant + collection, **expose les erreurs** + (recall/remember dégradent en silence → indébogables sans cet endpoint). Sert au diagnostic. +- **Embeddings dédiés (5d, fait)** : passage de Qwen3 (chat réutilisé, dim 4096, cosinus + uniformément hauts → peu discriminant) à **`nomic-embed-text`** (modèle spécialisé, dim 768), + servi par une instance llama-server dédiée sur gpu-01 `:1238` (GPU), gérée par le rôle + `llama_server` (`llama_embed_enabled`). STT : `STT_EMBED_URL=…:1238`, `STT_EMBED_MODEL=nomic-embed-text`. + - **Migration auto de la collection** : `_ensure_collection` détecte le changement de dimension + (4096 → 768) et **recrée** `stt-memory` (les anciens vecteurs sont incomparables dans le nouvel + espace). Aucun drop manuel — la collection est reconstruite à la première requête après bascule. - **Réparation Qdrant (5c, fait)** : crash-loop depuis 05/06 (segment `funk-docs` corrompu). Réparé le 17/06 sur s01 : `systemctl stop qdrant && rm -rf /srv/data/qdrant/storage/collections/funk-docs && systemctl start qdrant`. @@ -141,16 +155,18 @@ Côté client, pilotable depuis `stt/client/config/` + l'écran de réglages du | **3 — Déploiement cluster** | image ghcr + manifests k8s + ArgoCD (LiteLLM en IP directe) | ✅ déployé | | **4 — HUD avancé** | visualiseur arc-reactor + thèmes + écran réglages | ⏳ | | **5a — Mémoire court-terme** | historique de session côté serveur | ✅ | -| **5b — Mémoire long-terme** | Qdrant `stt-memory` + embeddings Qwen3 (dégrade si down) | ✅ | +| **5b — Mémoire long-terme** | Qdrant `stt-memory` + embeddings Qwen3 (dégrade si down) | ✅ validé 17/06 (rappel cross-session OK) | | **5c — Réparation Qdrant** | drop `funk-docs` corrompu + restart (s01) | ✅ (17/06) | +| **5d — Embeddings dédiés** | `nomic-embed-text` (dim 768) sur gpu-01 `:1238` → recherche plus précise | ✅ (rôle llama_server + migration auto collection) | | **6 — Auto-start client** | `install-service.sh` (systemd --user) + kiosk | ⏳ | | **7 — Outils Hermes** | « agir sur Funk » via gateway `:8080` (API à spécifier) | ⏳ | -### État (testé hors-LAN) +### État (validé sur cible) -`py_compile` OK (client + serveur) ; client : `stt --help`, config, `ServerClient` vérifiés ; -serveur : import/compile OK. Reste à valider sur cible : build image (CI), déploiement ArgoCD -après merge, et test audio bout-en-bout sur le poste. +Serveur déployé in-cluster via ArgoCD (image `sha-` gérée par CI). Mémoire **5a + 5b +validées en prod** : court-terme (historique de session) et long-terme (rappel cross-session +« Felix », `points_count` confirmé via `/v1/memory/health`). Reste côté poste : test audio +bout-en-bout (micro → STT → serveur → TTS) et HUD avancé. --- diff --git a/ansible/host_vars/gpu-01/vars.yml b/ansible/host_vars/gpu-01/vars.yml index 986fada..f32c826 100644 --- a/ansible/host_vars/gpu-01/vars.yml +++ b/ansible/host_vars/gpu-01/vars.yml @@ -6,6 +6,13 @@ llama_model_path: "/mnt/models/bartowski/Qwen3-8B-GGUF/Qwen3-8B-Q4_K_M.gguf" llama_model_alias: "qwen3-8b" llama_ctx_size: 32768 +# Instance dédiée embeddings — nomic-embed-text (recherche sémantique précise, dim 768). +# Sert la mémoire long-terme de STT. Sur GPU, port :1238 (modèle ~300 Mo VRAM). +llama_embed_enabled: true +llama_embed_model_path: "/mnt/models/nomic-ai/nomic-embed-text-v1.5.f16.gguf" +llama_embed_model_url: "https://huggingface.co/nomic-ai/nomic-embed-text-v1.5-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf" +llama_embed_model_alias: "nomic-embed-text" + # ROCm scraper — métriques GPU dans Prometheus rocm_exporter_enabled: true diff --git a/ansible/roles/llama_server/README.md b/ansible/roles/llama_server/README.md index a84d18d..8eb2993 100644 --- a/ansible/roles/llama_server/README.md +++ b/ansible/roles/llama_server/README.md @@ -8,6 +8,10 @@ Compile llama.cpp (backend HIP/ROCm) et déploie le service **llama-server GPU** - Service systemd `llama-server` : modèle GGUF depuis `/mnt/models` (NFS), `:1234` - Embeddings activés (`--embeddings`, pooling mean) - Ouvre le port dans le firewall, désactive l'ancien service lm-studio +- **Instance dédiée embeddings** (optionnelle, `llama_embed_enabled`) : service systemd + `llama-embed` servant un modèle d'embedding spécialisé (ex. `nomic-embed-text`) sur + `:1238`, GPU. Télécharge le GGUF depuis `llama_embed_model_url` si absent. Partage le + binaire et le GPU avec `:1234` (modèle ~300 Mo VRAM). ## Variables principales @@ -19,6 +23,11 @@ Compile llama.cpp (backend HIP/ROCm) et déploie le service **llama-server GPU** | `llama_ctx_size` | 32768 | 32768 | | `llama_n_gpu_layers` | 99 | — | | `hsa_override_gfx_version` | `10.3.0` | — | +| `llama_embed_enabled` | `false` | `true` | +| `llama_embed_port` | 1238 | — | +| `llama_embed_model_path` | `""` | `/mnt/models/nomic-ai/nomic-embed-text-v1.5.f16.gguf` | +| `llama_embed_model_url` | `""` | URL HuggingFace du GGUF nomic | +| `llama_embed_model_alias` | `nomic-embed-text` | — | ## ⚠️ Gap IaC — instances CPU hors Ansible diff --git a/ansible/roles/llama_server/defaults/main.yml b/ansible/roles/llama_server/defaults/main.yml index 8318c90..2a85ded 100644 --- a/ansible/roles/llama_server/defaults/main.yml +++ b/ansible/roles/llama_server/defaults/main.yml @@ -13,3 +13,15 @@ llama_n_gpu_layers: 99 llama_parallel: 1 llama_embeddings: true llama_pooling: "mean" + +# Instance dédiée embeddings (modèle spécialisé, ex. nomic-embed-text) — séparée du +# serveur de chat :1234. Désactivée par défaut ; activée via host_vars (gpu-01). +# Partage le même binaire /opt/llama.cpp et le même GPU (modèle minuscule, ~300 Mo VRAM). +llama_embed_enabled: false +llama_embed_port: 1238 +llama_embed_model_path: "" # chemin GGUF sur /mnt/models (NFS) +llama_embed_model_url: "" # URL de téléchargement (HuggingFace) — get_url si absent +llama_embed_model_alias: "nomic-embed-text" +llama_embed_ctx_size: 2048 +llama_embed_n_gpu_layers: 99 +llama_embed_pooling: "mean" diff --git a/ansible/roles/llama_server/handlers/main.yml b/ansible/roles/llama_server/handlers/main.yml index 4502bd1..bb35846 100644 --- a/ansible/roles/llama_server/handlers/main.yml +++ b/ansible/roles/llama_server/handlers/main.yml @@ -7,3 +7,8 @@ ansible.builtin.systemd: name: llama-server state: restarted + +- name: Restart llama-embed + ansible.builtin.systemd: + name: llama-embed + state: restarted diff --git a/ansible/roles/llama_server/tasks/main.yml b/ansible/roles/llama_server/tasks/main.yml index 47b8102..125c7b9 100644 --- a/ansible/roles/llama_server/tasks/main.yml +++ b/ansible/roles/llama_server/tasks/main.yml @@ -77,3 +77,49 @@ enabled: false state: stopped ignore_errors: true + +# --- Instance dédiée embeddings (nomic-embed-text) — optionnelle --------------- + +- name: Ensure embedding model directory exists + ansible.builtin.file: + path: "{{ llama_embed_model_path | dirname }}" + state: directory + mode: '0755' + when: llama_embed_enabled and llama_embed_model_path | length > 0 + +- name: Download embedding model (GGUF) if absent + ansible.builtin.get_url: + url: "{{ llama_embed_model_url }}" + dest: "{{ llama_embed_model_path }}" + mode: '0644' + timeout: 120 + when: + - llama_embed_enabled + - llama_embed_model_url | length > 0 + - llama_embed_model_path | length > 0 + +- name: Deploy embedding llama-server service + ansible.builtin.template: + src: llama-embed.service.j2 + dest: /etc/systemd/system/llama-embed.service + mode: '0644' + notify: + - Reload systemd + - Restart llama-embed + when: llama_embed_enabled + +- name: Enable embedding llama-server service + ansible.builtin.systemd: + name: llama-embed + enabled: true + daemon_reload: true + state: started + when: llama_embed_enabled + +- name: Open embedding port in firewall + ansible.posix.firewalld: + port: "{{ llama_embed_port }}/tcp" + permanent: true + state: enabled + immediate: true + when: llama_embed_enabled diff --git a/ansible/roles/llama_server/templates/llama-embed.service.j2 b/ansible/roles/llama_server/templates/llama-embed.service.j2 new file mode 100644 index 0000000..5bbf7a5 --- /dev/null +++ b/ansible/roles/llama_server/templates/llama-embed.service.j2 @@ -0,0 +1,26 @@ +[Unit] +Description=llama-server embeddings ({{ llama_embed_model_alias }}) +After=network-online.target +Wants=network-online.target + +[Service] +Type=simple +User=root +Environment=HSA_OVERRIDE_GFX_VERSION={{ hsa_override_gfx_version }} +Environment=LD_LIBRARY_PATH={{ rocm_path }}/lib +ExecStart=/opt/llama.cpp/build/bin/llama-server \ + --model {{ llama_embed_model_path }} \ + --host {{ llama_server_host }} \ + --port {{ llama_embed_port }} \ + --ctx-size {{ llama_embed_ctx_size }} \ + --n-gpu-layers {{ llama_embed_n_gpu_layers }} \ + --alias {{ llama_embed_model_alias }} \ + --embeddings \ + --pooling {{ llama_embed_pooling }} \ + --metrics \ + --log-disable +Restart=on-failure +RestartSec=10 + +[Install] +WantedBy=multi-user.target diff --git a/k8s/apps/stt/deployment.yaml b/k8s/apps/stt/deployment.yaml index a731521..442deb9 100644 --- a/k8s/apps/stt/deployment.yaml +++ b/k8s/apps/stt/deployment.yaml @@ -41,13 +41,16 @@ spec: value: "lm-studio" - name: STT_MODEL value: "hermes-default" - # Mémoire long-terme (Qdrant s01 + embeddings Qwen3 gpu-01) — dégrade si injoignable + # Mémoire long-terme (Qdrant s01 + embeddings nomic gpu-01) — dégrade si injoignable - name: STT_MEMORY_LONGTERM value: "true" - name: STT_QDRANT_URL value: "http://192.168.10.1:6333" + # Instance dédiée embeddings nomic-embed-text sur gpu-01 (:1238, dim 768) - name: STT_EMBED_URL - value: "http://192.168.10.20:1234/v1/embeddings" + value: "http://192.168.10.20:1238/v1/embeddings" + - name: STT_EMBED_MODEL + value: "nomic-embed-text" readinessProbe: httpGet: path: /healthz diff --git a/stt/server/README.md b/stt/server/README.md index a725626..e57f6b7 100644 --- a/stt/server/README.md +++ b/stt/server/README.md @@ -33,7 +33,8 @@ la cohérence de la mémoire process. Mémoire long-terme Qdrant = phase 5b.) | `STT_MAX_TOKENS` / `STT_TEMPERATURE` | `200` / `0.7` | génération | | `STT_MEMORY_LONGTERM` | `true` | mémoire long-terme Qdrant (dégrade si injoignable) | | `STT_QDRANT_URL` | `http://192.168.10.1:6333` | Qdrant (s01) | -| `STT_EMBED_URL` | `http://192.168.10.20:1234/v1/embeddings` | embeddings Qwen3 (gpu-01) | +| `STT_EMBED_URL` | `http://192.168.10.20:1238/v1/embeddings` | embeddings nomic-embed-text (gpu-01 `:1238`, dim 768) | +| `STT_EMBED_MODEL` | `nomic-embed-text` | alias du modèle d'embedding | | `STT_MEMORY_TOPK` | `3` | nombre de souvenirs injectés | ## Dev local @@ -57,11 +58,12 @@ curl -s localhost:8000/v1/ask -H 'content-type: application/json' -d '{"text":"b - **Court-terme** (`memory.py`) : historique par `session_id` (en mémoire, borné + TTL). - **Long-terme** (`longterm.py`) : collection Qdrant `stt-memory` (vecteurs des tours user, - embeddings Qwen3), souvenirs pertinents injectés au prompt. Dégrade si Qdrant/embeddings down. + embeddings `nomic-embed-text` dim 768 via gpu-01 `:1238`), souvenirs pertinents injectés au + prompt. Dégrade si Qdrant/embeddings down. Migration auto de la collection si la dimension + d'embedding change (`_ensure_collection` détecte et recrée). ## À venir - Intégration des **outils Hermes** (« agir sur Funk ») via le gateway `:8080` — nécessite de spécifier son API. Aujourd'hui : inférence/chat seulement (via LiteLLM). -- Embedding dédié (`nomic-embed-text`) pour une recherche sémantique de meilleure qualité. - Mémoire **distillée** versionnée (faits/préférences) dans `server/memory/`. diff --git a/stt/server/stt_server/config.py b/stt/server/stt_server/config.py index dfebb0a..13297f9 100644 --- a/stt/server/stt_server/config.py +++ b/stt/server/stt_server/config.py @@ -36,9 +36,9 @@ class Settings: memory_longterm: bool = os.getenv("STT_MEMORY_LONGTERM", "true").lower() == "true" qdrant_url: str = os.getenv("STT_QDRANT_URL", "http://192.168.10.1:6333") qdrant_collection: str = os.getenv("STT_QDRANT_COLLECTION", "stt-memory") - # Embeddings : Qwen3 sur llama-server gpu-01 (comme le RAG). dim 4096. - embed_url: str = os.getenv("STT_EMBED_URL", "http://192.168.10.20:1234/v1/embeddings") - embed_model: str = os.getenv("STT_EMBED_MODEL", "qwen3-8b") + # Embeddings : instance dédiée nomic-embed-text sur llama-server gpu-01 (:1238, dim 768). + embed_url: str = os.getenv("STT_EMBED_URL", "http://192.168.10.20:1238/v1/embeddings") + embed_model: str = os.getenv("STT_EMBED_MODEL", "nomic-embed-text") memory_top_k: int = int(os.getenv("STT_MEMORY_TOPK", "3")) diff --git a/stt/server/stt_server/longterm.py b/stt/server/stt_server/longterm.py index c917005..93d65e1 100644 --- a/stt/server/stt_server/longterm.py +++ b/stt/server/stt_server/longterm.py @@ -1,13 +1,13 @@ """Mémoire long-terme sémantique (Qdrant). Stocke les tours utilisateur comme vecteurs dans la collection `stt-memory` et retrouve -les souvenirs pertinents pour les injecter dans le prompt. Embeddings via Qwen3 (llama-server -gpu-01), comme le RAG. **Tout dégrade proprement** : si Qdrant ou l'endpoint d'embedding -est injoignable, `recall` renvoie [] et `remember` ne fait rien (la mémoire court-terme -de session continue de fonctionner). +les souvenirs pertinents pour les injecter dans le prompt. Embeddings via une instance +llama-server dédiée (`nomic-embed-text`, gpu-01 `:1238`, dim 768). **Tout dégrade proprement** : +si Qdrant ou l'endpoint d'embedding est injoignable, `recall` renvoie [] et `remember` ne +fait rien (la mémoire court-terme de session continue de fonctionner). -> Caveat qualité : Qwen3 n'est pas un modèle d'embedding dédié (cosinus uniformément hauts) ; -> la recherche est approximative. Voir admin/ia/rag.md pour la piste nomic-embed-text. +> Le modèle d'embedding est configurable (`STT_EMBED_URL`/`STT_EMBED_MODEL`). Si la dimension +> change, `_ensure_collection` recrée automatiquement la collection. Voir admin/ia/rag.md. """ from __future__ import annotations @@ -42,11 +42,22 @@ class LongTermMemory: if self._ready: return r = await client.get(f"{self.qdrant}/collections/{self.collection}") - if r.status_code == 404: - await client.put( - f"{self.qdrant}/collections/{self.collection}", - json={"vectors": {"size": dim, "distance": "Cosine"}}, + if r.status_code == 200: + # Collection existante : si la dimension a changé (modèle d'embedding + # différent, ex. Qwen3 4096 → nomic 768), on recrée — les anciens vecteurs + # sont incomparables dans le nouvel espace. + vectors = ( + r.json().get("result", {}).get("config", {}).get("params", {}).get("vectors", {}) ) + size = vectors.get("size") if isinstance(vectors, dict) else None + if size == dim: + self._ready = True + return + await client.delete(f"{self.qdrant}/collections/{self.collection}") + await client.put( + f"{self.qdrant}/collections/{self.collection}", + json={"vectors": {"size": dim, "distance": "Cosine"}}, + ) self._ready = True async def recall(self, text: str) -> list[str]: