feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto (#12)

* feat(stt): mémoire long-terme sémantique via Qdrant (5b)

Serveur : longterm.py — collection Qdrant stt-memory (embeddings Qwen3 gpu-01, dim auto,
Cosine), recall top-k injecté au prompt, remember des tours user. Tout dégrade proprement
si Qdrant/embeddings injoignables (la mémoire court-terme tient). Env STT_MEMORY_LONGTERM,
STT_QDRANT_URL, STT_EMBED_URL, STT_MEMORY_TOPK.

Testé en process : dégradation OK (Qdrant down → mem=0, pas de crash, court-terme tient).
Qdrant réparé le 17/06 (5c). Recherche sémantique réelle à valider sur cluster.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT

* feat(stt): endpoint /v1/memory/health + upsert Qdrant synchrone

- /v1/memory/health sonde activement embeddings + Qdrant + collection et
  expose les erreurs (recall/remember dégradent en silence → indébogables).
  Permet de diagnostiquer la mémoire long-terme sans kubectl exec.
- remember() : upsert avec ?wait=true → le souvenir est immédiatement
  cherchable (sans wait, Qdrant met l'écriture en file → un recall
  cross-session immédiat pouvait le rater).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT

* docs(stt): 5b mémoire long-terme validée en prod + backlog nomic-embed-text

- Rappel cross-session confirmé (« Felix » retrouvé dans une nouvelle session),
  points_count vérifié via /v1/memory/health.
- Note du fix upsert ?wait=true et de l'endpoint de diagnostic.
- Roadmap : 5d (nomic-embed-text dim 768) en backlog qualité ; états haut/bas
  du doc mis à jour (déployé + validé sur cible).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT

* feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto

Remplace Qwen3 (chat réutilisé, dim 4096, peu discriminant) par un modèle
d'embedding spécialisé nomic-embed-text (dim 768) pour la mémoire long-terme.

Ansible (rôle llama_server) :
- nouvelle instance optionnelle `llama-embed` (llama_embed_enabled) servant un
  modèle d'embedding dédié sur :1238, GPU ; télécharge le GGUF si absent.
- activée sur gpu-01 (host_vars) : nomic-embed-text-v1.5 f16.

STT-server :
- STT_EMBED_URL → :1238, STT_EMBED_MODEL → nomic-embed-text (deployment + config).
- _ensure_collection détecte le changement de dimension (4096→768) et recrée
  automatiquement la collection stt-memory (anciens vecteurs incomparables) —
  pas de drop manuel.

Docs : llama_server README, rag.md, stt.md (5d ), CLAUDE.md.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT

---------

Co-authored-by: Claude <noreply@anthropic.com>
This commit is contained in:
ALI YESILKAYA 2026-06-17 21:54:41 +02:00 committed by GitHub
parent 30942f6478
commit 9fef555cc3
No known key found for this signature in database
GPG key ID: B5690EEEBB952194
13 changed files with 179 additions and 36 deletions

View file

@ -11,7 +11,7 @@ This file provides guidance to Claude Code (claude.ai/code) when working with co
- ⚠️ RAG **HS depuis 2026-06-05** — Qdrant en crash-loop (segment `funk-docs` corrompu, voir `admin/incidents.md`) ; `rag-ingest` / `rag-query` indisponibles - ⚠️ RAG **HS depuis 2026-06-05** — Qdrant en crash-loop (segment `funk-docs` corrompu, voir `admin/incidents.md`) ; `rag-ingest` / `rag-query` indisponibles
- ✅ Monitoring complet — Prometheus + Grafana + AlertManager → webhook Hermes + n8n - ✅ Monitoring complet — Prometheus + Grafana + AlertManager → webhook Hermes + n8n
- ✅ storage-01 installé — `192.168.10.1` (LAN cluster), `192.168.1.200` (WAN) - ✅ storage-01 installé — `192.168.10.1` (LAN cluster), `192.168.1.200` (WAN)
- ✅ gpu-01 installé — llama-server GPU (:1234) + CPU (:1236/:1237) opérationnels, kernel 5.14.0-687.5.3 - ✅ gpu-01 installé — llama-server GPU (:1234) + CPU (:1236/:1237) + embeddings nomic-embed-text (:1238, GPU) opérationnels, kernel 5.14.0-687.5.3
- ✅ LiteLLM sur storage-01 — proxy multi-modèles + ask-agent (écoute `0.0.0.0:4000`) - ✅ LiteLLM sur storage-01 — proxy multi-modèles + ask-agent (écoute `0.0.0.0:4000`)
- ✅ Cluster k8s Talos opérationnel (MetalLB + Traefik + wildcard DNS lab.local) - ✅ Cluster k8s Talos opérationnel (MetalLB + Traefik + wildcard DNS lab.local)
- ✅ postfix_relay — SMTP sortant via Gmail SMTP + App Password (aliyesilkaya93@gmail.com) - ✅ postfix_relay — SMTP sortant via Gmail SMTP + App Password (aliyesilkaya93@gmail.com)

View file

@ -67,16 +67,22 @@ Pour une recherche sémantique précise, utiliser un modèle d'embedding dédié
| `nomic-embed-text-v1.5` | ~274 MB | 768 | Rapide, bon équilibre qualité/taille | | `nomic-embed-text-v1.5` | ~274 MB | 768 | Rapide, bon équilibre qualité/taille |
| `bge-m3` | ~1.2 GB | 1024 | Multilingue (français natif) — meilleur choix pour ce repo | | `bge-m3` | ~1.2 GB | 1024 | Multilingue (français natif) — meilleur choix pour ce repo |
Déploiement si besoin : Déploiement **déjà fait pour STT** (instance `nomic-embed-text` sur `:1238`, dim 768) :
```bash le rôle `llama_server` gère désormais une instance dédiée embeddings sur gpu-01 (GPU),
# Sur gpu-01 — télécharger le modèle activée par `llama_embed_enabled` (voir `ansible/roles/llama_server/README.md`). STT pointe
ssh gpu-01 "lms get nomic-ai/nomic-embed-text-v1.5-GGUF" dessus (`STT_EMBED_URL=http://192.168.10.20:1238/v1/embeddings`).
# Ajouter une instance llama-server sur port 1238 (CPU, embedding only) ```bash
# (re)déployer l'instance embeddings sur gpu-01
ansible-playbook -i inventory.yml playbooks/gpu-01.yml --tags llama_server
```
Pour basculer **le RAG** sur cette même instance (quand il sera réparé) :
```bash
# Modifier ansible/roles/rag/defaults/main.yml : # Modifier ansible/roles/rag/defaults/main.yml :
# embed_url: "http://192.168.10.20:1238/v1/embeddings" # embed_url: "http://192.168.10.20:1238/v1/embeddings"
# embed_model: "nomic-embed-text-v1.5" # embed_model: "nomic-embed-text"
# Puis re-indexer : rag-ingest /srv/data/rag/docs/ # Puis re-indexer (la dimension passe à 768 → collection recréée) : rag-ingest /srv/data/rag/docs/
``` ```
--- ---

View file

@ -9,8 +9,9 @@ Objectif ultérieur : « agir sur le homelab » via les outils de Hermes (phase
> chaîne voix → cerveau → voix + interface + mémoire. Renommable plus tard sans impact > chaîne voix → cerveau → voix + interface + mémoire. Renommable plus tard sans impact
> technique (FRIDAY, etc.) — c'est juste un identifiant de répertoire/commande. > technique (FRIDAY, etc.) — c'est juste un identifiant de répertoire/commande.
> ⚠️ **2026-06-17** — client (phase 1) + serveur (phase 2) + manifests cluster (phase 3) écrits. > ✅ **2026-06-17** — déployé in-cluster (ArgoCD), mémoire court-terme (5a) + long-terme (5b)
> Reste : build image (CI), déploiement ArgoCD (après merge sur `main`), test audio sur poste. > **validées sur cible** (rappel cross-session OK via `/v1/memory/health`). Reste : test audio
> bout-en-bout sur le poste (phase 1), HUD avancé (4), auto-start (6), outils Hermes (7).
--- ---
@ -86,11 +87,24 @@ switch global type `hermes-switch` (pas de restart, chaque client choisit le sie
- **Court-terme (5a, fait)** : le serveur garde l'historique par `session_id` (en mémoire, - **Court-terme (5a, fait)** : le serveur garde l'historique par `session_id` (en mémoire,
borné `max_turns` + TTL) et l'injecte dans l'appel LLM. `/v1/ask {session_id}` + `/v1/reset`. borné `max_turns` + TTL) et l'injecte dans l'appel LLM. `/v1/ask {session_id}` + `/v1/reset`.
Le client génère un `session_id` par run. Deployment en **1 worker** (cohérence mémoire process). Le client génère un `session_id` par run. Deployment en **1 worker** (cohérence mémoire process).
- **Long-terme (5b, fait)** : collection Qdrant dédiée `stt-memory` (indépendante du - **Long-terme (5b, ✅ validé 17/06)** : collection Qdrant dédiée `stt-memory` (indépendante du
`funk-docs` du RAG), embeddings via Qwen3 `:1234` (dim 4096, Cosine), souvenirs pertinents `funk-docs` du RAG), embeddings via Qwen3 `:1234` (dim 4096, Cosine), souvenirs pertinents
(top-k) injectés au prompt. Qdrant en IP directe `192.168.10.1:6333`. **Dégrade proprement** (top-k) injectés au prompt. Qdrant en IP directe `192.168.10.1:6333`. **Dégrade proprement**
si Qdrant/embeddings injoignables (la mémoire court-terme tient). Caveat qualité : embeddings si Qdrant/embeddings injoignables (la mémoire court-terme tient).
Qwen3 médiocres → recherche approximative (piste `nomic-embed-text`, voir `admin/ia/rag.md`). - **Validé bout-en-bout** : « mon chat s'appelle Felix » (session A) rappelé dans une
nouvelle session B (« comment s'appelle mon chat ? » → « Felix »). `points_count` confirmé via
`/v1/memory/health`.
- **`upsert ?wait=true`** : l'écriture Qdrant est synchrone, donc un souvenir est *immédiatement*
cherchable (sans `wait`, l'écriture est mise en file → un rappel cross-session immédiat pouvait la rater).
- **`GET /v1/memory/health`** : sonde active embed + Qdrant + collection, **expose les erreurs**
(recall/remember dégradent en silence → indébogables sans cet endpoint). Sert au diagnostic.
- **Embeddings dédiés (5d, fait)** : passage de Qwen3 (chat réutilisé, dim 4096, cosinus
uniformément hauts → peu discriminant) à **`nomic-embed-text`** (modèle spécialisé, dim 768),
servi par une instance llama-server dédiée sur gpu-01 `:1238` (GPU), gérée par le rôle
`llama_server` (`llama_embed_enabled`). STT : `STT_EMBED_URL=…:1238`, `STT_EMBED_MODEL=nomic-embed-text`.
- **Migration auto de la collection** : `_ensure_collection` détecte le changement de dimension
(4096 → 768) et **recrée** `stt-memory` (les anciens vecteurs sont incomparables dans le nouvel
espace). Aucun drop manuel — la collection est reconstruite à la première requête après bascule.
- **Réparation Qdrant (5c, fait)** : crash-loop depuis 05/06 (segment `funk-docs` corrompu). - **Réparation Qdrant (5c, fait)** : crash-loop depuis 05/06 (segment `funk-docs` corrompu).
Réparé le 17/06 sur s01 : `systemctl stop qdrant && rm -rf /srv/data/qdrant/storage/collections/funk-docs && systemctl start qdrant`. Réparé le 17/06 sur s01 : `systemctl stop qdrant && rm -rf /srv/data/qdrant/storage/collections/funk-docs && systemctl start qdrant`.
@ -141,16 +155,18 @@ Côté client, pilotable depuis `stt/client/config/` + l'écran de réglages du
| **3 — Déploiement cluster** | image ghcr + manifests k8s + ArgoCD (LiteLLM en IP directe) | ✅ déployé | | **3 — Déploiement cluster** | image ghcr + manifests k8s + ArgoCD (LiteLLM en IP directe) | ✅ déployé |
| **4 — HUD avancé** | visualiseur arc-reactor + thèmes + écran réglages | ⏳ | | **4 — HUD avancé** | visualiseur arc-reactor + thèmes + écran réglages | ⏳ |
| **5a — Mémoire court-terme** | historique de session côté serveur | ✅ | | **5a — Mémoire court-terme** | historique de session côté serveur | ✅ |
| **5b — Mémoire long-terme** | Qdrant `stt-memory` + embeddings Qwen3 (dégrade si down) | ✅ | | **5b — Mémoire long-terme** | Qdrant `stt-memory` + embeddings Qwen3 (dégrade si down) | ✅ validé 17/06 (rappel cross-session OK) |
| **5c — Réparation Qdrant** | drop `funk-docs` corrompu + restart (s01) | ✅ (17/06) | | **5c — Réparation Qdrant** | drop `funk-docs` corrompu + restart (s01) | ✅ (17/06) |
| **5d — Embeddings dédiés** | `nomic-embed-text` (dim 768) sur gpu-01 `:1238` → recherche plus précise | ✅ (rôle llama_server + migration auto collection) |
| **6 — Auto-start client** | `install-service.sh` (systemd --user) + kiosk | ⏳ | | **6 — Auto-start client** | `install-service.sh` (systemd --user) + kiosk | ⏳ |
| **7 — Outils Hermes** | « agir sur Funk » via gateway `:8080` (API à spécifier) | ⏳ | | **7 — Outils Hermes** | « agir sur Funk » via gateway `:8080` (API à spécifier) | ⏳ |
### État (testé hors-LAN) ### État (validé sur cible)
`py_compile` OK (client + serveur) ; client : `stt --help`, config, `ServerClient` vérifiés ; Serveur déployé in-cluster via ArgoCD (image `sha-<commit>` gérée par CI). Mémoire **5a + 5b
serveur : import/compile OK. Reste à valider sur cible : build image (CI), déploiement ArgoCD validées en prod** : court-terme (historique de session) et long-terme (rappel cross-session
après merge, et test audio bout-en-bout sur le poste. « Felix », `points_count` confirmé via `/v1/memory/health`). Reste côté poste : test audio
bout-en-bout (micro → STT → serveur → TTS) et HUD avancé.
--- ---

View file

@ -6,6 +6,13 @@ llama_model_path: "/mnt/models/bartowski/Qwen3-8B-GGUF/Qwen3-8B-Q4_K_M.gguf"
llama_model_alias: "qwen3-8b" llama_model_alias: "qwen3-8b"
llama_ctx_size: 32768 llama_ctx_size: 32768
# Instance dédiée embeddings — nomic-embed-text (recherche sémantique précise, dim 768).
# Sert la mémoire long-terme de STT. Sur GPU, port :1238 (modèle ~300 Mo VRAM).
llama_embed_enabled: true
llama_embed_model_path: "/mnt/models/nomic-ai/nomic-embed-text-v1.5.f16.gguf"
llama_embed_model_url: "https://huggingface.co/nomic-ai/nomic-embed-text-v1.5-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf"
llama_embed_model_alias: "nomic-embed-text"
# ROCm scraper — métriques GPU dans Prometheus # ROCm scraper — métriques GPU dans Prometheus
rocm_exporter_enabled: true rocm_exporter_enabled: true

View file

@ -8,6 +8,10 @@ Compile llama.cpp (backend HIP/ROCm) et déploie le service **llama-server GPU**
- Service systemd `llama-server` : modèle GGUF depuis `/mnt/models` (NFS), `:1234` - Service systemd `llama-server` : modèle GGUF depuis `/mnt/models` (NFS), `:1234`
- Embeddings activés (`--embeddings`, pooling mean) - Embeddings activés (`--embeddings`, pooling mean)
- Ouvre le port dans le firewall, désactive l'ancien service lm-studio - Ouvre le port dans le firewall, désactive l'ancien service lm-studio
- **Instance dédiée embeddings** (optionnelle, `llama_embed_enabled`) : service systemd
`llama-embed` servant un modèle d'embedding spécialisé (ex. `nomic-embed-text`) sur
`:1238`, GPU. Télécharge le GGUF depuis `llama_embed_model_url` si absent. Partage le
binaire et le GPU avec `:1234` (modèle ~300 Mo VRAM).
## Variables principales ## Variables principales
@ -19,6 +23,11 @@ Compile llama.cpp (backend HIP/ROCm) et déploie le service **llama-server GPU**
| `llama_ctx_size` | 32768 | 32768 | | `llama_ctx_size` | 32768 | 32768 |
| `llama_n_gpu_layers` | 99 | — | | `llama_n_gpu_layers` | 99 | — |
| `hsa_override_gfx_version` | `10.3.0` | — | | `hsa_override_gfx_version` | `10.3.0` | — |
| `llama_embed_enabled` | `false` | `true` |
| `llama_embed_port` | 1238 | — |
| `llama_embed_model_path` | `""` | `/mnt/models/nomic-ai/nomic-embed-text-v1.5.f16.gguf` |
| `llama_embed_model_url` | `""` | URL HuggingFace du GGUF nomic |
| `llama_embed_model_alias` | `nomic-embed-text` | — |
## ⚠️ Gap IaC — instances CPU hors Ansible ## ⚠️ Gap IaC — instances CPU hors Ansible

View file

@ -13,3 +13,15 @@ llama_n_gpu_layers: 99
llama_parallel: 1 llama_parallel: 1
llama_embeddings: true llama_embeddings: true
llama_pooling: "mean" llama_pooling: "mean"
# Instance dédiée embeddings (modèle spécialisé, ex. nomic-embed-text) — séparée du
# serveur de chat :1234. Désactivée par défaut ; activée via host_vars (gpu-01).
# Partage le même binaire /opt/llama.cpp et le même GPU (modèle minuscule, ~300 Mo VRAM).
llama_embed_enabled: false
llama_embed_port: 1238
llama_embed_model_path: "" # chemin GGUF sur /mnt/models (NFS)
llama_embed_model_url: "" # URL de téléchargement (HuggingFace) — get_url si absent
llama_embed_model_alias: "nomic-embed-text"
llama_embed_ctx_size: 2048
llama_embed_n_gpu_layers: 99
llama_embed_pooling: "mean"

View file

@ -7,3 +7,8 @@
ansible.builtin.systemd: ansible.builtin.systemd:
name: llama-server name: llama-server
state: restarted state: restarted
- name: Restart llama-embed
ansible.builtin.systemd:
name: llama-embed
state: restarted

View file

@ -77,3 +77,49 @@
enabled: false enabled: false
state: stopped state: stopped
ignore_errors: true ignore_errors: true
# --- Instance dédiée embeddings (nomic-embed-text) — optionnelle ---------------
- name: Ensure embedding model directory exists
ansible.builtin.file:
path: "{{ llama_embed_model_path | dirname }}"
state: directory
mode: '0755'
when: llama_embed_enabled and llama_embed_model_path | length > 0
- name: Download embedding model (GGUF) if absent
ansible.builtin.get_url:
url: "{{ llama_embed_model_url }}"
dest: "{{ llama_embed_model_path }}"
mode: '0644'
timeout: 120
when:
- llama_embed_enabled
- llama_embed_model_url | length > 0
- llama_embed_model_path | length > 0
- name: Deploy embedding llama-server service
ansible.builtin.template:
src: llama-embed.service.j2
dest: /etc/systemd/system/llama-embed.service
mode: '0644'
notify:
- Reload systemd
- Restart llama-embed
when: llama_embed_enabled
- name: Enable embedding llama-server service
ansible.builtin.systemd:
name: llama-embed
enabled: true
daemon_reload: true
state: started
when: llama_embed_enabled
- name: Open embedding port in firewall
ansible.posix.firewalld:
port: "{{ llama_embed_port }}/tcp"
permanent: true
state: enabled
immediate: true
when: llama_embed_enabled

View file

@ -0,0 +1,26 @@
[Unit]
Description=llama-server embeddings ({{ llama_embed_model_alias }})
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
User=root
Environment=HSA_OVERRIDE_GFX_VERSION={{ hsa_override_gfx_version }}
Environment=LD_LIBRARY_PATH={{ rocm_path }}/lib
ExecStart=/opt/llama.cpp/build/bin/llama-server \
--model {{ llama_embed_model_path }} \
--host {{ llama_server_host }} \
--port {{ llama_embed_port }} \
--ctx-size {{ llama_embed_ctx_size }} \
--n-gpu-layers {{ llama_embed_n_gpu_layers }} \
--alias {{ llama_embed_model_alias }} \
--embeddings \
--pooling {{ llama_embed_pooling }} \
--metrics \
--log-disable
Restart=on-failure
RestartSec=10
[Install]
WantedBy=multi-user.target

View file

@ -41,13 +41,16 @@ spec:
value: "lm-studio" value: "lm-studio"
- name: STT_MODEL - name: STT_MODEL
value: "hermes-default" value: "hermes-default"
# Mémoire long-terme (Qdrant s01 + embeddings Qwen3 gpu-01) — dégrade si injoignable # Mémoire long-terme (Qdrant s01 + embeddings nomic gpu-01) — dégrade si injoignable
- name: STT_MEMORY_LONGTERM - name: STT_MEMORY_LONGTERM
value: "true" value: "true"
- name: STT_QDRANT_URL - name: STT_QDRANT_URL
value: "http://192.168.10.1:6333" value: "http://192.168.10.1:6333"
# Instance dédiée embeddings nomic-embed-text sur gpu-01 (:1238, dim 768)
- name: STT_EMBED_URL - name: STT_EMBED_URL
value: "http://192.168.10.20:1234/v1/embeddings" value: "http://192.168.10.20:1238/v1/embeddings"
- name: STT_EMBED_MODEL
value: "nomic-embed-text"
readinessProbe: readinessProbe:
httpGet: httpGet:
path: /healthz path: /healthz

View file

@ -33,7 +33,8 @@ la cohérence de la mémoire process. Mémoire long-terme Qdrant = phase 5b.)
| `STT_MAX_TOKENS` / `STT_TEMPERATURE` | `200` / `0.7` | génération | | `STT_MAX_TOKENS` / `STT_TEMPERATURE` | `200` / `0.7` | génération |
| `STT_MEMORY_LONGTERM` | `true` | mémoire long-terme Qdrant (dégrade si injoignable) | | `STT_MEMORY_LONGTERM` | `true` | mémoire long-terme Qdrant (dégrade si injoignable) |
| `STT_QDRANT_URL` | `http://192.168.10.1:6333` | Qdrant (s01) | | `STT_QDRANT_URL` | `http://192.168.10.1:6333` | Qdrant (s01) |
| `STT_EMBED_URL` | `http://192.168.10.20:1234/v1/embeddings` | embeddings Qwen3 (gpu-01) | | `STT_EMBED_URL` | `http://192.168.10.20:1238/v1/embeddings` | embeddings nomic-embed-text (gpu-01 `:1238`, dim 768) |
| `STT_EMBED_MODEL` | `nomic-embed-text` | alias du modèle d'embedding |
| `STT_MEMORY_TOPK` | `3` | nombre de souvenirs injectés | | `STT_MEMORY_TOPK` | `3` | nombre de souvenirs injectés |
## Dev local ## Dev local
@ -57,11 +58,12 @@ curl -s localhost:8000/v1/ask -H 'content-type: application/json' -d '{"text":"b
- **Court-terme** (`memory.py`) : historique par `session_id` (en mémoire, borné + TTL). - **Court-terme** (`memory.py`) : historique par `session_id` (en mémoire, borné + TTL).
- **Long-terme** (`longterm.py`) : collection Qdrant `stt-memory` (vecteurs des tours user, - **Long-terme** (`longterm.py`) : collection Qdrant `stt-memory` (vecteurs des tours user,
embeddings Qwen3), souvenirs pertinents injectés au prompt. Dégrade si Qdrant/embeddings down. embeddings `nomic-embed-text` dim 768 via gpu-01 `:1238`), souvenirs pertinents injectés au
prompt. Dégrade si Qdrant/embeddings down. Migration auto de la collection si la dimension
d'embedding change (`_ensure_collection` détecte et recrée).
## À venir ## À venir
- Intégration des **outils Hermes** (« agir sur Funk ») via le gateway `:8080` — nécessite - Intégration des **outils Hermes** (« agir sur Funk ») via le gateway `:8080` — nécessite
de spécifier son API. Aujourd'hui : inférence/chat seulement (via LiteLLM). de spécifier son API. Aujourd'hui : inférence/chat seulement (via LiteLLM).
- Embedding dédié (`nomic-embed-text`) pour une recherche sémantique de meilleure qualité.
- Mémoire **distillée** versionnée (faits/préférences) dans `server/memory/`. - Mémoire **distillée** versionnée (faits/préférences) dans `server/memory/`.

View file

@ -36,9 +36,9 @@ class Settings:
memory_longterm: bool = os.getenv("STT_MEMORY_LONGTERM", "true").lower() == "true" memory_longterm: bool = os.getenv("STT_MEMORY_LONGTERM", "true").lower() == "true"
qdrant_url: str = os.getenv("STT_QDRANT_URL", "http://192.168.10.1:6333") qdrant_url: str = os.getenv("STT_QDRANT_URL", "http://192.168.10.1:6333")
qdrant_collection: str = os.getenv("STT_QDRANT_COLLECTION", "stt-memory") qdrant_collection: str = os.getenv("STT_QDRANT_COLLECTION", "stt-memory")
# Embeddings : Qwen3 sur llama-server gpu-01 (comme le RAG). dim 4096. # Embeddings : instance dédiée nomic-embed-text sur llama-server gpu-01 (:1238, dim 768).
embed_url: str = os.getenv("STT_EMBED_URL", "http://192.168.10.20:1234/v1/embeddings") embed_url: str = os.getenv("STT_EMBED_URL", "http://192.168.10.20:1238/v1/embeddings")
embed_model: str = os.getenv("STT_EMBED_MODEL", "qwen3-8b") embed_model: str = os.getenv("STT_EMBED_MODEL", "nomic-embed-text")
memory_top_k: int = int(os.getenv("STT_MEMORY_TOPK", "3")) memory_top_k: int = int(os.getenv("STT_MEMORY_TOPK", "3"))

View file

@ -1,13 +1,13 @@
"""Mémoire long-terme sémantique (Qdrant). """Mémoire long-terme sémantique (Qdrant).
Stocke les tours utilisateur comme vecteurs dans la collection `stt-memory` et retrouve Stocke les tours utilisateur comme vecteurs dans la collection `stt-memory` et retrouve
les souvenirs pertinents pour les injecter dans le prompt. Embeddings via Qwen3 (llama-server les souvenirs pertinents pour les injecter dans le prompt. Embeddings via une instance
gpu-01), comme le RAG. **Tout dégrade proprement** : si Qdrant ou l'endpoint d'embedding llama-server dédiée (`nomic-embed-text`, gpu-01 `:1238`, dim 768). **Tout dégrade proprement** :
est injoignable, `recall` renvoie [] et `remember` ne fait rien (la mémoire court-terme si Qdrant ou l'endpoint d'embedding est injoignable, `recall` renvoie [] et `remember` ne
de session continue de fonctionner). fait rien (la mémoire court-terme de session continue de fonctionner).
> Caveat qualité : Qwen3 n'est pas un modèle d'embedding dédié (cosinus uniformément hauts) ; > Le modèle d'embedding est configurable (`STT_EMBED_URL`/`STT_EMBED_MODEL`). Si la dimension
> la recherche est approximative. Voir admin/ia/rag.md pour la piste nomic-embed-text. > change, `_ensure_collection` recrée automatiquement la collection. Voir admin/ia/rag.md.
""" """
from __future__ import annotations from __future__ import annotations
@ -42,11 +42,22 @@ class LongTermMemory:
if self._ready: if self._ready:
return return
r = await client.get(f"{self.qdrant}/collections/{self.collection}") r = await client.get(f"{self.qdrant}/collections/{self.collection}")
if r.status_code == 404: if r.status_code == 200:
await client.put( # Collection existante : si la dimension a changé (modèle d'embedding
f"{self.qdrant}/collections/{self.collection}", # différent, ex. Qwen3 4096 → nomic 768), on recrée — les anciens vecteurs
json={"vectors": {"size": dim, "distance": "Cosine"}}, # sont incomparables dans le nouvel espace.
vectors = (
r.json().get("result", {}).get("config", {}).get("params", {}).get("vectors", {})
) )
size = vectors.get("size") if isinstance(vectors, dict) else None
if size == dim:
self._ready = True
return
await client.delete(f"{self.qdrant}/collections/{self.collection}")
await client.put(
f"{self.qdrant}/collections/{self.collection}",
json={"vectors": {"size": dim, "distance": "Cosine"}},
)
self._ready = True self._ready = True
async def recall(self, text: str) -> list[str]: async def recall(self, text: str) -> list[str]: