akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-13 14:44:43 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions

feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto

Browse source 
Remplace Qwen3 (chat réutilisé, dim 4096, peu discriminant) par un modèle
d'embedding spécialisé nomic-embed-text (dim 768) pour la mémoire long-terme.

Ansible (rôle llama_server) :
- nouvelle instance optionnelle `llama-embed` (llama_embed_enabled) servant un
  modèle d'embedding dédié sur :1238, GPU ; télécharge le GGUF si absent.
- activée sur gpu-01 (host_vars) : nomic-embed-text-v1.5 f16.

STT-server :
- STT_EMBED_URL → :1238, STT_EMBED_MODEL → nomic-embed-text (deployment + config).
- _ensure_collection détecte le changement de dimension (4096→768) et recrée
  automatiquement la collection stt-memory (anciens vecteurs incomparables) —
  pas de drop manuel.

Docs : llama_server README, rag.md, stt.md (5d ✅), CLAUDE.md.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT
This commit is contained in:
Claude 2026-06-17 18:56:14 +00:00
parent c3393f03f0
commit 4da1589a6f
No known key found for this signature in database
13 changed files with 161 additions and 31 deletions
Download patch file Download diff file Expand all files Collapse all files

13
admin/ia/stt.md
View file

@ -98,10 +98,13 @@ switch global type `hermes-switch` (pas de restart, chaque client choisit le sie
cherchable (sans `wait`, l'écriture est mise en file → un rappel cross-session immédiat pouvait la rater).
- **`GET /v1/memory/health`** : sonde active embed + Qdrant + collection, **expose les erreurs**
(recall/remember dégradent en silence → indébogables sans cet endpoint). Sert au diagnostic.
- Caveat qualité : Qwen3 n'est pas un modèle d'embedding dédié (cosinus uniformément hauts) →
recherche peu discriminante quand la mémoire grossit. Amélioration backlog : `nomic-embed-text`
(modèle spécialisé embeddings, dim 768) — voir « À venir » + `admin/ia/rag.md`. Pas urgent
tant que le volume de souvenirs est faible.
- **Embeddings dédiés (5d, fait)** : passage de Qwen3 (chat réutilisé, dim 4096, cosinus
uniformément hauts → peu discriminant) à **`nomic-embed-text`** (modèle spécialisé, dim 768),
servi par une instance llama-server dédiée sur gpu-01 `:1238` (GPU), gérée par le rôle
`llama_server` (`llama_embed_enabled`). STT : `STT_EMBED_URL=…:1238`, `STT_EMBED_MODEL=nomic-embed-text`.
- **Migration auto de la collection** : `_ensure_collection` détecte le changement de dimension
(4096 → 768) et **recrée** `stt-memory` (les anciens vecteurs sont incomparables dans le nouvel
espace). Aucun drop manuel — la collection est reconstruite à la première requête après bascule.
- **Réparation Qdrant (5c, fait)** : crash-loop depuis 05/06 (segment `funk-docs` corrompu).
Réparé le 17/06 sur s01 : `systemctl stop qdrant && rm -rf /srv/data/qdrant/storage/collections/funk-docs && systemctl start qdrant`.
@ -154,7 +157,7 @@ Côté client, pilotable depuis `stt/client/config/` + l'écran de réglages du
| **5a — Mémoire court-terme** | historique de session côté serveur | ✅ |
| **5b — Mémoire long-terme** | Qdrant `stt-memory` + embeddings Qwen3 (dégrade si down) | ✅ validé 17/06 (rappel cross-session OK) |
| **5c — Réparation Qdrant** | drop `funk-docs` corrompu + restart (s01) | ✅ (17/06) |
| **5d — Embeddings dédiés** | `nomic-embed-text` (dim 768) à la place de Qwen3 → recherche plus précise | ⏳ backlog (qualité) |
| **5d — Embeddings dédiés** | `nomic-embed-text` (dim 768) sur gpu-01 `:1238` → recherche plus précise | ✅ (rôle llama_server + migration auto collection) |
| **6 — Auto-start client** | `install-service.sh` (systemd --user) + kiosk | ⏳ |
| **7 — Outils Hermes** | « agir sur Funk » via gateway `:8080` (API à spécifier) | ⏳ |