feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto (#12)

* feat(stt): mémoire long-terme sémantique via Qdrant (5b)

Serveur : longterm.py — collection Qdrant stt-memory (embeddings Qwen3 gpu-01, dim auto,
Cosine), recall top-k injecté au prompt, remember des tours user. Tout dégrade proprement
si Qdrant/embeddings injoignables (la mémoire court-terme tient). Env STT_MEMORY_LONGTERM,
STT_QDRANT_URL, STT_EMBED_URL, STT_MEMORY_TOPK.

Testé en process : dégradation OK (Qdrant down → mem=0, pas de crash, court-terme tient).
Qdrant réparé le 17/06 (5c). Recherche sémantique réelle à valider sur cluster.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT

* feat(stt): endpoint /v1/memory/health + upsert Qdrant synchrone

- /v1/memory/health sonde activement embeddings + Qdrant + collection et
  expose les erreurs (recall/remember dégradent en silence → indébogables).
  Permet de diagnostiquer la mémoire long-terme sans kubectl exec.
- remember() : upsert avec ?wait=true → le souvenir est immédiatement
  cherchable (sans wait, Qdrant met l'écriture en file → un recall
  cross-session immédiat pouvait le rater).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT

* docs(stt): 5b mémoire long-terme validée en prod + backlog nomic-embed-text

- Rappel cross-session confirmé (« Felix » retrouvé dans une nouvelle session),
  points_count vérifié via /v1/memory/health.
- Note du fix upsert ?wait=true et de l'endpoint de diagnostic.
- Roadmap : 5d (nomic-embed-text dim 768) en backlog qualité ; états haut/bas
  du doc mis à jour (déployé + validé sur cible).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT

* feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto

Remplace Qwen3 (chat réutilisé, dim 4096, peu discriminant) par un modèle
d'embedding spécialisé nomic-embed-text (dim 768) pour la mémoire long-terme.

Ansible (rôle llama_server) :
- nouvelle instance optionnelle `llama-embed` (llama_embed_enabled) servant un
  modèle d'embedding dédié sur :1238, GPU ; télécharge le GGUF si absent.
- activée sur gpu-01 (host_vars) : nomic-embed-text-v1.5 f16.

STT-server :
- STT_EMBED_URL → :1238, STT_EMBED_MODEL → nomic-embed-text (deployment + config).
- _ensure_collection détecte le changement de dimension (4096→768) et recrée
  automatiquement la collection stt-memory (anciens vecteurs incomparables) —
  pas de drop manuel.

Docs : llama_server README, rag.md, stt.md (5d ), CLAUDE.md.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT

---------

Co-authored-by: Claude <noreply@anthropic.com>
This commit is contained in:
ALI YESILKAYA 2026-06-17 21:54:41 +02:00 committed by GitHub
parent 30942f6478
commit 9fef555cc3
No known key found for this signature in database
GPG key ID: B5690EEEBB952194
13 changed files with 179 additions and 36 deletions

View file

@ -77,3 +77,49 @@
enabled: false
state: stopped
ignore_errors: true
# --- Instance dédiée embeddings (nomic-embed-text) — optionnelle ---------------
- name: Ensure embedding model directory exists
ansible.builtin.file:
path: "{{ llama_embed_model_path | dirname }}"
state: directory
mode: '0755'
when: llama_embed_enabled and llama_embed_model_path | length > 0
- name: Download embedding model (GGUF) if absent
ansible.builtin.get_url:
url: "{{ llama_embed_model_url }}"
dest: "{{ llama_embed_model_path }}"
mode: '0644'
timeout: 120
when:
- llama_embed_enabled
- llama_embed_model_url | length > 0
- llama_embed_model_path | length > 0
- name: Deploy embedding llama-server service
ansible.builtin.template:
src: llama-embed.service.j2
dest: /etc/systemd/system/llama-embed.service
mode: '0644'
notify:
- Reload systemd
- Restart llama-embed
when: llama_embed_enabled
- name: Enable embedding llama-server service
ansible.builtin.systemd:
name: llama-embed
enabled: true
daemon_reload: true
state: started
when: llama_embed_enabled
- name: Open embedding port in firewall
ansible.posix.firewalld:
port: "{{ llama_embed_port }}/tcp"
permanent: true
state: enabled
immediate: true
when: llama_embed_enabled