akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-08 23:34:42 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions
Funk-lab/stt/server
History
Claude 4da1589a6f
feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto 
Remplace Qwen3 (chat réutilisé, dim 4096, peu discriminant) par un modèle
d'embedding spécialisé nomic-embed-text (dim 768) pour la mémoire long-terme.

Ansible (rôle llama_server) :
- nouvelle instance optionnelle `llama-embed` (llama_embed_enabled) servant un
  modèle d'embedding dédié sur :1238, GPU ; télécharge le GGUF si absent.
- activée sur gpu-01 (host_vars) : nomic-embed-text-v1.5 f16.

STT-server :
- STT_EMBED_URL → :1238, STT_EMBED_MODEL → nomic-embed-text (deployment + config).
- _ensure_collection détecte le changement de dimension (4096→768) et recrée
  automatiquement la collection stt-memory (anciens vecteurs incomparables) —
  pas de drop manuel.

Docs : llama_server README, rag.md, stt.md (5d ✅), CLAUDE.md.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT
2026-06-17 18:56:14 +00:00
..
memory feat(stt): assistant vocal Jarvis — client pipx + STT-server in-cluster (#4) 2026-06-17 12:08:58 +02:00
stt_server feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto 2026-06-17 18:56:14 +00:00
Dockerfile feat(stt): mémoire court-terme de session côté serveur (5a) (#8) 2026-06-17 16:15:57 +02:00
pyproject.toml feat(stt): assistant vocal Jarvis — client pipx + STT-server in-cluster (#4) 2026-06-17 12:08:58 +02:00
README.md feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto 2026-06-17 18:56:14 +00:00

README.md

STT-server — orchestrateur AI (in-cluster)

API FastAPI déployée dans le cluster k8s (namespace ai). Reçoit les requêtes des clients STT et route l'inférence vers LiteLLM (s01) → Qwen3 (g01) / Claude.

API

Méthode Route Corps Réponse
GET /healthz — {status, version}
GET /v1/models — {default, available[]}
GET /v1/memory/health — diagnostic mémoire long-terme (embed/Qdrant/collection, erreurs exposées)
POST /v1/ask {text, model?, session_id?} {reply, model}
POST /v1/reset {session_id} {status}

model (optionnel) = alias LiteLLM ; défaut serveur si absent ; rejeté (400) si absent de STT_ALLOWED_MODELS. Le client choisit le modèle par requête (pas de switch global).

session_id (optionnel) active la mémoire court-terme : le serveur garde l'historique de la conversation (en mémoire, borné + TTL) et l'injecte dans l'appel LLM. /v1/reset l'efface. Sans session_id, chaque requête est sans état. (Deployment en 1 worker pour la cohérence de la mémoire process. Mémoire long-terme Qdrant = phase 5b.)

Configuration (variables d'env)

Var Défaut Rôle
STT_LITELLM_URL http://192.168.10.1:4000/v1/chat/completions endpoint LiteLLM (IP directe s01, cf. open-webui)
STT_LITELLM_KEY lm-studio clé LiteLLM (valeur exacte attendue)
STT_MODEL hermes-default modèle par défaut
STT_ALLOWED_MODELS hermes-default,qwen3-8b,claude-sonnet-4-6,claude-opus-4-7 alias autorisés (demandables par le client)
STT_SYSTEM_PROMPT prompt vocal FR concis persona
STT_MAX_TOKENS / STT_TEMPERATURE 200 / 0.7 génération
STT_MEMORY_LONGTERM true mémoire long-terme Qdrant (dégrade si injoignable)
STT_QDRANT_URL http://192.168.10.1:6333 Qdrant (s01)
STT_EMBED_URL http://192.168.10.20:1238/v1/embeddings embeddings nomic-embed-text (gpu-01 :1238, dim 768)
STT_EMBED_MODEL nomic-embed-text alias du modèle d'embedding
STT_MEMORY_TOPK 3 nombre de souvenirs injectés

Dev local

cd stt/server
pip install -e .
STT_LITELLM_URL=http://192.168.1.200:4000/v1/chat/completions stt-server   # :8000
curl -s localhost:8000/healthz
curl -s localhost:8000/v1/ask -H 'content-type: application/json' -d '{"text":"bonjour"}'

Déploiement

  • Image construite/poussée par .github/workflows/build-stt-server.yml, taguée sha-<commit> ; sur main la CI bumpe le manifest avec ce tag → ArgoCD redéploie tout seul (déterministe).
  • Manifests : k8s/apps/stt/ ; Application ArgoCD : k8s/apps-of-apps/apps/stt.yaml (depuis main).
  • Accès LiteLLM (hors cluster) : IP directe 192.168.10.1:4000 (même pattern qu'open-webui).

Mémoire

  • Court-terme (memory.py) : historique par session_id (en mémoire, borné + TTL).
  • Long-terme (longterm.py) : collection Qdrant stt-memory (vecteurs des tours user, embeddings nomic-embed-text dim 768 via gpu-01 :1238), souvenirs pertinents injectés au prompt. Dégrade si Qdrant/embeddings down. Migration auto de la collection si la dimension d'embedding change (_ensure_collection détecte et recrée).

À venir

  • Intégration des outils Hermes (« agir sur Funk ») via le gateway :8080 — nécessite de spécifier son API. Aujourd'hui : inférence/chat seulement (via LiteLLM).
  • Mémoire distillée versionnée (faits/préférences) dans server/memory/.