akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-16 15:44:42 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions

feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto

Browse source 
Remplace Qwen3 (chat réutilisé, dim 4096, peu discriminant) par un modèle
d'embedding spécialisé nomic-embed-text (dim 768) pour la mémoire long-terme.

Ansible (rôle llama_server) :
- nouvelle instance optionnelle `llama-embed` (llama_embed_enabled) servant un
  modèle d'embedding dédié sur :1238, GPU ; télécharge le GGUF si absent.
- activée sur gpu-01 (host_vars) : nomic-embed-text-v1.5 f16.

STT-server :
- STT_EMBED_URL → :1238, STT_EMBED_MODEL → nomic-embed-text (deployment + config).
- _ensure_collection détecte le changement de dimension (4096→768) et recrée
  automatiquement la collection stt-memory (anciens vecteurs incomparables) —
  pas de drop manuel.

Docs : llama_server README, rag.md, stt.md (5d ✅), CLAUDE.md.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT
This commit is contained in:
Claude 2026-06-17 18:56:14 +00:00
parent c3393f03f0
commit 4da1589a6f
No known key found for this signature in database
13 changed files with 161 additions and 31 deletions
Download patch file Download diff file Expand all files Collapse all files

9
ansible/roles/llama_server/README.md
View file

@ -8,6 +8,10 @@ Compile llama.cpp (backend HIP/ROCm) et déploie le service **llama-server GPU**
- Service systemd `llama-server` : modèle GGUF depuis `/mnt/models` (NFS), `:1234`
- Embeddings activés (`--embeddings`, pooling mean)
- Ouvre le port dans le firewall, désactive l'ancien service lm-studio
- **Instance dédiée embeddings** (optionnelle, `llama_embed_enabled`) : service systemd
`llama-embed` servant un modèle d'embedding spécialisé (ex. `nomic-embed-text`) sur
`:1238`, GPU. Télécharge le GGUF depuis `llama_embed_model_url` si absent. Partage le
binaire et le GPU avec `:1234` (modèle ~300 Mo VRAM).
## Variables principales
@ -19,6 +23,11 @@ Compile llama.cpp (backend HIP/ROCm) et déploie le service **llama-server GPU**
| `llama_ctx_size` | 32768 | 32768 |
| `llama_n_gpu_layers` | 99 | — |
| `hsa_override_gfx_version` | `10.3.0` | — |
| `llama_embed_enabled` | `false` | `true` |
| `llama_embed_port` | 1238 | — |
| `llama_embed_model_path` | `""` | `/mnt/models/nomic-ai/nomic-embed-text-v1.5.f16.gguf` |
| `llama_embed_model_url` | `""` | URL HuggingFace du GGUF nomic |
| `llama_embed_model_alias` | `nomic-embed-text` | — |
## ⚠️ Gap IaC — instances CPU hors Ansible