akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-08 23:24:43 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions
Funk-lab/ansible/roles/llama_server
History
Claude 4da1589a6f
feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto 
Remplace Qwen3 (chat réutilisé, dim 4096, peu discriminant) par un modèle
d'embedding spécialisé nomic-embed-text (dim 768) pour la mémoire long-terme.

Ansible (rôle llama_server) :
- nouvelle instance optionnelle `llama-embed` (llama_embed_enabled) servant un
  modèle d'embedding dédié sur :1238, GPU ; télécharge le GGUF si absent.
- activée sur gpu-01 (host_vars) : nomic-embed-text-v1.5 f16.

STT-server :
- STT_EMBED_URL → :1238, STT_EMBED_MODEL → nomic-embed-text (deployment + config).
- _ensure_collection détecte le changement de dimension (4096→768) et recrée
  automatiquement la collection stt-memory (anciens vecteurs incomparables) —
  pas de drop manuel.

Docs : llama_server README, rag.md, stt.md (5d ✅), CLAUDE.md.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013FmcxGsyXZXogiAHQLjnZT
2026-06-17 18:56:14 +00:00
..
defaults feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto 2026-06-17 18:56:14 +00:00
handlers feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto 2026-06-17 18:56:14 +00:00
tasks feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto 2026-06-17 18:56:14 +00:00
templates feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto 2026-06-17 18:56:14 +00:00
README.md feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto 2026-06-17 18:56:14 +00:00

README.md

llama_server

Compile llama.cpp (backend HIP/ROCm) et déploie le service llama-server GPU (:1234) sur gpu-01. Sert aussi les embeddings du RAG.

Ce que fait le rôle

  • Clone + build llama.cpp (cmake HIP, gfx1030) — build seulement si le binaire est absent
  • Service systemd llama-server : modèle GGUF depuis /mnt/models (NFS), :1234
  • Embeddings activés (--embeddings, pooling mean)
  • Ouvre le port dans le firewall, désactive l'ancien service lm-studio
  • Instance dédiée embeddings (optionnelle, llama_embed_enabled) : service systemd llama-embed servant un modèle d'embedding spécialisé (ex. nomic-embed-text) sur :1238, GPU. Télécharge le GGUF depuis llama_embed_model_url si absent. Partage le binaire et le GPU avec :1234 (modèle ~300 Mo VRAM).

Variables principales

Variable Défaut Surcharge gpu-01
llama_server_port 1234 —
llama_model_path "" /mnt/models/bartowski/Qwen3-8B-GGUF/Qwen3-8B-Q4_K_M.gguf
llama_model_alias "" qwen3-8b
llama_ctx_size 32768 32768
llama_n_gpu_layers 99 —
hsa_override_gfx_version 10.3.0 —
llama_embed_enabled false true
llama_embed_port 1238 —
llama_embed_model_path "" /mnt/models/nomic-ai/nomic-embed-text-v1.5.f16.gguf
llama_embed_model_url "" URL HuggingFace du GGUF nomic
llama_embed_model_alias nomic-embed-text —

⚠️ Gap IaC — instances CPU hors Ansible

Le rôle ne gère que l'instance GPU (llama-server.service). Les services suivants existent sur gpu-01 mais ont été créés à la main (non reproductibles par make apply-gpu) :

Service Port Modèle Usage
llama-server-system.service 1236 Qwen3-1.7B CPU profil system
llama-server-monitor.service 1237 Qwen3-1.7B CPU profil monitor
llama-server-dev.service — (non documenté, présent dans /etc/systemd/system) ?

À faire : templatiser ces instances dans le rôle (liste d'instances avec port/modèle/threads) pour qu'une réinstallation de gpu-01 restaure les 3 serveurs.

Caveats

  • Rebuild forcé : supprimer le binaire (/opt/llama.cpp/build/bin/llama-server) puis relancer le rôle
  • Le modèle vient du NFS — voir caveat du rôle nfs_client