akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-08 13:54:41 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions
Funk-lab/ansible/roles/llama_server
History
Alkatrazz 0aa4c3650d docs(ansible): README par rôle (19) + gaps IaC découverts à l'audit 
Audit complet des rôles vs état réel du cluster. Chaque rôle a maintenant
un README.md : but, variables (défauts + surcharges host_vars/vault),
handlers, vérifications, caveats.

Gaps découverts et documentés :
- minio : rôle VIDE (tasks/main.yml sans aucune tâche), service inactif —
  placeholder à implémenter ou retirer (ports 9000/9001 ouverts pour rien)
- llama_server : ne gère que l'instance GPU :1234 — les services CPU
  llama-server-system :1236 et llama-server-monitor :1237 sont créés à la
  main sur gpu-01, non reproductibles par make apply-gpu (+ un
  llama-server-dev.service non documenté présent sur l'hôte)
- hermes_auto_improve : defaults port/repo/branch/log non consommés
  (valeurs en dur dans les scripts), défaut branch obsolète
- lm_studio : README de dépréciation, candidat suppression

Tables admin/ops/ansible.md, README.md et CLAUDE.md corrigées en conséquence.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-10 15:21:24 +02:00
..
defaults feat: initial commit — Ansible roles storage-01/gpu-01 opérationnels 2026-05-12 17:17:03 +02:00
handlers feat: initial commit — Ansible roles storage-01/gpu-01 opérationnels 2026-05-12 17:17:03 +02:00
tasks feat: initial commit — Ansible roles storage-01/gpu-01 opérationnels 2026-05-12 17:17:03 +02:00
templates fix: monitoring — collecte métriques externes (nftables, llama --metrics, ROCm via 9100) 2026-05-13 22:41:19 +02:00
README.md docs(ansible): README par rôle (19) + gaps IaC découverts à l'audit 2026-06-10 15:21:24 +02:00

README.md

llama_server

Compile llama.cpp (backend HIP/ROCm) et déploie le service llama-server GPU (:1234) sur gpu-01. Sert aussi les embeddings du RAG.

Ce que fait le rôle

  • Clone + build llama.cpp (cmake HIP, gfx1030) — build seulement si le binaire est absent
  • Service systemd llama-server : modèle GGUF depuis /mnt/models (NFS), :1234
  • Embeddings activés (--embeddings, pooling mean)
  • Ouvre le port dans le firewall, désactive l'ancien service lm-studio

Variables principales

Variable Défaut Surcharge gpu-01
llama_server_port 1234 —
llama_model_path "" /mnt/models/bartowski/Qwen3-8B-GGUF/Qwen3-8B-Q4_K_M.gguf
llama_model_alias "" qwen3-8b
llama_ctx_size 32768 32768
llama_n_gpu_layers 99 —
hsa_override_gfx_version 10.3.0 —

⚠️ Gap IaC — instances CPU hors Ansible

Le rôle ne gère que l'instance GPU (llama-server.service). Les services suivants existent sur gpu-01 mais ont été créés à la main (non reproductibles par make apply-gpu) :

Service Port Modèle Usage
llama-server-system.service 1236 Qwen3-1.7B CPU profil system
llama-server-monitor.service 1237 Qwen3-1.7B CPU profil monitor
llama-server-dev.service — (non documenté, présent dans /etc/systemd/system) ?

À faire : templatiser ces instances dans le rôle (liste d'instances avec port/modèle/threads) pour qu'une réinstallation de gpu-01 restaure les 3 serveurs.

Caveats

  • Rebuild forcé : supprimer le binaire (/opt/llama.cpp/build/bin/llama-server) puis relancer le rôle
  • Le modèle vient du NFS — voir caveat du rôle nfs_client