akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-08 14:34:43 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions
Funk-lab/ansible/roles/litellm/README.md
Alkatrazz 0aa4c3650d docs(ansible): README par rôle (19) + gaps IaC découverts à l'audit 
Audit complet des rôles vs état réel du cluster. Chaque rôle a maintenant
un README.md : but, variables (défauts + surcharges host_vars/vault),
handlers, vérifications, caveats.

Gaps découverts et documentés :
- minio : rôle VIDE (tasks/main.yml sans aucune tâche), service inactif —
  placeholder à implémenter ou retirer (ports 9000/9001 ouverts pour rien)
- llama_server : ne gère que l'instance GPU :1234 — les services CPU
  llama-server-system :1236 et llama-server-monitor :1237 sont créés à la
  main sur gpu-01, non reproductibles par make apply-gpu (+ un
  llama-server-dev.service non documenté présent sur l'hôte)
- hermes_auto_improve : defaults port/repo/branch/log non consommés
  (valeurs en dur dans les scripts), défaut branch obsolète
- lm_studio : README de dépréciation, candidat suppression

Tables admin/ops/ansible.md, README.md et CLAUDE.md corrigées en conséquence.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
2026-06-10 15:21:24 +02:00

1.4 KiB
Raw Blame History

litellm

Proxy LLM multi-modèles sur storage-01 (:4000) — point d'entrée unique pour Hermes, n8n, Open WebUI et ask-agent. Route vers llama-server (gpu-01) ou l'API Anthropic.

Ce que fait le rôle

  • venv /opt/litellm/venv avec litellm[proxy], user système litellm
  • Config /etc/litellm/config.yaml : alias hermes-default, qwen3-8b, system, monitor, claude…
  • Service systemd + scripts utilitaires :
    • /usr/local/bin/ask-agent — délégation inter-agents (texte → profil system/monitor/brain)
    • /usr/local/bin/hermes-switch — bascule l'alias hermes-default entre qwen (local) et claude (API), puis restart litellm
    • /usr/local/bin/funk-cluster — orchestration start/stop/status du homelab

Variables principales

Variable Défaut
litellm_host / litellm_port 0.0.0.0 / 4000
litellm_master_key lm-studio (clé API attendue par les clients)
litellm_local_llm_base_url http://192.168.10.20:1234/v1
litellm_anthropic_api_key {{ vault_anthropic_api_key }}

Caveat

  • L'alias hermes-default est ce que Hermes consomme — changer le modèle derrière l'alias ne nécessite pas de reconfigurer Hermes
  • hermes-switch modifie /etc/litellm/config.yaml en dehors d'Ansible : un --tags litellm réécrit la config et peut écraser un switch manuel vers claude