mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-11 01:14:43 +02:00
Alkatrazz
0aa4c3650d
Audit complet des rôles vs état réel du cluster. Chaque rôle a maintenant un README.md : but, variables (défauts + surcharges host_vars/vault), handlers, vérifications, caveats. Gaps découverts et documentés : - minio : rôle VIDE (tasks/main.yml sans aucune tâche), service inactif — placeholder à implémenter ou retirer (ports 9000/9001 ouverts pour rien) - llama_server : ne gère que l'instance GPU :1234 — les services CPU llama-server-system :1236 et llama-server-monitor :1237 sont créés à la main sur gpu-01, non reproductibles par make apply-gpu (+ un llama-server-dev.service non documenté présent sur l'hôte) - hermes_auto_improve : defaults port/repo/branch/log non consommés (valeurs en dur dans les scripts), défaut branch obsolète - lm_studio : README de dépréciation, candidat suppression Tables admin/ops/ansible.md, README.md et CLAUDE.md corrigées en conséquence. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
26 lines
1.4 KiB
Markdown
26 lines
1.4 KiB
Markdown
# litellm
|
|
|
|
Proxy LLM multi-modèles sur storage-01 (`:4000`) — point d'entrée unique pour Hermes, n8n, Open WebUI et ask-agent. Route vers llama-server (gpu-01) ou l'API Anthropic.
|
|
|
|
## Ce que fait le rôle
|
|
|
|
- venv `/opt/litellm/venv` avec `litellm[proxy]`, user système `litellm`
|
|
- Config `/etc/litellm/config.yaml` : alias `hermes-default`, `qwen3-8b`, `system`, `monitor`, `claude…`
|
|
- Service systemd + scripts utilitaires :
|
|
- `/usr/local/bin/ask-agent` — délégation inter-agents (texte → profil system/monitor/brain)
|
|
- `/usr/local/bin/hermes-switch` — bascule l'alias `hermes-default` entre qwen (local) et claude (API), puis restart litellm
|
|
- `/usr/local/bin/funk-cluster` — orchestration start/stop/status du homelab
|
|
|
|
## Variables principales
|
|
|
|
| Variable | Défaut |
|
|
|---|---|
|
|
| `litellm_host` / `litellm_port` | `0.0.0.0` / 4000 |
|
|
| `litellm_master_key` | `lm-studio` (clé API attendue par les clients) |
|
|
| `litellm_local_llm_base_url` | `http://192.168.10.20:1234/v1` |
|
|
| `litellm_anthropic_api_key` | `{{ vault_anthropic_api_key }}` |
|
|
|
|
## Caveat
|
|
|
|
- L'alias `hermes-default` est **ce que Hermes consomme** — changer le modèle derrière l'alias ne nécessite pas de reconfigurer Hermes
|
|
- `hermes-switch` modifie `/etc/litellm/config.yaml` **en dehors d'Ansible** : un `--tags litellm` réécrit la config et peut écraser un switch manuel vers claude
|