# litellm

Proxy LLM multi-modèles sur storage-01 (`:4000`) — point d'entrée unique pour Hermes, n8n, Open WebUI et ask-agent. Route vers llama-server (gpu-01) ou l'API Anthropic.

## Ce que fait le rôle

- venv `/opt/litellm/venv` avec `litellm[proxy]`, user système `litellm`
- Config `/etc/litellm/config.yaml` : alias `hermes-default`, `qwen3-8b`, `system`, `monitor`, `claude…`
- Service systemd + scripts utilitaires :
  - `/usr/local/bin/ask-agent` — délégation inter-agents (texte → profil system/monitor/brain)
  - `/usr/local/bin/hermes-switch` — bascule l'alias `hermes-default` entre qwen (local) et claude (API), puis restart litellm
  - `/usr/local/bin/funk-cluster` — orchestration start/stop/status du homelab

## Variables principales

| Variable | Défaut |
|---|---|
| `litellm_host` / `litellm_port` | `0.0.0.0` / 4000 |
| `litellm_master_key` | `lm-studio` (clé API attendue par les clients) |
| `litellm_local_llm_base_url` | `http://192.168.10.20:1234/v1` |
| `litellm_anthropic_api_key` | `{{ vault_anthropic_api_key }}` |

## Caveat

- L'alias `hermes-default` est **ce que Hermes consomme** — changer le modèle derrière l'alias ne nécessite pas de reconfigurer Hermes
- `hermes-switch` modifie `/etc/litellm/config.yaml` **en dehors d'Ansible** : un `--tags litellm` réécrit la config et peut écraser un switch manuel vers claude