--- litellm_user: litellm litellm_venv: /opt/litellm/venv litellm_config_dir: /etc/litellm litellm_host: "0.0.0.0" # toutes interfaces — pods k8s accèdent via 192.168.10.1:4000 litellm_port: 4000 litellm_master_key: "lm-studio" # Clé Anthropic — vient du vault litellm_anthropic_api_key: "{{ vault_anthropic_api_key }}" # Endpoint llama-server sur gpu-01 litellm_local_llm_base_url: "http://192.168.10.20:1234/v1" litellm_local_llm_api_key: "lm-studio" # Heartbeat — garde chaud le tuyau LiteLLM↔llama-server (anti-502 « connexion périmée »). # Petit appel à hermes-default toutes les N s : la connexion ne devient jamais inactive → # la 1ʳᵉ vraie demande après une pause tombe toujours sur un tuyau vivant. llm_heartbeat_enabled: true llm_heartbeat_model: "hermes-default" # l'alias que consomme le STT (même tuyau) llm_heartbeat_interval: 15 # secondes — doit être < à l'idle keep-alive du llama-server llm_heartbeat_timeout: 20 # = request_timeout LiteLLM