model_list: # Alias Hermes — changer uniquement ce bloc pour switcher le modèle de Hermes # sans toucher à la configuration de Hermes lui-même - model_name: hermes-default litellm_params: model: openai/qwen3-8b api_base: {{ litellm_local_llm_base_url }} api_key: {{ litellm_local_llm_api_key }} # Pour passer Hermes sur Claude : remplacer les 3 lignes ci-dessus par : # model: anthropic/claude-sonnet-4-6 # api_key: os.environ/ANTHROPIC_API_KEY # Modèles accessibles directement par nom - model_name: qwen3-8b litellm_params: model: openai/qwen3-8b api_base: {{ litellm_local_llm_base_url }} api_key: {{ litellm_local_llm_api_key }} - model_name: claude-sonnet-4-6 litellm_params: model: anthropic/claude-sonnet-4-6 api_key: os.environ/ANTHROPIC_API_KEY - model_name: claude-opus-4-7 litellm_params: model: anthropic/claude-opus-4-7 api_key: os.environ/ANTHROPIC_API_KEY litellm_settings: drop_params: true # 600s = 10 min : une connexion keep-alive périmée vers llama-server (après un # restart de ce dernier) fait alors hanger LiteLLM 10 min avant d'abandonner → # 502 en cascade pour tous les consommateurs. 60s borne ce hang. request_timeout: 60 # Rejoue une requête échouée (timeout/erreur réseau) : sur la 2ᵉ tentative la # connexion morte du pool est évincée → la requête repart sur une connexion neuve. num_retries: 2 general_settings: master_key: {{ litellm_master_key }}