mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-09 08:44:43 +02:00
Le heartbeat embed (#28) gardait le slot :1238 chargé mais docs=0 revenait : latence bimodale 16ms / 9-12s. Cause = contention GPU, pas cold-start. nomic (:1238, --n-gpu-layers 99) partageait la RX 6700XT avec le chat qwen3-8b (:1234) ; ROCm sérialise → un embed lancé pendant une génération chat attend ~10s → dépasse le budget recall 4s du STT-server → docs=0 intermittent. - llama_embed_n_gpu_layers: 99 → 0 (CPU). nomic = 137M → ~100ms déterministe, découplé du slot chat. Le template lit déjà la variable. - heartbeat embed conservé comme sonde de vivacité (commentaire ajusté). - incidents-llm-gpu.md : section dédiée + README rôle mis à jour. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com> |
||
|---|---|---|
| .. | ||
| alertmanager_webhook | ||
| common | ||
| dnsmasq | ||
| gateway | ||
| hermes_agent | ||
| hermes_auto_improve | ||
| hermes_user | ||
| litellm | ||
| llama_server | ||
| lm_studio | ||
| minio | ||
| nfs_client | ||
| nfs_server | ||
| node_exporter | ||
| postfix_relay | ||
| postgresql | ||
| qdrant | ||
| rag | ||
| rocm | ||