Funk-lab/ansible/roles/llama_server/templates
alkatrazz 417d49c1ea fix(rag): ubatch=2048 pour llama-embed + retry rag-ingest + nettoie defaults rag
L'instance llama-embed (:1238) tournait avec l'ubatch llama.cpp par défaut (512).
En mode --embeddings + pooling, toute l'entrée doit tenir dans un seul ubatch →
tout chunk > 512 tokens échouait en HTTP 500 « input too large to process.
increase the physical batch size ». ~46 chunks du RAG (CHUNK_MAX=2000 chars ≈
700 tokens) n'étaient pas indexés.

- llama_server : ajoute llama_embed_ubatch_size (2048 = ctx) + flags
  --batch-size/--ubatch-size dans le template llama-embed.service.
- rag-ingest : retry (5×, backoff) sur erreurs transitoires 5xx/réseau de l'embed.
- rag/defaults : aligne embed_url/embed_model sur nomic :1238 (étaient des vars
  mortes pointant encore qwen3-8b :1234 — trompeuses).

Résultat : ré-ingestion 436/436 chunks, 0 erreur.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-21 22:47:18 +02:00
..
llama-embed-heartbeat.service.j2 feat(llama_server): heartbeat embed — garde chaud le slot nomic :1238 (#28) 2026-06-19 22:17:23 +02:00
llama-embed-heartbeat.sh.j2 feat(llama_server): heartbeat embed — garde chaud le slot nomic :1238 (#28) 2026-06-19 22:17:23 +02:00
llama-embed.service.j2 fix(rag): ubatch=2048 pour llama-embed + retry rag-ingest + nettoie defaults rag 2026-06-21 22:47:18 +02:00
llama-server.service.j2 fix: monitoring — collecte métriques externes (nftables, llama --metrics, ROCm via 9100) 2026-05-13 22:41:19 +02:00
llama-watchdog.service.j2 feat: anti-502 LLM — heartbeat (litellm) + watchdog auto-réparation (llama_server) (#23) 2026-06-19 20:52:29 +02:00
llama-watchdog.sh.j2 feat: anti-502 LLM — heartbeat (litellm) + watchdog auto-réparation (llama_server) (#23) 2026-06-19 20:52:29 +02:00