mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-12 07:34:43 +02:00
perf(stt-server): mémoire long-terme hors chemin de réponse + résilience embed (#20)
Cause de la latence 30-45s : l'endpoint d'embeddings (gpu-01:1238) peut se geler ; recall ET remember l'attendaient ~20s chacun (timeout → dégradation silencieuse), s'ajoutant à la réponse. Refactor : - store (ex-remember) en BackgroundTasks → APRÈS la réponse, hors latence perçue ; suppression de `?wait=true` (pas d'attente du flush Qdrant) - recall renvoie aussi le vecteur de la requête → store le réutilise (1 embed/tour au lieu de 2, le 2ᵉ portait sur le même texte) - timeout recall serré (4s, STT_MEMORY_RECALL_TIMEOUT) : un embed lent/mort dégrade vite (souvenirs vides) au lieu de bloquer ; store tolère 20s en arrière-plan - clients httpx persistants (pooling/keep-alive) côté brain + longterm, fermés via lifespan (plus de handshake TCP par appel) - log de timing par requête (recall/gen/total/mem) pour diagnostiquer - bump serveur 0.1.0 → 0.2.0 Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
7025d7ae70
commit
914942de73
6 changed files with 165 additions and 78 deletions
|
|
@ -43,6 +43,11 @@ class Settings:
|
|||
embed_url: str = os.getenv("STT_EMBED_URL", "http://192.168.10.20:1238/v1/embeddings")
|
||||
embed_model: str = os.getenv("STT_EMBED_MODEL", "nomic-embed-text")
|
||||
memory_top_k: int = int(os.getenv("STT_MEMORY_TOPK", "3"))
|
||||
# Le recall (embed + recherche) est sur le chemin de réponse : timeout SERRÉ pour qu'un
|
||||
# embed lent/mort dégrade vite (souvenirs vides) au lieu d'ajouter des secondes au client.
|
||||
# Le store tourne en tâche de fond (après la réponse) → timeout plus large toléré.
|
||||
memory_recall_timeout: float = float(os.getenv("STT_MEMORY_RECALL_TIMEOUT", "4"))
|
||||
memory_store_timeout: float = float(os.getenv("STT_MEMORY_STORE_TIMEOUT", "20"))
|
||||
|
||||
|
||||
settings = Settings()
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue