mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-08 04:44:43 +02:00

feat(stt): transcription partielle live + veille/réveil vocal (« Asa » / « Asa stop ») (#45 )

* fix(rag): ubatch=2048 pour llama-embed + retry rag-ingest + nettoie defaults rag

L'instance llama-embed (:1238) tournait avec l'ubatch llama.cpp par défaut (512).
En mode --embeddings + pooling, toute l'entrée doit tenir dans un seul ubatch →
tout chunk > 512 tokens échouait en HTTP 500 « input too large to process.
increase the physical batch size ». ~46 chunks du RAG (CHUNK_MAX=2000 chars ≈
700 tokens) n'étaient pas indexés.

- llama_server : ajoute llama_embed_ubatch_size (2048 = ctx) + flags
  --batch-size/--ubatch-size dans le template llama-embed.service.
- rag-ingest : retry (5×, backoff) sur erreurs transitoires 5xx/réseau de l'embed.
- rag/defaults : aligne embed_url/embed_model sur nomic :1238 (étaient des vars
  mortes pointant encore qwen3-8b :1234 — trompeuses).

Résultat : ré-ingestion 436/436 chunks, 0 erreur.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

* docs(cluster): aligne la doc sur l'état réel (relevé 2026-06-21) + snapshot

Passe de vérification terrain (SSH s01/g01 + kubectl) pour corriger les écarts
doc↔réalité, et ajout d'un document de référence vérifié.

- admin/ops/etat-cluster.md (nouveau) : snapshot daté — machines, services+ports
  par hôte, workloads k8s, namespaces, IngressRoute, bases PG, modèles LiteLLM,
  RAG/Qdrant, + procédure pour régénérer le relevé.
- OS AlmaLinux 9.7 → 9.8 (s01/g01) ; précise k8s v1.33.1 (CLAUDE/README/install/talos).
- RAG funk-docs : retire le warning périmé « supprimée 2026-06-17 / à re-ingérer » →
  reconstruite (436 chunks, nomic-embed-text :1238 dim 768, CPU). Maj rag.md,
  incidents.md, stt.md.
- Namespace sacrifice (hors-repo, hors ArgoCD) + bases PG grafana/sacrifice +
  services ai via IngressRoute + registry in-cluster (CLAUDE.md, k9s.md).
- Services de résilience (llm-heartbeat, llama-watchdog/embed) et instances CPU
  manuelles :1236/:1237 (souvent éteintes) documentés.
- Journal progress/2026-06-21.md : section relevé + RAG.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

* feat(stt): transcription partielle live + veille/réveil vocal (« Asa » / « Asa stop »)

Deux fonctionnalités sur l'assistant vocal Asa (client 0.13.0 → 0.14.0).

Transcription partielle live :
- en éveil, le buffer en cours est re-transcrit périodiquement (partial_interval_sec) et
  poussé au HUD (event `partial`) → le texte se forme en direct dans une bulle dédiée,
  remplacée par la bulle « user » finale.
- auto-activée seulement avec l'ASR onnx (Parakeet, rapide CPU) ; bornée min/max ;
  forçable via [voice].partial_transcription.

Veille / réveil vocal (machine à états asleep ↔ éveil) :
- veille : Asa transcrit chaque énoncé UNIQUEMENT pour repérer le wake word, ne répond à
  rien d'autre (HUD : portrait atténué, « SOMMEIL »).
- « Asa » (mot entier, alias ASR tolérés) réveille ; « Asa, <question> » exécute la question.
- « Asa stop » (ou stop/dors/au revoir… = sleep_words) remet en veille ; timeout aussi.
- wake word par défaut `asa` (était `hermes`) ; détection durcie en mot entier (plus de
  sous-chaîne — « asa » matchait « casa », « phrase »…).

Validé : tests unitaires (wake/sleep/alias) + Playwright (rendu asleep, bulle partielle mise
à jour en place puis remplacée, nettoyage au changement d'état). Doc admin/ia/stt.md + journal.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

---------

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

2026-06-22 00:27:53 +02:00

2.8 KiB

Raw Blame History

2026-06-22 — STT : transcription live + veille/réveil vocal ; relevé cluster (la veille)

STT — streaming partiel & contrôle vocal veille/réveil (client 0.13.0 → 0.14.0)

Deux fonctionnalités demandées sur l'assistant vocal Asa.

Transcription partielle live dans le HUD

En éveil, pendant qu'on parle, le buffer audio en cours est re-transcrit périodiquement (partial_interval_sec, défaut 0,5 s) et poussé au HUD via un événement partial → le texte se forme en direct dans une bulle dédiée (italique + curseur clignotant), puis la bulle « user » finale la remplace.

Auto-activée seulement avec l'ASR onnx (Parakeet ~11× temps réel en CPU) ; whisper large-v3 CPU est trop lent → laissé off (forçable via [voice].partial_transcription).
Bornée : partial_min_sec (anti-bruit) … partial_max_sec (coût ; au-delà, seul le final suit).
Transcription inline dans la boucle audio (thread unique → pas d'accès concurrent au modèle ASR).

Veille / réveil vocal (« Asa stop » / « Asa »)

Refonte de la boucle en machine à états explicite veille (asleep) ↔ éveil :

Veille : Asa transcrit chaque énoncé uniquement pour repérer le wake word ; ne répond à rien d'autre. HUD : portrait atténué/désaturé, label « SOMMEIL ».
« Asa » (mot entier, alias ASR tolérés) → réveil. « Asa, » exécute la question.
« Asa stop » (ou stop/dors/au revoir… = sleep_words) → retour veille (+ « Je me mets en veille »). Timeout d'inactivité aussi.
Wake word par défaut asa (était hermes) ; wake_word/wake_aliases/sleep_words config.
Détection wake durcie : mot entier (plus de sous-chaîne — « asa » est court et matchait « casa », « phrase »…).

Validé : tests unitaires (wake/sleep/alias) + Playwright (rendu asleep, bulle partielle mise à jour en place puis remplacée par le final, nettoyage du partiel au changement d'état). Bump client 0.14.0. Doc : admin/ia/stt.md (section « Interaction vocale »).

(Rappel) Relevé d'état réel + RAG re-ingéré — fait la veille (2026-06-21, PR #44)

Pour mémoire, cette même journée de travail a aussi produit (PR #44, mergée) : alignement de la doc sur l'état réel du cluster (admin/ops/etat-cluster.md), re-ingestion du RAG 436/436 chunks et le fix du batch embed (llama-embed ubatch 512 → 2048). Détail : progress/2026-06-21.md.

Prochaines étapes

Tester sur le poste : « Asa » réveille, « Asa stop » endort, partiels en direct (ASR onnx actif).
Si le wake word « asa » génère des faux positifs/négatifs, ajuster wake_aliases.
make apply-gpu (réconcilier le drop-in llama-embed du 21/06) + 1er test d'action vocale (#43).

2.8 KiB Raw Blame History Unescape Escape