diff --git a/PROGRESS.md b/PROGRESS.md index 1207510..5f3b574 100644 --- a/PROGRESS.md +++ b/PROGRESS.md @@ -11,4 +11,5 @@ | [2026-05-14](progress/2026-05-14.md) | Monitoring complet + fix webhook AlertManager→Hermes (BrokenPipeError). RAG opérationnel : Qdrant 284 chunks, rag-ingest/rag-query, skill funk-ai. Souls révisés (4 profils). Docs : alertmanager-webhook, rag, hermes-souls | | [2026-05-29](progress/2026-05-29.md) | Migration `/srv/data` RAID5 dégradé → NVMe (sdb ATA errors). Tous les services sur NVMe, bind-mount `/home/data` | | [2026-06-18](progress/2026-06-18.md) | STT : HUD avancé (design Claude Design, #17), auto-start systemd, app de bureau (`.desktop` + mode fenêtre), auto-update (`stt --update`), compat AlmaLinux/Debian. Passe de cohérence doc (#15, #16) | -| [2026-06-21](progress/2026-06-21.md) | STT : portail de services + santé live (#34-36), contextes (visualiseur + presets live, #38/#39), intents vocaux (#40), jeton Ghostfolio unifié (#41), **actions via Hermes** (`hermes -z --yolo`, rôle hermes_exec + contexte agent, #42/#43), ASR Parakeet activé | +| [2026-06-21](progress/2026-06-21.md) | STT : portail de services + santé live (#34-36), contextes (visualiseur + presets live, #38/#39), intents vocaux (#40), jeton Ghostfolio unifié (#41), **actions via Hermes** (`hermes -z --yolo`, rôle hermes_exec + contexte agent, #42/#43), ASR Parakeet activé. **Soir** : relevé état réel + RAG re-ingéré 436 chunks + fix batch embed (#44) | +| [2026-06-22](progress/2026-06-22.md) | STT : **transcription partielle live** dans le HUD + **veille/réveil vocal** (« Asa » réveille / « Asa stop » endort, machine à états), wake word défaut `asa`, client 0.14.0 | diff --git a/admin/ia/stt.md b/admin/ia/stt.md index 4e1ff93..bf8ef8b 100644 --- a/admin/ia/stt.md +++ b/admin/ia/stt.md @@ -182,6 +182,28 @@ au prompt système (`STT_DISABLE_THINKING`, défaut `true` ; inoffensif hors Qwe --- +## Interaction vocale — veille/réveil & transcription live (client ≥ 0.14.0) + +Machine à états du moteur vocal (`stt/client/stt/voice/engine.py`) : + +- **Veille (`asleep`)** — état par défaut. Asa transcrit chaque énoncé **uniquement** pour y + repérer le wake word ; elle ne répond à rien d'autre (HUD : portrait atténué, « SOMMEIL »). +- **Réveil** — dire **« Asa »** (mot entier) la passe en éveil. « Asa, » exécute + directement la question. Variantes ASR tolérées via `[voice].wake_aliases`. +- **Éveil (`listening`)** — elle répond à tout. **« Asa stop »** (ou « stop », « au revoir », + « dors »… — `[voice].sleep_words`) la **remet en veille** ; un timeout d'inactivité + (`chat_timeout_sec`) aussi. +- **Transcription partielle live** — en éveil, le buffer en cours est re-transcrit toutes les + `partial_interval_sec` et poussé au HUD (`partial`) → le texte se forme en direct, puis la bulle + finale le remplace. Auto-activée seulement avec l'ASR **onnx** (Parakeet, rapide en CPU) ; + forçable via `[voice].partial_transcription = true|false`. Whisper large-v3 CPU est trop lent. + +> Le wake word par défaut est désormais **`asa`** (était `hermes`). Les configs existantes +> (`~/.config/stt/stt.toml`) gardent leur valeur — changer `[voice].wake_word` ou via le HUD +> (réglage « mot de réveil ») / la commande `/wake`. + +--- + ## Personnalisation (« l'image, le design, la voix ») Côté client, pilotable depuis `stt/client/config/` + l'écran de réglages du HUD : diff --git a/progress/2026-06-22.md b/progress/2026-06-22.md new file mode 100644 index 0000000..fbc394f --- /dev/null +++ b/progress/2026-06-22.md @@ -0,0 +1,50 @@ +# 2026-06-22 — STT : transcription live + veille/réveil vocal ; relevé cluster (la veille) + +## STT — streaming partiel & contrôle vocal veille/réveil (client 0.13.0 → 0.14.0) + +Deux fonctionnalités demandées sur l'assistant vocal Asa. + +### Transcription partielle live dans le HUD + +En éveil, pendant qu'on parle, le buffer audio en cours est **re-transcrit périodiquement** +(`partial_interval_sec`, défaut 0,5 s) et poussé au HUD via un événement `partial` → le texte +**se forme en direct** dans une bulle dédiée (italique + curseur clignotant), puis la bulle +« user » finale la remplace. + +- Auto-activée seulement avec l'ASR **onnx** (Parakeet ~11× temps réel en CPU) ; whisper large-v3 + CPU est trop lent → laissé off (forçable via `[voice].partial_transcription`). +- Bornée : `partial_min_sec` (anti-bruit) … `partial_max_sec` (coût ; au-delà, seul le final suit). +- Transcription inline dans la boucle audio (thread unique → pas d'accès concurrent au modèle ASR). + +### Veille / réveil vocal (« Asa stop » / « Asa ») + +Refonte de la boucle en **machine à états** explicite veille (`asleep`) ↔ éveil : + +- **Veille** : Asa transcrit chaque énoncé **uniquement** pour repérer le wake word ; ne répond à + rien d'autre. HUD : portrait atténué/désaturé, label « SOMMEIL ». +- **« Asa »** (mot entier, alias ASR tolérés) → réveil. « Asa, » exécute la question. +- **« Asa stop »** (ou `stop`/`dors`/`au revoir`… = `sleep_words`) → retour veille (+ « Je me mets + en veille »). Timeout d'inactivité aussi. +- Wake word par défaut **`asa`** (était `hermes`) ; `wake_word`/`wake_aliases`/`sleep_words` config. +- Détection wake durcie : **mot entier** (plus de sous-chaîne — « asa » est court et matchait + « casa », « phrase »…). + +Validé : tests unitaires (wake/sleep/alias) + Playwright (rendu `asleep`, bulle partielle mise à +jour en place puis remplacée par le final, nettoyage du partiel au changement d'état). +Bump client **0.14.0**. Doc : `admin/ia/stt.md` (section « Interaction vocale »). + +--- + +## (Rappel) Relevé d'état réel + RAG re-ingéré — fait la veille (2026-06-21, PR #44) + +Pour mémoire, cette même journée de travail a aussi produit (PR #44, mergée) : alignement de la +doc sur l'état réel du cluster (`admin/ops/etat-cluster.md`), re-ingestion du RAG **436/436 chunks** +et le **fix du batch embed** (`llama-embed` ubatch 512 → 2048). Détail : `progress/2026-06-21.md`. + +--- + +## Prochaines étapes + +- Tester sur le poste : « Asa » réveille, « Asa stop » endort, partiels en direct (ASR onnx actif). +- Si le wake word « asa » génère des faux positifs/négatifs, ajuster `wake_aliases`. +- `make apply-gpu` (réconcilier le drop-in `llama-embed` du 21/06) + 1er test d'action vocale (#43). diff --git a/stt/client/pyproject.toml b/stt/client/pyproject.toml index 6a6050d..7581600 100644 --- a/stt/client/pyproject.toml +++ b/stt/client/pyproject.toml @@ -1,6 +1,6 @@ [project] name = "stt" -version = "0.13.0" +version = "0.14.0" description = "STT — client vocal Jarvis du homelab Funk (voix + HUD, parle au STT-server)" requires-python = ">=3.11" readme = "README.md" diff --git a/stt/client/stt/config.py b/stt/client/stt/config.py index c14a931..8fba5c4 100644 --- a/stt/client/stt/config.py +++ b/stt/client/stt/config.py @@ -38,7 +38,12 @@ DEFAULT_CONFIG: dict[str, Any] = { "model": "hermes-default", }, "voice": { - "wake_word": "hermes", + # Wake word principal : « Asa ». Dire « Asa » la réveille ; « Asa stop » la rendort. + "wake_word": "asa", + # Variantes tolérées (l'ASR FR rend « Asa » diversement). Mots ENTIERS, déaccentués. + "wake_aliases": ["asa", "aza", "assa", "aca", "haza", "hassa"], + # Mots/phrases qui remettent Asa en veille quand elle est éveillée (sous-chaîne). + "sleep_words": ["stop", "dors", "au revoir", "bonne nuit", "fin", "silence", "tais-toi"], # ASR : "whisper" (faster-whisper CPU, défaut) | "onnx" (Parakeet/Canary/Nemotron) "asr_engine": "whisper", "whisper_model": "large-v3", @@ -51,6 +56,13 @@ DEFAULT_CONFIG: dict[str, Any] = { "silence_sec": 1.2, "min_speech_sec": 0.6, "chat_timeout_sec": 60, + # Transcription partielle live (texte qui se forme dans le HUD pendant qu'on parle). + # Clé `partial_transcription` volontairement ABSENTE → auto : activée seulement avec + # l'ASR "onnx" (Parakeet, assez rapide en CPU). Ajouter `partial_transcription = true` + # (ou false) dans stt.toml pour forcer. Whisper large-v3 CPU est trop lent → laisser auto. + "partial_interval_sec": 0.5, # cadence de re-transcription du buffer + "partial_min_sec": 0.4, # ne transcrit pas en dessous (bruit) + "partial_max_sec": 8.0, # au-delà, on arrête les partiels (coût) — le final suit }, "ui": { # theme / avatar : désormais pilotés dans le HUD (Réglages → localStorage), diff --git a/stt/client/stt/hud/index.html b/stt/client/stt/hud/index.html index 0a310f2..afbeafe 100644 --- a/stt/client/stt/hud/index.html +++ b/stt/client/stt/hud/index.html @@ -261,6 +261,17 @@ /* ---- États appliqués sur .stage[data-state] ---- */ + /* asleep : veille profonde — portrait atténué/désaturé, anneau effacé. N'écoute + que le wake word « Asa » (dire « Asa » la réveille). */ + .stage[data-state="asleep"] .portrait { filter: saturate(.45) brightness(.7); opacity: .72; animation: breathe 7s ease-in-out infinite; } + .stage[data-state="asleep"] .ring circle { stroke: var(--ring-rest); stroke-width: 2; opacity: .5; } + .stage[data-state="asleep"] .state-label { color: var(--ink-soft); opacity: .7; } + + /* bulle de transcription partielle (texte en cours de formation) */ + .bubble.partial { opacity: .62; font-style: italic; } + .bubble.partial::after { content: '▋'; margin-left: 2px; animation: caret 1s step-end infinite; } + @keyframes caret { 50% { opacity: 0; } } + /* idle : respiration douce, anneau au repos */ .stage[data-state="idle"] .portrait { animation: breathe 6s ease-in-out infinite; } @keyframes breathe { @@ -917,7 +928,7 @@
- +