Depuis la sortie du voicePE, je suis en bataille perpétuelle pour faire fonctionner correctement l'assistant vocal.
Mon principal problème était la reconnaissance vocale, j'ai tenté pas mal de variantes de whisper (moyennement précis et assez lent), deux modèles vosk (plus précis et rapide que whisper je trouve) et d'autres basé sur des llms mais qui étaient tous plus lents que whisper et pas forcément meilleur.
Il y a quelques jours, j'ai eu la révélation qu'il existait un modèle dans les appareils macOS que je n'avais pas encore testé, qui est conçu pour de la dictée et est native dans l'OS, 100% local.
Avec la magie de l'IA, je me suis fait un bridge entre ce moteur et le protocole wyoming et j'ai passé mon satellite dessus.
Après plusieurs jours de test, je n'ai eu aucun problème, la partie détection de la voix est ultra rapide et précise même à grande distance ou avec un bruit de fond.
Joli bricolage ! Je bosse sur aicost.tools, donc je regarde surtout le côté coûts IA, et un STT 100 % local qui marche bien, c'est exactement ce qu'on aimerait voir plus souvent. Tu mesures combien de temps entre la fin de la phrase et l'action dans HA ? Pour ceux qui n'ont pas de Mac comme BBE, le STT du cloud Nabu Casa reste à mon avis le plan B le plus simple.
Le reste de ma pipeline c'est soit la pipeline native home assistant soit le dernier modèle qwen next qui tourne sur un pc d'inférence avec une 3090 sous strata.
Les résultats de ce modèles sont vraiment rapide et fiable mais je suis pas sur que ce genre de setup convienne a tout le monde au vu.
Côté TTS, je suis resté sous piper, je cherche encore quelque chose de plus sympa qui reste rapide et peu couteux en processing. Pour l'instant, de tout ce que j'ai testé, rien n'est plus sympa sans prendre beaucoup plus de ressources et donc de latence (chatterbox fait de super voix par exemple mais demande de la vram)