Je voudrais faire mon propre assistant vocal local

Hello

Tout est clairement expliqué dans la doc de assist , quel est exactement ton problème ?

Bonjour,

Merci pour le lien.

J’ai donc creer un bouton « assist ». Quand j’appui dessus un menu s’ouvre.

Si je tape « eteins lumiere aquarium », la prise connectée se coupe bien.

Par contre a l’oral ça ne fonctionne pas… la phrase « eteins lumiere aquarium » s’ecrit bien apres que j’ai parlé.

Mais on me repond : desolé je n’ai pas compris…
Qu’est-ce que j’oubli?

Quelqu’un pour m’aider?

Salut jette un coup d’oeil cela a l’air de correspondre à ta demande

Bonsoir,

pour raviver ce thread, j’ai suivi la conférence d’hier sur YT ici la video explique comment faire son propre voice assistant NO-CLOUD a base d’un ESP32 + un micro et un micro ampli pour y connecter un haut parleur.
faut un peu de patience, la partie ESP32 n’est pas au début de la video mais ca vaut la peine, d’ailleurs j’ai commandé le matos sur AlieX
Voilà voilà

Salut,
regarde ce post Projet voice control, ca en parle déja du matos pour faire un assist vocal avec un ESP32.

1 « J'aime »

Bon alors voici où j’en suis depuis le temps :

  • j’ai installé un RPI3 avec wyoming-satellite
  • ajouté un micro (usb)
  • ajouté des haut-parleurs
  • installé mpd (service), j’ai un media_player en plus (pratique)
  • ajouté tout ça dans HA

Openwakeword marche bien (même des fois un peu trop, il récupère des trucs aléatoirement, depuis la TV), l’enregistrement des ordres est propre (wav sans trop de bruit).
PAR CONTRE : whisper est dans les choux complet ! il ne comprend rien, j’ai beau tweeker dans tous les sens, essayer d’autres modèles ou paramètre, nada : y capte keud

Du coup, je me demandais si je peux utiliser un truc cloud dans mon pipeline, en attendant d’avoir quelque chose capable de traiter du STT (genre GPU, TPU Coral, whatever…)
Si qqun a des infos/idées/tutos, je prends; c’est le dernier truc qui me manque pour faire mon assistant local.

A noter que je prends aussi si qqun sait comment créer plusieurs wakewords parce que je voudrais que ça déclenche des pipelines différents.

Salut,
Utilise Vosk a la place de whisper et porcupine1 a la place de openwakeword.

les modules complémentaire son dispo sur ce github:

1 « J'aime »

Vosk foirasse lamentablement avec des erreurs docker (j’utilise pas docker) ou des trucs du genre :
main.py: error: argument --correct-sentences: invalid float value: ‹ null ›

Bonjour, je confirme que Vosk est plus à l’aise avec le Français que Whisper…

utilise porcupine1 avec un déclencheur perso, c’est top.

Bon alors Vosk a fini par fonctionner (après quelques reboot)
Donc effectivement, vosk+porcupine marche beaucoup mieux; merci pour les infos.

1 « J'aime »

Est-ce que quelqu’un ici a déjà installé whisper et/ou piper sur un serveur distant (en mode API/SaaS) et intégré au pipeline assist ?
Je galère à trouver des ressources à ce sujet

J’ai déjà réussi à intégrer Ollama, il ne me manque plus qu’un stt fiable et un bon tts rapide pour faire mon assistant badass capable de répondre à n’importe quelle question.

Hello,

Tu saurais expliquer comment tu créer un custom wake word Français pour porcupine STP ?

J’ai bien trouvé ça, mais pour du français, c’est compliqué : Create your own wake word - Home Assistant

Merci !

Salut,
tu te connecte sur le site https://console.picovoice.ai/, créer un compte.
Choisir create wake word

Tu choisi la langue et le mot et fait un enregistrement de ta voix.
Tu télécharge le fichier.
Tu copier le fichier *.ppn dans le dossier /Share/porcupine/.

Redémarre HA et choisie ton nouveau Wake word.

Quelqu’un a déjà utilisé Snowboy ou une alternative à Pocupine ?
J’ai beaucoup de mal avec le concept de « il faut créer un compte chez nous pour utiliser notre code », et je suis entrain de coder un truc en python pour gérer toute la partie assistant sur un rpi avec un microphone et des HP sur la prise jack
Pipeline : Wakeword → STT → LLM → TTS
(chaque wakeword a son pipeline, dans un fichier de config JSON)

Salut,
j’ai utiliser Snowboy et je suis passer sur porcupine1.
Pas besoin de compte avec snowboy.

Je suis toujours sur snowboy, ils n’ont toujours pas validé mon compte pour le wake Word porcupine…

Il faut bien tester et ajuster la sensibilité de snowboy, pour qu’il ne se déclenche pas à tout bout de champ, mais qu’il reconnaisse tout de même son nom.

Mais pour l’instant, je suis assez mitigé… Ça fait un assistant vocal qui répond bien à des commandes très précises (avec quelques problèmes de rexonnaissance), mais ce n’est absolument pas intuitif ni intelligent.

Bref, mon côté geek s’amuse, mais en l’état ce n’est pas mettable en production à la maison, ma femme et mon fils vont m’arracher les yeux…

J’ai commencé à regarder du côté de local Ai, mais pas évident à mettre en place au vu de mes maigres compétences…

J’ai essayé d’installer snowboy, mais « pip install snowboy » foirrasse lamentablement.
J’ai essayé une autre méthode à base de compilation, mais à la fin j’ai systématiquement la même erreur :
No module named ‹ snowboydetect ›

… je lâche l’affaire; j’ai un peu fait le tour de tout ce qui se fait en bibliothèque de wakeword, et je refuse d’utiliser du code/système propriétaire dans un projet open source. Je n’ai pas trouvé de solution viable avec du code robuste.

Passe par là, ça te simplifiera la vie :wink: