Débuguer une commande vocale déportée sur un serveur

Entraide Home Assistant
1

Bonjour,
Bonjour, j’ai HA sur un RPI4. Sans surprise, assist commandé vocalement en local sur le RPI est trés lent.
J’ai donc mis en place sur un serveur tournant sur debian une preuve de concept

  • ollama (et llama3.2) « en dur » (curl -fsSL https://ollama.com/install.sh | sh), il est bien accessible depuis une autre machine
  • whisper et piper dans des containers docker (ceux de https://docs.linuxserver.io), et adapter les commandes à mon cas
  • J’ai installer whyomming dans HA, et configuré les entités piper et whisper (idem pour ollama)
    Pour le debug docker, j’utilise la command docker logs.
    Pour ollama: journalctl -u ollama --no-pager --follow --pager-end

Globalement, ça ne fonctionne pas.
Commençons par le début: whisper
Il reconnaît très mal le texte (j’ai bien mis l’option de lancement -e WHISPER_LANG=fr
Comment vérifier que cette option est bien prise en compte ?

2

docker inspect me confirme WHISPER_LANG=fr
Est ce que vous avez aussi ce probleme de mauvaise qualité de détection. Ca fonctionnait mieux avec whisper sur RPI (juste très lent)
edit:
je me retrouve aussi avec
LANGUAGE=en_US.UTF-8",
« LANG=en_US.UTF-8 »,
pourtant je passe bien l’option -e WHISPER_LANG=fr au lancement du container

3

J’ai ajouté l’option -e WHISPER_LANGUAGE=fr_FR ` et c’est nettement mieux!
Par contre ça ne fonctionne pas à tout les coups. Il faut attendre plusieurs minutes entre chaque phrase. Comment deboguer ça coté RPI et HA ?

4

J’ai refait une install propre du serveur d’IA.
Je lance le container whisper avec:

podman run -dit\
  --name=faster-whisper \
  -e PUID=1000 \
  -e PGID=1000 \
  -e TZ=FR \
  -e WHISPER_MODEL=tiny-int8 \
  -e WHISPER_BEAM=1 `#optional` \
  -e WHISPER_LANG=fr `#optional` \
  -e WHISPER_LANGUAGE=fr_FR `#optional` \
  -p 10300:10300 \
-v /root/whisperdata/:/data  \
  --restart unless-stopped \
  lscr.io/linuxserver/faster-whisper:latest

Lorsque j’inspecte le container, j’ai

"LANG=en_US.UTF-8",
LANGUAGE=en_US.UTF-8",

mais

"WHISPER_LANGUAGE=fr_FR"

Quelqu’un connait il la différence entre WHISPER_LANGUAGE et LANGUAGE ?

5

Whisper fonctionne bien. J’en reviens à ma question de départ. L’intégration d’ollama ne donne pas d’erreur, le serveur est reconnu, mais le messages ne passent pas de assist à ollama. Comment débuger coté HA ?

6

Résumé de la situation:
coté serveur:
ollama fonctionne. Si j’ouvre un terminal , je peux dialoguer avec llama3.2.
Il est accessible sur le LAN (sur un poste client, j’ouvre le navigateur sur l’IP du serveur port 11434 et ollama répond: Ollama is running)
J’ai aussi testé une requete via l’api ollama (curl …), ça fonctionne

Coté HA (RPI4 sur le même LAN que le serveur)
Service ollama créé, il trouve bien llama3.2 sur le serveur, il est autorisé à controler HA
Dans les logs d’ollama sur le serveur , je vois bien la connection du RPI4 (GET « /api/tags »)

Mais aucune réponse coté HA

Timeout running pipeline

Je séche. Si quelqu’un a une piste …

7

Dans assistant vocal, les 3.n debogage.
Mais ça ne m’aide pas beaucoup à comprendre pourquoi le LLM ne répond pas à la demande.

8

Siu ça interesse quelqu’un:
pour d&boguer le pipeline: pour chaque assistant , les 3 . deboguer. Refraichir l’écran du navigateur fréquement.
Pour ollama:

Open Ollama's service file:
 systemctl edit --full ollama.service
Add the following line in the [Service] section:
Environment="OLLAMA_DEBUG=1"

Restart the Ollama service:
systemctl restart ollama.service
9

Je ne sais pas si ça interesse quelqu’un, mais mon problème est tout simple. Je n’ai pas de GPU sur le serveur. Ollama n’utilise que 4 core CPU sur les 24 disponibles. Avec le prompt d’HA (10k caractères), le temps de réponse est de 59 minutes, soit 1000 fois trop long.
Il va me falloir un GPU avec 16Go de mémoire, soit un investissement de 800€. Ca ne sera pas pour tout de suite …

10

Ce sujet a été automatiquement fermé après 2 jours. Aucune réponse n’est permise dorénavant.