Projet d'un débutant : Voice Control korvo / afficheur lcd-tactile

Do It Yourself Vos Projets
1

Hello,

Je n’y connais strictement rien en esp32 ou autres microcontrollers iot et un projet voice control est pour moi une occasion de me lancer.

J’ai envie de faire simple pour commencer en utilisant le korvo qui intègre beaucoup de choses. Moins fun peut-être mais aussi moins compliqué pour se lancer…

Par contre, je compte compliquer un peu la tâche en ajoutant de quoi avoir un retour son de bonne qualité avec même possibilité de l’utiliser comme mini enceinte et un affichage lcd/tactile pour égayer un peu l’objet.

Je complique un peu la tâche en ajoutant au cahier des charges un form factor cylindrique ou semi-cylindrique (rien de très original vs Alexa, Google ou apple HomePod mini).

Pensez-vous que ce soit un objectif réaliste pour un débutant ?

Cet écran pourrait-il être compatible avec ce système : https://www.mouser.fr/datasheet/2/451/pixxiLCD_13P2_Series_Datasheet_R_1_2-1877335.pdf

J’imagine qu’il faudra un autre esp32 que le korvo pour l’affichage mais je me trompe peut-être…

Merci pour vos réponses.

Matt.

System Information:

version core-2023.12.1
installation_type Home Assistant OS
dev false
hassio true
docker true
user root
virtualenv false
python_version 3.11.6
os_name Linux
os_version 6.1.58-haos-raspi
arch aarch64
timezone Europe/Paris
config_dir /config
Home Assistant Community Store
GitHub API ok
GitHub Content ok
GitHub Web ok
GitHub API Calls Remaining 5000
Installed Version 1.33.0
Stage running
Available Repositories 1433
Downloaded Repositories 72
HACS Data ok
Home Assistant Cloud
logged_in false
can_reach_cert_server ok
can_reach_cloud_auth ok
can_reach_cloud ok
Home Assistant Supervisor
host_os Home Assistant OS 11.2
update_channel stable
supervisor_version supervisor-2023.11.6
agent_version 1.6.0
docker_version 24.0.7
disk_total 916.2 GB
disk_used 139.2 GB
healthy true
supported true
board rpi4-64
supervisor_api ok
version_api ok
installed_addons File editor (5.7.0), Terminal & SSH (9.8.1), Studio Code Server (5.14.2), Filebrowser (2.23.0_7), Mosquitto broker (6.4.0), Home Assistant Google Drive Backup (0.112.1), Epic Games Free (bullseye-slim-2023-12-09), InfluxDB (4.8.0), Grafana (9.1.1), AdGuard Home (5.0.1), MyElectricalData (0.9.2-6), PS5 MQTT (1.3.1), Piper (1.4.0), Whisper (1.0.0), openWakeWord (1.8.2), Node-RED (16.0.2), Zigbee2MQTT (1.34.0-1), Z-Wave JS UI (3.0.2), Voltalis Bridge (1.4.1), Network UPS Tools (0.12.2)
Dashboards
dashboards 12
resources 50
views 44
mode storage
Miele
component_version 0.1.19
reach_miele_cloud ok
Recorder
oldest_recorder_run 6 décembre 2023 à 09:41
current_recorder_run 13 décembre 2023 à 03:47
estimated_db_size 1499.71 MiB
database_engine sqlite
database_version 3.41.2
Spotify
api_endpoint_reachable ok
2

Bonjour @MattG
Je n’ai pas trouvé d’info sur cet écran avec un ESP32, en as-tu ?
Sinon pas de souci pour un deuxième ESP32 + écran, tu pourras y afficher toutes les infos souhaitées en provenance de Home Assistant.
Je vais aussi attaquer la vocal avec un ESP32.
Bob

3

Bonjour @Bob .

Je n’ai justement pas d’info. Mais je ne rien trouvé d’autre pour un ecran circulaire tactile qui conviendrait à mon besoin.

Peut-être quelqu’un ici connait ce qu’il me faut ?

4

Salut,

C’est un projet assez ambitieux pour débuter dans les microcontrôleurs!!
Cette carte dev est pas mal, mais le nombre de composants fournis peut être à double tranchant, il faut que tout soit couvert par les frameworks que tu veux utiliser. Sur la page produit ils parlent du SDK de reconnaissance de Espressif, mais je suppose que ce n’est pas ce que tu veux utiliser et que tu veux surement utiliser Assist de HA, au travers de Esphome. Et c’est peut-être là que tu vas le plus galérer…

L’idéal serait de trouver un tudo ou vidéo de quelqu’un qui a fait ça pour au moins suivre les étapes principales.

Il y a une discussion sur le sujet sur le github de EspHome, je n’ia pas tout lu, peut-être que ça donne tout ce qu’ils faut

5

Hello

Tout à fait d’accord avec @AlexHass , c’est un GROS projet pour démarrer avec ESPHome…

Concernant le Korvo, j’en recoit un d’ici fin d’année, et je ferai un topo de son usage /fonctionnement par rapport à mes montages DIY « Assist ».

Un repo est disponible pour une installation presque « clé en main »:
haade-administrator/korvo-esphome: Utilise le micro array espressif esp32-korvo avec esphome et home assistant (github.com)

et le petit article qui va avec:
Esp32-Korvo Le micro qu’il te faut ! - Haade.fr

@+

6

Vous pensez que je dois m’abstenir pour l’instant ?

7

C’est cet article qui m’a donné envie justement. Ca m’a parut clair et faisable.

8

Mon avis :
Rien n’est jamais perdu :slight_smile: Même si ça rate au premier coup.
Le coût du microcontrôleur reste relativement mesuré, donc ne devrais pas être un investissement insurmontable s’il fini au fond d’un tiroir. (comme certains des mes ESP « en attente ».

C’est sûr que ce n’est pas une carte de dev classique avec des gpio de partout pour faire des montages, mais ça peut reter quelechose d’intéressant pour commencer avec quelques expérimentations et quand il y aura assez de recul et de doc ou exemples, de faire un truc qui tien la route :slight_smile:

D’ailleurs l’article semble montrer qu’ils ont sorti en package pour ESPHome effectivmeent :slight_smile:

9

C’est bien pour démarrer un projet « vocal » sans soudure et sans trop avoir à comprendre la programmation d’un ESP , mais de mon avis perso, sans intérêt pour la compréhension du schmilblik.

10

Si je me lance, la partie programmation se fera d’avantage au niveau de l’afficheur je pense.

Si l’affichage ne « se monte pas » directement sur le korvo, je pensais mettre un ESP32 plus standard en plus ce qui donnerait :

HA ⇄ espstandard ⇄ ecran
⇅
HA ⇄ espkorvo

Mais serait-il possible de faire :

HA ⇄ espstandard ⇄ ecran

    • ⇅
    • espkorvo

Peut-être question bête de novice !

11

Bonsoir,
La doc ESPHome est top donc l’affichage ne pose pas de problème:

Ensuite suivant la taille de l’écran, il faut l’ESP32 adapté, avec de la PSRAM parfois :wink:
Tu pourras remonter sur ton écran toutes les infos de ton HA.
Bob

1 « J'aime »
12

Hello @MattG

Je ne sais pas si tu as vu passer mon message sur l’autre post traitant d’Assist.
J’ai effectué quelques tests rapides avec le Korvo V1.1.
La sensibilité et la portée des micros sont excellentes, mais impossible (pour l’instant) d’exploiter la partie speaker.
En attendant, je redirige les réponses sur un autre media-player.

@+

13

Hello,

Merci pour l’info. Je n’ai pas encore attaqué mon projet mais cane saurait tarder !

14

Bonsoir,
Et tu déclares ton media_player: dans le yaml ESPHome @Krull56 ?

Bob

15

Hello @Bob ,

Bien calmé depuis hier soir? :grinning:

Yes, dans la partie voice_assistant: du yaml

  on_tts_end:
    - homeassistant.service:
        service: media_player.play_media
        data:
          entity_id: media_player.XXXXX
          media_content_id: !lambda 'return x;'
          media_content_type: music
          announce: "true"

en ayant pris soin de retirer tout ce qui est « Speaker » evidemment

16

Excellent, ça passe sur mon ampli direct.
Merci @Krull56

1 « J'aime »
17

Carrément sur l’ampli !!! on ne se prive pas :rofl:

18

Hello, j’ai pu avancer.

La détection par wake-word fonctionne bien (Snowboy) et parait assez sensible. La reconnaissance stt (voks) fonctionne bien aussi et est assez rapide.

En revanche je bloque également sur le retour HP/Casque. Au mieux j’ai un message m’indiquant que le buffer est full, au pire la carte plante…

19

Bonjour,
Idem pour moi, mais si j’enlève « speaker: » et que j’envoi sur l’ampli, la reconnaissance fonctionne bien, plus de « buffer est full » par contre il sauvegarde tous les messages en mp3 dans \192.168.1.32\config\tts et à chaque commande il enchaine tous les messages :rofl:
Il faudrait que je purge ce dossier après chaque diffusion du mp3.
Est-ce qu’un media player dédié sur un autre ESP32 pourrait résoudre le souci de « buffer est full ». ?
Je vais commander l’ampli :

Bob

20

C’est un preamp… il te faut un ampli derrière