Claptrap - une intégration HA

Bonjour
je suis tombé dessus
quelqu’un a essayé ?
je suis pas trop fan des commandes vocales mais je trouve celui là marrant

Oui j’ai vu ça ;

Ça a l’air totalement inutile dans la majorité des cas donc fortement indispensable.
Reste le gros plus potentiel pour des solutions d’accessibilité.

Je n’ai pas réussi à trouver la fameuse liste des 200 sons reconnus.

Parce que perso le clap m’intéresse peu, mais la detection de sons un poil plus…

D’après ce que j’ai compris pour l’instant seul le clap est compris par laddon mais ils vont (avec l’aide de la communauté) intégrer le reste voir plus.

Cela m’interesse aussi pour tester le fameux clap pour les lumières :grinning:
On peut envisager d’utiliser le micro de la tablette avec fully kiosk ? Je cherche comment déjà l’activer et pourquoi pas l’utiliser avec assist. Il faut que je creuse, c’est encore flou pour moi.
Il faudra aussi voir avec les webhook que je me maitrise pas non plus…

Dans la video, a un moment on voit que le capteur renvoie l’analyse de l’audio en direct.

Genre ça écrit speech puis dog puis speech… [edit c’est vers 13min30]

Ca doit venir de mediaPipe qui tourne derrière…

[edit] trouvé dans la doc de MediaPipe: Guide de classification audio  |  Google AI Edge  |  Google AI for Developers
La liste de sons que reconnait le modèle : https://storage.googleapis.com/mediapipe-tasks/audio_classifier/yamnet_label_list.txt

Ce serait sympa de pouvoir remonter direct dans HA un sensor qui donnerait le son et son score… Ou alors de pouvoir choisir sur quel type de son on trigge l’addon et pas uniquement sur du clap…

Ça m’intéresse aussi mais je voudrais capter les sons depuis la tablette. J’ai trouvé pour le moment qu’une seule application capable d’envoyer le son au réseau et celle ci coûte 10€. Je veux essayer pour rigoler donc j’ai pas envie de dépenser de l’argent pour mettre ça en place.
Si vous avez une application gratuite capable de faire ça je veux bien tester.

j’essaie de déployer ça, c’est laborieux … :sweat: le problème c’est que j’essaie de me débrouiller avec ce que j’ai sous la main un esp32 devkit wroom, un inmp441 ,j’ai bien mes librairies, la version esp32 recommandé voici le code et les affectations gpio pour le micro. le symptôme c’est que j’arrive a me rendre sur l’interface local de l’esp32 mais quand j’active la détection, je ne detecte aucun son, quand je vais dans les log de claptrap j’ai parfois des

2025-07-08 01:27:58,712 - INFO - Son fort détecté sur 192.168.1.85, amplitude: min=-0.500, max=0.000

voila le bout de code

#include "AudioTools.h"
#include "AudioTools/AudioLibs/VBANStream.h"

// Déclaration des objets pour la gestion des flux audio
I2SStream i2sStream;    // Gère l'entrée audio I2S
VBANStream vbanStream;  // Gère la sortie audio VBAN
StreamCopy copier(vbanStream, i2sStream);  // Copie les données entre les flux

void setup() {
  // Initialisation de la communication série pour le débogage
  Serial.begin(115200);
  AudioLogger::instance().begin(Serial, AudioLogger::Info);

  // Configuration du flux I2S (entrée audio)
  Serial.println("Starting I2S...");
  auto cfg_i2s = i2sStream.defaultConfig(RX_MODE);
  cfg_i2s.bits_per_sample = 16;    // Résolution audio 16 bits
  cfg_i2s.channels = 1;            // Mode mono
  cfg_i2s.sample_rate = 16000;     // Fréquence d'échantillonnage 16kHz
  cfg_i2s.signal_type = Digital;       // Type de signal : PDM (Pulse Density Modulation)digital
  cfg_i2s.use_apll = false;        // Désactive l'APLL pour l'horloge
  cfg_i2s.auto_clear = false;      // Désactive le nettoyage automatique du buffer
  cfg_i2s.pin_bck = 32;           // BCLK (SCK)
  cfg_i2s.pin_ws = 25;            // Pin Word Select (WS) sur GPIO33
  cfg_i2s.pin_data = 33;          // Pin Data sur GPIO23
  i2sStream.begin(cfg_i2s);

  // Configuration du flux VBAN (sortie réseau)
  Serial.println("Starting VBAN...");
  auto cfg_vban = vbanStream.defaultConfig(TX_MODE);
  cfg_vban.ssid = "xxxxxxxxxx";           // SSID du réseau WiFi
  cfg_vban.password = "xxxxxxxxxxxx";  // Mot de passe WiFi
  cfg_vban.stream_name = "xxxxxxxxxxxxxxxxxxxxx";      // Nom du flux VBAN
  // Configuration VBAN identique à I2S pour assurer la compatibilité
  cfg_vban.channels = cfg_i2s.channels;
  cfg_vban.sample_rate = cfg_i2s.sample_rate;
  cfg_vban.bits_per_sample = cfg_i2s.bits_per_sample;
  vbanStream.begin(cfg_vban);

  Serial.println("Setup completed");
}

void loop() {
  // Copie continue des données audio de I2S vers VBAN
  copier.copy();
}

j’ai simplement ajouter la ligne pin_bckb et modifier les gpio pour l’adapter a mon esp32

cfg_i2s.signal_type = Digital;       // Type de signal : PDM (Pulse Density Modulation)digital
cfg_i2s.pin_bck = 32;           // BCLK (SCK)
cfg_i2s.pin_ws = 25;            // Pin Word Select (WS) sur GPIO33
cfg_i2s.pin_data = 33;          // Pin Data sur GPIO23

pour le cablage du micro je me suis basé la dessus
J’ai comme l’impression que mon micro n’est pas reconnu car dans
l’interface il ne reconnais que des silences.

D’autre on réussi à faire fonctionner avec un esp32 random? tout aide est la bienvenue en tous cas moi je seche et mon copain gpt aussi…

Ok les gars ca fonctionne chez moi, je regarde demain pour tester deux trois automatisations je vous ferait un retour. le code en haut est bon j’avais plus les yeux en face des trous hier soir le micro était mal broché.

Je me suis lancé ce soir avec un M5Atom, j’ai des gros trous dans la compréhension de la configuration.
Le programme est chargé dans esp32.
L’add-on claptrap tourne sous HA et reconnaît mon esp32.


Le test du lien webhook me permet bien de déclencher une automatisation.
Quand je lance la détection dans l’interface web de addon, il ne se passe rien. Je ne comprends pas ce que je dois faire comme son à part un clac clac avec mes mains ??
Le logiciel permettant de tester le micro Voice meeter ne reconnaît pas mon esp32 !
A suivre, j’arrête pour ce soir.

Edit : pour compiler mon programme j’ai choisi M5Atom comme board dans Arduino et j’ai mis la librairie esp32 en version 2.0.4 comme il conseille, c’est bon ou j’aurais dû choisir une autre carte ?

salut, en effet, j’ai exactement les mêmes symptômes que toi le bouton test déclenche bien mon automatisation mais quand je fais clap clap il ne se passe rien. sinon tu as pris la bonne version ESP32 pour l’ ide arduino ou du moins celle qui est conseillé par LFP. Si j’ai bien compris seul le clapclap déclenche le webhook normalement, ce qui est dommage car les autres sons ne sont du coup pas exploitable par HA à moins que j’ai raté quelque chose…

Salut, merci pour ton retour.
As tu testé le logiciel voice meeter pour t’assurer que ton micro fonctionne ?
Car pour moi sur l’add-on, je ne peux pas activer mon micro, la liste est vide.
Je ne sais peut-être tout simplement pas faire un clapclap :face_with_hand_over_mouth:

oui j’ai testé avec voice meter mais je suis comme toi il ne voit pas de flux vban dedans. par contre les sons sont bien identifiés dans l’interface claptrap donc j’élimine un problème de micro .

Salut, j’ai réussi :grinning:
En résumé, j’avais déja mal chosi ma board dans arduino IDE => C’est ESP32 expressif (v2.0.4) => M5Stack-ATOM
J’avais utilisé la board M5stack => M5Atom que j’avais installé.
Pour Voice meter, il faut aller dans VBAN et faire un clic droit dans le champ « Steam name » et là mon esp est proposé, il fallait le savoir :upside_down_face:
Du coup la barre de son évolu dans le menu principal comme la vidéo.


Après dans l’addon en démarrant la détection, j’ai un silence qui est apparait. J’ai dû relancer l’addon, un moment rien ne se passait.
et donc bien détecté, un double ou triple claquage dans les mains me valide la reconnaissance et m’indique « hands », donc j’imagine qu’on peut faire d’autres sons.

Pour finir, le webhook dans l’addon

Et comme déclencheur dans une automation

Hey tiptop! Ok donc je vais fouiller côté ide Arduino je sais plus ce que j’ai utilisé enfin si une version recommandé mais est ce que c’est la bonne board que j’ai pris ?j’ai pris un esp32 devkitv1 wroom que j’ avais sous la main.j’ai voulu test en 32kb ça n’a pas fonctionné. Tu vas bluffé tt les copains avec ça !!! C’est sur et madame Waf approuvés! Mais sinon un truc qui me semble essentiel et pas pris en compte ces pouvoir distinguer les sons! Un par webhook! Ce serait top. Sinon bcp de faux positif?

Non ça n’a pas été ajouté. J’ai joué avec les clap deux semaines et ranger le matériel ensuite. Sans cette option l’intérêt est limité pour pas mal de monde.

hum. je me disais aussi ce sujet date de janvier :thinking: j’avais pas encore finit mon hibernation domotique. Merci pour ce retour. J’adore LFP mais ils balancent des trucs façon pêches à l’aimant … c’est dommage un tel projet mériterait d’être approfondi ou poncé comme j’aime à le dire…

Salut,
Le waf était pas mal hier soir au moment du dodo !
Non pas de faux positifs mais j’ai encore du mal à comprendre les sons détectés et enregistrés pour l’action.
Je m’explique, j’arrivais pendant mes tests à faire 2 ou 3 tapes dans les mains et un clapement de doigt, ca fonctionnait. J’ai relancé l’add-on et là on perd toute la configuration :open_mouth:. J’ai fait plusieurs tests, rien n’est enregistrés, on me repropose mon esp32 détecté, remettre l’adresse du webhook, ça c’est très bloquant. À creuser.
Sinon la vidéo de 16 min et le tuto des fpl, rien n’est clairement expliqué, c’est bien dommage car ils ont fait un truc sympa.

Oui ça fait parti des anomalies remontées.

J’avais pas regardé les issues sur le github, rien ne semble pris en compte en voyant les dates !
Une belle vidéo et des tutos et puis plus rien derrière :grimacing:
Dommage c’était prometteur…