Mon projet étant d’utiliser ma caméra Ezviz équipé d’un micro, pour établir un dialogue avec une IA en temps réel en passant par une interface TTS réversible.
Je caste ma camera Ezviz C6n sur mon lecteur Freebox mini 4k, la vidéo de la caméra arrive avec 20 secondes de retard sur l’écran de ma télé Androïd et ce décalage subsiste, rendant impossible toute interaction en temps réel.
Sur ce même forum, on m’a conseillé pour résoudre ce problème, d’activer le RTSP de ma caméra, j’ai vérifié sur mon appli mobile Ezviz que c’était déjà le cas. Y a t-il autre chose à faire du côté de HA pour résoudre ce problème?
Je précise que le décalage est toujours le même, soit 20 secondes et le problème se retrouve identique en utilisant un autre chromecast.
Une fois le protocole rtsp activé sur ta caméra, tu peux utiliser celui ci avec generic camera / webrtc/ frigate …etc
Si tu fais une recherche sur ce forum ou internet tu trouveras plein d’infos à ce sujet et comment l’exploiter dan HA.
Mais avant tout, comme déjà soufflé dans un post, avant de te lancer dans un projet aussi ambitieux , il faut que tu ai un minimum de connaissance de HA ( services, entités, scripts, automatisations, addons, intégrations, custom components) , ce qui n’est pas ton cas.
Et surtout, il faut y aller par étapes en ayant compris les concepts.
Cela fait tu pourras t’attaquer à la reconnaissance vocale ( whisper, piper, ou via nabucasa) , à l’intégration d’openai, etc.
Pour finir, quand tu auras assimilé ces bases, tu pourras te pencher sur cette petite contribution possible à ton projet :
@Krull56, merci pour ces conseils, j’ai déjà pas mal progressé depuis 15 jours, je commence à mieux comprendre HA, mais je reste dubitatif sur tous ces « détails » imprévus, qui compliquent la tâche. Je procède par étape: inutile pour moi d’aller plus loin dans mon projet, si au départ, ma caméra ne fait pas de streaming en temps réel. Pour l’instant j’en suis là et quand ce problème sera résolu, j’irai un peu plus loin.
j’ai toujours du mal à comprendre la finalité de ton projet et surtout d’utiliser TV + camera pour discuter avec une IA, mais bon , chacun son truc
HA mis à part, ton point de départ n’est pas bon et ton projet n’est donc pas viable.
Car même si avec le RTSP, tu n’auras plus un décalage de 20 secondes, plutôt 1 seconde cause temps de traitement, si ta camera est à côté de ta TV et capte donc le son ce celle-ci , les lois de l’acoustique sont là et tu auras obligatoirement du Larsen ( c’est comme approcher un micro d’une enceinte, ça boucle avec suramplification jusqu’à saturation).
@Krull56,
L’effet Larsen n’est pas le problème principal, je pense qu’en diminuant la sensibilité du micro et en éloignant la caméra des HP, ça devrait le supprimer. Si j’utilise une caméra plutôt qu’un simple micro, c’est parce que dans mon projet, j’ai prévu la possibilité de faire analyser une image (placée devant la caméra), par l’extension Image analysis de Bing, par exemple, et la présence de la télé c’est pour visualiser une image décrite oralement, et générée par Image Créator.
Je reconnais que c’est un peu ambitieux, mais au départ j’ai voulu commencer par quelque chose de simple, faire allumer une lampe, par le déclenchement du détecteur de mouvement d’une caméra Blink, et ça n’a pas marché (la lampe s’allume 4 minutes après que le sensor soit activé).
Les choses simples n’ayant pas, ou mal fonctionnées, je me suis dit qu’il ne serait peut être pas plus difficile de m’attaquer directement à mon projet initial, même si au départ ça parait plus compliqué.
Oui, tu as raison, GPT-4V, (ou d’autres modèles de reconnaissances d’images gratuits), suffirait pour faire de l’analyse et de la création d’images, sans avoir besoin de HA, mais ça reste une utilisation individuelle, alors que le fait de caster la caméra sur un téléviseur grand écran, ça permet d’étendre l’utilisation à un groupe de plusieurs personnes et d’ouvrir de nouvelles possibilités comme par exemple des jeux interactifs à plusieurs participants.
Jusqu’à présent je faisais de la « domotique », sans HA, en créant des animations avec un pont Philips Hue et 30 ampoules Philips (et Philips compatibles), synchronisées sur des films que j’ai réalisés, le tout à partir d’un Raspberry et de scripts codés en Python.
Je pensais que l’installation de HA allait me faciliter la tâche pour tout ce qui est de la communication entre des appareils et des objets de marques différentes et je m’aperçois en effet que c’est plus compliqué que ça…
Je voulais (et je veux toujours), faire une alarme maison en y incluant des effets lumineux (stroboscopiques par exemple) basés sur mes lampes Philips, pour une dissuasion maximale, d’où la nécessité de l’installation de HA.
Je ne regrette donc pas d’avoir installé HA, même si je suis un peu déconcerté par des problèmes auxquels je ne m’attendais pas.
(la lampe s’allume 4 minutes après que le sensor soit activé).