Ecran domo, Assistant vocal booster, et plus si affinitées

Salut,

M’étant mis en tête de tester les IA, j’ai cherché comment et pourquoi les utilisées. Il m’est donc rapidement venu l’idée de les essayer en codage (pas trouver grand choses d autre à leurs faire faire ^^), en lui faisant analyser les codes que j utilise depuis quelques années pour mon écran Nextion Météo France.

Après quelques sessions, l’IA d’Antigravity m’as bluffer: Meilleurs code, bien meilleur optimisation des envois de donné, meilleurs réactivité, et j en passe. Bref, il est partie de mon idées de noob et m as tout refais correctement.

Les nextions ayant pas mal de limite pour tout faire faire à l’IA, j’ai opter pour changer d’écran et me lancer dans un nouveaux projet d’interface avec un M5Stack Tab5, qui permet à Gemini de gérer aussi la partie graphique (si on peu dire ca ^^).

Objectifs:

  • Ecran horloge et date.
  • Prévisions météo, détection des averses (je vais bosser à pied).
  • Récupération de mon planning, illustration colo métrique des jours de repos et des jours ou je fais l’ouverture.
  • Diverses commandes (volets, clim, ordi / TV).
  • Divers capteurs (hydro de mes pots, portable…).

Outils:

  • HA et ESPHome.
  • Antigravity et un compte pro.
  • Le prompt en 3.1 pro.

Mes premiers retours:

  • Interface: difficile d’avoir quelques choses de propre, j’ai du reprendre mon ancienne organisation faute de meilleurs propositions de sa part, il faut tout surveiller, expliquer, réaligner. Bref, pas top, il faut beaucoup de temps pour avoir quelques chose de potable.
  • Départ compliquer: entre les spécifications (évolutives…) d’ESPHome, HA et du tab5 v2, il est passer par beaucoup d’erreurs, aller retour, cafouillages etc..
  • Sinon, jamais je n’aurais pensai avoir aussi rapidement et “simplement“ une interfaces fonctionnelle, facilement modifiable en quelques phrases.

Pour l’instant, je n’est pas taper une seul ligne de code, que des prompts approximatifs à l’hortographe désastreux.

Bref, je suis très satisfait et surprit de ce que me permet de faire l’IA. Certains d’entre vous l’utilise aussi? Quel sont vos ressentis?

Comment l’utilisez vous? Perso je n est toujours pas comprit les Workflows. J’utilise par contre des fin sessions pour enregistrer les spécifications matériel dans un fichier, et la progressions du projets / apprentissage dans un autre, mais est ce pertinent?

Pour le savoir, tu repars d’un discussion vierge sans memory et tu lui demandes de rajouter des features. S’il est luné complètement différemment, c’est qu’il lui manque des informations. S’il te crame tout ton crédit de tokens sur la première demande, c’est qu’il lui manque des informations :rofl:

Hum, difficile pour moi d’avoir la notion des tokens utilisés, je sait juste que ca peu aller très vite (et sur des questions connes lol). Plus tard dans le projet, je ferait quelques testes pour voir la valeur des contextes et le coup en tokens, avant de repasser sur un abonnement plus soft (les 1000 premiers tokens n’ont pas fais long feu…).

Ce ne sont pas les questions connes qui coûtent le plus de tokens, ce sont surtout les tartines d’inputs et de outputs.

Sur les abonnements grand public, on sait quand on a grillé trop de tokens car … on doit patienter. Pour les abonnements pro, c’est la comptabilité qui vient nous voir :rofl:

Bon, j’ai mis le code sur un git car même, si jamais.

Je pense avoir tout les capteurs et commandes que je voulais dessus (et même l accès à l assistant vocale de HA), sans images histoire de profiter de la légèreté du LVGL, le tout pas trop mal optimisé, enfin à première vus ^^.

Reste le plus dur à faire, un design plus soigné, débogage et peaufinage…

Une petite vidéo est dispo qui présente le projet dans sa version actuel.

Après quelques mois de batailles (surtout pour organiser et optimiser mes espaces de travail et outils), le projet du Tab5 a bien avancé. Encore pas mal de polish à faire sur le design, comme on peu le voir dés la première image ^^.

J'ai intégré dessus l'assistant vocal, "Ok Nabu", avec deux canaux : local HA pour de la pure domo, et un mode "discussion" où je passe par un "moteur" personnel (intégrer dans HA, on doit pouvoir câbler d'autres appareils d'assistant vocal), pour choisir et optimiser le ou les LLM à utiliser, avec des "agents" dédiés à certaines tâches, un historique, des routes améliorées pour les commandes domo, etc. Bref, un truc qui avait l'air chouette quand mes IA me l'ont vendu. Pour ma part, j'y ai branché Cerebras avec gpt-oss-120B (pour la rapidité) avec deux ou trois MCP, Gemini en sous-agents (occasionnels, plus longs) pour ses outils Google. Bon, le souci c'est que le moteur est un gros morceau, je le gère avec mes IA, jamais réussi à faire une admin graphique correcte dessus. Je partage quand même le code, si jamais ca peu donner des idées (le lien est sur le git du tab). On peu aussi y connecter des llm en local si besoin, avec une bascule sur une autre entrée api si pas dispo (mon intension de base).

Sinon niveau interface, avec le mode facile (Claude), tout devient possible : zone centrale "intelligente", commandes clim, lumières et TV complètes, calendriers... Et quelques jeux (plus ou moins finis actuellement, des essais pour le fun (la moitié ne sont pas fonctionnels), mais tellement bluffant pour l autre moitié car faits en 1 ou 2 prompts).

Reste encore à tout bien déboguer, peaufiner, et, surtout, d'arrêter d'ajouter des trucs sans arrêt pour finir ce que je commence! Sinon je suis enchanter et de l écran (les MAJ d'ESPHome ses derniers mois font beaucoup de bien, meilleur prise en charge et optimisations), et de ma découverte de IA, même si tout ne c'est pas forcement toujours bien passer :slight_smile: , avec pas mal de batail pour obtenir un code rapide et correctement optimiser (enfin j'espère).