Hello @Jordan
J’ai moi même un projet assez similaire.
Je me disperse un peu trop entre les manières de l’atteindre:
- un code python externe avec react inspiré de https://youtu.be/CRmOiAFlIlc?is=jwg8SCbQA-wSjQnP que je tente d’améliorer
- un mcp ha GitHub - homeassistant-ai/ha-mcp: The Unofficial and Awesome Home Assistant MCP Server · GitHub (approche que j’ai encore du mal à appréhender) pour le connecter à claude desktop qu’il questionnera, mais probablement consommateur en token pour analyser mes logs, entités orphelines, bref faire du ménage, donc pas exactement la même chose
- idem aussi avec ha vibecode agent GitHub - Coolver/home-assistant-vibecode-agent: Home Assistant MCP server agent. Enable Cursor, VS Code, Claude Code, or any MCP-enabled IDE to help you vibe-code and manage Home Assistant: create and debug automations, design dashboards, tweak themes, modify configs, and deploy changes using natural language · GitHub
- pour l’instant j’essaie de dompter openclaw (à sécuriser) avec ha mcp (et qui sera en lien avec un react à terme) https://youtu.be/RiF0i5btLuc?is=iq0nuJkcexVAGAEB mais très technique jusqu’à présent, même si je trouve avec ma petite expérience que c’est un de ceux qui se rapprocherait le plus du projet. Dans le même ordre, il me semble que nanobot alternative plus sécurisé fait ce projet avec comme tutoriel Pilotage HA par telegram avec Nanobot
Bref entre mon niveau et toutes les voies investiguées, je n’ai pas encore une jarvis remplissant pleinement mon projet.
En fonction de la requête, si comme moi tu es en llm gratuit, la limite token peut être un frein 
L’usage de modèles locaux ollama n’est pas probants voire non compatible