Statistiques / recorder bloquées aléatoirement

Bonjour,

Voici mon problème. De facon régulière mais aléatoire, je perds le rafraichissement des valeurs sur mes graphiques, que ce soit sur apex ou minigraph card par exemple.


Comme on peut le voir sur la capture, vers minuit les graphs sont figés et ne bougent plus.
Si je clique sur un sensor :

On voit bien que je n’ai plus de stats depuis ce même moment, alors que le sensor en lui même affiche la bonne valeur actuelle.

Pour débloquer la situation, je redémarre home assistant, et tout repars, pour un certain temps.

En fouillant un peut j’ai cru comprendre à une saturation de la base de donnée. J’ai donc ajouté dans mon fichier configuration un filtrage des sensors qui me semblaient les plus gourmands :

recorder:
  commit_interval: 30
  purge_keep_days: 10
  exclude:
    domains:
      - device_tracker
      - media_player
      - uptime
      - time_date
      - worldclock
    entity_globs:
      - sensor.clock*
      - sensor.date*
      - sensor.glances*
      - sensor.load_*m
      - sensor.time*
      - sensor.uptime*
    entities:
      - sensor.prise_tv_last_seen
      - sensor.prise_tv_power_2
      - sensor.livebox_vitesse_de_telechargement_montant
      - sensor.memory_use_percent
      - sensor.aleatoire
      - sensor.processor_use

Mais cela n’a rien changé hélas.

Dans information système j’ai ce message au niveau du recorder : timout

System Information

version core-2024.10.4
installation_type Home Assistant OS
dev false
hassio true
docker true
user root
virtualenv false
python_version 3.12.4
os_name Linux
os_version 6.6.54-haos
arch x86_64
timezone Europe/Paris
config_dir /config
Home Assistant Community Store
GitHub API ok
GitHub Content ok
GitHub Web ok
HACS Data ok
GitHub API Calls Remaining 5000
Installed Version 2.0.1
Stage running
Available Repositories 1465
Downloaded Repositories 50
Home Assistant Cloud
logged_in false
can_reach_cert_server ok
can_reach_cloud_auth ok
can_reach_cloud ok
Home Assistant Supervisor
host_os Home Assistant OS 13.2
update_channel stable
supervisor_version supervisor-2024.10.3
agent_version 1.6.0
docker_version 27.2.0
disk_total 50.5 GB
disk_used 16.9 GB
healthy true
supported true
host_connectivity true
supervisor_connectivity true
ntp_synchronized true
virtualization kvm
board ova
supervisor_api ok
version_api ok
installed_addons Terminal & SSH (9.15.0), Mosquitto broker (6.4.1), Z-Wave JS UI (3.16.1), Home Assistant Google Drive Backup (0.112.1), AdGuard Home (5.1.4), ESPHome (2024.10.2), Vaultwarden (Bitwarden) (0.23.2), Studio Code Server (5.17.2), Zigbee2MQTT (1.40.2-1), Music Assistant Server (2.3.2), Cloudflared (5.2.0), TubesZB Zigpy-CLI Tools (0.3.1.0), SQLite Web (4.2.2), Frigate Proxy (1.5)
Dashboards
dashboards 4
resources 38
views 27
mode storage
Recorder
error failed to load: timeout
``` ``` Donc je me soumet à votre expertise pour essayer d'identifier le problème :slight_smile: Merci par avance !!

Edit : en refouillant la base de donnée, j’ai réussi à cibler un sensor qui je trouve stocke beaucoup :


Ce sensor c’est une moyenne de plusieurs capteur que j’ai créé. Comment puis-je limiter le nombre d’enregistrement ?


Tu as quelques choses dans les logs ?

Je n’ai rien vu de probant. J’ai supprimé mon sensor.temperature.maison pour voir ce que cela donne. Pour le moment pas de nouveau plantage, mais c’est aléatoire.

Salut
La seule saturation envisageable c’est la limite de l’espace de stockage => 50go. Avec 16go utilisés actuellement, tu as de la marge.
Par contre, regarde si tu n’as pas un message à propos de la mauvaise santé ou corruption de la base.

Hello !
Donc pour le coup, ça serait plus un plantage plutôt qu’une saturation.

ma dernière capture, il n’y avait pas toutes les infos au niveau du recorder puisqu’il était sur « timout »
Donc après reboot voici ce que j’ai quand cela fonctionne :

System Information

version core-2024.10.4
installation_type Home Assistant OS
dev false
hassio true
docker true
user root
virtualenv false
python_version 3.12.4
os_name Linux
os_version 6.6.54-haos
arch x86_64
timezone Europe/Paris
config_dir /config
Home Assistant Community Store
GitHub API ok
GitHub Content ok
GitHub Web ok
HACS Data ok
GitHub API Calls Remaining 4986
Installed Version 2.0.1
Stage running
Available Repositories 1467
Downloaded Repositories 51
Home Assistant Cloud
logged_in false
can_reach_cert_server ok
can_reach_cloud_auth ok
can_reach_cloud ok
Home Assistant Supervisor
host_os Home Assistant OS 13.2
update_channel stable
supervisor_version supervisor-2024.10.3
agent_version 1.6.0
docker_version 27.2.0
disk_total 50.5 GB
disk_used 17.0 GB
healthy true
supported true
host_connectivity true
supervisor_connectivity true
ntp_synchronized true
virtualization kvm
board ova
supervisor_api ok
version_api ok
installed_addons Terminal & SSH (9.15.0), Mosquitto broker (6.4.1), Z-Wave JS UI (3.16.1), Home Assistant Google Drive Backup (0.112.1), AdGuard Home (5.1.4), ESPHome (2024.10.2), Vaultwarden (Bitwarden) (0.23.2), Studio Code Server (5.17.2), Zigbee2MQTT (1.41.0-1), Music Assistant Server (2.3.2), Cloudflared (5.2.0), TubesZB Zigpy-CLI Tools (0.3.1.0), SQLite Web (4.2.2), Frigate Proxy (1.5)
Dashboards
dashboards 4
resources 38
views 27
mode storage
Recorder
oldest_recorder_run 24 octobre 2024 à 09:07
current_recorder_run 2 novembre 2024 à 18:37
estimated_db_size 910.27 MiB
database_engine sqlite
database_version 3.45.3

Pour le moment pas pu reproduire, mais comme j’ai eu des maj avec reboot je pense que le recorder n’a pas eu le temps de replanter.

Et pour toi @Pulpy-Luke cela ne pourrait pas venir de mon ancien sensor.temperature_maison qui recordait de trop ?

Non pas de raison que cela vienne de ton sensor. Enfin par contre étrange que tu n’ais pas d’erreurs dans les logs.

Il ne me semble pas avoir vu un message en ce sens. Mais dès que cela replante je vais regarder un peu plus en détail et vous tiens au courant :slight_smile:

Hello !!
Bon je reviens vers vous avec mes petits problèmes de base de données. celle ci vient d’exploser depuis l’installation de frigate.

metadata_id	entity_id	cnt	last_update
5543	image.frigate3_car	1780091	2024-11-20 18:27:42
5541	sensor.exterieur_parking_car_count	1771727	2024-11-20 15:21:29
5411	sensor.jardin_all_count	1760644	2024-11-20 15:21:29
5410	sensor.jardin_person_count	1760603	2024-11-20 15:21:29
5441	binary_sensor.jardin_all_occupancy	1760318	2024-11-20 15:21:29
5440	binary_sensor.jardin_person_occupancy	1760286	2024-11-20 15:21:29
5451	sensor.frigate3_all_count	1758077	2024-11-20 15:21:29
5539	sensor.frigate3_car_count	1757969	2024-11-20 15:21:29
5457	image.frigate3_person	1757525	2024-11-20 18:27:42
5459	image.frigate1_person	1757475	2024-11-20 18:27:42
5458	image.frigate2_person	1757456	2024-11-20 18:27:42
5479	binary_sensor.frigate3_motion	1755069	2024-11-20 15:21:29
5480	binary_sensor.frigate2_motion	1754766	2024-11-20 15:21:29
5546	binary_sensor.exterieur_parking_car_occupancy	1754566	2024-11-20 15:21:29
5475	binary_sensor.frigate3_all_occupancy	1754525	2024-11-20 15:21:29
5544	binary_sensor.frigate3_car_occupancy	1754512	2024-11-20 15:21:29
5449	sensor.frigate3_person_count	1754504	2024-11-20 15:21:29
5473	binary_sensor.frigate3_person_occupancy	1754492	2024-11-20 15:21:29
5478	binary_sensor.frigate1_motion	1754446	2024-11-20 17:17:35
5453	sensor.frigate1_all_count	1754441	2024-11-20 15:21:29
5452	sensor.frigate1_person_count	1754439	2024-11-20 15:21:29
5477	binary_sensor.frigate1_all_occupancy	1754439	2024-11-20 15:21:29
5476	binary_sensor.frigate1_person_occupancy	1754437	2024-11-20 15:21:29
5460	switch.frigate1_detect	1754434	2024-11-20 15:21:29
5461	switch.frigate1_motion	1754434	2024-11-20 15:21:29
5462	switch.frigate1_recordings	1754434	2024-11-20 15:21:29
5463	switch.frigate1_snapshots	1754434	2024-11-20 15:21:29
5464	switch.frigate2_detect	1754434	2024-11-20 15:21:29
5465	switch.frigate2_motion	1754434	2024-11-20 15:21:29
5466	switch.frigate2_recordings	1754434	2024-11-20 15:21:29
5467	switch.frigate2_snapshots	1754434	2024-11-20 15:21:29
5468	switch.frigate3_detect	1754434	2024-11-20 15:21:29
5469	switch.frigate3_motion	1754434	2024-11-20 15:21:29
5470	switch.frigate3_recordings	1754434	2024-11-20 15:21:29
5471	switch.frigate3_snapshots	1754434	2024-11-20 15:21:29
5402	sensor.terrasse_person_count	1754424	2024-11-20 15:21:29
5404	sensor.terrasse_all_count	1754424	2024-11-20 15:21:29
5432	binary_sensor.terrasse_person_occupancy	1754424	2024-11-20 15:21:29
5434	binary_sensor.terrasse_all_occupancy	1754424	2024-11-20 15:21:29
5448	sensor.frigate2_person_count	1754422	2024-11-20 15:21:29
5450	sensor.frigate2_all_count	1754422	2024-11-20 15:21:29
5472	binary_sensor.frigate2_person_occupancy	1754422	2024-11-20 15:21:29
5474	binary_sensor.frigate2_all_occupancy	1754422	2024-11-20 15:21:29
5454	camera.frigate1	1749591	2024-11-20 18:27:24
5456	camera.frigate3	1743921	2024-11-20 18:27:24
5612	image.frigate4_person	1461597	2024-11-20 18:27:42
5619	binary_sensor.frigate4_motion	1459858	2024-11-20 15:21:29
5609	sensor.frigate4_all_count	1459060	2024-11-20 15:21:29
5610	sensor.frigate4_person_count	1459060	2024-11-20 15:21:29
5613	switch.frigate4_detect	1459054	2024-11-20 15:21:29
5614	switch.frigate4_motion	1459054	2024-11-20 15:21:29
5615	switch.frigate4_recordings	1459054	2024-11-20 15:21:29
5616	switch.frigate4_snapshots	1459054	2024-11-20 15:21:29
5617	binary_sensor.frigate4_all_occupancy	1459054	2024-11-20 15:21:29
5618	binary_sensor.frigate4_person_occupancy	1459054	2024-11-20 15:21:29
5409	sensor.exterieur_parking_all_count	1375467	2024-11-20 15:21:29
5408	sensor.exterieur_parking_person_count	1369371	2024-11-20 15:21:29
5438	binary_sensor.exterieur_parking_person_occupancy	1369368	2024-11-20 15:21:29
5439	binary_sensor.exterieur_parking_all_occupancy	1369368	2024-11-20 15:21:29
5611	camera.frigate4	1243189

Comme vous pouvez le voir chaque entité possède 1750000 enregistrement. du coup HA à complètement planté…

## System Information

version | core-2024.11.2
-- | --
installation_type | Home Assistant OS
dev | false
hassio | true
docker | true
user | root
virtualenv | false
python_version | 3.12.4
os_name | Linux
os_version | 6.6.54-haos
arch | x86_64
timezone | Europe/Paris
config_dir | /config

<details><summary>Home Assistant Community Store</summary>

GitHub API | ok
-- | --
GitHub Content | ok
GitHub Web | ok
HACS Data | ok
GitHub API Calls Remaining | 5000
Installed Version | 2.0.1
Stage | running
Available Repositories | 1471
Downloaded Repositories | 54

</details>

<details><summary>Home Assistant Cloud</summary>

logged_in | false
-- | --
can_reach_cert_server | ok
can_reach_cloud_auth | ok
can_reach_cloud | ok

</details>

<details><summary>Home Assistant Supervisor</summary>

host_os | Home Assistant OS 13.2
-- | --
update_channel | stable
supervisor_version | supervisor-2024.11.2
agent_version | 1.6.0
docker_version | 27.2.0
disk_total | 50.5 GB
disk_used | 47.6 GB
healthy | true
supported | true
host_connectivity | true
supervisor_connectivity | true
ntp_synchronized | true
virtualization | kvm
board | ova
supervisor_api | ok
version_api | ok
installed_addons | Terminal & SSH (9.15.0), Mosquitto broker (6.4.1), Z-Wave JS UI (3.17.0), Home Assistant Google Drive Backup (0.112.1), AdGuard Home (5.1.5), ESPHome (2024.10.3), Vaultwarden (Bitwarden) (0.23.5), Studio Code Server (5.17.3), Zigbee2MQTT (1.41.0-1), Music Assistant Server (2.3.3), Cloudflared (5.2.1), SQLite Web (4.2.2), Frigate Proxy (1.5)

</details>

<details><summary>Dashboards</summary>

dashboards | 3
-- | --
resources | 39
views | 25
mode | storage

</details>

<details><summary>Recorder</summary>

oldest_recorder_run | 11 novembre 2024 à 20:26
-- | --
current_recorder_run | 18 novembre 2024 à 10:27
estimated_db_size | 19782.28 MiB
database_engine | sqlite
database_version | 3.45.3

</details>

Pour le moment j’ai mis ca dans mon configuration.yaml :
recorder:
commit_interval: 30
purge_keep_days: 10
exclude:
domains:
- device_tracker
- media_player
- uptime
- time_date
- worldclock
entity_globs:
- sensor.clock*
- sensor.date*
- sensor.glances*
- sensor.load_m
- sensor.time

- sensor.uptime*
entities:
- sensor.prise_tv_last_seen
- sensor.prise_tv_power_2
- sensor.livebox_vitesse_de_telechargement_montant
- sensor.memory_use_percent
- sensor.aleatoire
- sensor.processor_use
- sensor.pronote_palmi_marylou_timetable_period
- sensor.pronote_palmi_alice_timetable_period

Mais ma question que je me pose c’est plûtot pourquoi HA explose ces entités ? comment puis je limiter le nombre de de requetes ?

Merci pour votre aide

Salut,

C’est assez simple.
Tu fais la liste de ce que tu veux exclure, soit. Donc tout ce qui n’est pas dans cette liste est inclus.
Par exemple image.* ne fait pas partie de tes exclusions.

Indirectement, j’ai toujours dit que mettre tout par défaut dans la base, c’est tout sauf une bonne solution. En principe, tu devrais être en mesure de dire ce dont tu te sers. Et donc de faire l’inverse (faire une liste de ce que tu veux inclure). Là au moins, tu n’as jamais de souci

Oui tu as raison. Avec le réseau grandissant, il va falloir que je m’y penche.
Mais pour ma culture, il me semble que sur une entité zigbee, on peut limiter le nombre de requêtes et de remontées. Est-ce possible de limiter d’autres entités, notamment ici par exemple Frigate sans forcément les exclure ?

Merci pour ton aide !

Pour le zigbee comme pour le reste je n’ai pas d’expérience sur une limitation du nombre de remontée.
Et puis si tu arrives à dire que plutôt que toutes les minutes, une valeur tous les quarts d’heure c’est suffisant, il n’y a qu’un pas pour dire que les données d’historiques ne servent pas.
Ne pas avoir d’histoire ça ne veut pas dire ne pas avoir la valeur en cours :wink:

Oui c’est clair !

Bon par contre je ne m’en sors pas. Le disque étant saturé, je n’arrive à rien.
J’ai donc provisoirement augmenté l’espace disque.
Mais sur sqlite je n’arrive pas à exécuter la commande pour voir mes x entités qui polluent :

SELECT B.entity_id, count(A.state) 
FROM states as A 
JOIN states_meta as B on B.metadata_id = A.metadata_id 
GROUP BY B.entity_id 
ORDER by count(A.state) DESC

sqlite plante au bout de quelques minutes.

J’ai essayé de purger la base de donnée dans les actions, mais elle ne bouge pas en taille. j’ai même essayé de conserver seulement 1 jour, mais cela ne passe pas non plus. :frowning:

Edit :
J’ai essayé de télécharger la base de donnée avec files dans ha, elle est bien donnée à 20Go, mais quand je la télécharge le fichier est de 1ko, comme si il était corrompu :exploding_head:

Tu peux toujours sacrifier le contenu en supprimant le fichier qu’il va recréer automatiquement au démarrage …

Hello,
Bon bah j’ai du restaurer une sauvegarde sous proxmox parce que c’était de pire en pire. Du coup je viens de supprimer le fichier et repartir de zero. Tant pis pour mon historique à long terme.
Je suis en train en // de faire la méthode d’inclure uniquement ce que je souhaite, mais c’est du travail de fourmis :smiley:
Je vous tiens au courant.