Base régulièrement corrompue (home-assistant_v2.db.corrupt)

Pour le disque, tu dois avoir les infos smart pour confirmer.
Sinon il faut activer les logs de ha en plus verbeux

1 « J'aime »

Merci pour ton aide @Pulpy-Luke. J’ai activé le verbose en espérant que c’est ok :

logger:
  default: debug

Je n’ai plus qu’à attendre le prochain plantage et aller voir dans Paramètres > Système > Journaux > Charger les journaux complets… J’ai ceci comme Warnings dans les journaux, mais je pense pas que le problème vient de là :

2022-09-25 10:57:29.242 WARNING (SyncWorker_1) [homeassistant.loader] We found a custom integration hacs which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2022-09-25 10:57:29.242 WARNING (SyncWorker_1) [homeassistant.loader] We found a custom integration govee which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2022-09-25 10:57:29.242 WARNING (SyncWorker_1) [homeassistant.loader] We found a custom integration apex which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2022-09-25 10:57:29.242 WARNING (SyncWorker_1) [homeassistant.loader] We found a custom integration google_fit which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant

ça c’est normal, c’est un warning systématique

Si ton système a bien 500 sensors comme tu le dis la migration vers MySQL ou MariaDB est quasi obligatoire je dirais ! En plus cela améliore les performances de façon générale de travailler avec une vraie base de données :wink:

1 « J'aime »

Bonjour @vincen

Merci pour ton retour d’expérience et tes conseils avisés ! :heart:

Bon je suis pas trop sûr des chiffres ni même de ce qu’il faut appeler un « sensor ». Je récupère environ 70 capteurs par appareil mobile (il y en a 4) → 300 capteurs environ + la météo (négligeable, quinzaine pas plus) + googlefit (négligeable, quelques capteurs) + les capteurs de Plex (40 utilisateurs avec du stream 18h/jour)environ 200 capteurs.

Je vais laisser une dernière chance à HA (par curiosité maintenant que les logs verbeux sont activés) et basculer sur MySQL asap. C’est dommage j’étais très content des sauvegardes automatiques sur Google Drive qui fonctionnaient au poil.

Mettre ça dans la bdd de HA, ça ferait pas « double emploi » avec tautulli :wink: ?

Salut @Herbs

Pour être précis, Plex retourne très peu de capteurs (peut-être une dizaine, principalement le contenu de tes librairies), Tautulli lui en retourne des centaines (tous les streams en temps réel). Il y a pas vraiment de doublons, ce sont pas les mêmes infos.

Je fais ça pour 2 raisons :

  • J’arrive à obtenir des stats que ni Plex ni Tautulli ne retournent. C’est donc intéressant d’importer tout ça dans HA.
  • C’est centralisé. J’ai pas une page pour Plex, une pour Tautulli, une autre pour le sysmonitor du serveur… Tout est au même endroit, dans HA

oui t’inquiètes pas j’étais plus dans la boutade qu’autre chose :wink:

Par contre là ça m’intéresse, peux-tu détailler un peu stp ?

Mouais… 500 sensors, c’est pas énorme.
L’important c’est plus à mon avis de faire le bon tri que de passer sur une ‹ vraie › base…
Quant à intervenir directement en base… c’est juste courrir le risque de tout péter alors que ça marche très bien tout seul

1 « J'aime »

Détailler euh…

Un exemple de truc que peut pas faire Plex/Tautulli ? Plex et Tautulli ne savent pas que depuis 6 mois, les jours où le stream Plex cartonnent sont : les 10 et 24 avril 2022 (élections présidentielles) + les weekends de pluie comme aujourd’hui. HA lui il sait :wink: Et il peut même prédire ce qui va arriver le weekend prochain en fonction de la météo… Plex non.

Un autre ? HA peut comparer le nombre de streams en cours avec la bande passante en Upload du routeur. Et réagir ou notifier si problème en vue (trop de streams, trop de transcodes, bande passante limite…). Plex il peut rien faire, il envoie du stream (ou pas), c’est tout. Tautulli permet d’envoyer moults alertes si souci, mais ça va pas aussi loin que HA qui a accès a bcp plus d’infos que juste le stream (monitor du serveur, monitor du routeur, de la bande passante…)

@Pulpy-Luke tu me feras pas croire que tu n’as jamais des datas pourries que tu veux retirer de la bdd. J’en ai tout le temps et je commence à peine. Exemple tout con : je récupère la pression atmo de mon tel pour les stats météo (oui je devrais prendre celle de Météo France c’est plus propre et fiable). Hier j’ai pris un bain (avec mon tel mauvaise idée). La pression atmo (dans la salle de bain) a plongé pendant 20min (genre typhon à prévoir dans les 2h). Ca fout la merde dans les graphiques, c’est vilain. Comment on retire ces datas sinon directement en bdd ?

@Pulpy-Luke
Je pense que tu es 150% dans le vrai mais j’ai aucune idée de comment on « fait le bon tri ». Je récupère pas grand chose et je suis déjà à 50Mo/jour de datas (20 Go par an !!!). Clairement ça va pas le faire sur le long terme sans un gros ménage en amont. Je suppose que tout se passe du côté du recorder Purge, pas encore regardé.

Salut, les retirer est une chose. Ne plus en écrire en est une autre.
Pour eviter d’engorger ta BDD, je te conseille de voir le recorder de HA.

2 « J'aime »

La réponse est simple : quasi jamais

  • je mets que ce dont j’ai besoin
  • j’ai rarement des données pourries (je suis plus en phase de construction)
  • les données un peu merdiques (genre capteur de température sans pile qui ne remonte plus rien / donc courbe plate pendant quelques heures) : je corrige pas… (j’y mets quoi comme valeur corrigée ?)
  • si jamais j’ai besoin de corriger un truc (ça date de plusieurs mois), il y a moyen de le faire directement depuis HA désormais
  • la fenetre de données HA c’est 7J chez moi, pas un an… Les données types min/max/moyenne et pluvio sont dans influxdb (filtrées), ma base HA (le truc par défaut) fait 500mo environ et c’est stable

en complément du lien de @fredarro regarde ça Purge de la base de donnees HA

2 « J'aime »

Ok avec 40 utilisateurs ça fait sens :+1:

Pour le reste @fredarro t’as mis sur la bonne piste.

1 « J'aime »

Ben franchement toutes mes installs HA sont en MySQL et aucun soucis (en plus ça s’installe en 2s dans ha et idem pour la config :wink: sans compter le fait qu’une base de données MySQL est nickel pour extraire des données si tu as besoin de la base et cela sans affecter HA !
Comme indiqué aussi oublie pas de configurer le recorder pour éviter de garder trop d’historiques même si une fois en MySQJ cela n’aura plus trop d’importante :slight_smile:

Par contre pas compris le rapport avec ton backup Google Drive ? Ici je fais un backup sur Nextcloud et la base de données utilisée par HA n’a aucune influence là-dessus :slight_smile:

1 « J'aime »

Perso, j’ai des centaines d’entités HA et MariaDB avec 15 jours de données en ligne et ça fonctionne sans jamais un problème chez moi. J’ai également un historique sous InfluxDB

La taille de ma sauvegarde par type de données:

L’évolution de l’espace disque utilisé sur chacun de mes PI4 (l’un est en SSD 256Go il stocke aussi des vidéos de mes caméras, l’autre sur SD 32Go)
A noter que je conserve également 10 sauvegardes en ligne (les 7 derniers jours et les 3 lundi précédents)

1 « J'aime »

Il me semble que la base de donnée n’est pas incluse dans la sauvegarde si on utilise autre chose que SQLite3.

Mais vu que je n’utilise plus HA OS depuis longtemps, je noserais pas être catégorique :wink: peut-être que le backup est différent selon qu’on ai ou non le superviseur.

EDIT : avec MariaDB en addon HA OS il sauvegardera normalement.

Alors effectivement la sauvegarde de HA lui-même ne comprendra plus la base de données (qui pour rappel ne stocke que l’historique !) mais selon l’outil de sauvegarde que tu utilises tu peux en général sauvegarder aussi les add-on (je fais ça ici pour sauvegarder mon addon MySQL et PHPMyAdmin avec l’addon Nextcloud :wink:

1 « J'aime »

Bonjour

Je suis interessé sur la procédure de recupereration des données d’une base corrompue, je suis dans ce xcas

merci