Frigate - Config avec Hailo8l et yolov6 / 8 ou 9

Bonjour à tous,

je me permets de faire un sujet car c’est relativement compliqué je trouve de trouver une bonne configuration pour frigate detect, avec un Hailo8l en m.2 hat (soudé)

Voici ma config;

Pi5 8go
Haos dernière version
Frigate dernière version

Quelques precisions.

  1. J’ai activeé le logger, mais je n’ai pas grand chose qui remonte (par exemple une detection d’objet n’est pas remonté, peut etre un souci dans ma config?)

  2. Le gros du problème vient de la detection des chats (ou autres) - Les humains étant plutôt bien detectés. J’ai creer une video boucle (grace au flux existant) en mp4 avec le passage d’un chat pour tester des configs différentes, rien y fait, frigate detecte le move mais yolo ne semble pas vouloir travailler…

  3. La liste coco.txt j’espère avoir la bonne, c’est un biece liste standart comme suit;

person
bicycle
car…

  1. J’ai varié de modèle, j’ai reussi à parser et compiler yolov8 et 9 de ONXX en HEF, (introuvable sous cette extension sur le web, donc je vais deposer le fichier ici pour que tous en profite car ca m’a pris sans blague 5h - les modèles nano et small seulement. Mais je ne trouve jamais le moyen de savoir si ca tourne, si ca fonctionne correctement car les log n’indique RIEN! et je ne vois aucune diff de detection.

En gros je voudrai m’assurer que la config est bonne.

Les images du NVR sont en sub-stream 640x320 (pas modifiable) en bitrate 725 (modifiable) 10 fps
Le main-stream en fullHD 2304|1296 bitrate 2mbps - 15 fps

Merci de votre aide

mqtt:
  host: 192.168.1.40
  port: 1883
  topic_prefix: frigate
  client_id: frigate
  user: mqtt
  password: Mosquitto
  stats_interval: 60

detectors:
  hailo:
    type: hailo8l
    device: PCIe

model:
  width: 640
  height: 640
  input_tensor: nhwc
  input_pixel_format: rgb
  input_dtype: int
  model_type: yolo-generic
  path: /config/model_cache/yolov6n.hef
  labelmap_path: /config/model_cache/coco.txt

logger:
  default: info
  logs:
    frigate.app: info
    frigate.object_detection: info
    detector.hailo: info
    watchdog.Jardin: info
    frigate.object_processing: info


cameras:
# ========================================
# Camera de test - CHAT
# ========================================

  Chat1:
    ffmpeg:
      inputs:
        - path: file:/config/model_cache/Chat1.mp4
          input_args: 
            -stream_loop 
            -1 
            -re
          roles:
            - detect
    detect:
      width: 640
      height: 640           
      fps: 10               
      max_disappeared: 100     # Augmenté pour ne pas perdre les chats caché
      stationary:
        interval: 100          # Les chats peuvent rester immobiles longtemps
        threshold: 80          # Threshold plus élevé pour chats stationnaires

    objects:
      track:
        - person
        - cat

      filters:
        cat:
         # CONFIGURATION SPÉCIALE CHATS - ULTRA OPTIMISÉE
          min_score: 0.35      # Réduit pour détecter même chats partiels
          threshold: 0.40      # Seuil bas pour tracking sensible
          min_area: 100        # Adapté à la nouvelle résolution
          max_area: 3000      # Chats peuvent être proches de la caméra
          min_ratio: 0.3       # Ratios larges car chats dans diverses positions
          max_ratio: 4.0       # Chat étiré ou en mouvement  

    snapshots:
      enabled: true
      timestamp: true
      bounding_box: true
      crop: true              # Ajoute un crop de l'objet détecté
      height: 500             # Snapshots haute qualité
      retain:
        default: 5            # Garde plus de snapshots pour analyse
        objects:
          person: 2
          cat: 2             # Garde plus de snapshots de chats

# ========================================
# JARDIN - CONFIGURATION ULTRA-OPTIMISÉE POUR CHATS
# ========================================
  Jardin:
    ffmpeg:
      hwaccel_args: preset-rpi-64-h264
      inputs:
        # SUB-STREAM pour détection - RÉSOLUTION AUGMENTÉE!
        - path: rtsp://192.168.1.10:80/ch1_1.264
          roles:
            - detect
        # MAIN-STREAM pour enregistrement
        - path: rtsp://192.168.1.10:80/ch1_0.264
          roles:
            - record


    snapshots:
      enabled: true
      timestamp: true
      bounding_box: true
      crop: true              # Ajoute un crop de l'objet détecté
      height: 500             # Snapshots haute qualité
      retain:
        default: 5            # Garde plus de snapshots pour analyse
        objects:
          person: 40
          cat: 25             # Garde plus de snapshots de chats
          dog: 25

    record:
      enabled: true
      retain:
        days: 3
        mode: motion

    detect:
      width: 640
      height: 640             # CARRÉ pour optimiser le modèle YOLO!
      fps: 10                  # FPS augmenté pour meilleure détection mouvement
      max_disappeared: 100     # Augmenté pour ne pas perdre les chats qui se cachent
      stationary:
        interval: 100          # Les chats peuvent rester immobiles longtemps
        threshold: 80          # Threshold plus élevé pour chats stationnaires

    objects:
      track:
        - person
        - cat
        - dog

      filters:
        person:
          min_score: 0.70      # Augmenté pour réduire faux positifs
          threshold: 0.75
          min_area: 1500       # Augmenté car résolution plus haute
          max_area: 100000
          min_ratio: 0.3
          max_ratio: 3.5

        cat:
          # CONFIGURATION SPÉCIALE CHATS - ULTRA OPTIMISÉE
          min_score: 0.35      # Réduit pour détecter même chats partiels
          threshold: 0.40      # Seuil bas pour tracking sensible
          min_area: 500        # Adapté à la nouvelle résolution
          max_area: 30000      # Chats peuvent être proches de la caméra
          min_ratio: 0.3       # Ratios larges car chats dans diverses positions
          max_ratio: 4.0       # Chat étiré ou en mouvement
        dog:
          min_score: 0.40
          threshold: 0.45
          min_area: 200
          max_area: 30000
          min_ratio: 0.3
          max_ratio: 4.0


    motion:
      # MOTION ULTRA-SENSIBLE POUR DÉTECTER MOINDRE MOUVEMENT
      threshold: 20            # Très sensible pour détecter chats furtifs
      lightning_threshold: 0.8 # Ignorer changements luminosité brutaux
      contour_area: 30         # Petit pour détecter mouvements subtils
      delta_alpha: 0.2         # Sensibilité aux changements
      frame_alpha: 0.05        # Adaptation plus rapide
      frame_height: 120        # Résolution motion augmentée
      improve_contrast: true   # Amélioration contraste activée
      mqtt_off_delay: 30       # Délai avant arrêt détection
    zones: {}
    mqtt:
      enabled: true
      timestamp: true
      bounding_box: true
      crop: true
      height: 500
      quality: 90              # Haute qualité pour analyse
      required_zones:
        - zone_jardin_principal

# ========================================
# FAÇADE 1
# ========================================
  Facade1:
    ffmpeg:
      hwaccel_args: preset-rpi-64-h264
      inputs:
        - path: rtsp://192.168.1.10:80/ch0_1.264
          roles:
            - detect
            - record

    snapshots:
      enabled: true
      timestamp: true
      bounding_box: true
      retain:
        default: 3

    detect:
      width: 640
      height: 640
      fps: 5

    objects:
      track:
        - person
        - cat

      filters:
        person:
          min_score: 0.65
          threshold: 0.70
          min_area: 2000
        cat:
          min_score: 0.50
          threshold: 0.60
          min_area: 800

detect:
  enabled: true

version: 0.16-0

face_recognition:
  enabled: true
  model_size: small


ui:
  timezone: Europe/Paris

Bonjour,

Pareil ici. Mes 2 caméras (reolink et netatmo) avec leur application respectives détectent très bien les chats mais une fois intégrées dans frigate, ca ne détecte quasiment jamais les chats, si des chats imaginaires (ombre sur le mur…)

Frigate m’a pris un long moment plus de temps d’amélioration que tout mon HA réuni. J’ai quasiment abandonné son paramétrage. N’ayant pas de chat perso, plutôt ceux des voisins :rofl:, je n’ai jamais pu avoir de cas pour améliorer la détection.

Comment as tu fait avec la vidéo en boucle ?

Yop, désolé pour le retard de réponseVoici pour la vidéo en boucle.

Chat3:

ffmpeg:

  inputs:

    - path: file:/config/model_cache/Chat3.mp4

      input_args: -stream_loop -1 -re

      roles:

        - detect
1 « J'aime »

Bonjour,

Merci pour l’info, je mets de côté pour tester un jour.