Bouton poussoir

Nativement :
Non tu peux pas avoir de bouton de type poussoir.
Tu peux passer par customize pour afficher les icônes au lieu du bouton pour ton switch :

image

devient
image

après customisation :

homeassistant:
  customize:
    switch.decorative_lights:
      assumed_state: false

Dans ton cas, tu dois mettre true dans customize (si tu veux afficher les 2 boutons)

Avec une carte personnalisée :
Tu peux très bien te servir d’une carte personnalisée (custom-card), pour afficher un bouton donc la couleur de fond varie suivant l’état de l’entité (ici, button-card, fait une recherche sur le forum pour voir des exemples):

bouton poussoir


Pour ça j’utilise pour ma part une automatisation (automation) :
Le déclencheur se fait sur l’état on du switch, on attends 500ms puis on passe le switch à off

automation:
  - id: 'porte_de_garage_ouverture'
    alias: porte_de_garage_ouverture
    trigger:
      platform: state
      entity_id: switch.decorative_lights
      to: 'on'
    condition: []
    action:
    - delay:
        milliseconds: 500
    - data:
        entity_id: switch.decorative_lights
      service: switch.turn_off

bouton