Non, pas besoin ni de retirer la clé USB ni de désinstaller ce qui est en lien avec Zigbee2mqtt (Z2M, le brocker - Mosquitto - MQTT). Il suffit de désinstaller l’intégration ZHA et de redémarrer Home Assistant.
Clic sur les trois petits points puis Supprimer
Au redémarrage, HA te proposera d’installer ZHA, il suffira alors de faire Ignorer