Pour stocker les données MQTT dans une base de données, exécutez un abonné qui reçoit chaque message d’appareil du broker et l’écrit dans la base. Le broker n’est pas un historique. Il conserve un seul message retenu par topic et ne garde les messages QoS 1 et QoS 2 en file d’attente que pour une session qui n’a pas expiré, dans la limite de ses capacités de stockage.
Un écran temps réel peut fonctionner directement à partir du broker, mais un graphique de la semaine dernière exige que chaque message soit écrit quelque part. Cette tâche revient à un service d’écriture, que je conçois dès le premier jour.
Un broker MQTT stocke-t-il les messages ?
Seulement de deux manières limitées, toutes deux définies dans la spécification MQTT 5.0, et aucune ne constitue un historique.
- Messages retenus. Lorsqu’un client publie avec le flag RETAIN activé, le serveur remplace le message retenu existant pour ce topic et stocke le nouveau pour les futurs abonnés, de sorte qu’il ne conserve qu’un message par topic.
- État de session. Pour un client disposant d’une session, le serveur conserve les messages QoS 1 et QoS 2 en attente d’envoi, et éventuellement QoS 0. Une session dure aussi longtemps que la connexion réseau plus le Session Expiry Interval ; si cet intervalle vaut 0 ou est absent, la session prend fin à la fermeture de la connexion.
La spécification ajoute que le stockage côté serveur a des limites et que l’état de session peut être supprimé par un administrateur ou par une réponse automatisée ; je considère donc une file du broker comme un tampon pour une courte coupure.
Comment enregistrer les messages MQTT dans une base SQL ?
Écrivez un petit service qui s’abonne aux topics de vos appareils et insère chaque message sous forme de ligne :
- Connectez-vous avec un identifiant de client fixe, Clean Start à 0 et un Session Expiry Interval qui couvre un redémarrage, afin que le broker mette en file les messages pendant l’absence du service d’écriture.
- Abonnez-vous en QoS 1 à un filtre couvrant vos appareils, par exemple
sites/+/devices/+/telemetry. Un message arrive au plus bas du QoS de sa publication et de celui de l’abonnement ; les appareils doivent donc publier aussi en QoS 1. - Prenez l’identifiant de l’appareil dans le topic et l’horodatage dans la charge utile lorsque l’horloge de l’appareil est fiable, et non l’horloge de la base de données.
- Insérez par lots dans une transaction, avec une clé unique sur l’appareil et l’horodatage. Le QoS 1 est « au moins une fois », donc des doublons peuvent arriver ; la clé les rend sans effet.
- Pour faire tourner deux services d’écriture, utilisez un abonnement partagé tel que
$share/writers/sites/+/devices/+/telemetry. Chaque message n’est alors remis qu’à une seule des sessions du groupe.
À lire aussi : MQTT vs HTTP pour les appareils IoT, webhook vs WebSocket vs polling pour transmettre les données plus loin, et l’article de Sema sur le sous-échantillonnage des séries temporelles pour les longs graphiques.
Hermetry relie les appareils de terrain à des tableaux de bord, des règles et des alertes en temps réel : télémétrie IoT et SCADA sur une même plateforme. Chaque organisation démarre avec un flux racine Default qui reçoit chaque message d’appareil et enregistre sa télémétrie. Les messages attendent dans une file pendant qu’un worker de traitement est arrêté et sont tout de même stockés lorsque la plateforme rattrape son retard ; un message ayant les mêmes valeurs, au même moment, pour le même appareil n’est stocké qu’une fois. Voir comment les relevés de télémétrie sont stockés.
Que devient une donnée MQTT lorsque la base de données est indisponible ?
Cela dépend du moment où votre service d’écriture acquitte un message. En QoS 1, le récepteur envoie un PUBACK « ayant accepté la responsabilité » du message ; il n’a pas besoin d’avoir terminé la livraison au préalable, et la responsabilité passe au récepteur dès que l’émetteur reçoit le PUBACK.
Une fois que le client du service d’écriture a acquitté un message, le broker l’a libéré ; si la base de données est injoignable, le service d’écriture doit conserver le message lui-même. Je donne au service un petit tampon sur disque local, je réessaie à partir de celui-ci dans l’ordre et je déclenche une alarme lorsqu’il grossit. L’autre option consiste à se déconnecter et à laisser le broker mettre en file pour la session, ce qui ne fonctionne que jusqu’à l’expiration de la session ou jusqu’à la limite de stockage du broker.
Questions fréquentes
Puis-je utiliser les messages retenus comme un historique simple ?
Non. Un nouveau message retenu remplace le message existant pour le topic, et un message retenu à charge utile vide le supprime. Les messages retenus donnent à un nouvel abonné la dernière valeur connue, par exemple l’état d’un appareil, mais jamais plus d’un message par topic.
Pourquoi un service d’écriture sur un abonnement partagé ne reçoit-il pas les messages retenus ?
La spécification MQTT 5.0 indique qu’aucun message retenu n’est envoyé à une session lorsqu’elle s’abonne à un abonnement partagé. Un service d’écriture qui a besoin des dernières valeurs connues au démarrage doit les lire ailleurs, par exemple dans sa propre base de données.
Ai-je encore besoin d’une clé unique si j’utilise QoS 2 ?
Le QoS 2 est le niveau « exactement une fois » de MQTT et empêche la livraison en double sur la liaison entre le broker et le service d’écriture. Je conserve tout de même la clé unique, car un service d’écriture qui réessaie depuis son tampon disque, ou un appareil qui renvoie un message après un redémarrage, peut tout de même produire deux fois le même relevé.

