Neu: Die KI-Firewall überwacht die gesamte Plattform und erklärt jeden Vorfall in einfachen Worten. So funktioniert es

MQTT-Daten in einer Datenbank speichern: der Subscriber, der Ihre Historie schreibt

Ein MQTT-Broker behält pro Topic eine retained Nachricht und pro Session eine kurze Warteschlange. Ihre Historie braucht einen Writer-Service; hier zeige ich, wie ich ihn baue.

Um MQTT-Daten in einer Datenbank zu speichern, betreiben Sie einen Subscriber, der jede Gerätenachricht vom Broker empfängt und in die Datenbank schreibt. Der Broker ist keine Historie. Er behält pro Topic genau eine retained Nachricht und hält eingereihte QoS-1- und QoS-2-Nachrichten nur für eine Session, die nicht abgelaufen ist, innerhalb seiner Speichergrenzen.

Ein Live-Bildschirm kann direkt vom Broker gespeist werden, aber ein Diagramm der letzten Woche braucht jede Nachricht irgendwo geschrieben. Diese Aufgabe gehört zu einem Writer-Service, und ich entwerfe ihn am ersten Tag.

Speichert ein MQTT-Broker Nachrichten?

Nur auf zwei eng begrenzte Arten, beide in der MQTT-5.0-Spezifikation definiert, und keine davon ist eine Historie.

  • Retained Messages. Wenn ein Client mit gesetztem RETAIN-Flag veröffentlicht, ersetzt der Server jede vorhandene retained Nachricht für dieses Topic und speichert die neue für künftige Subscriber. Daher behält er pro Topic genau eine Nachricht.
  • Session-Zustand. Für einen Client mit Session hält der Server QoS-1- und QoS-2-Nachrichten bereit, die noch nicht übertragen wurden, optional auch QoS 0. Eine Session dauert so lange wie die Netzwerkverbindung plus das Session Expiry Interval; ist dieses Intervall 0 oder fehlt es, endet die Session, wenn die Verbindung schließt.

Die Spezifikation ergänzt, dass der Serverspeicher begrenzt ist und dass der Session-Zustand von einem Administrator oder durch eine automatische Reaktion verworfen werden kann. Deshalb behandle ich eine Broker-Warteschlange als Puffer für einen kurzen Ausfall.

Wie speichern Sie MQTT-Nachrichten in SQL?

Schreiben Sie einen kleinen Service, der Ihre Geräte-Topics abonniert und jede Nachricht als Zeile einfügt:

  1. Verbinden Sie sich mit einer festen Client-Kennung, Clean Start auf 0 und einem Session Expiry Interval, das einen Neustart abdeckt, damit der Broker Nachrichten einreiht, während der Writer abwesend ist.
  2. Abonnieren Sie mit QoS 1 einen Filter, der Ihre Geräte abdeckt, zum Beispiel sites/+/devices/+/telemetry. Eine Nachricht kommt mit dem niedrigeren Wert aus Veröffentlichungs-QoS und Abonnement-QoS an, daher müssen Geräte ebenfalls mit QoS 1 veröffentlichen.
  3. Entnehmen Sie die Geräte-ID dem Topic und den Zeitstempel der Payload, wenn die Geräteuhr zuverlässig ist, nicht der Datenbankuhr.
  4. Fügen Sie in Stapeln innerhalb einer Transaktion ein, mit einem eindeutigen Schlüssel aus Gerät und Zeitstempel. QoS 1 bedeutet „mindestens einmal“, daher können Duplikate ankommen; der Schlüssel macht sie harmlos.
  5. Um zwei Writer zu betreiben, verwenden Sie ein Shared Subscription wie $share/writers/sites/+/devices/+/telemetry. Jede Nachricht geht dann nur an eine der Sessions in der Gruppe.

Verwandt: MQTT vs. HTTP für IoT-Geräte, Webhook vs. WebSocket vs. Polling für die Weitergabe von Daten sowie Semas Beitrag über Downsampling von Zeitreihendaten für lange Diagramme.

Hermetry verbindet Feldgeräte mit Live-Dashboards, Regeln und Alarmen: IoT-Telemetrie und SCADA in einer Plattform. Jede Organisation beginnt mit einem Default root flow, der jede Gerätenachricht empfängt und deren Telemetrie speichert. Nachrichten warten in einer Warteschlange, während ein Verarbeitungs-Worker ausgefallen ist, und werden auch dann gespeichert, wenn die Plattform wieder aufholt. Eine Nachricht mit denselben Werten zur selben Zeit für dasselbe Gerät wird nur einmal gespeichert. Siehe wie Telemetriewerte gespeichert werden.

Was passiert mit MQTT-Daten, wenn die Datenbank ausfällt?

Das hängt davon ab, wann Ihr Writer eine Nachricht bestätigt. Bei QoS 1 sendet der Empfänger ein PUBACK, mit dem er die Verantwortung („having accepted ownership“) für die Nachricht übernimmt. Er muss die Zustellung dafür nicht zuerst abschließen, und die Verantwortung geht auf den Empfänger über, sobald der Sender das PUBACK erhält.

Sobald der Client des Writers eine Nachricht bestätigt hat, gibt der Broker sie frei. Ist die Datenbank nicht erreichbar, muss der Writer die Nachricht selbst aufbewahren. Ich gebe dem Writer einen kleinen Puffer auf der lokalen Festplatte, wiederhole von dort in der richtigen Reihenfolge und alarmiere, wenn er wächst. Die andere Möglichkeit ist, die Verbindung zu trennen und den Broker die Session einreihen zu lassen. Das funktioniert aber nur, bis die Session abläuft oder die Speichergrenze des Brokers erreicht ist.

Häufig gestellte Fragen

Kann ich retained Messages als einfache Historie verwenden?

Nein. Eine neue retained Nachricht ersetzt die bestehende für das Topic, und eine retained Nachricht mit leerer Payload entfernt sie. Retained Messages geben einem neuen Subscriber den zuletzt bekannten Wert, zum Beispiel den Status eines Geräts, aber niemals mehr als eine Nachricht pro Topic.

Warum erhält ein Writer mit Shared Subscription keine retained Messages?

Die MQTT-5.0-Spezifikation besagt, dass keine retained Messages an eine Session gesendet werden, wenn sie ein Shared Subscription abonniert. Ein Writer, der beim Start die zuletzt bekannten Werte braucht, muss sie anderswo lesen, zum Beispiel aus seiner eigenen Datenbank.

Brauche ich trotzdem einen eindeutigen Schlüssel, wenn ich QoS 2 verwende?

QoS 2 ist die Exactly-once-Stufe von MQTT und verhindert doppelte Zustellung auf der Verbindung zwischen Broker und Writer. Ich behalte den eindeutigen Schlüssel trotzdem bei, weil ein Writer, der aus seinem eigenen Festplattenpuffer wiederholt, oder ein Gerät, das nach einem Neustart erneut sendet, denselben Messwert dennoch zweimal erzeugen kann.

Teilen

Sehen Sie diese Woche Ihre Felddaten live

Starten Sie eine Testphase in Ihrer Region mit Ihren ersten Geräten oder buchen Sie eine Demo und bringen Sie Ihren eigenen Anwendungsfall mit.