MQTT verilerini bir veritabanında saklamak için, brokerdan gelen her cihaz mesajını alan ve veritabanına yazan bir subscriber çalıştırın. Broker bir geçmiş değildir. Konu başına yalnızca bir kalıcı (retained) mesaj tutar ve yalnızca süresi dolmamış bir oturum için, depolama sınırları içinde, kuyruktaki QoS 1 ve QoS 2 mesajlarını saklar.
Canlı bir ekran doğrudan brokerdan beslenebilir, ancak geçen haftanın grafiği için her mesajın bir yere yazılmış olması gerekir. Bu iş bir writer servisine aittir ve bunu ilk günden tasarlarım.
MQTT brokerı mesajları saklar mı?
Yalnızca iki dar yolla, ikisi de MQTT 5.0 specification içinde tanımlanmıştır ve hiçbiri bir geçmiş değildir.
- Kalıcı (retained) mesajlar. Bir istemci RETAIN bayrağı ayarlı olarak yayın yaptığında, sunucu o konu için varolan kalıcı mesajı değiştirir ve yeni mesajı gelecekteki aboneler için saklar; böylece konu başına bir mesaj tutar.
- Oturum durumu. Oturumu olan bir istemci için sunucu, iletilmeyi bekleyen QoS 1 ve QoS 2 mesajlarını, isteğe bağlı olarak QoS 0 mesajlarını da tutar. Oturum, ağ bağlantısı ile Session Expiry Interval süresince yaşar; bu aralık 0 ise veya yoksa, oturum bağlantı kapandığında sona erer.
Spesifikasyon ayrıca sunucu depolamasının sınırları olduğunu ve oturum durumunun bir yönetici veya otomatik bir yanıtla silinebileceğini belirtir; bu yüzden broker kuyruğunu kısa bir kesinti için bir tampon olarak görürüm.
MQTT mesajlarını SQL’e nasıl kaydedersiniz?
Cihaz konularınıza abone olan ve her mesajı bir satır olarak ekleyen küçük bir servis yazın:
- Sabit bir client identifier ile bağlanın, Clean Start değerini 0 yapın ve bir yeniden başlatmayı kapsayacak bir Session Expiry Interval belirleyin; böylece writer yokken broker mesajları kuyruğa alır.
- Cihazlarınızı kapsayan bir filtreye, örneğin
sites/+/devices/+/telemetrykonusuna QoS 1 ile abone olun. Bir mesaj, yayın QoS’u ile abonelik QoS’unun düşüğü ile gelir; bu yüzden cihazların da QoS 1 ile yayın yapması gerekir. - Cihaz cihaz kimliğini konudan, zaman damgasını ise cihaz saati güvenilirse payloaddan alın, veritabanı saatinden değil.
- Ekleme işlemlerini bir transaction içinde toplu olarak yapın ve cihaz ile zaman damgası üzerinde bir unique key kullanın. QoS 1 “en az bir kez” anlamına gelir, bu yüzden yinelenen mesajlar gelebilir; anahtar bunları zararsız hale getirir.
- İki writer çalıştırmak için
$share/writers/sites/+/devices/+/telemetrygibi bir shared subscription kullanın. Her mesaj böylece gruptaki oturumlardan yalnızca birine gider.
İlgili: MQTT vs HTTP for IoT devices, veriyi iletmek için webhook vs WebSocket vs polling ve uzun grafikler için Sema’nın downsampling time series data yazısı.
Hermetry, saha cihazlarını canlı panolara, kurallara ve alarmlara bağlar: IoT telemetrisi ve SCADA tek bir platformda. Her organizasyon, her cihaz mesajını alan ve telemetrisini kaydeden bir Default root flow ile başlar. Bir işleme worker’ı çalışmadığında mesajlar bir kuyrukta bekler ve platform yeniden yetiştiğinde yine de kaydedilir; aynı cihaz için aynı değerlere sahip aynı zamandaki bir mesaj ise bir kez kaydedilir. Bkz. how telemetry readings are stored.
Veritabanı çalışmadığında MQTT verilerine ne olur?
Bu, writer’ınızın bir mesajı ne zaman onayladığına bağlıdır. QoS 1 altında alıcı, teslimatı önce bitirmesi gerekmeden, mesajın “sahipliğini kabul ettiğini” belirten PUBACK gönderir ve gönderen PUBACK’i aldığında sahiplik alıcıya geçer.
Writer’ın istemcisi bir mesajı onayladığında, broker onu bırakmış olur; veritabanına ulaşılamıyorsa writer mesajı kendisi tutmalıdır. Writer’a yerel diskte küçük bir tampon veriyorum, oradan sırayla yeniden deniyorum ve büyüdüğünde alarm veriyorum. Diğer seçenek bağlantıyı kesip brokerın oturum için kuyruğa almasına izin vermektir; bu yalnızca oturum sona erene veya brokerın depolama sınırına ulaşılana kadar işe yarar.
Sıkça sorulan sorular
Kalıcı mesajları basit bir geçmiş olarak kullanabilir miyim?
Hayır. Yeni bir kalıcı mesaj, konu için varolanın yerini alır ve boş payload’lı bir kalıcı mesaj onu siler. Kalıcı mesajlar yeni bir aboneye son bilinen değeri verir, örneğin bir cihazın durumunu, ama konu başına asla birden fazla mesaj vermez.
Shared subscription üzerindeki bir writer neden kalıcı mesajları almaz?
MQTT 5.0 spesifikasyonu, bir oturum shared subscription’a abone olduğunda ona hiçbir kalıcı mesajın gönderilmeyeceğini belirtir. Başlangıçta son bilinen değerlere ihtiyaç duyan bir writer, bunları başka bir yerden, örneğin kendi veritabanından okumalıdır.
QoS 2 kullanırsam yine de unique key’e ihtiyacım var mı?
QoS 2, MQTT’nin tam olarak bir kez seviyesidir ve broker ile writer arasındaki bağlantıda yinelenen teslimi önler. Yine de unique key’i tutarım; çünkü kendi disk tamponundan yeniden deneyen bir writer veya yeniden başlatmadan sonra yeniden gönderen bir cihaz, aynı okumayı yine iki kez üretebilir.

