Le sous-échantillonnage de données de séries temporelles consiste à remplacer de nombreuses mesures brutes par un seul résumé par intervalle de temps, par exemple une valeur par minute, par heure ou par jour. Il rend les longs graphiques rapides et le stockage réduit, mais le résumé que l’on conserve détermine ce qui survit. Une moyenne horaire conserve la tendance et efface les pics courts ; le min, le max et le nombre par intervalle les conservent.
Un transmetteur de pression qui relève une valeur toutes les 10 secondes envoie 360 mesures par heure et environ 3,15 millions par an, alors qu’un graphique fait au plus quelques milliers de pixels de large. Il faut réduire ces mesures avant de les tracer.
Moyenne ou min-max lors du sous-échantillonnage : lequel faut-il conserver ?
Conservez les deux. La moyenne indique où se situait le procédé pendant l’intervalle ; le min et le max indiquent à quel point il s’en est écarté.
Prenons la conduite de refoulement d’une pompe qui fonctionne normalement à 4,0 bar, relevée toutes les 10 secondes. Supposons qu’une vanne se ferme trop vite et que la pression grimpe à 9,0 bar pendant une minute, soit six mesures sur les 360 de l’heure. La moyenne horaire ressort à 4,08 bar, une ligne qui bouge à peine. Le max horaire est de 9,0 bar, et c’est ce chiffre dont le planificateur de maintenance a besoin. Un bref arrêt de pompe fonctionne à l’inverse, et seul le min le révèle.
Le nombre de mesures est le chiffre le plus facile à oublier. Une heure avec 120 mesures au lieu de 360 signifie que l’appareil s’est tu, ou a ralenti ses envois, pendant une partie de l’heure, et une moyenne calculée sur les seules mesures reçues paraît normale. Conservez le nombre et une lacune de données reste visible après le sous-échantillonnage.
Hermetry relie les appareils de terrain aux tableaux de bord en temps réel, aux règles et aux alertes : télémétrie IoT et SCADA sur une même plateforme. Pour chaque clé numérique de chaque appareil, elle conserve cinq valeurs par intervalle (somme, nombre, min, max et dernière) à des résolutions d’une minute, d’une heure et d’un jour. Le paramètre Aggregate d’une carte de graphique affiche la même clé en avg, min, max ou count. L’avg d’Hermetry est la somme divisée par le nombre, une moyenne simple et non pondérée dans le temps, comme l’explique la page sur les agrégats et les rollups.
Qu’est-ce qu’un rollup dans les données de séries temporelles ?
Un rollup est un résumé plus grossier construit à partir de résumés plus fins plutôt que de mesures brutes : des heures à partir des minutes, des jours à partir des heures. La somme, le nombre, le min et le max se recomposent exactement, puisque le max d’une journée est la plus grande des valeurs max horaires. La moyenne, elle, ne se recompose pas, et faire la moyenne de moyennes est une erreur facile à commettre dans une requête de rapport.
Supposons qu’une heure contienne 360 mesures dont la moyenne est de 4,0 bar, et que l’heure suivante ne contienne que 36 mesures dont la moyenne est de 6,0 bar, car l’appareil a ralenti ses envois. La moyenne des deux moyennes est de 5,00 bar ; la moyenne réelle des 396 mesures est de 4,18 bar. Conservez la somme et le nombre par intervalle, et vous pourrez recalculer la bonne moyenne à n’importe quel niveau.
Avec des envois irréguliers, vérifiez si un rapport utilise une moyenne simple ou une moyenne pondérée dans le temps, qui pondère chaque valeur par la durée pendant laquelle elle est restée en vigueur, avant de comparer des chiffres provenant de deux systèmes.
Pourquoi mon graphique change-t-il d’aspect quand je dézoome ?
Un graphique qui couvre des semaines ou des mois doit tracer des intervalles plus grossiers ou un ensemble de points éclairci, de sorte que les mesures visibles en zoom avant ne figurent plus à l’écran. Un pic qui remplissait la vue sur une heure devient une petite bosse dans une moyenne horaire, et disparaît dans une moyenne journalière.
Pour les pressions et les températures, j’ajoute le max comme deuxième série, ou une paire min et max, afin qu’un dépassement bref reste visible à un zoom d’un an. Le volet alarmes des pics courts est traité dans empêcher une mesure aberrante de déclencher vos alarmes, et l’origine des mesures est expliquée dans l’enregistrement de données d’automate sans toucher au programme de l’automate. Les stations de pompage, où les problèmes sont brefs et les graphiques couvrent des mois, sont traitées dans la supervision à distance des stations de pompage et sur la page consacrée au secteur de l’eau.
Questions fréquemment posées
À quelle fréquence faut-il échantillonner un capteur avant le sous-échantillonnage ?
Assez souvent pour placer plusieurs mesures à l’intérieur de l’événement le plus court que vous devez voir. Si un événement d’une minute compte, une mesure toutes les cinq minutes peut le manquer, et aucun résumé ne peut retrouver une valeur qui n’a jamais été enregistrée. Échantillonnez en fonction de l’événement, puis sous-échantillonnez pour le stockage et les graphiques.
Le sous-échantillonnage est-il la même chose que la compression ?
Non. La compression sans perte stocke les mêmes mesures dans moins d’espace et permet de toutes les restituer. Le sous-échantillonnage supprime les mesures brutes et ne conserve que les valeurs par intervalle, donc les détails que l’intervalle n’a pas enregistrés, comme l’instant exact d’un pic au sein d’une heure, sont perdus.
Faut-il supprimer les données brutes après le sous-échantillonnage ?
Conservez les mesures brutes aussi longtemps que vous pourriez avoir besoin d’examiner un événement en détail, puis conservez les valeurs par intervalle avec le min, le max et le nombre. Un pic ancien ne survit alors que comme max de son intervalle, ce qui montre tout de même qu’il s’est produit et à peu près quand.

