Structure et format des données
Tous les résultats de surveillance partagés dans DataStream sont signalés selon un format commun pour qu’ils soient plus faciles à interpréter, à intégrer et à utiliser.
Schéma de données
Les données dans DataStream sont téléversées, entreposées et partagées dans le schéma de données ouvertes DataStream (DS-WQX), qui spécifie les champs requis et les valeurs autorisées pour un vocabulaire cohérent.
Ce format des données est fondé sur la norme WQX pour l’échange des données sur la qualité de l’eau qui a été développée par l’Agence américaine de protection de l’environnement (EPA) et la US Geological Society (USGS), et constitue l’une des normes les plus largement adoptées pour les données sur l’eau en Amérique du Nord.
La norme permet à diverses entités de surveillance de partager des résultats dans un format commun et d’éviter les informations manquantes ou ambiguës susceptibles de réduire la qualité des données et d’en compromettre l’utilisation.
Le fait d’adhérer à cette norme commune facilite l’interprétation, l’intégration et l’utilisation des données, même lorsqu’elles sont recueillies dans différents secteurs et juridictions.
Se familiariser avec le format de données DataStream
Qu’est-ce qu’un schéma de données ?
Un schéma de données définit comment les données sont organisées et signalées. Il s’agit notamment de spécifier les champs d’information requis pour décrire un point de données particulier (c’est-à-dire un résultat de surveillance ou une observation), ainsi qu’un vocabulaire contrôlé (ou « valeurs autorisées ») concernant la manière dont les informations contenues dans ces champs sont signalées.
Le schéma de données de DataStream est décrit dans notre modèle de téléchargement, disponible sous Excel ou Google Sheets.
- L’onglet Allowed Values (Valeurs autorisées) décrit le format de données utilisé par DataStream, y compris les colonnes (ou champs) qui sont obligatoires, facultatives ou conditionnelles, et la manière dont les valeurs de chaque colonne doivent être saisies (par exemple, nombre, texte libre, liste de valeurs autorisées). Cet onglet comprend également une liste des « valeurs autorisées » pour chaque colonne.
- L’onglet Glossary (Glossaire) décrit tous les noms de colonnes et fournit des définitions pour de nombreux termes relatifs aux valeurs autorisées.
- L’onglet CharacteristicName LOOKUP fournit une liste de tous les paramètres de qualité de l’eau (caractéristiques) acceptés par DataStream et la manière dont ils doivent être saisis. Vous pouvez également voir quels paramètres nécessitent la saisie de renseignements supplémentaires (comme la fraction d’échantillon et la méthode de spéciation).
L’onglet Allowed Values (Valeurs autorisées) du modèle de téléversement décrit le format de données utilisé par DataStream, y compris les colonnes (ou champs) qui sont obligatoires, facultatives ou conditionnelles, et la manière dont les valeurs de chaque colonne doivent être saisies.
Ajout de nouvelles caractéristiques
Le schéma de données de DataStream évolue continuellement pour répondre aux besoins de la communauté de l’eau. Si une caractéristique de la qualité de l’eau (paramètre) que vous mesurez n’est pas incluse, veuillez nous contacter pour l’ajouter à la liste des valeurs autorisées. Si la caractéristique n’est pas incluse dans la norme WQX, nous soumettrons également la demande à l’agence de protection de l’environnement des États-Unis (US EPA), afin que nos normes demeurent harmonisées.
Formater vos données pour le téléversement
Les feuilles de travail du modèle de téléchargement de DataStream peuvent être utilisées pour préparer vos données au téléchargement (pour en savoir plus, consultez la section Ressources de téléchargement des données). Si vous avez un grand nombre de données à convertir au format DataStream, il peut être plus pratique d’utiliser des outils comme R ou Python pour accélérer le processus.
Nous vous recommandons de fixer un entretien par téléphone avec un spécialiste des données de notre équipe qui pourra vous aider à déterminer la meilleure méthode. Contactez-nous : team@DataStream.org
Ressources additionnelles
Vous avez des questions, des demandes, ou avez besoin d’aide avec vos données ?