Introduction

Le Qualité des données Gestion fonction définit les objectifs, les approches et les plans d'action qui garantissent que le contenu des données est d'une qualité suffisante pour soutenir les objectifs commerciaux et stratégiques définis de l'organisation. fonction devraient être élaborés en accord avec les objectifs commerciaux et mesurés par rapport à des critères définis qualité des données (DQ) dimensions et sur la base d'une analyse de l'état actuel de la DQ. Qualité des données La gestion consiste en une série de processus couvrant l'ensemble de la chaîne d'approvisionnement des données afin de garantir que les données fournies répondent aux besoins de leurs utilisateurs cibles.

La qualité des données (DQ) exige de comprendre comment les données sont collectées, définies, transformées, mises à disposition et utilisées. La DQ n'est pas une processus elle-même, mais décrit dans quelle mesure les données sont adaptées à un usage spécifique pour une entreprise donnée processus ou opération.

Définition

Le Qualité des données Gestion (DQM) un composant est un ensemble de capacités à définir profilage des données, Mesure de la qualité des données, gestion des anomalies, analyse des causes profondes et correction des données : ces capacités permettent à l’organisation de mettre en œuvre des processus au sein de l’environnement de contrôle des données, garantissant ainsi que les données sont adaptées à leur usage prévu.

Portée

• Mettre en place un système de gestion de la qualité des données (DQM) fonction au sein du Bureau de gestion des données (ODM).
• Travailler avec la gestion des données (GD) Bureau de gestion de programme (PMO) concevoir et mettre en œuvre des processus et des outils durables pour la gestion de la qualité des données (DQM).
• Exécuter les processus DQM sur les données critiques de l'entreprise. Les processus DQM comprennent profilage et classement, mesure, gestion des défauts, correction des causes profondes, remédiation.
• Mettre en place des indicateurs de qualité des données et des procédures de reporting.
• S’assurer que la gouvernance DQM est intégrée à la gouvernance des données (DG).

Proposition de valeur

Les organisations qui intègrent, formalisent et attribuent les responsabilités en matière de qualité des données dans leurs routines et méthodologies quotidiennes parviennent à instaurer une culture des données durable à l'échelle de l'organisation.

Les organisations qui mettent en œuvre efficacement Qualité des données La gestion et l'atteinte du niveau approprié de qualité des données dans l'ensemble de l'écosystème des données permettent d'obtenir un retour sur investissement dans plusieurs domaines :

• Meilleure gestion des risques
• Analyses améliorées
• Un meilleur service client et une innovation produit
• Amélioration de l'efficacité opérationnelle

Aperçu

DQ est un concept large terme Il est essentiel de comprendre cela dans le contexte de l'utilisation prévue des données. Des données parfaites ne constituent pas toujours un objectif réaliste. La qualité des données doit être définie en des termes pertinents pour les utilisateurs afin de garantir leur adéquation à l'usage prévu. L'objectif global de la gestion des données est d'assurer la confiance des utilisateurs dans les données qu'ils reçoivent. Ces utilisateurs exploitent ces données pour leurs activités. Pour prendre des décisions éclairées, les données doivent refléter fidèlement les faits qu'elles sont censées représenter, sans nécessiter de rapprochement ni de transformation manuelle.

L'organisation doit élaborer une stratégie de gestion de la qualité des données (GQD) et définir un plan global pour garantir l'intégrité et la pertinence de ses données. Un objectif essentiel est de créer une culture partagée de la qualité des données, impulsée par la direction et intégrée à l'ensemble des opérations. Pour parvenir à ce changement culturel, l'organisation doit s'accorder sur les exigences et les indicateurs de qualité des données, applicables à toutes les fonctions et applications métiers. Cela permettra aux responsables métiers, aux producteurs et utilisateurs de données, ainsi qu'aux acteurs technologiques, d'aligner les processus de gestion de la qualité des données sur les objectifs.

DQ peut être segmenté en dimensions :

• Précision: le lien entre le contenu et l'intention originale
• Complétude: la disponibilité des attributs de données requis
• Couverture: la disponibilité des enregistrements de données requis
• Conformité: alignement du contenu des données avec les normes requises
• Cohérence: dans quelle mesure les données sont conformes aux formats/définitions requis
• Opportunité: la mise à jour des informations relatives au contenu, ainsi que la disponibilité et l'utilisabilité des données en cas de besoin.
• Unicité: le degré auquel aucun enregistrement ou attribut n'est enregistré plus d'une fois

L'identification et la priorisation de dimensions de la qualité des données favoriser une communication efficace sur les attentes en matière de qualité des données et constituent une condition préalable essentielle à l'initiative DM.

L'établissement d'un profil de l'état actuel de la qualité des données est un aspect important de la gestion globale de la qualité des données. fonction. Un nouveau profil de données doit être créé périodiquement lors de chaque transformation. L'objectif est d'évaluer les tendances dans les données, ainsi que d'identifier les anomalies et les points communs, afin d'établir une base de référence des données actuellement stockées dans les bases de données et de comparer les valeurs réelles aux valeurs attendues. Une fois le profil de données établi, l'organisation doit évaluer les données au regard des tolérances et des seuils de qualité définis par les exigences de qualité des données. L'évaluation examine également les besoins métiers afin de valider l'adéquation des données à l'usage prévu.

L'objectif de cette évaluation processus Il s'agit de mesurer la qualité des attributs commerciaux les plus importants des données existantes et de déterminer quel contenu nécessite une correction. Une responsabilité de la producteur de données et consommateur de données consiste à identifier les données essentielles à consommateur de données’l'entreprise de processus. La priorisation des données en fonction de leur criticité alimente ensuite le système de gestion de la qualité des données (DQM). fonction quels attributs nécessitent un niveau de contrôle et d'évaluation de la qualité accru ? La désignation de criticité exige le plus haut niveau de précision et le traitement DQ est appliqué. L'évaluation processus identifie les données qui doivent être nettoyées pour répondre aux exigences consommateur de données Exigences. Le nettoyage des données doit être effectué selon un ensemble prédéfini de règles métier afin d'identifier les défauts pouvant être liés aux processus opérationnels.

Le nettoyage des données doit être effectué au plus près du point de capture. Une responsabilité claire et une stratégie définie pour le nettoyage des données sont indispensables afin de garantir la connaissance des règles de nettoyage et d'éviter les processus de nettoyage redondants à plusieurs étapes du processus. cycle de vie des données. L'objectif global est de nettoyer les données une seule fois, dès leur capture, en se basant sur une documentation vérifiable et des règles métier, et de corriger les processus ayant permis l'introduction de données erronées dans le système, à la source du problème. Les corrections de données doivent être communiquées à tous les référentiels en aval et aux systèmes en amont, et mises en œuvre de manière cohérente avec ces derniers. Il est important de disposer d'une documentation exhaustive et cohérente. processus pour la remontée des problèmes et la vérification des modifications, tant pour les producteurs de données que pour les fournisseurs de données.

Il est également important de veiller à ce que les données répondent aux normes de qualité tout au long de leur cycle de vie afin qu'elles puissent être intégrées aux bases de données opérationnelles. Cet aspect de la gestion de la qualité des données processus Il s'agit d'identifier les données manquantes, de déterminer les données qui doivent être enrichies et de valider les données par rapport aux normes internes afin de prévenir les erreurs de données avant leur diffusion dans les environnements de production.

Pour que la qualité des données (QD) soit pérenne, une structure de gouvernance solide, bénéficiant du soutien de la direction générale, est indispensable. Ceci soutient les activités de gestion de la qualité des données et garantit la conformité aux processus de QD. Ces processus doivent être documentés, opérationnels et validés régulièrement par le biais d'examens de données et d'audits formels.

La qualité des données (QD) ne peut être atteinte par un contrôle centralisé. À l'échelle de l'organisation, elle requiert l'engagement et la participation d'un large éventail de parties prenantes. La QD résulte d'une série de processus métier qui créent une chaîne d'approvisionnement de données. Par conséquent, les parties prenantes, tout au long de cette chaîne, doivent être en place, habilitées et responsables de la qualité des données qui circulent dans leurs domaines respectifs. La QD exige un soutien organisationnel coordonné. Pour être pérenne et performante, la gestion de la qualité des données (GQD) doit intégrer les processus et les objectifs à la culture opérationnelle de l'organisation.

Processus, outils et constructions

• Élément commercial/Élément de données Construction
• Élément commercial, Règles commerciales Construction
• Élément de données critique Critères et mesures Construction
• Qualité des données Règles Construction
• Profilage des données Construction
• Indicateurs de qualité et tableaux de bord
• Gestion des défauts Construction
• Analyse des causes profondes Construction
• Optimisation des capacités
• Matrice RACI
• Processus Conception et solutions de bout en bout Processus Intégration
• Guide des procédures
• Processus Mesure de la performance

Questions fondamentales

• Est-il entendu que des données de mauvaise qualité sont le signe d'une entreprise dysfonctionnelle ? processus ou la technologie ?
• Est-il entendu que la mise en place d'un système de qualité des données représente un changement culturel qui touche tous les aspects des processus commerciaux, opérationnels et technologiques ?
• La formation requise est-elle en place pour maintenir le DQM fonction?
• Les ressources humaines et financières nécessaires sont-elles prévues pour la mise en œuvre et le fonctionnement du DQM ? fonction?
• Les ressources nécessaires sont-elles en place pour assurer une formation à l'échelle de l'organisation afin de soutenir un changement culturel durable et axé sur la qualité ?

Première capacité

Le DQM fonction La stratégie et l'approche doivent être définies et approuvées par les parties prenantes. Les rôles et responsabilités de chacune doivent être établis, et des processus opérationnels, vérifiables, doivent être mis en place.

Première sous-capacité

Description

La stratégie et l'approche doivent être définies pour le DQM fonction et refléter la vision et les objectifs connexes de la stratégie de gestion des données (SGD). Une fois établie, elle doit être formellement habilitée par la haute direction et son rôle communiqué à toutes les parties prenantes.

Objectifs

• Mettre en place formellement la stratégie et l'approche DQM au sein de l'organisation.
• Obtenir l'approbation des parties prenantes concernant la stratégie et l'approche DQM.
• Assurez-vous de l'alignement de partie prenante plans et feuilles de route avec la stratégie et l'approche DQM.
• Obtenir le soutien de la direction générale pour la stratégie DQM.
• Communiquer le rôle du DQM fonction au sein de l'organisation, par les voies officielles.
• Utiliser le DQM fonction en collaboration avec les parties prenantes de l'initiative DM.
• Garantir l'autorité nécessaire pour faire respecter la conformité DQM par le biais de politique et documenté procédure.

Conseil

La stratégie et l'approche DQM englobent quoi, comment et qui de DQ. Il faut aborder quoi L'étendue des données doit être examinée et analysée ; comment Les évaluations de la qualité des données seront réalisées à l'aide de mesures définies ; et OMS Les responsabilités seront définies et les rôles attribués. La gestion de la qualité des données (GQD) doit être étroitement alignée sur les objectifs commerciaux de l'organisation afin de garantir la maintenance et le suivi adéquats des données les plus importantes. La GQD implique un changement culturel. Il est essentiel qu'une stratégie et une approche GQD documentées soient communiquées aux parties prenantes des métiers, des données et de la technologie afin de susciter leur sensibilisation, leur soutien et leur engagement.

L'évolution rapide des enjeux liés à l'éthique des données introduit de nouvelles exigences pour le DQM. fonction. Ces exigences comprennent une évaluation éthique visant à garantir que les données produites sont adaptées à leur finalité. De plus, la gestion de la qualité des données (GQD) est un domaine où l'apprentissage automatique (AA) et l'intelligence artificielle (IA) peuvent contribuer à l'obtention de données de qualité. Ces exigences et opportunités doivent être prises en compte dans la stratégie et l'approche de la GQD. fonction.

L'alignement de la stratégie et de la feuille de route DQM sur la vision et les objectifs DMS est réalisé par un accord entre les niveaux opérationnels. agent de données et la personne chargée de la livraison du DG fonction. Le niveau opérationnel agent de données est responsable de l'établissement des priorités pour chacune des exigences des composantes du cadre.

Questions

• Le DQM est-il présent ? fonction a été officiellement établie ?
• Existe-t-il une stratégie et une approche DQM en place ?
• La stratégie et la feuille de route DQM sont-elles alignées sur le DMS ?
• Les technologies innovantes telles que l'apprentissage automatique et l'intelligence artificielle ont-elles été prises en compte dans le cadre du DQM ? processus et les infrastructures ?
• L’examen de l’éthique des données a-t-il été intégré à la stratégie et à l’approche de gestion de la qualité des données ?
• Le DQM est-il présent ? fonction a-t-elle été officiellement communiquée aux parties prenantes des secteurs des affaires, de la technologie, des opérations, des finances et des risques ?
• Comment la direction générale a-t-elle démontré son soutien ?
• L'autorisation a-t-elle été accordée au DQM ? fonction mettre en œuvre et faire respecter les meilleures pratiques via politique et les normes ?
• L'autorité a-t-elle été communiquée aux parties prenantes ?
• Existe-t-il un partenariat fonctionnel avec l'audit interne ?

Artefacts

• Le plan DQM
• Description des rôles et responsabilités du DQM fonction
• Communication du soutien spécifique de la direction générale via les listes de diffusion
• Politiques et procédures associées à la mise en œuvre et à l'application de la gestion de la qualité des données (GQD)
• Engagement bidirectionnel avec les parties prenantes sur le DQM fonction autorité

Score

Sous-capacité suivante

Description

La gestion de la qualité des données (GQD) nécessite un réseau de responsables des données et d'experts métiers pour garantir la bonne collecte, le traitement et la diffusion des données. Les parties prenantes doivent être identifiées et leurs rôles et responsabilités clairement définis.

Objectifs

• Définir et communiquer les rôles et responsabilités du DQM fonction.
• Financer et doter en personnel le DQM fonction.
• Assurer et garantir l'alignement des activités et des projets avec politique et les normes grâce à l'autorité du DQM fonction.
• Responsabiliser les individus quant à la performance DQM par le biais d'évaluations annuelles et de considérations relatives à la rémunération.

Conseil

La gestion de la qualité des données (DQM) implique de nombreux acteurs responsables de la collecte des exigences en matière de données., profilage des données, remédiation, définitions, métadonnées, La transformation, l'analyse des causes profondes, le contrôle des droits d'accès et la coordination de l'ensemble de l'écosystème des données sont autant d'éléments qui nécessitent la désignation et la responsabilisation des propriétaires, des gestionnaires, des conservateurs et des dépositaires. Ces personnes responsables doivent posséder l'expérience requise et maîtriser l'ensemble des processus internes liés à la gestion de la qualité des données.

Avec l'ajout d'un examen d'éthique des données dans le DQM processus, Une expertise métier sera nécessaire, soit par le biais de l'ajout d'experts, soit par une formation adéquate des responsables des données. De même, dans la mesure où l'apprentissage automatique et l'intelligence artificielle sont utilisés pour soutenir le système de gestion de la qualité des données (DQM), une expertise métier sera requise. processus, Des compétences supplémentaires devront être acquises ou développées parmi les parties prenantes.

Questions

• Le DQM est-il présent ? fonction ont été établis ?
• Le DQM fonction dotés d'un personnel et de financements adéquats ?
• Le DQM fonction Ont-ils l'autorité nécessaire pour être efficaces ?
• Connaître les rôles et les responsabilités du DQM fonction ont été définis, documentés et socialisés ?
• Les compétences en matière d'examen de l'éthique des données et de mise en œuvre des outils d'apprentissage automatique et d'intelligence artificielle ont-elles été ajoutées ou développées au sein des parties prenantes ?
• Définir des étapes clés et des indicateurs associés au DQM fonction ont été établis ?

Artefacts

• Preuve de partie prenante identification
• matrice RACI ou d'autres preuves de reddition de comptes
• Description des rôles et responsabilités du DQM fonction
• Affectations et qualifications du personnel
• Preuves de responsabilisation liées aux évaluations de performance et à la rémunération
• Analyse des écarts de compétences nécessaires et en place
• Liste des parties prenantes et preuves de communication bidirectionnelle

Score

Sous-capacité suivante

Description

Des procédures formelles doivent être mises en place pour les activités du DQM fonction. Ces processus sont conformes au DM politique et les normes de l'organisation, notamment les procédures, les outils et les routines. Ces routines sont nécessaires au bon fonctionnement de l'entreprise.

Objectifs

• Mettre en place des processus formels de gestion de la qualité des données (DQM) conformes au modèle de données (DM). politique et les normes.
• Intégrer les processus DQM dans les processus globaux de bout en bout de l'initiative DM.
• Identifier, planifier et maintenir les routines, réunions et séances de travail DCE nécessaires au soutien opérationnel.

Conseil

Les experts en gestion de la qualité des données (DQM) devraient collaborer avec l'entreprise. processus Service de conception et d'optimisation au sein de l'équipe du Programme de gestion des données (DMP). Ensemble, ils créeront et suivront la mise en œuvre des processus DQM conformément au processus global. processus dans le cadre de l'ensemble de l'initiative DM.

Le DQM processus La conception devrait inclure les exigences relatives à l'examen éthique afin de déterminer si les données sont adaptées à l'usage prévu. Elle devrait également intégrer l'apprentissage automatique et l'intelligence artificielle. processus si inclus dans la stratégie et l'approche DQM.

Questions

• Des procédures formelles ont-elles été définies et mises en œuvre ?
• Les procédures, les outils et les routines nécessaires à la mise en œuvre des processus sont-ils en place ?
• Les technologies innovantes telles que l'IA et le ML ont-elles été prises en compte dans le cadre du DQM ? processus et les infrastructures ?
• L’examen de l’éthique des données a-t-il été intégré à la stratégie et à l’approche de gestion de la qualité des données ?
• Les activités de gestion de la qualité des données (DQM) font-elles partie des routines opérationnelles normales des parties prenantes ?
• Existe-t-il des réunions régulières, des séances de planification et des communications régulières concernant les initiatives liées aux données ?

Artefacts

• Processus artefacts de conception, procédure guides et routines publiées
• Processus rapports sur les indicateurs de performance
• Comptes rendus de réunion, rapports d'étape et annonces du plan de gestion des données

Score

Sous-capacité suivante

Description

L’audit DQ doit être effectué à trois niveaux :

• Assurance qualité (AQ) : L'entreprise responsable effectue des auto-évaluations basées sur des seuils, des processus et des objectifs de qualité des données définis.
• Contrôle qualité (CQ) : L'initiative DM réalise un audit facilité de la qualité des données et des processus de l'entreprise responsable et est habilitée à contraindre l'entreprise à corriger toute lacune constatée afin de garantir le respect des seuils et des normes de qualité des données.
• Audit interne : La qualité et les processus de l'entité responsable font l'objet d'audits. Tout manquement à ces exigences peut entraîner des conclusions d'audit formelles et renforcées à l'encontre de l'entité.

Objectifs

• Les responsables des données ont effectué une auto-évaluation de la qualité des données et des processus responsables (QA).
• L'initiative DM a réalisé des évaluations facilitées de la qualité des données et des processus (QC) de l'entreprise responsable.
• L'initiative DM a pour pouvoir contraindre les équipes commerciales à corriger les lacunes constatées dans les processus opérationnels de qualité des données.
• L'audit interne effectue des examens de routine des données et des processus métiers responsables.
• Des problèmes d'audit formel surviennent si des lacunes opérationnelles sont mises au jour.

Conseil

Les processus de qualité des données (DQ), la validation, l'analyse des causes profondes, la remédiation, etc., doivent faire l'objet d'audits réguliers. L'audit se déroule à trois niveaux. Premièrement, l'auto-attestation – où les parties prenantes évaluent et déclarent qu'elles suivent les procédures établies. qualité des données Deuxièmement, par l’intermédiaire du Bureau de gestion des données (BGD), où l’initiative de gestion des données collabore avec les parties prenantes pour garantir la conformité. Troisièmement, par le biais d’un examen interne, l’audit interne ayant formellement validé le respect des procédures.

Questions

• Quels sont les mécanismes permettant d'assurer la validation, l'analyse des causes profondes et la remédiation ?
• L’audit interne est-il impliqué dans le DQM ?

Artefacts

• Preuve d'auto-attestation et entreprise revue ODM
• Preuves de l'engagement et de l'examen de l'audit interne

Score

Prochaine capacité

Profilage et la mesure des données comprend : 1) la priorisation des données à traiter en fonction de leur criticité et matérialité; 2) définition et test qualité des données règles basées sur les règles métier ; et 3) mesurer que les données sont adaptées à l'usage prévu.

Première sous-capacité

Description

Les données concernées, telles que définies par les objectifs commerciaux, doivent être priorisées en fonction de leur criticité et matérialité au consommateur de données entreprise processus.

Objectifs

• Définir un processus pour la priorisation des données.
• Identifier la portée de personne concernée à DQM, tant actuel qu'historique.
• Définir les priorités en matière de données en fonction du système de gestion documentaire et des priorités de l'entreprise.

Conseil

Une organisation peut établir des niveaux de priorisation des données. Le gestionnaire de données politique Les normes devraient définir les niveaux de contrôle des données à appliquer à chaque niveau de priorisation. Le niveau le plus élevé est un élément de données critique (CDELes CDE désignés bénéficient du plus haut niveau de contrôle afin de garantir le maintien de la qualité de ces attributs. CDE La désignation est contrôlée processus pour parvenir à un accord entre les producteur de données et consommateur de données.

Questions

• A-t-il le processus prioriser les données définies ?
• A la portée de personne concernée Les DQM ont-ils été identifiés, priorisés et vérifiés ?

Artefacts

• Priorisé domaine de données stocks
• Priorisé CDE inventaire
• Communication bidirectionnelle concernant les inventaires

Score

Sous-capacité suivante

Description

Qualité des données Des règles basées sur les règles métier doivent être définies et testées afin de valider avec certitude que les données sont adaptées à l'utilisation.

Objectifs

• Définir un processus pour le développement de qualité des données règles.
• Définir des règles métier qui peuvent être interprétées en qualité des données règles et utilisées pour mesurer la qualité des données.
• Définir un processus pour les essais de qualité des données règles.
• Mettre en place un environnement et un ensemble d'outils pour l'exécution et le test des règles.
• Communiquer les règles de qualité des données et les résultats des tests aux parties prenantes.

Conseil

Les règles métier constituent la base du développement qualité des données règles nécessaires pour évaluer la qualité des données. dimensions de la qualité des données Établir un ensemble de règles potentielles pouvant être nécessaires pour déterminer la qualité des données (DQ). Un aspect crucial de la définition des règles de qualité consiste à tester leur résultat. Les tests sont une activité itérative lors de la conception de chaque règle. Tester et retester à chaque amélioration apportée à une règle est essentiel pour identifier l'ensemble des règles applicables. dimensions de la qualité des données. Ces dimensions sont nécessaires pour le qualité des données ensemble de règles pour mesurer avec précision le DQ.

Qualité des données Des règles devraient être élaborées pour tester les différentes dimensions de qualité. Pas tous élément de données Chaque dimension peut être testée. L'élaboration de règles de qualité relève à la fois de l'art et de la science. Ces règles, ainsi que leur étendue, évolueront au fil du temps. L'apparition de nouveaux défauts de qualité orientera la conception de nouvelles règles pour détecter ces problèmes à l'avenir. Un système mature règle de qualité des données Un ensemble est un atout précieux pour une organisation.

La capacité de tester qualité des données L'application des règles nécessite un environnement de test. Il peut s'agir d'un bac à sable de données où les responsables des données peuvent manipuler les données et expérimenter différentes règles et leurs résultats. De plus, une infrastructure technique adéquate est indispensable pour écrire, stocker, exécuter et analyser les règles.

Les compétences requises pour tester les règles peuvent inclure des compétences commerciales. processus Expertise métier, gestion de la qualité des données, infrastructure technique et maîtrise du codage : il est essentiel d’évaluer soigneusement les compétences et les ressources disponibles, car une seule personne ne possède généralement pas un tel éventail de compétences.

Questions

• Existe-t-il une définition processus pour la conception et les essais de qualité des données règles?
• Sont les qualité des données Des règles basées sur des règles métier définies ?
• Existe-t-il un environnement de test de données et des outils appropriés pour son exécution ? règle de qualité des données tests ?
• Les parties prenantes ont-elles validé que l'éventail de dimensions de la qualité des données La règle appliquée est-elle adéquate pour déterminer la DQ ?

Artefacts

• Processus artefacts de conception, procédure guides et routines publiées
• Documenté dimensions de la qualité des données
• Critères utilisés pour évaluer la qualité du développement (DQ)
• Qualité des données dépôt de règles
• Qualité des données règles enregistrées comme métadonnées
• Rapports et tableaux de bord des résultats des tests
• Outils de test
• Environnement de test
• Liste des parties prenantes et preuves de communication bidirectionnelle

Score

Sous-capacité suivante

Description

Les données concernées doivent être profilées afin de déterminer le spectre complet de dimensions de la qualité des données (c.-à-d., précision, complétude, couverture, conformité, cohérence, opportunité, unicitéCette analyse doit inclure une analyse par ligne examinant précision du registre et une analyse statistique par colonne. Métadonnées Il convient également de les examiner afin de s'assurer que la description et l'utilisation prévue des données sont correctement définies.

Objectifs

• Définir un processus pour profilage, analyser et évaluer les données.
• Établir le profil et analyser statistiquement les données concernées.
• Examiner métadonnées et effectuer une analyse des écarts.
• Mesurer, surveiller et évaluer les données pertinentes.
• Capturez régulièrement les indicateurs de qualité des données.
• Communiquer les indicateurs de qualité des données aux parties prenantes des secteurs d'activité, des données et de la technologie.

Conseil

Le DQM fonction Il s'agit de s'assurer que les données sont adaptées à l'usage prévu et qu'elles sont fiables. Profilage des données crée un référentiel de qualité pour l'organisation. Preuve de profilage des données Ces données seront exigées lors de tout audit interne ou contrôle réglementaire. Elles devront être évaluées au regard de critères d'adéquation et de… dimensions de la qualité des données. Les règles métier de la qualité des données doivent être définies et formalisées. Une analyse statistique et par colonnes doit être effectuée pour garantir la pertinence des données. domaine de données Les types de données, tels que les données de séries chronologiques, doivent être évalués selon des critères supplémentaires comme les lacunes, les pics et les anomalies.

Les principaux acteurs concernés par ceci processus sont les producteur de données et consommateur de données. En fin de compte, la qualité est définie par l'entreprise. processus exigences des consommateur de données et devrait être formellement approuvé par les producteur de données. Créer un standard et automatisés processus L’exécution régulière des indicateurs de qualité et la communication des résultats sont essentielles pour respecter les contraintes de temps de la chaîne d’approvisionnement des données.

Les indicateurs sont utilisés pour suivre la qualité des données et orienter les efforts de correction. Des points de contrôle tout au long de la chaîne d'approvisionnement des données capturent les indicateurs de qualité des données qui servent à générer des tableaux de bord dédiés. Les exigences de consommateur de données sont utilisés pour établir des seuils de qualité pour les données. Ces seuils permettent de classer les données selon les niveaux de qualité acceptables définis, en fonction des exigences minimales spécifiques. consommateur de données.

Le profilage des données, analyser et noter processus Il convient d’inclure un examen périodique de l’utilisation éthique et des résultats des données afin de déterminer leur adéquation à l’objectif visé. Une attention particulière doit être portée à l’utilisation de valeurs de substitution dans un ensemble de données.

Un mécanisme d'exécution des règles de qualité des données et de génération de rapports de résultats est nécessaire pour soutenir profilage des données, analyser et noter processus. L'utilisation de l'IA et du ML peut contribuer à processus.

Questions

• Les données concernées ont-elles été profilées, analysées et classées ?
• La qualité des données est-elle évaluée par rapport aux règles de logique métier ainsi que par rapport à leur cohérence avec les attentes statistiques ?
• Les parties prenantes pertinentes en matière de commerce, d'opérations, d'analyse, de données et de technique sont-elles impliquées dans le processus ? processus?
• Les technologies innovantes telles que l'apprentissage automatique et l'intelligence artificielle ont-elles été prises en compte dans le cadre de processus infrastructure?
• L'examen de l'éthique des données a-t-il été inclus dans le processus?
• Sont standard Critères de mesure de la DQ définis et vérifiés ?
• Les indicateurs sont-ils collectés et communiqués de manière régulière ?
• Les résultats de la mesure et de la notation des données sont-ils enregistrés comme métadonnées?

Artefacts

• Règles commerciales et profilage des données et critères de mesure
• Résultats de l'analyse statistique
• Un mécanisme d'attribution et de communication des notes pour la DQ
• Rapports de métriques DQ, tableaux de bord, cartes thermiques et autres formes de résultats
• Liste des parties prenantes et preuves de communication bidirectionnelle

Score

Prochaine capacité

Des plans de remédiation des données doivent être élaborés et mis en œuvre pour résoudre les problèmes de qualité des données les plus urgents. La remédiation doit inclure la correction des données existantes et la résolution des causes profondes afin d'éliminer les défauts de données futurs.

Première sous-capacité

Description

À partir de l'analyse de l'état actuel, des plans de remédiation doivent être élaborés pour traiter les problèmes de qualité des données les plus urgents. Un système d'évaluation et de maintenance continue de la qualité des données, ainsi que des échéanciers, doivent également être établis.

Objectifs

• Définir un processus pour la priorisation et l'exécution de la correction des données.
• Élaborer et prioriser des plans de correction des données.
• Préparez-vous à une action immédiate pour traiter les données hautement prioritaires.
• Établir un calendrier pour les travaux de réparation en cours.

Conseil

La correction des données consiste à rectifier les données erronées identifiées. Ces données doivent être corrigées au plus près de leur source de capture. Il est important que les activités de correction ne soient pas ponctuelles, mais bien intégrées à la démarche qualité des données. La correction des données doit être mise en œuvre pour les deux données au repos et données en mouvement.

Questions

• La priorisation des problèmes de qualité des données processus en place ?
• Des plans de correction des données ont-ils été élaborés, vérifiés et hiérarchisés ?
• Les fonds nécessaires ont-ils été alloués ?
• Existe-t-il une communication processus lié à la correction des données ?

Artefacts

• rapports de défauts DQ
• plan de remédiation des données
• Preuve de la priorisation des problèmes
• Preuve que les travaux de réparation ont été effectués
• Liste des parties prenantes et preuves de communication bidirectionnelle

Score

Sous-capacité suivante

Description

La remédiation des données doit inclure à la fois la correction des données existantes qui sont défectueuses et la détermination de la cause profonde de la détérioration de la qualité des données afin d'éviter la réapparition de données défectueuses à l'avenir.

Objectifs

• Définir un processus pour effectuer des analyses des causes profondes et apporter des solutions.
• Déterminer la cause première du défaut des données.
• Identifier et mettre en œuvre des mesures correctives pour les processus métier, de données et/ou technologiques.

Conseil

La résolution des problèmes de qualité des données ne se limite pas à une simple correction des données. Ces problèmes peuvent être systémiques. Il convient d'évaluer leur ampleur et leur profondeur afin de déterminer si l'organisation privilégie les corrections ponctuelles au détriment d'une remédiation en amont visant à corriger les causes profondes. Une structure de reporting robuste est indispensable pour garantir que les systèmes en amont soient informés des problèmes de qualité des données récurrents ou persistants.

Les défauts de données peuvent avoir des conséquences pour les personnes, processus, données ou source technique. Disposer des experts compétents dans chacun de ces domaines sera essentiel à l'analyse de la cause profonde.

Questions

• Les problèmes d'analyse des causes profondes sont-ils définis ?
• Les mesures correctives sont-elles liées à une analyse des causes profondes ?

Artefacts

• Preuves de signalement des défauts de qualité des données tout au long de la chaîne d'approvisionnement des données
• Preuve que l'analyse des causes profondes et les mesures correctives sont en cours.

Score

Prochaine capacité

Le suivi et la maintenance des données comprennent : 1) la mise en œuvre qualité des données points de contrôle ; 2) la capture des indicateurs de qualité des données pour identifier les données défectueuses, et 3) la surveillance continue des données.

Première sous-capacité

Description

Des points de contrôle des données doivent être mis en place pour mesurer quantitativement la qualité des données tout au long de leur circulation dans les processus métier et technologiques.

Objectifs

• Définir un processus définir les points de contrôle DQ.
• Mettez en place des points de contrôle de la qualité des données et assurez-vous qu'ils soient pleinement opérationnels tout au long de la chaîne d'approvisionnement des données.
• Enregistrement des contrôles DQ métadonnées.

Conseil

La qualité des données (DQ) est assurée par la mise en place de points de contrôle tout au long de la chaîne d'approvisionnement. Ces points de contrôle doivent être appliqués à la fois lors de la saisie des données dans l'organisation et lors de leur intégration dans l'application utilisatrice, ainsi que lors de leurs déplacements et transformations au sein de la chaîne. Les contrôles de qualité des données comprennent l'application des règles métier, la définition des flux de travail, la définition des seuils de tolérance et le suivi des mouvements de données.

Questions

• Les points de contrôle sont-ils définis, vérifiés et documentés ?
• Les règles métier sont-elles définies, vérifiées, documentées et approuvées ?
• Les entreprises processus Les flux sont-ils définis et la manière dont ils gèrent les exceptions a-t-elle été vérifiée ?
• Les points de contrôle, les règles métier et processus flux opérationnels ?

Artefacts

• Documentation sur les points de contrôle, les règles métier et processus flux
• Contrôle processus examen et approbation

Score

Sous-capacité suivante

Description

Les points de contrôle tout au long de la chaîne d'approvisionnement des données capturent des indicateurs de qualité des données (DQ) qui servent à générer des tableaux de bord DQ permettant d'identifier les données défectueuses. La gestion des anomalies DQ doit être intégrée au processus de gestion des problèmes de l'initiative de gestion des données. processus doit assurer le suivi des problèmes jusqu'à leur résolution et fournir un service continu partie prenante communication.

Objectifs

• Définir un processus pour la gestion et la résolution des problèmes liés aux données.
• Piloter et prioriser les efforts de correction à l'aide des rapports de métriques DQ.
• Mettre en place une procédure et une infrastructure de signalement des problèmes.

Conseil

Partie prenante engagement, y compris l'engagement consommateur de données, La gestion des problèmes liés à la qualité des données est essentielle à leur réussite. Ces problèmes doivent être gérés à chaque étape de leur résolution : tri des anomalies, priorisation, analyse des causes profondes, correction de ces causes et restauration des données défectueuses. Partie prenante communication tout au long de ce processus est essentiel et doit inclure la communication avec le consommateur de données. Le consommateur de données doivent être informées de l'existence de données erronées et de leur impact sur leur activité. processus. Ils pourraient être amenés à participer à l'analyse et à la détermination d'une solution acceptable.

Outils importants pour soutenir la résolution processus Il s'agit d'un registre des problèmes et d'un système de suivi de leur statut. Le lien vers l'enregistrement du problème doit faire partie du métadonnées Ce document concerne tous les cas de données erronées. Il sera communiqué à tous les utilisateurs de l'organisation et permettra de limiter les efforts redondants lorsqu'un problème est détecté à plusieurs niveaux de la chaîne d'approvisionnement des données.

Souvent, notamment au début d'une initiative de gestion des données, le volume de données erronées peut dépasser les ressources nécessaires à la résolution des problèmes. Il est donc important de documenter la priorisation. processus Même si cela entraîne un arriéré de problèmes, le fait de les consigner dans le journal des incidents prouve que le problème était connu et évalué, plutôt que de découvrir de nouveaux problèmes dans le cadre d'un audit.

Questions

• Les rapports et tableaux de bord des indicateurs de qualité des données sont-ils diffusés régulièrement ?
• Des indicateurs sont-ils utilisés pour identifier les problèmes de qualité des données et mettre en œuvre des mesures correctives ?
• Les problèmes de qualité des données sont-ils pris en compte ? métadonnées?
• Les ressources adéquates en matière de gestion, d'exploitation, d'analyse, de données et de technologie sont-elles mobilisées pour définir les exigences de qualité des données ?

Artefacts

• Métriques de dimension DQ
• Rapports de métriques DQ, tableaux de bord, cartes thermiques et autres formes de résultats
• Liste des parties prenantes et preuves de communication bidirectionnelle

Score

Sous-capacité suivante

Description

Les données sont surveillées à des points de contrôle. Des points de contrôle doivent être établis aux endroits où les données entrent dans une entreprise. processus ou lorsqu'elle est intégrée à une application consommatrice. Pour assurer une surveillance continue, les données doivent être vérifiées à chaque entrée de données à l'un ou l'autre type de point de contrôle. Cette surveillance peut être effectuée en temps réel ou par lots. processus ou sur demande.

Objectifs

• Définir un processus pour la surveillance continue de la qualité des données.
• Mettre en place une infrastructure pour la surveillance continue de la qualité des données.

Conseil

Le processus La surveillance continue présente des coûts, des avantages et des défis opérationnels. Une forme d'automatisation est nécessaire pour la mettre en œuvre. Les systèmes existants ne sont souvent pas adaptés à la surveillance continue. Intégrer ces contrôles qualité au moment de la capture ou de l'utilisation des données serait prohibitif. Le défi consiste donc à définir une solution technique permettant d'exécuter ces contrôles au plus près du point de capture ou de chargement des données, à un coût acceptable.

Questions

• Y a-t-il un processus pour la surveillance continue de la qualité des données ?
• L'infrastructure nécessaire à la surveillance continue de la qualité des données est-elle en place ?
• Les points de contrôle définis et leurs correspondances qualité des données Des règles sont-elles surveillées ?

Artefacts

• Calendrier de surveillance de la qualité des données
• rapports de défauts DQ

Score