Data profiling : comment auditer la qualité d’une base de données en 5 étapes

La plupart des entreprises ont une intuition sur l’état de leurs données « nos fichiers ne sont pas terribles » mais aucun chiffre. Cette intuition ne permet ni de prioriser, ni de budgéter, ni de décider. Le data profiling est ce qui fait passer du ressenti au mesuré : l’examen méthodique de données destinées à en établir l’état de santé objectif. C’est le diagnostic qui doit précéder toute action corrective, car nettoyer une base sans l’avoir profilée revient à prescrire un traitement sans avoir posé de diagnostic.

Dans cet article, je vous propose une méthode en cinq étapes applicable à une base de prospection ou à un fichier client afin de savoir quelle décision prendre face à chaque anomalie détectée.

Qu’est-ce que le data profiling ?

Le data profiling, ou profilage des données, est le processus d’analyse d’un jeu de données visant à en comprendre la structure, le contenu et la fiabilité. Concrètement, il consiste à calculer des statistiques sur chaque champ (taux de remplissage, valeurs distinctes, formats rencontrés, valeurs aberrantes)  afin de dresser un état des lieux chiffré de la qualité.

Il ne faut pas le confondre avec le nettoyage de données. Le profiling observe et mesure, il ne modifie rien. Le nettoyage corrige. L’ordre entre les deux n’est pas indifférent : profiler d’abord permet de savoir quoi corriger, dans quel volume et avec quelle priorité. Nettoyer sans profiler, c’est traiter au hasard ce qu’on croit être le problème et découvrir trop tard que l’anomalie principale se trouvait ailleurs.

Le profiling se distingue également de l’évaluation de la qualité au sens large. Le profiling est la phase d’observation ; l’évaluation consiste à confronter ces observations aux règles métier pour dire si la qualité est suffisante. Le premier produit des faits, la seconde produit un jugement. On ne peut pas rendre le jugement sans les faits.

Les trois dimensions d’un profiling complet

La littérature spécialisée distingue trois familles d’analyse, souvent désignées par leurs noms anglais. Traduites dans le contexte d’une base commerciale, elles deviennent immédiatement plus parlantes.

L’analyse de structure (structure discovery) vérifie la forme des données : les valeurs d’un champ respectent-elles le format attendu ? Sur une base de prospection, cela signifie contrôler que le champ e-mail contient bien une syntaxe valide, que le code postal comporte cinq chiffres, que le SIRET en compte quatorze, que le pavé adresse suit la structure attendue. C’est l’analyse la plus mécanique, et souvent la plus rentable : elle détecte en quelques minutes des masses d’anomalies invisibles à l’œil nu.

L’analyse de contenu (content discovery) descend au niveau de la valeur elle-même. Le format peut être correct et la valeur fausse. Une adresse e-mail syntaxiquement valide peut pointer vers un domaine inexistant. Un code postal bien écrit peut ne correspondre à aucune commune. Un champ « fonction » peut contenir des dizaines de variantes désignant la même chose — « DG », « Directeur Général », « dir. général ». C’est ici que l’on repère les valeurs, les champs vides déguisés en « N/A », et les incohérences de saisie.

L’analyse de relations (relationship discovery) examine les liens entre les enregistrements et entre les sources. C’est elle qui révèle les doublons — le même contact présent plusieurs fois sous des orthographes différentes — mais aussi les incohérences entre systèmes : un contact dont l’entreprise diffère entre le CRM et l’outil d’e-mailing, ou des contacts rattachés à une société qui n’existe plus dans le référentiel.

Conseil d'Expert

Un profiling limité à l’analyse de structure donne une fausse impression de propreté, et c’est l’erreur la plus fréquente que l’on observe sur le terrain. Un fichier peut afficher 98 % de conformité de format et se révéler inexploitable, simplement parce que les adresses sont bien écrites mais périmées. Si vous ne devez creuser qu’une seule dimension au-delà de la structure, choisissez le contenu : c’est là que se cachent les pertes réelles.

Auditer la qualité d’une base de données en 5 étapes

Étape 1 : définir le périmètre et l’usage attendu

Le réflexe le plus courant, et le plus contre-productif, consiste à vouloir tout auditer. Un profiling exhaustif sur une base de plusieurs dizaines de champs produit un rapport que personne n’exploitera. Le premier geste est donc de restreindre.

Restreindre suppose de partir de l’usage. La qualité n’est pas une propriété absolue : une donnée est bonne ou mauvaise relativement à ce qu’on veut en faire. Une base destinée à une campagne e-mailing exige des adresses valides et un consentement traçable, mais tolère un champ « effectif » incomplet. La même base destinée à un ciblage sectoriel exige l’inverse. Commencez donc par écrire ce que vous voulez faire de cette base dans les trois prochains mois, puis identifiez les champs critiques pour cet usage.

Fixez ensuite le périmètre technique : quelle base, quelle table, quelle période, quel volume. Et prévoyez un échantillon si le volume est important.

Étape 2 : profiler la structure de chaque champ critique

Cette étape se prête bien à l’automatisation. Pour chacun des champs retenus, calculez trois indicateurs.

Le taux de remplissage d’abord : quelle proportion d’enregistrements contient une valeur ? Attention au piège des faux remplis : les champs contenant « N/A », « inconnu », « à compléter », un tiret ou un espace comptent comme remplis pour l’ordinateur, mais sont vides en pratique.

Le taux de conformité au format ensuite : quelle proportion des valeurs respecte le gabarit attendu ? Un e-mail sans arobase, un code postal à quatre chiffres, un téléphone comportant des lettres sont des non-conformités de structure, détectables par une simple règle.

Le nombre de valeurs distinctes enfin, très révélateur. Un champ « civilité » qui compte trente valeurs distinctes sur une base de contacts signale un problème évident de saisie libre. À l’inverse, un champ censé être un identifiant unique dont le nombre de valeurs distinctes est inférieur au nombre de lignes révèle immédiatement des doublons.

Étape 3 : analyser le contenu et détecter les anomalies de valeur

On passe ici du contrôle de forme au contrôle de fond, plus exigeant mais bien plus riche en enseignements.

Commencez par examiner la distribution des valeurs sur les champs à modalités limitées : civilité, secteur, département, taille d’entreprise. Une distribution anormale saute aux yeux comme un pic sur une valeur unique qui trahit souvent une valeur par défaut jamais modifiée, une longue traîne de valeurs à un seul enregistrement trahit une saisie libre non contrôlée.

Traquez ensuite les valeurs bizarres sur les champs numériques et les dates. Une date de création antérieure à la fondation de l’entreprise, un effectif de zéro salarié, un chiffre d’affaires manifestement hors échelle sont des signaux d’erreur de saisie ou d’import mal paramétré.

Contrôlez enfin la fraîcheur, souvent absente des audits alors qu’elle conditionne tout. Regardez la date de dernière mise à jour des enregistrements et sa distribution. En B2B, une donnée non rafraîchie perd de l’ordre d’un cinquième de sa validité chaque année ; l’âge des fiches est donc un indicateur de qualité à part entière.

Étape 4 : identifier les doublons et les incohérences entre sources

C’est l’étape la plus technique, et celle qui produit souvent les découvertes les plus coûteuses.

La détection des doublons impose un préalable : normaliser la base de données avant de comparer. Deux fiches portant « 12 bd Maréchal Foch » et « 12 Boulevard du Marechal-Foch » désignent la même adresse, mais sont, pour un algorithme, deux chaînes différentes. Sans normalisation préalable, la comparaison exacte les laisse passer et il faut basculer sur du rapprochement approché, plus lent et moins fiable. L’ordre correct est donc toujours : normaliser, puis rapprocher.

Choisissez ensuite votre clé de rapprochement, car elle détermine ce que vous appelez un doublon. Rapprocher sur l’e-mail identifie les doublons stricts d’individus. Rapprocher sur nom + adresse identifie les doublons de personne saisie deux fois. Rapprocher sur l’adresse seule identifie les doublons de foyer — pertinent pour un envoi papier, inapproprié pour une communication nominative. Ce choix n’est pas technique, il est stratégique.

Enfin, si votre donnée vit dans plusieurs systèmes, comparez-les. Prenez un échantillon de contacts présents à la fois dans le CRM et dans l’outil d’e-mailing, et mesurez le taux de divergence sur les champs clés.

Conseil d'Expert

Ne jamais lancer une déduplication en mode automatique sur un premier audit. Faites tourner l’algorithme en mode détection seule, puis contrôlez manuellement une centaine de paires rapprochées avant de valider la règle. Les fusions abusives (deux homonymes à la même adresse, un siège et son établissement secondaire) sont bien plus difficiles à réparer qu’un doublon laissé en place, car l’information supprimée est définitivement perdue. En cas de doute sur une paire, la bonne décision est de marquer, pas de fusionner.

Étape 5 : consolider en un rapport décisionnel, pas en un rapport technique

C’est ici que la majorité des audits échouent. On produit un tableau exhaustif de pourcentages, on le transmet, et rien ne se passe. Un rapport de profiling n’a de valeur que s’il déclenche des décisions.

Pour qu’il en déclenche, il doit être construit autour de trois éléments. Un score global d’abord, ou quelques indicateurs synthétiques — taux de contacts pleinement exploitables, taux de doublons, âge médian des fiches. Ces chiffres donnent le thermomètre et permettent de suivre la progression dans le temps. Une hiérarchisation ensuite : toutes les anomalies ne se valent pas. Classez-les par impact sur l’usage prévu, pas par volume. Cinq cents adresses invalides sur une base destinée à un mailing papier importent davantage que cinq mille champs « secteur » vides. Une action associée à chaque anomalie enfin, et c’est le point décisif.

Que faire de chaque anomalie détectée ?

Voici la traduction opérationnelle qui manque à la plupart des audits. À chaque type d’anomalie correspond une décision par défaut.

Un champ mal formaté mais dont la valeur est récupérable — casse incohérente, ponctuation parasite, adresse mal structurée — relève de la correction automatisée. C’est le cas le plus favorable : un traitement de normalisation le résout en masse, sans arbitrage.

Un champ vide sur une donnée non critique relève de l’enrichissement, si le champ sert à l’usage prévu, ou de l’acceptation s’il n’y sert pas. Ne dépensez pas pour compléter ce que vous n’utiliserez pas.

Une valeur fausse et non récupérable — e-mail au domaine inexistant, adresse non validée par les référentiels postaux — relève de l’écartement. Ces enregistrements ne doivent pas partir en campagne. Les conserver coûte en fabrication, en affranchissement et, dans le cas de l’e-mail, en réputation d’expéditeur.

Un doublon relève de la fusion, avec une règle de survivance définie en amont : quelle fiche fait foi ? La plus récente, la plus complète, celle issue de la source de référence ? Cette règle doit être écrite avant la fusion, jamais improvisée pendant.

Une fiche techniquement correcte mais trop ancienne relève du rafraîchissement ou de la mise en quarantaine. C’est le cas le plus sournois : rien n’y paraît faux, et pourtant la fiche ne produira aucun résultat.

Enfin, une anomalie qui se répète systématiquement sur un même segment ne relève pas de la correction, mais du changement de processus ou de source. Si 30 % des contacts issus d’un fournisseur donné présentent le même défaut, corriger ces fiches ne fait que traiter le symptôme. Le problème est à l’entrée.

Quels outils utiliser selon votre niveau

Il n’est pas nécessaire de s’équiper lourdement pour commencer. Un tableur suffit pour un premier profiling sur un fichier de taille modeste : les fonctions de comptage, de valeurs distinctes et de mise en forme conditionnelle permettent de calculer taux de remplissage et distributions. Power Query, intégré à Excel et Power BI, offre des fonctionnalités de profilage rapides et visuelles très adaptées à un premier audit.

Un cran au-dessus, des outils comme OpenRefine, gratuit et pensé pour l’exploration et le nettoyage de jeux de données, permettent de traiter des volumes plus importants et de repérer les variantes de saisie. Côté développement, quelques lignes de Python avec une bibliothèque de profilage génèrent un rapport complet automatiquement.

Pour les organisations qui industrialisent la démarche, les solutions de data quality du marché intègrent profilage, règles de validation et suivi dans le temps.