Dédoublonnage (appariement d’enregistrements)
Le dédoublonnage, ou appariement d’enregistrements, consiste à repérer les enregistrements qui désignent une même entité réelle, comme un producteur ou une parcelle, au sein d’un jeu de données ou entre plusieurs, puis à les fusionner ou à les relier pour que chaque entité ne soit comptée qu’une fois.
Aussi appelé: appariement d’enregistrements · résolution d’entités · détection des doublons
Pourquoi est-ce important ?
Les doublons sont fréquents dans les données du premier kilomètre : producteurs enregistrés par plusieurs acheteurs, noms orthographiés différemment, réinscriptions à chaque campagne. Ils gonflent le nombre de producteurs et les surfaces des parcelles, masquent les ventes parallèles et permettent de déclarer deux fois les mêmes volumes. Le dédoublonnage est aussi un préalable au juste versement des primes et au bon ciblage des programmes.
Comment cela fonctionne-t-il ?
- Normaliser : nettoyer les noms, les dates, les formats de téléphone et les noms de lieux.
- Regrouper : limiter les comparaisons aux candidats plausibles, par exemple au sein d’un même district.
- Comparer : calculer la similarité sur plusieurs attributs, dont le chevauchement des parcelles.
- Noter et décider : fusion automatique pour les correspondances nettes, examen humain pour les cas incertains.
- Relier : garder la trace des identifiants fusionnés pour ne pas perdre l’historique.
Erreurs fréquentes
- Fusionner à tort des personnes différentes portant un nom courant dans le même village, comme des membres d’une même famille.
- Supprimer des enregistrements au lieu de les relier, ce qui rompt la piste d’audit.
- Dédoublonner au sein d’un seul jeu de données alors que les doublons concernent plusieurs acheteurs.
- S’appuyer sur les numéros de téléphone, qui sont partagés et changent.
Le dédoublonnage entre jeux de données fait partie des contrôles précompétitifs du service de détection de la fraude de Farmer1st.
Questions fréquentes
Comment détecte-t-on les producteurs en double ?
En comparant des attributs comme les noms (avec leurs variantes phonétiques et orthographiques), les dates de naissance, les numéros de téléphone, les numéros d’identité, les villages, les photos et les géométries de parcelles, puis en notant les paires candidates et en examinant les correspondances incertaines.
Le dédoublonnage entre entreprises est-il compatible avec la protection des données ?
Il peut l’être, dès lors qu’il repose sur une base légale comme le consentement, que le traitement se limite au nécessaire et que les entreprises ne voient pas les données commerciales des autres. La gouvernance doit être documentée.
Parlez-nous de votre chaîne d’approvisionnement.
Dix minutes avec notre assistant de cadrage. Nous revenons vers vous avec une première ébauche de votre service.
