Deduplicación (vinculación de registros)
La deduplicación, o vinculación de registros, es el proceso de identificar registros que se refieren a la misma entidad real, como un productor o una parcela, dentro de un conjunto de datos o entre varios, y de fusionarlos o vincularlos para que cada entidad se cuente una sola vez.
También conocido como: vinculación de registros · resolución de entidades · detección de duplicados
¿Por qué es importante?
Los duplicados son frecuentes en los datos de primera milla: productores registrados por varios compradores, nombres escritos de distintas formas, nuevos registros cada temporada. Inflan el número de productores y la superficie de las parcelas, ocultan la venta paralela y permiten declarar dos veces los mismos volúmenes. La deduplicación también es un requisito previo para pagar primas de forma justa y focalizar bien los programas.
¿Cómo funciona?
- Estandarizar: limpiar nombres, fechas, formatos de teléfono y topónimos.
- Agrupar: limitar las comparaciones a candidatos plausibles, por ejemplo del mismo distrito.
- Comparar: calcular la similitud en varios atributos, incluida la superposición de parcelas.
- Puntuar y decidir: fusión automática para las coincidencias claras, revisión humana para las dudosas.
- Vincular: conservar un registro de los identificadores fusionados para no perder el historial.
Errores frecuentes
- Fusionar en exceso a personas distintas con nombres comunes en la misma comunidad, como familiares.
- Eliminar registros en lugar de vincularlos, lo que rompe la pista de auditoría.
- Deduplicar solo dentro de un conjunto de datos, cuando los duplicados abarcan a varios compradores.
- Basarse en los números de teléfono, que se comparten y cambian.
La deduplicación entre conjuntos de datos es uno de los controles precompetitivos del servicio de detección de fraude de Farmer1st.
Preguntas frecuentes
¿Cómo se detectan productores duplicados?
Comparando atributos como nombres (con variantes fonéticas y ortográficas), fechas de nacimiento, números de teléfono, números de identificación, comunidades, fotos y geometrías de parcelas; luego se puntúan los pares candidatos y se revisan las coincidencias dudosas.
¿La deduplicación entre empresas es compatible con la protección de datos?
Puede serlo, cuando existe una base legal como el consentimiento, el tratamiento se limita a lo necesario y las empresas no ven los datos comerciales de las demás. La gobernanza debe quedar documentada.
Cuéntenos sobre su cadena de suministro.
Diez minutos con nuestro asistente de definición. Le respondemos con un primer boceto de su servicio.
