Deduplicação (vinculação de registros)
Deduplicação, ou vinculação de registros, é o processo de identificar registros que se referem à mesma entidade real, como um produtor ou uma parcela, em uma ou em várias bases de dados, e de uni-los ou vinculá-los para que cada entidade seja contada uma única vez.
Também conhecido como: vinculação de registros · resolução de entidades · detecção de duplicidades
Por que isso importa?
Duplicidades são comuns nos dados da primeira milha: produtores cadastrados por vários compradores, nomes escritos de formas diferentes, recadastramentos a cada safra. Elas inflam o número de produtores e a área das parcelas, escondem a venda paralela e permitem que volumes sejam declarados duas vezes. A deduplicação também é pré-requisito para o pagamento justo de prêmios e para a focalização dos programas.
Como funciona?
- Padronizar: limpar nomes, datas, formatos de telefone e nomes de lugares.
- Agrupar (blocking): limitar as comparações a candidatos plausíveis, por exemplo do mesmo município.
- Comparar: calcular a similaridade em vários atributos, incluindo a sobreposição das parcelas.
- Pontuar e decidir: união automática para correspondências claras, revisão humana para as incertas.
- Vincular: manter o registro dos IDs unidos, para que o histórico não se perca.
Erros comuns
- Unir indevidamente pessoas diferentes com nomes comuns na mesma comunidade, como parentes.
- Excluir registros em vez de vinculá-los, o que quebra a trilha de auditoria.
- Deduplicar apenas dentro de uma base, quando as duplicidades se espalham entre compradores.
- Confiar em números de telefone, que são compartilhados e mudam.
A deduplicação entre bases de dados é uma das verificações pré-competitivas do serviço de detecção de fraudes da Farmer1st.
Perguntas frequentes
Como se detectam produtores duplicados?
Comparando atributos como nomes (com variações fonéticas e de grafia), datas de nascimento, telefones, números de documento, comunidades, fotos e geometrias das parcelas, pontuando os pares candidatos e revisando as correspondências incertas.
A deduplicação entre empresas é compatível com a proteção de dados?
Pode ser, quando há base legal, como o consentimento, o tratamento se limita ao necessário e as empresas não veem os dados comerciais umas das outras. A governança deve ser documentada.
Conte-nos sobre sua cadeia de suprimentos.
Dez minutos com nosso assistente de escopo. Voltamos com um primeiro esboço do seu serviço.
