Deduplikasi (pautan rekod)
Deduplikasi, atau pautan rekod, ialah proses mengenal pasti rekod yang merujuk entiti dunia sebenar yang sama, seperti petani atau plot, merentasi atau dalam set data, lalu menggabung atau memautkannya supaya setiap entiti dikira sekali.
Juga dikenali sebagai: pautan rekod · penyelesaian entiti · pengesanan pendua
Mengapa ia penting?
Pendua adalah perkara biasa dalam data batu pertama: petani didaftarkan oleh beberapa pembeli, nama dieja berbeza, pendaftaran semula setiap musim. Ia menggelembungkan bilangan petani dan keluasan plot, menyembunyikan jualan sampingan dan membolehkan jumlah dinyatakan dua kali. Deduplikasi juga syarat utama bagi pembayaran premium yang adil dan sasaran program.
Bagaimana ia berfungsi?
- Piawaikan: bersihkan nama, tarikh, format telefon dan nama tempat.
- Blok: hadkan perbandingan kepada calon yang munasabah, contohnya daerah yang sama.
- Banding: kira persamaan pada beberapa atribut, termasuk bertindih plot.
- Skor dan putuskan: gabungan automatik untuk padanan yang jelas, semakan manusia untuk yang tidak pasti.
- Pautkan: simpan rekod ID yang digabungkan supaya sejarah tidak hilang.
Perangkap biasa
- Menggabungkan secara berlebihan orang berbeza dengan nama biasa dalam kampung yang sama, seperti saudara-mara.
- Memadam rekod berbanding memautkannya, yang merosakkan jejak audit.
- Deduplikasi hanya dalam satu set data, sedangkan pendua merentasi pembeli.
- Bergantung pada nombor telefon, yang dikongsi dan berubah.
Deduplikasi merentasi set data ialah salah satu semakan pra-kompetitif dalam perkhidmatan pengesanan penipuan Farmer1st.
Soalan lazim
Bagaimana petani pendua dikesan?
Dengan membandingkan atribut seperti nama (termasuk variasi fonetik dan ejaan), tarikh lahir, nombor telefon, nombor pengenalan, kampung, foto dan geometri plot, kemudian memberi skor kepada pasangan calon serta menyemak semula padanan yang tidak pasti.
Adakah deduplikasi merentasi syarikat selaras dengan perlindungan data?
Ia boleh selaras, apabila terdapat asas sah seperti persetujuan, pemprosesan terhad kepada apa yang perlu, dan syarikat tidak melihat data komersial antara satu sama lain. Tadbir urus harus didokumenkan.
Beritahu kami tentang rantaian bekalan anda.
Sepuluh minit bersama pembantu skop kami. Kami akan kembali dengan lakaran awal perkhidmatan anda.
