Deduplikasi (penautan catatan)
Deduplikasi, atau penautan catatan (record linkage), adalah proses mengidentifikasi catatan yang merujuk pada entitas nyata yang sama, seperti petani atau bidang lahan, di dalam atau antar-set data, lalu menggabungkan atau menautkannya sehingga setiap entitas hanya dihitung satu kali.
Juga dikenal sebagai: penautan catatan (record linkage) · resolusi entitas · deteksi duplikat
Mengapa hal ini penting?
Duplikat sering muncul dalam data first mile (hulu rantai pasok): petani didaftarkan oleh beberapa pembeli, nama dieja berbeda, atau pendaftaran ulang setiap musim. Duplikat menggelembungkan jumlah petani dan luas lahan, menyembunyikan side-selling, dan memungkinkan volume dilaporkan dua kali. Deduplikasi juga menjadi prasyarat untuk pembayaran premi yang adil dan penentuan sasaran program.
Bagaimana cara kerjanya?
- Standarkan: bersihkan nama, tanggal, format nomor telepon, dan nama tempat.
- Kelompokkan: batasi perbandingan pada kandidat yang masuk akal, misalnya di kabupaten yang sama.
- Bandingkan: hitung kemiripan pada beberapa atribut, termasuk tumpang tindih bidang lahan.
- Beri skor dan putuskan: gabungkan otomatis untuk kecocokan yang jelas, tinjau secara manual untuk yang meragukan.
- Tautkan: simpan catatan ID yang digabungkan agar riwayatnya tidak hilang.
Kesalahan yang sering terjadi
- Menggabungkan orang berbeda yang namanya umum di desa yang sama, misalnya kerabat.
- Menghapus catatan alih-alih menautkannya, sehingga jejak audit terputus.
- Melakukan deduplikasi hanya dalam satu set data, padahal duplikat tersebar di beberapa pembeli.
- Mengandalkan nomor telepon, yang sering dipakai bersama dan berganti.
Deduplikasi lintas set data merupakan salah satu pemeriksaan prakompetitif dalam layanan deteksi kecurangan Farmer1st.
Pertanyaan yang sering diajukan
Bagaimana petani ganda dideteksi?
Dengan membandingkan atribut seperti nama (termasuk variasi fonetik dan ejaan), tanggal lahir, nomor telepon, nomor identitas, desa, foto, dan geometri bidang lahan. Pasangan kandidat kemudian diberi skor, dan kecocokan yang meragukan ditinjau.
Apakah deduplikasi lintas perusahaan sejalan dengan pelindungan data?
Bisa, jika ada dasar hukum yang sah seperti persetujuan, pemrosesan dibatasi pada yang diperlukan, dan perusahaan tidak dapat melihat data komersial satu sama lain. Tata kelolanya perlu didokumentasikan.
Ceritakan rantai pasok Anda.
Sepuluh menit bersama asisten pelingkupan kami. Kami kembali kepada Anda dengan sketsa pertama layanan Anda.
