Khử trùng lặp (liên kết bản ghi)
Khử trùng lặp, hay liên kết bản ghi, là quá trình xác định các bản ghi cùng chỉ về một thực thể thực tế — như một nông dân hoặc một thửa đất — trong hoặc giữa các tập dữ liệu, rồi gộp hoặc liên kết chúng để mỗi thực thể chỉ được tính một lần.
Còn được gọi là: liên kết bản ghi · phân giải thực thể · phát hiện trùng lặp
Vì sao điều này quan trọng?
Trùng lặp là hiện tượng phổ biến trong dữ liệu chặng đầu: nông dân được nhiều bên thu mua đăng ký, tên viết khác nhau, đăng ký lại mỗi mùa vụ. Điều này làm phồng số lượng nông dân và diện tích thửa đất, che giấu bán chéo và khiến sản lượng bị khai báo hai lần. Khử trùng lặp cũng là điều kiện tiên quyết để chi trả phần thưởng công bằng và nhắm đúng đối tượng chương trình.
Quá trình này diễn ra như thế nào?
- Chuẩn hóa: làm sạch tên, ngày tháng, định dạng số điện thoại và tên địa danh.
- Phân nhóm: giới hạn phạm vi so sánh trong các ứng viên hợp lý, ví dụ cùng một huyện.
- So sánh: tính độ tương đồng trên nhiều thuộc tính, bao gồm cả chồng lấn thửa đất.
- Chấm điểm và quyết định: tự động gộp với các trường hợp rõ ràng, rà soát thủ công với các trường hợp chưa chắc chắn.
- Liên kết: lưu lại lịch sử các ID đã gộp để không làm mất dấu vết.
Những sai lầm thường gặp
- Gộp nhầm những người khác nhau có tên trùng phổ biến trong cùng một làng, chẳng hạn người thân.
- Xóa bản ghi thay vì liên kết chúng, làm đứt gãy dấu vết kiểm toán.
- Chỉ khử trùng lặp trong một tập dữ liệu, trong khi trùng lặp trải rộng trên nhiều bên thu mua.
- Phụ thuộc vào số điện thoại, vốn dễ dùng chung và thay đổi.
Khử trùng lặp xuyên tập dữ liệu là một trong những bước kiểm tra tiền cạnh tranh trong dịch vụ phát hiện gian lận của Farmer1st.
Câu hỏi thường gặp
Làm thế nào để phát hiện các bản ghi nông dân trùng lặp?
Bằng cách so sánh các thuộc tính như tên (bao gồm biến thể phát âm và chính tả), ngày sinh, số điện thoại, số giấy tờ tùy thân, làng xã, ảnh và hình học thửa đất, sau đó chấm điểm các cặp nghi ngờ và rà soát thủ công những trường hợp chưa rõ ràng.
Khử trùng lặp giữa các doanh nghiệp có phù hợp với quy định bảo vệ dữ liệu không?
Có thể phù hợp, khi có cơ sở pháp lý như sự đồng ý, việc xử lý dữ liệu được giới hạn ở mức cần thiết, và các doanh nghiệp không nhìn thấy dữ liệu thương mại của nhau. Cơ chế quản trị cần được lập thành văn bản rõ ràng.
Hãy cho chúng tôi biết về chuỗi cung ứng của bạn.
Chỉ mười phút với trợ lý khảo sát của chúng tôi. Chúng tôi sẽ phản hồi với bản phác thảo đầu tiên cho dịch vụ của bạn.
