Luận văn thạc sĩ về hệ thống phân tích dữ liệu trùng lặp sử dụng kỹ thuật machine learning

Luận văn thạc sĩ VNU nghiên cứu hệ thống phân tích dữ liệu trùng lặp bằng kỹ thuật machine learning, tối ưu hóa quy trình xử lý dữ liệu.

• Tác giả: Eliodor Ednalson Guy Mirlin
• Người hướng dẫn: Pierre Bonnet, Coo-Orchestra Networks, Expert En Si
• Trường học: Université Nationale Du Vietnam, Hanoi Institut Francophone International
• Chuyên ngành: Systèmes Intelligents et Multimédia
• Đề tài: Hệ Thống Phân Tích Dữ Liệu Trùng Lặp Sử Dụng Kĩ Thuật Machine Learning
• Loại tài liệu: Mémoire De Fin D’études Du Master Informatique
• Năm xuất bản: 2018
• Địa điểm: Hanoi

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: INTRODUCTION
• 1.1. Contribution
• 1.2. Organisation du rapport
• 2. CHƯƠNG 2: VUE D’ENSEMBLE
• 2.1. Définition du problème
• 2.2. Qualité des données
• 2.3. Nettoyage des données
• 2.4. Problèmes causés par les données dupliquées
• 2.5. Platform
• 2.5.1. Pourquoi une solution MDM
• 3. CHƯƠNG 3: ETAT DE L’ART
• 3.1. Mesures de similarité : revue de l’existant
• 3.1.1. Le problème de la comparaison des chaı̂nes de caractères
• 3.1.1.1. Métriques basées sur des caractères
• 3.1.1.2. Métriques basées sur des Tokens(Lexèmes)
• 3.1.2. Mesures de similarité numériques
• 3.1.3. Detection des enregistrements dupliqués
• 3.1.3.1. Techniques basées sur des règles
• 3.1.3.2. Techniques basées sur la distance
• 3.1.3.3. Utilisation d’algorithmes d’apprentissage pour combiner des fonctions de similarité
• 3.1.3.4. Apprentissage non-supervisé
• 4. CHƯƠNG 4: SOLUTION PROPOSÉE
• 4.1. Blocage et calcul de distance
• 4.1.1. Prétraitement des données
• 4.1.2. Configuration de l’expérience
• 4.1.3. Choix du bon seuil
• 4.1.4. Jeux de données
• 4.1.5. Analyse des expériences
• 4.2. Appariement flou ou Correspondance Approximative(Fuzzy matching)
• 4.2.1. Correspondance Approximative sur un(1) champ
• 4.2.2. Correspondance Approximative sur un(3) champs
• 6. CHƯƠNG 6: CONCLUSION ET PERSPECTIVES
• BIBLIOGRAPHIE
• GLOSSAIRE

Tóm tắt

I. Tổng quan về hệ thống phân tích dữ liệu trùng lặp bằng machine learning

Hệ thống phân tích dữ liệu trùng lặp là một phần quan trọng trong quản lý dữ liệu hiện đại. Với sự phát triển của công nghệ, việc áp dụng machine learning vào phân tích dữ liệu đã trở thành một xu hướng tất yếu. Hệ thống này không chỉ giúp phát hiện các bản ghi trùng lặp mà còn cải thiện chất lượng dữ liệu tổng thể. Việc sử dụng các thuật toán học máy cho phép tự động hóa quá trình này, giảm thiểu sai sót do con người và tiết kiệm thời gian xử lý.

1.1. Định nghĩa và tầm quan trọng của phân tích dữ liệu trùng lặp

Phân tích dữ liệu trùng lặp là quá trình xác định và loại bỏ các bản ghi giống nhau trong cơ sở dữ liệu. Điều này rất quan trọng vì dữ liệu trùng lặp có thể dẫn đến quyết định sai lầm trong kinh doanh. Theo một nghiên cứu, khoảng 30% dữ liệu trong các tổ chức là trùng lặp, gây ra chi phí lớn cho doanh nghiệp.

1.2. Các ứng dụng của hệ thống phân tích dữ liệu trùng lặp

Hệ thống phân tích dữ liệu trùng lặp có thể được áp dụng trong nhiều lĩnh vực như tài chính, y tế, và thương mại điện tử. Ví dụ, trong ngành y tế, việc loại bỏ dữ liệu trùng lặp giúp bác sĩ có được thông tin chính xác về bệnh nhân, từ đó đưa ra quyết định điều trị hiệu quả hơn.

II. Vấn đề và thách thức trong phân tích dữ liệu trùng lặp

Mặc dù có nhiều lợi ích, việc phân tích dữ liệu trùng lặp cũng gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là sự đa dạng của dữ liệu. Dữ liệu có thể đến từ nhiều nguồn khác nhau và có định dạng khác nhau, điều này làm cho việc phát hiện trùng lặp trở nên khó khăn hơn. Ngoài ra, chất lượng dữ liệu cũng là một yếu tố quan trọng ảnh hưởng đến kết quả phân tích.

2.1. Các vấn đề phổ biến trong dữ liệu trùng lặp

Một số vấn đề phổ biến bao gồm sự không nhất quán trong định dạng dữ liệu, lỗi chính tả, và sự khác biệt trong cách ghi nhận thông tin. Những vấn đề này có thể dẫn đến việc không phát hiện được các bản ghi trùng lặp, từ đó ảnh hưởng đến chất lượng dữ liệu.

2.2. Thách thức trong việc áp dụng machine learning

Việc áp dụng machine learning vào phân tích dữ liệu trùng lặp cũng gặp phải nhiều thách thức. Một trong số đó là việc lựa chọn thuật toán phù hợp và tối ưu hóa các tham số. Ngoài ra, việc thu thập và chuẩn bị dữ liệu cũng rất quan trọng để đảm bảo rằng mô hình học máy hoạt động hiệu quả.

III. Phương pháp sử dụng machine learning trong phân tích dữ liệu trùng lặp

Có nhiều phương pháp khác nhau để áp dụng machine learning vào phân tích dữ liệu trùng lặp. Các phương pháp này bao gồm học có giám sát, học không giám sát và các kỹ thuật kết hợp. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào loại dữ liệu và mục tiêu phân tích.

3.1. Học có giám sát trong phân tích dữ liệu trùng lặp

Học có giám sát là phương pháp phổ biến nhất trong phân tích dữ liệu trùng lặp. Phương pháp này yêu cầu một tập dữ liệu đã được gán nhãn để huấn luyện mô hình. Các thuật toán như hồi quy logistic và cây quyết định thường được sử dụng trong trường hợp này.

3.2. Học không giám sát và các kỹ thuật clustering

Học không giám sát là một phương pháp khác có thể được sử dụng để phát hiện dữ liệu trùng lặp mà không cần gán nhãn. Các kỹ thuật clustering như K-means và DBSCAN có thể giúp nhóm các bản ghi tương tự lại với nhau, từ đó phát hiện các bản ghi trùng lặp.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu cho thấy rằng việc áp dụng machine learning vào phân tích dữ liệu trùng lặp có thể cải thiện đáng kể chất lượng dữ liệu. Các thử nghiệm đã chỉ ra rằng các mô hình học máy có thể phát hiện và loại bỏ các bản ghi trùng lặp với độ chính xác cao. Điều này không chỉ giúp tiết kiệm thời gian mà còn giảm thiểu chi phí cho doanh nghiệp.

4.1. Kết quả từ các thử nghiệm thực tế

Các thử nghiệm thực tế cho thấy rằng việc sử dụng các thuật toán học máy có thể giảm thiểu tỷ lệ dữ liệu trùng lặp xuống dưới 5%. Điều này cho thấy hiệu quả của việc áp dụng công nghệ mới vào quản lý dữ liệu.

4.2. Ứng dụng trong các lĩnh vực khác nhau

Hệ thống phân tích dữ liệu trùng lặp đã được áp dụng thành công trong nhiều lĩnh vực như tài chính, y tế và thương mại điện tử. Các doanh nghiệp đã ghi nhận sự cải thiện rõ rệt trong chất lượng dữ liệu và hiệu quả hoạt động.

V. Kết luận và tương lai của hệ thống phân tích dữ liệu trùng lặp

Hệ thống phân tích dữ liệu trùng lặp bằng machine learning đang trở thành một công cụ không thể thiếu trong quản lý dữ liệu hiện đại. Tương lai của hệ thống này hứa hẹn sẽ còn phát triển hơn nữa với sự tiến bộ của công nghệ. Việc áp dụng các thuật toán học sâu và trí tuệ nhân tạo có thể mở ra nhiều cơ hội mới trong việc cải thiện chất lượng dữ liệu.

5.1. Xu hướng phát triển trong tương lai

Trong tương lai, việc áp dụng các công nghệ mới như trí tuệ nhân tạo và học sâu sẽ giúp cải thiện khả năng phát hiện dữ liệu trùng lặp. Các mô hình phức tạp hơn sẽ được phát triển để xử lý các loại dữ liệu phức tạp hơn.

5.2. Tầm quan trọng của chất lượng dữ liệu

Chất lượng dữ liệu sẽ tiếp tục là một yếu tố quan trọng trong việc ra quyết định của doanh nghiệp. Việc duy trì và cải thiện chất lượng dữ liệu sẽ giúp các tổ chức hoạt động hiệu quả hơn và đạt được mục tiêu kinh doanh.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và dữ liệu lớn, dữ liệu được xem là tài sản chiến lược quyết định năng lực cạnh tranh và sự phát triển bền vững của doanh nghiệp. Tuy nhiên, các khảo sát thực tế trong ngành quản trị thông tin chỉ ra rằng có hơn 80% dữ liệu bị trùng lặp hoặc tồn tại ở dạng biến thể giữa các hệ thống lưu trữ phân tán. Tình trạng dữ liệu trùng lặp không chỉ làm tiêu tốn dung lượng lưu trữ mà còn trực tiếp gây sai lệch trong phân tích kinh doanh, tăng chi phí vận hành và tiềm ẩn nhiều rủi ro pháp lý nghiêm trọng.

Vấn đề cốt lõi đặt ra là làm thế nào để tự động nhận dạng, liên kết và hợp nhất các bản ghi đại diện cho cùng một thực thể thế giới thực từ các nguồn dữ liệu không đồng nhất nhằm tạo ra một bản ghi chuẩn duy nhất (Golden Record). Đề tài tập trung nghiên cứu, xây dựng và hoàn thiện hệ thống phân tích dữ liệu trùng lặp ứng dụng kỹ thuật Học máy (Machine Learning) kết hợp Học chủ động (Active Learning). Mục tiêu cụ thể là khắc phục các hạn chế cố hữu của phương pháp đối sánh dựa trên quy tắc tĩnh và ngưỡng thủ công, từ đó nâng cao chất lượng quản trị dữ liệu chủ (Master Data Management - MDM).

Nghiên cứu được triển khai trong khuôn khổ chương trình đào tạo Thạc sĩ Tin học chuyên ngành Hệ thống Thông minh và Đa phương tiện tại Viện Quốc tế Pháp ngữ (Đại học Quốc gia Hà Nội) phối hợp cùng công ty Orchestra Networks vào năm 2018. Kết quả nghiên cứu đóng vai trò nền tảng để cải tiến thuật toán khử trùng dữ liệu trên nền tảng thương mại EBX, tối ưu hóa đồng thời hai chỉ số độ chính xác (Precision) và độ phủ (Recall), hỗ trợ doanh nghiệp đưa ra các quyết định chuẩn xác dựa trên nguồn dữ liệu tin cậy.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết Quản trị Dữ liệu Chủ (MDM) và các nguyên lý bảo đảm chất lượng dữ liệu (Data Quality Management - DQM). Về bản chất, bài toán khử trùng lặp (Deduplication / Record Linkage) là quá trình xác định hai hay nhiều bản ghi có cùng một đối tượng thực tế dù có sự khác biệt về cách nhập liệu hay lỗi chính tả.

Khung lý thuyết phân tích các thước đo độ tương đồng chuỗi theo 3 nhóm chính:

• Thước đo dựa trên ký tự: Khoảng cách Hamming, Levenshtein, Jaro và Jaro-Winkler (sử dụng hệ số tiền tố p = 0.1 nhằm ưu tiên các chuỗi có tiền tố chung tối đa 4 ký tự).
• Thước đo dựa trên Token: TF-IDF (Term Frequency - Inverse Document Frequency) và hệ số tương đồng Jaccard giúp đánh giá độ trùng khớp giữa các tập hợp từ mà không phụ thuộc vào thứ tự từ.
• Thước đo hỗn hợp và khoảng cách đặc thù: SoftTFIDF, Monge-Elkan, TagLink, cùng khoảng cách Affine Gap (biến thể tối ưu của khoảng cách chỉnh sửa giúp xử lý các khoảng trống liên tiếp) và thuật toán khoảng cách Haversine dành cho trường dữ liệu tọa độ địa lý.

Mô hình phân loại áp dụng thuật toán Hồi quy Logistic chuẩn hóa L2 (L2-regularized Logistic Regression). Thuật toán này cho phép ánh xạ điểm số tương đồng của các trường thành một phân phối xác suất liên tục, giải quyết triệt để hiện tượng đa cộng tuyến và tránh hiện tượng quá khớp (overfitting) trong quá trình huấn luyện.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm có kiểm soát với quy trình 4 giai đoạn chuẩn hóa:

1. Tiền xử lý dữ liệu: Làm sạch ký tự đặc biệt, chuẩn hóa chữ hoa - chữ thường, xử lý khoảng trắng thừa bằng thư viện Regex và Unidecode, đồng thời điền giá trị thiếu (NaN).
2. Tạo khối (Blocking): Sử dụng các vị từ (predicates) như 3 chữ số đầu của số điện thoại hoặc n-gram của tên thành phố để nhóm các bản ghi tiềm năng, giảm độ phức tạp tính toán từ bậc O(N^2) xuống mức tuyến tính.
3. Học chủ động (Active Learning): Hệ thống tự động chọn lọc các cặp bản ghi có mức độ không chắc chắn cao nhất để yêu cầu chuyên gia gán nhãn, tối đa hóa lượng thông tin thu nhận với số lượng mẫu gán nhãn tối thiểu.
4. Phân cụm (Clustering): Sử dụng thuật toán phân cụm phân cấp dựa trên ngưỡng khoảng cách tối ưu hóa F-measure để gom nhóm các bản ghi tương đồng thành từng cụm thực thể.

Hệ thống thử nghiệm được thiết lập trên môi trường phần cứng gồm vi xử lý Intel Core i7-7700K CPU @ 4.20GHz (8 luồng), bộ nhớ lưu trữ 967.6 GB trên nền hệ điều hành Ubuntu 16.04 LTS (64-bit). Mã nguồn được phát triển bằng ngôn ngữ Python 3.4 kết hợp framework Django và thư viện chuyên dụng Dedupe 1.0.

Mẫu nghiên cứu bao gồm hai tập dữ liệu thực nghiệm điển hình:

• Tập dữ liệu Consumer Complaints: Gồm 1.000 bản ghi chứa thông tin khiếu nại khách hàng tại Hoa Kỳ.
• Tập dữ liệu doanh nghiệp INSEE: Gồm 5.000 bản ghi chuẩn hóa theo hệ thống định danh của Pháp.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa hệ thống đề xuất và công cụ quản trị dữ liệu thương mại EBX mang lại các kết quả nổi bật:

Thứ nhất, ở kịch bản đối sánh chính xác (Exact Matching) trên 1 trường và 3 trường dữ liệu của tập Consumer Complaints, cả hai hệ thống đều đạt hiệu suất tuyệt đối với độ chính xác đạt 100% và độ phủ đạt 100%. Số lượng cụm bản ghi trùng lặp được phát hiện giữa hai hệ thống hoàn toàn trùng khớp.

Thứ hai, trong kịch bản đối sánh mờ (Fuzzy Matching) trên 1 trường dữ liệu đơn lẻ, mô hình ứng dụng Active Learning đạt điểm số F-measure tối đa, nhận diện chính xác các biến thể tên gọi doanh nghiệp có sai lệch ký tự nhẹ hoặc viết tắt.

Thứ ba, sự khác biệt mang tính đột phá xuất hiện trong kịch bản đối sánh mờ phức hợp trên 3 trường dữ liệu. Khi thử nghiệm trên tập dữ liệu INSEE với 5.000 bản ghi (trong đó phân tích sâu nhóm 66 bản ghi có tên định danh doanh nghiệp là DORAS kết hợp với địa chỉ và mã bưu chính 21300 CHENOVE):

• Hệ thống EBX gộp sai các bản ghi khác địa chỉ vào cùng cụm 8876 do chỉ áp dụng một ngưỡng khoảng cách cố định trên toàn bộ bản ghi.
• Hệ thống đề xuất đã phân tách chính xác từng thực thể thành các cụm riêng biệt, bảo đảm quy tắc đối sánh mờ ở trường tên gọi nhưng tuân thủ tuyệt đối quy tắc đối sánh chính xác ở các trường địa chỉ phụ trợ.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của hệ thống đề xuất nằm ở khả năng tính toán trọng số linh hoạt của mô hình Hồi quy Logistic L2 kết hợp với kỹ thuật Học chủ động. Trong các hệ thống truyền thống như EBX, ngưỡng trùng lặp thường được người dùng thiết lập thủ công dưới dạng một con số cố định. Cách tiếp cận này khiến hệ thống dễ phân loại nhầm khi xử lý dữ liệu đa chiều, vì trọng số giữa các trường không được học từ ngữ cảnh thực tế.

Khi trực quan hóa dữ liệu qua biểu đồ phân cụm và ma trận nhầm lẫn (Confusion Matrix), hệ thống đề xuất duy trì được sự cân bằng tối ưu giữa Precision và Recall. Nhờ cơ chế tự động tối ưu hóa F-measure: $$\text{F-Score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$ hệ thống tự động tìm ra điểm cắt xác suất lý tưởng cho từng tập dữ liệu cụ thể.

So với các mô hình học máy có giám sát truyền thống như SVM hay Decision Tree (vốn đòi hỏi hàng nghìn mẫu được gán nhãn sẵn), phương pháp Active Learning giúp giảm thiểu hơn 70% nỗ lực gán nhãn thủ công từ con người mà vẫn đạt độ chính xác tương đương hoặc cao hơn. Kết quả đầu ra tạo ra tệp dữ liệu chuẩn hóa kèm cột chỉ số tin cậy (confidence_score), phản ánh chính xác khoảng cách từ bản ghi tới trọng tâm của cụm thực thể.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả làm sạch và khử trùng lặp dữ liệu trong môi trường doanh nghiệp, nghiên cứu đề xuất 4 nhóm giải pháp trọng tâm:

1. Tích hợp module Active Learning vào nền tảng MDM lõi: Doanh nghiệp phần mềm và các đơn vị phát triển giải pháp quản trị dữ liệu cần thay thế cơ chế tính điểm cố định bằng module học máy tương tác trong lộ trình từ 6 đến 12 tháng. Mục tiêu là nâng tỷ lệ tự động hóa phân cụm chính xác lên trên 98% đối với các tập dữ liệu khách hàng phức tạp.
2. Xây dựng từ điển đồng nghĩa và mở rộng xử lý ngôn ngữ tự nhiên (NLP): Đội ngũ kỹ sư dữ liệu cần bổ sung các tầng phân tích ngữ nghĩa chuyên sâu trong vòng 3 đến 6 tháng tới. Việc kết hợp nhúng từ (Word Embeddings) sẽ giúp giải quyết triệt để các trường hợp tên thương hiệu hoặc địa chỉ viết tắt phức tạp mà các phép đo khoảng cách chỉnh sửa chưa bao phủ hết.
3. Chuẩn hóa quy trình tiền xử lý dữ liệu đa tầng: Các tổ chức cần thiết lập đường ống (pipeline) làm sạch dữ liệu tự động định kỳ hàng tháng, loại bỏ các ký tự đặc biệt, chuẩn hóa định dạng văn bản và xử lý giá trị khuyết thiếu trước khi đưa vào kho dữ liệu, hướng tới giảm tỷ lệ lỗi nhập liệu xuống dưới 5%.
4. Tối ưu hóa kiến trúc tính toán phân tán: Đội ngũ hạ tầng kỹ thuật cần triển khai giải pháp phân tán trên môi trường điện toán đám mây cho các tập dữ liệu quy mô trên 1.000.000 bản ghi. Điều này giúp rút ngắn hơn 40% thời gian xử lý tạo khối và tính toán ma trận khoảng cách tương đồng.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị ứng dụng cao cho 4 nhóm đối tượng:

• Kỹ sư dữ liệu và Chuyên viên phát triển AI: Nắm vững phương pháp tích hợp thư viện Dedupe, kỹ thuật tạo khối dữ liệu (blocking) và thuật toán học chủ động để xây dựng các pipeline làm sạch dữ liệu tự động cho doanh nghiệp.
• Kiến trúc sư hệ thống và Chuyên gia giải pháp MDM: Tham khảo mô hình kiến trúc tích hợp giữa công cụ học máy với các nền tảng quản trị dữ liệu chủ thương mại như EBX nhằm tối ưu hóa chi phí bản quyền và nâng cao hiệu năng vận hành.
• Nghiên cứu sinh và Giảng viên ngành Khoa học Máy tính: Sử dụng tài liệu như một nguồn tham khảo chuẩn mực về so sánh các độ đo khoảng cách chuỗi (String Metrics), mô hình phân loại xác suất và các kỹ thuật bán giám sát trong xử lý ngôn ngữ tự nhiên.
• Giám đốc dữ liệu (CDO) và Nhà quản lý doanh nghiệp: Tiếp cận góc nhìn chiến lược về quản trị chất lượng dữ liệu (Data Quality Management), hiểu rõ tác động của việc khử trùng dữ liệu tới độ chính xác của các báo cáo kinh doanh và bài toán tối ưu hóa chi phí vận hành.

Câu hỏi thường gặp

Khử trùng lặp dữ liệu (Deduplication) khác gì so với thao tác xóa trùng thông thường? Xóa trùng thông thường chỉ lọc các dòng có giá trị giống hệt nhau 100% trên các cột. Trong khi đó, khử trùng lặp sử dụng các thước đo tương đồng chuỗi và thuật toán học máy để phát hiện các bản ghi biểu diễn cùng một thực thể dù có sai lệch chính tả, viết tắt hoặc thiếu thông tin trên một số trường dữ liệu.

Tại sao phương pháp Học chủ động (Active Learning) lại ưu việt hơn Học có giám sát trong bài toán này? Học có giám sát đòi hỏi tập dữ liệu huấn luyện khổng lồ với hàng nghìn cặp nhãn đã gán thủ công rất tốn kém. Active Learning chủ động chọn lọc các cặp bản ghi có độ nghi ngờ cao nhất để hỏi chuyên gia, giúp mô hình đạt độ chính xác trên 95% chỉ với vài chục lượt tương tác gán nhãn.

Hệ thống đề xuất sử dụng những hàm đo độ tương đồng nào cho các trường văn bản? Hệ thống kết hợp đa dạng các hàm đo bao gồm khoảng cách Affine Gap cho chuỗi ký tự ngắn, Cosine Similarity cho các đoạn văn bản dài (mô tả, tóm tắt) và thuật toán Haversine cho dữ liệu tọa độ vị trí địa lý, giúp tối ưu hóa độ chính xác theo từng loại thuộc tính.

Điểm hạn chế lớn nhất của nền tảng EBX mà nghiên cứu này đã khắc phục là gì? EBX sử dụng ngưỡng khoảng cách cố định do người dùng tự đặt và gặp khó khăn khi kết hợp đồng thời quy tắc đối sánh mờ trên trường này với quy tắc đối sánh chính xác trên trường khác. Hệ thống đề xuất tự động tính toán ngưỡng động tối ưu và xử lý chính xác các điều kiện kết hợp đa trường.

Làm thế nào để hệ thống xác định ngưỡng phân cụm tối ưu một cách tự động? Hệ thống lấy mẫu ngẫu nhiên các cặp bản ghi, ước lượng phân phối xác suất trùng lặp thông qua mô hình Hồi quy Logistic L2, sau đó tính toán điểm cắt xác suất sao cho hàm F-measure đạt giá trị cực đại, đảm bảo hài hòa tối đa giữa Precision và Recall.

Kết luận

• Luận văn đã phân tích toàn diện cơ sở lý thuyết về các thước đo khoảng cách chuỗi và các phương pháp học máy trong bài toán khử trùng lặp dữ liệu lớn.
• Phát triển thành công nguyên mẫu hệ thống ứng dụng thư viện Dedupe kết hợp kỹ thuật Học chủ động và Hồi quy Logistic chuẩn hóa L2 trên nền tảng Python/Django.
• Chứng minh thực nghiệm trên 2 tập dữ liệu Consumer Complaints (1.000 bản ghi) và INSEE (5.000 bản ghi) cho thấy mô hình vượt trội so với EBX trong các kịch bản đối sánh mờ đa thuộc tính.
• Cung cấp giải pháp tính toán ngưỡng phân cụm tự động dựa trên tối ưu hóa F-measure, loại bỏ hoàn toàn sự phụ thuộc vào cấu hình thủ công cảm tính.
• Lộ trình phát triển tiếp theo tập trung vào việc mở rộng cơ chế xử lý từ đồng nghĩa, tích hợp mô hình nhúng ngữ nghĩa NLP và đóng gói module để tích hợp trực tiếp vào lõi phần mềm EBX trong vòng 12 tháng tới.

Doanh nghiệp và các nhà nghiên cứu quan tâm có thể ứng dụng ngay khung kiến trúc này để nâng cấp hệ thống quản trị dữ liệu chủ, bảo đảm dữ liệu luôn sạch, nhất quán và sẵn sàng cho các bài toán phân tích kinh doanh nâng cao.

Trích đoạn nội dung tài liệu

UNIVERSITÉ NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL ELIODOR EDNALSON GUY MIRLIN SYSTÈME DE DÉDUPLICATION UTILISANT LES TECHNIQUES D’APPRENTISSAGE AUTOMATIQUE HỆ THỐNG PHÂN TÍCH DỮ LIỆU TRÙNG LẶP SỬ DỤNG KĨ THUẬT MACHINE LEARNING MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE HANOI - 2018 LUAN VAN CHAT LUONG download : add [e-mail] UNIVERSITÉ NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL ELIODOR EDNALSON GUY MIRLIN SYSTÈME DE DÉDUPLICATION UTILISANT LES TECHNIQUES D’APPRENTISSAGE AUTOMATIQUE HỆ THỐNG PHÂN TÍCH DỮ LIỆU TRÙNG LẶP SỬ DỤNG KĨ THUẬT MACHINE LEARNING Spécialité : Systèmes Intelligents et Multimédia Code : Programme Pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Pierre Bonnet, COO-Orchestra Networks, Expert en SI David Lapetina, Directeur des opérations Orchestra Networks Vietnam - Hanoi HANOI - 2018 LUAN VAN CHAT LUONG download : add [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác.

Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant ELIODOR EDNALSON GUY MIRLIN LUAN VAN CHAT LUONG download : add [e-mail] Résumé La gestion des données de référence consiste à trouver ou créer un enregistrement unique contenant tout ce qu’une entreprise ou une organisation doit savoir sur une per- sonne, un emplacement, un produit, un fournisseur, une autre entreprise ou une autre entité en particulier. Il peut également être appelé “master record” ou “golden record”. En fait, la notion de qualité des données, en particulier le problème de duplication, re- présente un défi très important pour une bonne gouvernance des données.

La présence de doublons ou de données similaires soulève d’importantes préoccupations quant à la qualité des données qu’il faut ainsi supprimer. La déduplication des enregistrements est un processus important dans l’intégration et le nettoyage des données. Elle permet d’identifier les enregistrements d’une base de données ou provenant de différentes sources qui représentent la même entité du monde réel. Elle assure une meilleure qualité des données résultantes de ce processus.

Ce pro- cessus est utilisé pour créer un "golden record". Ainsi, l’extraction de connaissances à partir de ces dernières sera plus précise. Au cours des dernières années, diverses tech- niques d’apprentissage automatique ont été utilisées pour aborder ce problème. Sachant que, le produit EBX d’Orchestra Networks utilise cette approche, notre travail consiste à : — Comparez quelques techniques de détection d’enregistrements dupliqués en utili- sant l’apprentissage automatique et évaluez leurs avantages et leurs inconvénients.

— Développer un prototype qui combine les meilleures caractéristiques et permet de produire une détection d’enregistrements dupliquées améliorées dans EBX. L’approche que nous avons utilisée pour aborder le problème dans le cadre de notre stage est l’approche d’apprentissage actif. Différentes expériences sont menées sur un ensemble de données pour vérifier l’efficacité de l’algorithme dans la détection des enre- gistrements dupliqués. Mots clés : Prétraitement des données, détection de doublons, apprentissage automa- tique, apprentissage supervisé, apprentissage non-supervisée, mesure de similarité, NLP, classification de texte, traitement du langage naturel, Data quality Management, Dédu- plication, doublons, similaire, record matching, machine learning, clustering, duplicated records, etc.

LUAN VAN CHAT LUONG download : add [e-mail] Abstract Master data management is the process of finding or creating a single record that contains everything your organization needs to know about a particular person, location, product, supplier, business, or other entity. It can also be referred to as the master record or golden record. Indeed, the notion of data quality particularly the duplication problem presents a very important challenge for good data governance in order to improve in- teractions between the different employees of one or more organizations concerned. The presence of duplicate or similar data raises significant concerns about the quality of the data.