Luận văn tốt nghiệp: Hệ thống làm sạch dữ liệu OpenK với phương pháp phân cụm để phát hiện bất thường

• Tác giả: Nguyen Dinh Khuong
• Người hướng dẫn: Dr. Dang Tran Khanh
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Science
• Đề tài: OpenK: Data Cleansing System - A Clustering-Based Approach For Detecting Data Anomalies
• Loại tài liệu: graduation thesis
• Năm xuất bản: 2021
• Địa điểm: Ho Chi Minh City

• 1. Introduction
• 1.1. Problem Statement
• 1.2. Data Anomalies Detection
• 1.3. Objective
• 1.4. Scope
• 1.5. Thesis Structure
• 2. Theoretical Background
• 2.1. Related Works
• 2.2. Data Anomalies Detection
• 2.2.1. Conception
• 3. Methodologies And Design
• 3.1. Technologies and Framework
• 3.2. Detecting anomaly execution flow
• 3.3. Use-case of clustering data site
• 3.3.1. Actor determination and following use-case
• 3.3.2. Use-case diagram and specification
• 3.4. Existing System and Design
• 4. System Implementation
• 5. System Evaluation
• 6. Thesis Denouement
• 6.1. Final Culmination
• 6.2. Assessment of Thesis Connotation
• 6.3. Future Advancement
• APPENDIX A : USER MANUAL
• References

I. Giới thiệu

Hệ thống làm sạch dữ liệu OpenK được phát triển nhằm giải quyết vấn đề chất lượng dữ liệu trong các tổ chức. Trong bối cảnh hiện tại, việc xử lý và phân tích dữ liệu lớn là một thách thức lớn do sự tồn tại của các dữ liệu không chính xác, trùng lặp và bất thường. Để cải thiện chất lượng dữ liệu, hệ thống này áp dụng các phương pháp phân cụm nhằm phát hiện bất thường trong dữ liệu. Theo nghiên cứu, việc làm sạch dữ liệu không chỉ giúp tăng cường độ chính xác của các quyết định kinh doanh mà còn nâng cao hiệu suất của các hệ thống phân tích. Hệ thống OpenK sử dụng các thuật toán như Levenshtein Distance, Jaro-Winkler Similarity và các phương pháp Key Collision để phát hiện và phân nhóm các dữ liệu bất thường. Sự cần thiết của việc làm sạch dữ liệu là không thể phủ nhận, vì dữ liệu sạch sẽ là nền tảng cho mọi quyết định quan trọng trong kinh doanh.

1.1. Vấn đề cần giải quyết

Dữ liệu lớn hiện nay được thu thập từ nhiều nguồn khác nhau, dẫn đến việc tồn tại nhiều dữ liệu không chính xác hoặc trùng lặp. Điều này ảnh hưởng nghiêm trọng đến khả năng phân tích và ra quyết định. Hệ thống OpenK được thiết kế để phát hiện và xử lý các bất thường trong dữ liệu, giúp người dùng có thể dễ dàng phát hiện các vấn đề tiềm ẩn trong dữ liệu của họ. Hệ thống này không chỉ giúp cải thiện chất lượng dữ liệu mà còn tối ưu hóa quy trình phân tích dữ liệu.

II. Các phương pháp và thiết kế

Hệ thống OpenK sử dụng phương pháp phân cụm để phát hiện các bất thường trong dữ liệu. Các thuật toán như K-NN (K-Nearest Neighbors) và các phương pháp tương tự được áp dụng để nhóm các dữ liệu có đặc điểm tương đồng. Các thuật toán này giúp xác định các nhóm dữ liệu mà trong đó các điểm dữ liệu có thể được coi là bất thường so với các nhóm khác. Hệ thống cũng sử dụng các công nghệ hiện đại như Flask, Jinja, Pandas và Numpy để xây dựng giao diện người dùng thân thiện và hiệu quả. Điều này cho phép người dùng dễ dàng tương tác với dữ liệu và thực hiện các thao tác như tìm kiếm, phân loại và phân tích dữ liệu một cách trực quan.

2.1. Thiết kế kiến trúc hệ thống

Kiến trúc tổng thể của OpenK bao gồm nhiều thành phần chính, trong đó có các module xử lý dữ liệu và module giao diện người dùng. Các module này được thiết kế để hoạt động độc lập nhưng vẫn có thể tương tác với nhau thông qua API. Hệ thống cho phép người dùng tải lên dữ liệu, thực hiện các thao tác làm sạch và phân tích dữ liệu một cách dễ dàng. Bên cạnh đó, OpenK cũng cung cấp các công cụ để người dùng có thể theo dõi và đánh giá hiệu suất của hệ thống trong việc phát hiện bất thường.

III. Đánh giá hệ thống

Đánh giá hiệu suất của hệ thống OpenK được thực hiện thông qua các thử nghiệm với các tập dữ liệu lớn như dữ liệu hàng không và dữ liệu bất động sản. Các chỉ số đánh giá bao gồm thời gian tải, tỷ lệ lỗi và thời gian chạy. Kết quả cho thấy rằng OpenK có khả năng phát hiện bất thường trong dữ liệu một cách hiệu quả và nhanh chóng hơn so với một số công cụ làm sạch dữ liệu hiện có như OpenRefine. Hệ thống cũng cho phép người dùng thực hiện các thao tác CRUD (Create, Read, Update, Delete) trên dữ liệu một cách dễ dàng, từ đó nâng cao trải nghiệm người dùng.

3.1. Kết quả thử nghiệm

Kết quả thử nghiệm cho thấy rằng OpenK có thể xử lý các tập dữ liệu lớn một cách hiệu quả. Thời gian xử lý và phát hiện bất thường trong dữ liệu được giảm thiểu đáng kể so với các công cụ khác. Hệ thống cũng cho phép người dùng dễ dàng điều chỉnh các tham số để tối ưu hóa quá trình phát hiện. Điều này chứng tỏ rằng OpenK không chỉ là một công cụ làm sạch dữ liệu mà còn là một giải pháp toàn diện cho việc quản lý và phân tích dữ liệu lớn.