Luận văn tốt nghiệp hệ thống thong tin openk data cleansing system a clustering based approach for detecting data anomalies

Luận văn tốt nghiệp nghiên cứu Luận văn tốt nghiệp hệ thống thong tin openk data cleansing system a clustering based approach for, điều tra thực trạng, phân tích số liệu, đề xuất

• Tác giả: Nguyen Dinh Khuong
• Người hướng dẫn: Dr. Dang Tran Khanh
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Science
• Đề tài: OpenK: Data Cleansing System - A Clustering-Based Approach For Detecting Data Anomalies
• Loại tài liệu: graduation thesis
• Năm xuất bản: 2021
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• 1. Introduction
• 1.1. Problem Statement
• 1.2. Data Anomalies Detection
• 1.3. Objective
• 1.4. Scope
• 1.5. Thesis Structure
• 2. Theoretical Background
• 2.1. Related Works
• 2.2. Data Anomalies Detection
• 2.2.1. Conception
• 3. Methodologies And Design
• 3.1. Technologies and Framework
• 3.2. Detecting anomaly execution flow
• 3.3. Use-case of clustering data site
• 3.3.1. Actor determination and following use-case
• 3.3.2. Use-case diagram and specification
• 3.4. Existing System and Design
• 4. System Implementation
• 5. System Evaluation
• 6. Thesis Denouement
• 6.1. Final Culmination
• 6.2. Assessment of Thesis Connotation
• 6.3. Future Advancement
• APPENDIX A : USER MANUAL
• References

Tóm tắt

I. Giới thiệu

Hệ thống làm sạch dữ liệu OpenK được phát triển nhằm giải quyết vấn đề chất lượng dữ liệu trong các tổ chức. Trong bối cảnh hiện tại, việc xử lý và phân tích dữ liệu lớn là một thách thức lớn do sự tồn tại của các dữ liệu không chính xác, trùng lặp và bất thường. Để cải thiện chất lượng dữ liệu, hệ thống này áp dụng các phương pháp phân cụm nhằm phát hiện bất thường trong dữ liệu. Theo nghiên cứu, việc làm sạch dữ liệu không chỉ giúp tăng cường độ chính xác của các quyết định kinh doanh mà còn nâng cao hiệu suất của các hệ thống phân tích. Hệ thống OpenK sử dụng các thuật toán như Levenshtein Distance, Jaro-Winkler Similarity và các phương pháp Key Collision để phát hiện và phân nhóm các dữ liệu bất thường. Sự cần thiết của việc làm sạch dữ liệu là không thể phủ nhận, vì dữ liệu sạch sẽ là nền tảng cho mọi quyết định quan trọng trong kinh doanh.

1.1. Vấn đề cần giải quyết

Dữ liệu lớn hiện nay được thu thập từ nhiều nguồn khác nhau, dẫn đến việc tồn tại nhiều dữ liệu không chính xác hoặc trùng lặp. Điều này ảnh hưởng nghiêm trọng đến khả năng phân tích và ra quyết định. Hệ thống OpenK được thiết kế để phát hiện và xử lý các bất thường trong dữ liệu, giúp người dùng có thể dễ dàng phát hiện các vấn đề tiềm ẩn trong dữ liệu của họ. Hệ thống này không chỉ giúp cải thiện chất lượng dữ liệu mà còn tối ưu hóa quy trình phân tích dữ liệu.

II. Các phương pháp và thiết kế

Hệ thống OpenK sử dụng phương pháp phân cụm để phát hiện các bất thường trong dữ liệu. Các thuật toán như K-NN (K-Nearest Neighbors) và các phương pháp tương tự được áp dụng để nhóm các dữ liệu có đặc điểm tương đồng. Các thuật toán này giúp xác định các nhóm dữ liệu mà trong đó các điểm dữ liệu có thể được coi là bất thường so với các nhóm khác. Hệ thống cũng sử dụng các công nghệ hiện đại như Flask, Jinja, Pandas và Numpy để xây dựng giao diện người dùng thân thiện và hiệu quả. Điều này cho phép người dùng dễ dàng tương tác với dữ liệu và thực hiện các thao tác như tìm kiếm, phân loại và phân tích dữ liệu một cách trực quan.

2.1. Thiết kế kiến trúc hệ thống

Kiến trúc tổng thể của OpenK bao gồm nhiều thành phần chính, trong đó có các module xử lý dữ liệu và module giao diện người dùng. Các module này được thiết kế để hoạt động độc lập nhưng vẫn có thể tương tác với nhau thông qua API. Hệ thống cho phép người dùng tải lên dữ liệu, thực hiện các thao tác làm sạch và phân tích dữ liệu một cách dễ dàng. Bên cạnh đó, OpenK cũng cung cấp các công cụ để người dùng có thể theo dõi và đánh giá hiệu suất của hệ thống trong việc phát hiện bất thường.

III. Đánh giá hệ thống

Đánh giá hiệu suất của hệ thống OpenK được thực hiện thông qua các thử nghiệm với các tập dữ liệu lớn như dữ liệu hàng không và dữ liệu bất động sản. Các chỉ số đánh giá bao gồm thời gian tải, tỷ lệ lỗi và thời gian chạy. Kết quả cho thấy rằng OpenK có khả năng phát hiện bất thường trong dữ liệu một cách hiệu quả và nhanh chóng hơn so với một số công cụ làm sạch dữ liệu hiện có như OpenRefine. Hệ thống cũng cho phép người dùng thực hiện các thao tác CRUD (Create, Read, Update, Delete) trên dữ liệu một cách dễ dàng, từ đó nâng cao trải nghiệm người dùng.

3.1. Kết quả thử nghiệm

Kết quả thử nghiệm cho thấy rằng OpenK có thể xử lý các tập dữ liệu lớn một cách hiệu quả. Thời gian xử lý và phát hiện bất thường trong dữ liệu được giảm thiểu đáng kể so với các công cụ khác. Hệ thống cũng cho phép người dùng dễ dàng điều chỉnh các tham số để tối ưu hóa quá trình phát hiện. Điều này chứng tỏ rằng OpenK không chỉ là một công cụ làm sạch dữ liệu mà còn là một giải pháp toàn diện cho việc quản lý và phân tích dữ liệu lớn.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY FACULTY OF COMPUTER SCIENCE AND ENGINEERING GRADUATION THESIS OPENK : DATA CLEANSING SYSTEM - A CLUSTERING-BASED APPROACH FOR DETECTING DATA ANOMALIES Council: Information System Instructor: Assoc. Dang Tran Khanh Reviewer: Dr. Phan Trong Nhan Student: Nguyen Dinh Khuong - 1752306 Ho Chi Minh City, August 2021 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ---------- Độc lập - Tự do - Hạnh phúc TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA:KH & KT Máy tính NHIỆM VỤ LUẬN ÁN TỐT NGHIỆP BỘ MÔN:KHMT Chú ý: Sinh viên phải dán tờ này vào trang nhất của bản thuyết trình HỌ VÀ TÊN: NGUYỄN ĐÌNH KHƯƠNG MSSV: 1752306 NGÀNH: COMPUTER SCIENCE LỚP: KHM2 1. Đầu đề luận án: OPENK : DATA CLEANSING SYSTEM – CLUSTERING-BASED APPROACH FOR DETECTING DATA ANOMALIES 2.

Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu): - Learn requirements, analysis, design and implementation of data cleansing system running on web app platform. Research and apply Edit-based similarity algorithms, using knowledge and methodologies from Algorithm Design and Analysis, Database Management System, Clustering Methods, Web development to provide reasonable and optimized approach in detecting and clustering cluster of anomalies data, which will be ready for the next steps. - Reading scientific papers and proposing a solution to prevent inconsistent and duplicate data based on clustering methods. - Researching different related works - others data cleansing systems such as GoogleRefine, BigDansing, NADEEF,.

thereby making reasonable assessments and comparisons for the advantages and disadvantages of the current system. After that, developing further functions performance and system optimization. - Apply K-NN methods (LD, Damerau LD, Hamming), Similarity (Jaro, Jaro-Winkler) methods and Key Collision (Fingerprint, N-gram Fingerprint) for detecting and clustering. - Test and evaluate the proposed system.

Ngày giao nhiệm vụ luận án: 02/02/2021 4. Ngày hoàn thành nhiệm vụ: 26/07/2021 5. Họ tên giảng viên hướng dẫn: Dr. Đặng Trần Khánh Phần hướng dẫn: All thesis Nội dung và yêu cầu LVTN đã được thông qua Bộ môn.

CHỦ NHIỆM BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN CHÍNH (Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên) PGS. Đặng Trần Khánh PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ): Đơn vị: Ngày bảo vệ: Điểm tổng kết: Nơi lưu trữ luận án: TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày 10 tháng 08 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn) 1. Họ và tên SV: Nguyễn Đình Khương MSSV: 1752306 Ngành (chuyên ngành): Khoa học máy tính K 2. Đề tài: OPEN : DATA CLEANSING SYSTEM – A CLUSTERING-BASED APPROACH FOR DETECTING DATA ANOMALIES 3.

Họ tên người hướng dẫn: PGS. Đặng Trần Khánh 4. Tổng quát về bản thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính toán: Windows, Python, … Hiện vật (sản phẩm) 5. Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6.

Những ưu điểm chính của LVTN: Developed a cleansing tool for improving (big) data quality in order to achieve the high utility in businesses. Moreover, the student had finished the following: - Studying Pandas, Numpy, JSON Python library, and other relevent programming tools. - Investigating algorithms for measuring text similarity using different methods. - Studying cleansing and validating data tools such as OpenRefine, Cerberus.

- Reading scientific papers and proposing a solution to prevent inconsistent and duplicate data based on the clustering method. - Build a visualization method for users to have a better view about the collected data. - Build an API-based library for the developer community. Những thiếu sót chính của LVTN: The thesis presentation can be improved.

Đề nghị: Được bảo vệ □ Bổ sung thêm để bảo vệ □ Không được bảo vệ □ 9. 3 câu hỏi SV phải trả lời trước Hội đồng: a. Point out a better functionality of OPENk comparing with the known existing work/systems? 10. Đánh giá chung (bằng chữ: xs/giỏi, khá, TB): Xuất sắc Điểm: 10 /10 Ký tên (ghi rõ họ tên) PGS.

Đặng Trần Khánh TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày 03 tháng 08 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người phản biện) 1. Họ và tên SV: Nguyễn Đình Khương MSSV: 1752306 Ngành (chuyên ngành): Khoa học Máy tính 2. Đề tài: Openk: Data Cleansing System - A Clustering-based Approach for Detecting Data Anomalies 3. Họ tên người phản biện: TS.

Phan Trọng Nhân 4. Tổng quát về bản thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính toán: Hiện vật (sản phẩm) 5. Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6. Những ưu điểm chính của LVTN: -The student has developed a web application that supports users recognizing data anomalies by a clustering-based approach with some built-in methods.

-The student has employed modern technologies for development such as flask, jinja, pandas, numpy, html, css, javascript, and performed some basic empiriments (loading time, error, running time). -The system can connect to files and cloud-based database management systems. Những thiếu sót chính của LVTN: -The way of identifying data anomalies based on a clustering approach does not really show the anomalies. For example, it shows the two different texts as abnormal.

-The evaluation and comparison are simple and towards time than accuracy. In addition, it does not clearly show how effective the system helps in anomaly detection. -The system is inflexible to add more methods. Moreover, how to choose the parameter values is a problem to a user (e., k parameter, the limitation of records loading from Azure database).

Đề nghị: Được bảo vệ  Bổ sung thêm để bảo vệ  Không được bảo vệ  9. 3 câu hỏi SV phải trả lời trước Hội đồng: a. Would you please show a use-case in that a user can benefit from your system? b. Any comparison with some related work (e.

Đánh giá chung (bằng chữ: giỏi, khá, TB): Good Điểm: 9/10 Ký tên (ghi rõ họ tên) Phan Trọng Nhân Ho Chi Minh City University of Technology, VNU-HCM Faculty of Computer Science and Engineering Acknowledgements First and foremost we would like to thank my supervisor Dr. Dang Tran Khanh, not only for his academic guidance and assistance, but also for his patience and personal support which made me truly grateful. I would like to guarantee that this research is my own, conducted under the su- pervision and guidance of Dr. Dang Tran Khanh.

The result of my research is legitimate and has not been published in any forms prior to this. All materials used within this researched are collected by myself, by various sources and are appropriately listed in the references section. In addition, within this research, we also used the results of sev- eral other authors and organizations. They have all been aptly referenced.

In any case of plagiarism, we stand by my actions and are to be responsible for it. Ho Chi Minh city University of Technology therefore is not responsible for any copyright infringements conducted within my research. GRADUATION THESIS Page 4/83 Ho Chi Minh City University of Technology, VNU-HCM Faculty of Computer Science and Engineering Abstract At the moment, massive amounts of data are created every second over the inter- net, making the most efficient decisions has become a critical goal. Assume that we had all of the information, but that extracting the valuable knowledge would be extremely difficult.

The following are the reasons for this assumption: data is not always clean or at least correct since data obtained from many sources may be redundant, some of them can be duplicated. These data must be cleaned before they can be utilized for further processing. Any inconsistencies or duplication in the datasets should be detected using a de- tection procedure. Widowing, blocking, and machine learning are among of the methods that are utilized to identify anomalous data.

The goals of this thesis are to offer OpenK , a simple yet efficient data cleansing system based on clustering approaches. In this sce- nario, a cluster will comprise all data that are similarity-based assumptions, is detected by several techniques: Nearest Neighbor (Levenshtein Distance, Damerau-Levenshtein Distance, Hamming Distance), Similarity Measurement (Jaro Similarity, Jaro-Winkler Similarity) and Key Collision (Fingerprints, N-gram Fingerprints). This tool will be evaluated in order to see how the efficiency of it and compare to other tool for better view of assessment. We used airlines dataset from https://assets.

com/production/repositories/5737/datasets and special case study - Real Estate dataset which is crawled from https://batdongsan. OpenK also aids the user in loading and viewing data. Beside that, CRUD procedures, Pagina- tion, Toggle column ON/OFF, Sort column, and Search keywords are being used for analyzing and wrangling input data. Keywords: Data Cleansing, Levenshtein Distance, Jaro-Winkler Similarity, Fin- gerprints, Anomaly detection GRADUATION THESIS Page 5/83 Ho Chi Minh City University of Technology, VNU-HCM Faculty of Computer Science and Engineering Contents 1 Introduction 10 1.2 Data Anomalies Detection .c Damerau-Levenshtein distance .d Jaro Distance - Jaro-Winkler Distance.

23 3 Methodologies And Design 26 GRADUATION THESIS Page 6/83 Ho Chi Minh City University of Technology, VNU-HCM Faculty of Computer Science and Engineering 3.2 Detecting anomaly execution flow .3 Use-case of clustering data site .a Actor determination and following use-case .b Use-case diagram and specification .2 Existing System and Design .1 Technologies and Framework. 40 5 System Evaluation 50 6 Thesis Denouement 54 6.2 Assessment of Thesis Connotation. 55 7 APPENDIX A : USER MANUAL 59 GRADUATION THESIS Page 7/83 Ho Chi Minh City University of Technology, VNU-HCM Faculty of Computer Science and Engineering List of Figures 2.1 Example of applying fingerprint algorithm for name .2 Formula of Hamming distance calculation .3 3-bit binary cube for finding Hamming distance .4 Levenshtein Distance calculation formula .5 Example of Levenshtein distance calculation table.6 Example of Damerau-Levenshtein distance calculation table.7 Formula of Jaro similarity calculation .8 Jaro-Winkler similarity calculation example .9 Comparision of barcode correction using different techniques .1 Overall architecture of OpenK system .2 Data type format converter .3 Data cleansing component illustration .4 Clustering Operations illustration .5 Activity diagram of OpenK system .6 Use case diagram of Data site of OpenK system .7 Use case specification of viewing data .8 Use case specification of paging data .9 Use case specification of searching data keywords .10 Use case specification of sorting data column .11 Use case specification of export data .12 Use case specification of Hiding column data. 34 GRADUATION THESIS Page 8/83 Ho Chi Minh City University of Technology, VNU-HCM Faculty of Computer Science and Engineering 3.13 Use case specification of Manage data cluster .14 Use case specification of cluster data using knn method .15 Use case specification of cluster data using similarity method .16 Use case specification of cluster data using key collision method .17 Overall architecture of BigDansing .18 Overall architecture of NADEEF .1 Relation diagram of OpenK routing system .2 Flow chart diagram of Upload function implementation .3 Flow chart diagram of Data function implementation .4 Class diagram of clustering method .5 Flow of clustering data with KNN class .6 Flow of clustering data with Similarity class .7 Implementation code of clustering data with Fingerprint algorithm .8 Flow of clustering data with Fingerprint algorithm .1 Time performance for loading & visualizing input dataset of OpenK and OpenRefine .2 Time performance for detecting & clustering input dataset of OpenK and OpenRefine .