Luận Văn Thạc Sĩ: Ứng Dụng Thuật Toán KNN Kết Hợp Bài Toán Điểm Biên Cho Khai Phá Dữ Liệu Lớn Trong Spark

• Tác giả: Nguyễn Thị Lý Phương
• Người hướng dẫn: TS. Hồ Văn Lâm
• Trường học: Trường Đại Học Quy Nhơn
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Sử Dụng Thuật Toán KNN Kết Hợp Với Bài Toán Điểm Biên Cho Khai Phá Dữ Liệu Lớn Trong Spark
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Quy Nhơn

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ THUẬT TOÁN KNN TRONG SPARK
• 1.1.1. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 1.1.2. Quá trình khai phá dữ liệu
• 1.1.3. Các bước trong quá trình khai phá dữ liệu
• 1.1.4. Khái quát về các kỹ thuật KPDL
• 1.1.5. Khai thác tập phổ biến và luật kết hợp
• 1.1.6. Phân lớp dữ liệu
• 1.1.7. Phân cụm
• 1.2. THUẬT TOÁN KNN TRONG KHAI PHÁ DỮ LIỆU
• 1.2.1. Giới thiệu chung về KNN
• 1.2.2. Cơ sở toán học của thuật toán KNN cho bài toán phân lớp
• 1.2.3. Thuật toán KNN cho bài toán phân lớp
• 1.2.4. Ứng dụng của KNN
• 1.2.5. Thách thức và Ưu điểm của KNN
• 1.3. TỔNG QUAN VỀ SPARK
• 1.3.1. Giới thiệu về Apache Spark
• 1.3.2. Thành phần cơ bản của Spark
• 1.3.3. Những điểm nổi bật của Spark và mục tiêu sử dụng
• 1.4. TIỂU KẾT CHƯƠNG 1
• 2. CHƯƠNG 2: THUẬT TOÁN KNN KẾT HỢP VỚI BÀI TOÁN ĐIỂM BIÊN TRONG SPARK CHO BÀI TOÁN DỮ LIỆU LỚN
• 2.1. GIỚI THIỆU CHUNG VÀ PHÁT BIỂU BÀI TOÁN
• 2.1.1. Phát biểu bài toán
• 2.2. THUẬN TOÁN KNN VÀ BÀI TOÁN ĐIỂM BIÊN CHO DỮ LIỆU LỚN
• 2.2.1. Ý tưởng của KNN
• 2.2.2. Thuật toán phân lớp KNN
• 2.2.3. Điểm biên và ứng dụng trong xử lý dữ liệu lớn
• 2.3. THUẬT TOÁN KNN KẾT HỢP BÀI TOÁN ĐIỂM BIÊN CHO DỮ LIỆU LỚN
• 2.3.1. Thuật toán KNN cho dữ liệu lớn
• 2.3.2. Kết hợp KNN và bài toán điểm biên cho dữ liệu lớn
• 2.3.3. Ý tưởng kết hợp KNN và bài toán điểm biên cho dữ liệu lớn
• 2.3.4. Phương pháp kết hợp KNN và bài toán điểm biên cho dữ liệu lớn
• 2.3.5. Thuật toán kết hợp KNN và bài toán điểm biên cho dữ liệu lớn
• 2.4. TRIỂN KHAI THUẬT TOÁN KNN KẾT HỢP BÀI TOÁN ĐIỂM BIÊN CHO DỮ LIỆU LỚN TRONG SPARK
• 2.4.1. Tổng quan về KNN Tham gia bằng MapReduce dựa trên Hadoop
• 2.4.2. Triển khai KNN kết hợp với bài toán điểm biên dựa trên Spark
• 2.5. TIỂU KẾT CHƯƠNG 2
• 3. CHƯƠNG 3: CÀI ĐẶT MÔ PHỎNG THỰC NGHIỆM
• 3.1. MÔI TRƯỜNG VÀ CÔNG CỤ
• 3.1.1. Phát biểu bài toán
• 3.1.2. Môi trường và ngôn ngữ lập trình
• 3.1.3. Công cụ và thư viện
• 3.1.4. Bộ dữ liệu
• 3.2. CÀI ĐẶT MÔ PHỎNG
• 3.2.1. Các tham số và kết quả đạt được
• 3.2.2. So sánh và đánh giá kết quả đạt được
• TÀI LIỆU THAM KHẢO

I. Tổng quan về khai phá dữ liệu và thuật toán KNN trong Spark

Chương này giới thiệu tổng quan về Khai phá dữ liệu (KPDL) và thuật toán KNN trong lĩnh vực khai phá dữ liệu lớn. KPDL là quá trình phát hiện các mẫu và tri thức tiềm ẩn từ các tập dữ liệu lớn, đặc biệt trong bối cảnh Big Data. Thuật toán KNN là một phương pháp học có giám sát, được sử dụng rộng rãi trong học máy nhờ tính đơn giản và hiệu quả. Tuy nhiên, KNN gặp hạn chế về bộ nhớ và thời gian tính toán khi xử lý dữ liệu lớn. Spark được giới thiệu như một nền tảng hiệu quả để xử lý dữ liệu lớn, hỗ trợ triển khai các thuật toán phân tán như KNN.

1.1. Tổng quan về khai phá dữ liệu

Khai phá dữ liệu (KPDL) là quá trình sử dụng các kỹ thuật phân tích để phát hiện các mẫu và tri thức từ các tập dữ liệu lớn. Quá trình này bao gồm các bước như làm sạch dữ liệu, tích hợp dữ liệu, chuyển đổi dữ liệu, và khai phá dữ liệu. KPDL đóng vai trò quan trọng trong việc phân tích và dự đoán các xu hướng từ dữ liệu, đặc biệt trong bối cảnh Big Data.

1.2. Thuật toán KNN trong khai phá dữ liệu

Thuật toán KNN là một phương pháp học có giám sát, dựa trên việc tìm kiếm K điểm dữ liệu gần nhất để dự đoán kết quả. KNN được sử dụng rộng rãi trong phân loại dữ liệu và học máy nhờ tính đơn giản và hiệu quả. Tuy nhiên, KNN gặp hạn chế về bộ nhớ và thời gian tính toán khi xử lý dữ liệu lớn, đòi hỏi các giải pháp phân tán để cải thiện hiệu suất.

1.3. Giới thiệu về Spark

Spark là một nền tảng xử lý dữ liệu lớn hiệu quả, hỗ trợ các thuật toán phân tán. Spark cung cấp các thành phần cơ bản như RDD (Resilient Distributed Datasets) và các công cụ để xử lý dữ liệu lớn. Spark được sử dụng rộng rãi trong khai phá dữ liệu lớn nhờ khả năng xử lý nhanh và hỗ trợ các thuật toán học máy.

II. Thuật toán KNN kết hợp với bài toán điểm biên trong Spark

Chương này tập trung vào việc kết hợp thuật toán KNN với bài toán điểm biên để xử lý dữ liệu lớn trong Spark. Bài toán điểm biên liên quan đến việc xác định các điểm dữ liệu nằm ở ranh giới giữa các lớp, giúp cải thiện độ chính xác của phân loại dữ liệu. Kết hợp KNN với bài toán điểm biên trong Spark giúp tối ưu hóa hiệu suất và độ chính xác khi xử lý dữ liệu lớn.

2.1. Phát biểu bài toán

Bài toán đặt ra là sử dụng thuật toán KNN kết hợp với bài toán điểm biên để cải thiện hiệu suất và độ chính xác trong phân loại dữ liệu lớn. Bài toán điểm biên giúp xác định các điểm dữ liệu nằm ở ranh giới giữa các lớp, từ đó tối ưu hóa quá trình phân loại.

2.2. Kết hợp KNN và bài toán điểm biên

Kết hợp thuật toán KNN với bài toán điểm biên giúp cải thiện độ chính xác của phân loại dữ liệu. Bài toán điểm biên xác định các điểm dữ liệu nằm ở ranh giới giữa các lớp, giúp KNN đưa ra dự đoán chính xác hơn. Phương pháp này được triển khai trong Spark để xử lý dữ liệu lớn hiệu quả.

2.3. Triển khai trong Spark

Triển khai thuật toán KNN kết hợp với bài toán điểm biên trong Spark giúp tối ưu hóa hiệu suất và độ chính xác khi xử lý dữ liệu lớn. Spark cung cấp các công cụ và thư viện hỗ trợ triển khai các thuật toán phân tán, giúp xử lý dữ liệu lớn nhanh chóng và hiệu quả.

III. Cài đặt mô phỏng thực nghiệm

Chương này trình bày quá trình cài đặt và mô phỏng thực nghiệm để đánh giá hiệu quả của thuật toán KNN kết hợp với bài toán điểm biên trong Spark. Các thí nghiệm được thực hiện trên các bộ dữ liệu lớn, sử dụng các công cụ và thư viện hỗ trợ trong Spark. Kết quả thực nghiệm cho thấy sự cải thiện đáng kể về hiệu suất và độ chính xác của phương pháp này.

3.1. Môi trường và công cụ

Các thí nghiệm được thực hiện trong môi trường Spark, sử dụng các công cụ và thư viện hỗ trợ để triển khai thuật toán KNN và bài toán điểm biên. Các bộ dữ liệu lớn được sử dụng để đánh giá hiệu suất và độ chính xác của phương pháp.

3.2. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy sự cải thiện đáng kể về hiệu suất và độ chính xác của thuật toán KNN khi kết hợp với bài toán điểm biên trong Spark. Phương pháp này giúp xử lý dữ liệu lớn nhanh chóng và hiệu quả, đáp ứng các yêu cầu của khai phá dữ liệu lớn.