Luận văn thạc sĩ: Áp dụng máy học để tối ưu hóa đặc trưng trong xử lý số liệu lớn

• Tác giả: Ngô Thùy Linh
• Người hướng dẫn: TS. Nguyễn Hà Nam
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Áp Dụng Máy Học Để Tìm Ra Các Đặc Trưng Tối Ưu Trong Các Bài Toán Xử Lý Số Liệu Lớn
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN CẦN GIẢI QUYẾT
• 1.1. Giới thiệu
• 1.2. Khai phá dữ liệu và trích chọn thuộc tính
• 1.3. Lựa chọn thuộc tính và bài toán phân lớp
• 1.4. Phương pháp dự kiến thực hiện
• 2. CHƯƠNG 2: MỘT SỐ KỸ THUẬT LỰA CHỌN THUỘC TÍNH
• 2.1. Phương pháp lựa chọn thuộc tính là gì?
• 2.2. Chiến lược tìm kiếm
• 2.3. Tiêu chuẩn lựa chọn
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT THUẬT GIẢI DI TRUYỀN VÀ MẠNG NƠRON NHÂN TẠO
• 3.1. Thuật toán di truyền
• 3.2. Mạng nơron nhân tạo
• 3.2.1. Mô hình phân lớp tổng quát
• 3.2.2. Mạng Back propagation
• 4. CHƯƠNG 4: KẾT HỢP GIẢI THUẬT DI TRUYỀN VÀ MẠNG NƠRON ĐỂ GIẢM CHIỀU SỐ LIỆU
• 4.1. Kiến trúc hệ thống
• 4.2. Hoạt động của hệ thống
• 4.3. Sơ đồ khối phương pháp học máy
• 4.4. Phương pháp đề xuất tìm bộ thuộc tính tối ưu nhất
• 5. CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM
• 5.1. Môi trường thực nghiệm
• 5.2. Bộ dữ liệu Stomach Cancer
• 5.2.1. Mô tả bộ dữ liệu
• 5.2.2. Kết quả thực nghiệm
• 5.3. Bộ dữ liệu Lung Cancer
• 5.3.1. Mô tả bộ dữ liệu Lung Cancer
• 5.3.2. Kết quả thực nghiệm
• Tài liệu tham khảo

I. Tổng quan về máy học trong xử lý số liệu lớn

Máy học đã trở thành một công cụ quan trọng trong việc xử lý số liệu lớn. Sự phát triển của công nghệ thông tin đã dẫn đến việc tạo ra khối lượng dữ liệu khổng lồ, đòi hỏi các phương pháp hiệu quả để khai thác và phân tích. Khai thác dữ liệu và trích chọn thuộc tính là hai khía cạnh quan trọng trong quá trình này. Việc tìm kiếm đặc trưng tối ưu cho các bài toán phân lớp là một thách thức lớn, đặc biệt khi số lượng thuộc tính có thể rất lớn. Nghiên cứu này nhằm mục đích tìm ra các thuộc tính hữu ích nhất, từ đó cải thiện hiệu suất của các thuật toán phân lớp.

1.1 Khái niệm về khai phá dữ liệu

Khai phá dữ liệu là quá trình phát hiện thông tin có giá trị từ các tập dữ liệu lớn. Nó bao gồm nhiều kỹ thuật khác nhau nhằm tìm ra các mẫu hình có tính quy luật. Phân tích dữ liệu và trích chọn thuộc tính là những bước quan trọng trong quá trình này. Việc giảm chiều dữ liệu thông qua lựa chọn thuộc tính giúp loại bỏ những thuộc tính không liên quan, từ đó nâng cao hiệu quả của các thuật toán. Các phương pháp như Linear Discriminant Analysis (LDA) và Principal Components Analysis (PCA) thường được sử dụng để thực hiện việc này.

II. Kỹ thuật lựa chọn thuộc tính

Lựa chọn thuộc tính là một bước quan trọng trong việc xử lý dữ liệu, giúp giảm bớt số chiều của mẫu mà không làm giảm chất lượng thông tin. Có nhiều phương pháp lựa chọn thuộc tính, bao gồm Filter, Wrapper, và Embedded. Mỗi phương pháp có những ưu điểm và nhược điểm riêng. Việc lựa chọn thuộc tính không chỉ giúp cải thiện hiệu suất của các thuật toán mà còn giúp đơn giản hóa kết quả phân tích. Chiến lược tìm kiếm trong lựa chọn thuộc tính cũng rất quan trọng, vì nó ảnh hưởng đến khả năng tìm ra tập con tối ưu trong không gian tìm kiếm lớn.

2.1 Phương pháp lựa chọn thuộc tính

Phương pháp lựa chọn thuộc tính có thể được chia thành hai loại chính: lựa chọn theo ngưỡng và lựa chọn tự động. Lựa chọn theo ngưỡng dựa trên việc xếp loại các thuộc tính theo một tiêu chuẩn nhất định, trong khi lựa chọn tự động tìm ra tập con nhỏ nhất mà không làm giảm hiệu suất học. Việc lựa chọn thuộc tính có thể được thực hiện thông qua các mô hình khác nhau và các chiến lược tìm kiếm như forward, backward, và floating. Mỗi phương pháp đều có những ứng dụng cụ thể trong việc xử lý dữ liệu lớn.

III. Ứng dụng máy học trong luận văn thạc sĩ

Luận văn thạc sĩ này tập trung vào việc áp dụng máy học để tìm ra các đặc trưng tối ưu trong các bài toán xử lý số liệu lớn. Nghiên cứu sử dụng các thuật toán như giải thuật di truyền và mạng nơron nhân tạo để tối ưu hóa quá trình lựa chọn thuộc tính. Kết quả thực nghiệm cho thấy rằng việc áp dụng các phương pháp này không chỉ giúp cải thiện độ chính xác của các mô hình phân lớp mà còn giảm thiểu thời gian xử lý. Điều này chứng tỏ rằng máy học có thể mang lại giá trị thực tiễn cao trong việc xử lý và phân tích dữ liệu lớn.

3.1 Kết quả thực nghiệm

Kết quả thực nghiệm từ các bộ dữ liệu như Stomach Cancer và Lung Cancer cho thấy rằng việc áp dụng các phương pháp lựa chọn thuộc tính đã giúp cải thiện đáng kể độ chính xác của các mô hình phân lớp. Các số liệu thu được từ các thử nghiệm cho thấy rằng việc giảm chiều dữ liệu không chỉ giúp tiết kiệm tài nguyên mà còn nâng cao hiệu suất của các thuật toán. Điều này khẳng định rằng việc áp dụng máy học trong xử lý số liệu lớn là một hướng đi đúng đắn và có tiềm năng lớn trong nghiên cứu và ứng dụng thực tiễn.