Nhập Môn Học Máy: Khái Niệm, Phương Pháp và Ứng Dụng

Chuyên khảo phân tích Học máy, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo., phục vụ nghiên cứu và ứng dụng thực tiễn

• Tác giả: Nguyễn Nhật Quang
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Học máy và Khai phá dữ liệu
• Đề tài: Nhập môn Học máy và Khai phá dữ liệu
• Loại tài liệu: khóa học
• Năm xuất bản: 2020-2021
• Địa điểm: Hà Nội

Tóm tắt

I. Khám Phá Học Máy Tổng Quan Về Lĩnh Vực Học Máy

Học máy là một lĩnh vực quan trọng trong trí tuệ nhân tạo, cho phép máy tính học hỏi từ dữ liệu mà không cần lập trình cụ thể. Học máy không chỉ giúp cải thiện hiệu suất của các hệ thống mà còn mở ra nhiều cơ hội ứng dụng trong các lĩnh vực khác nhau như y tế, tài chính, và thương mại điện tử. Việc hiểu rõ về học máy là cần thiết để khai thác tối đa tiềm năng của nó.

1.1. Học Máy Là Gì Định Nghĩa Và Khái Niệm Cơ Bản

Học máy (Machine Learning) là một nhánh của trí tuệ nhân tạo, tập trung vào việc phát triển các thuật toán cho phép máy tính tự động cải thiện hiệu suất thông qua kinh nghiệm. Theo định nghĩa của Mitchell (1997), học máy là quá trình mà một chương trình máy tính cải thiện hiệu suất của nó trong một công việc thông qua kinh nghiệm.

1.2. Các Loại Học Máy Giám Sát Không Giám Sát Và Tăng Cường

Có ba loại học máy chính: học có giám sát, học không giám sát và học tăng cường. Học có giám sát sử dụng dữ liệu đã được gán nhãn để huấn luyện mô hình, trong khi học không giám sát tìm kiếm các mẫu trong dữ liệu không có nhãn. Học tăng cường là một phương pháp học mà máy tính học hỏi thông qua việc tương tác với môi trường.

II. Những Thách Thức Trong Học Máy Vấn Đề Và Giải Pháp

Học máy đối mặt với nhiều thách thức, bao gồm việc xử lý dữ liệu lớn, đảm bảo độ chính xác của mô hình và khả năng khái quát hóa. Những vấn đề này có thể dẫn đến việc mô hình không hoạt động hiệu quả trong thực tế. Việc hiểu rõ các thách thức này là cần thiết để phát triển các giải pháp hiệu quả.

2.1. Vấn Đề Dữ Liệu Thiếu Dữ Liệu Và Dữ Liệu Nhiễu

Một trong những thách thức lớn nhất trong học máy là việc thiếu dữ liệu hoặc dữ liệu không chính xác. Dữ liệu nhiễu có thể làm giảm độ chính xác của mô hình. Việc thu thập và làm sạch dữ liệu là rất quan trọng để đảm bảo rằng mô hình học máy hoạt động hiệu quả.

2.2. Khả Năng Khái Quát Hóa Học Quá Khớp Và Học Chưa Khớp

Khả năng khái quát hóa của mô hình học máy là rất quan trọng. Học quá khớp (overfitting) xảy ra khi mô hình học quá nhiều từ dữ liệu huấn luyện, dẫn đến việc không hoạt động tốt trên dữ liệu mới. Ngược lại, học chưa khớp (underfitting) xảy ra khi mô hình không học đủ từ dữ liệu. Cần có các phương pháp để điều chỉnh mô hình nhằm cải thiện khả năng khái quát hóa.

III. Phương Pháp Học Máy Các Kỹ Thuật Chính Được Sử Dụng

Có nhiều phương pháp học máy khác nhau, mỗi phương pháp có những ưu điểm và nhược điểm riêng. Việc lựa chọn phương pháp phù hợp với bài toán cụ thể là rất quan trọng để đạt được kết quả tốt nhất.

3.1. Hồi Quy Dự Đoán Giá Trị Liên Tục

Hồi quy là một trong những phương pháp học máy phổ biến, được sử dụng để dự đoán giá trị liên tục. Các thuật toán hồi quy như hồi quy tuyến tính và hồi quy logistic giúp phân tích mối quan hệ giữa các biến và dự đoán kết quả dựa trên dữ liệu đầu vào.

3.2. Phân Cụm Nhóm Các Dữ Liệu Tương Tự

Phân cụm là một kỹ thuật học máy không giám sát, được sử dụng để nhóm các dữ liệu tương tự lại với nhau. Các thuật toán như K-means và phân cụm phân cấp giúp xác định các nhóm trong dữ liệu mà không cần nhãn. Điều này rất hữu ích trong việc phân tích dữ liệu lớn.

IV. Ứng Dụng Thực Tiễn Của Học Máy Trong Cuộc Sống

Học máy đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, từ y tế đến tài chính và thương mại điện tử. Những ứng dụng này không chỉ giúp cải thiện hiệu suất mà còn tạo ra giá trị lớn cho doanh nghiệp và xã hội.

4.1. Học Máy Trong Y Tế Chẩn Đoán Và Dự Đoán

Trong lĩnh vực y tế, học máy được sử dụng để chẩn đoán bệnh và dự đoán kết quả điều trị. Các mô hình học máy giúp phân tích dữ liệu bệnh nhân và đưa ra các quyết định chính xác hơn, từ đó cải thiện chất lượng chăm sóc sức khỏe.

4.2. Học Máy Trong Thương Mại Điện Tử Gợi Ý Sản Phẩm

Học máy cũng được sử dụng trong thương mại điện tử để gợi ý sản phẩm cho khách hàng. Các thuật toán phân tích hành vi mua sắm của người tiêu dùng và đưa ra các gợi ý phù hợp, từ đó tăng cường trải nghiệm khách hàng và doanh thu cho doanh nghiệp.

V. Kết Luận Tương Lai Của Học Máy Và Những Xu Hướng Mới

Học máy đang phát triển nhanh chóng và có tiềm năng lớn trong tương lai. Các xu hướng mới như học sâu (deep learning) và trí tuệ nhân tạo (AI) sẽ tiếp tục định hình cách mà học máy được áp dụng trong các lĩnh vực khác nhau. Việc nắm bắt các xu hướng này là cần thiết để không bị bỏ lại phía sau.

5.1. Xu Hướng Học Sâu Từ Học Máy Đến Trí Tuệ Nhân Tạo

Học sâu là một nhánh của học máy, sử dụng các mạng nơ-ron để xử lý và phân tích dữ liệu phức tạp. Xu hướng này đang trở thành tiêu chuẩn trong nhiều ứng dụng AI, từ nhận diện hình ảnh đến xử lý ngôn ngữ tự nhiên.

5.2. Tương Lai Của Học Máy Cơ Hội Và Thách Thức

Tương lai của học máy hứa hẹn sẽ mang lại nhiều cơ hội mới, nhưng cũng đi kèm với những thách thức như đạo đức trong AI và bảo mật dữ liệu. Cần có sự hợp tác giữa các nhà nghiên cứu, doanh nghiệp và chính phủ để phát triển một môi trường học máy an toàn và hiệu quả.

Trích đoạn nội dung tài liệu

Nhập môn Học máy và Khai phá dữ liệu (IT3190) Nguyễn Nhật Quang quang.vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin và truyền thông Năm học 2020-2021 1 Nội dung môn học: ◼ Giới thiệu về • Học máy • Khai phá dữ liệu • Các framework và công cụ phần mềm ◼ Tiền xử lý dữ liệu ◼ Đánh giá hiệu năng của hệ thống ◼ Hồi quy ◼ Phân cụm ◼ Phân lớp ◼ Phát hiện luật kết hợp Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 2 Học máy vs. Khai phá dữ liệu ◼ Học máy (Machine learning) vs. Khai phá dữ liệu (Data mining) ◼ Giống nhau: ❑ Cần sử dụng dữ liệu; thường là (rất) nhiều dữ liệu ❑ Phát hiện tri thức từ dữ liệu (knowledge discovery from data) ◼ Khác nhau: Học máy Khai phá dữ liệu Trọng tâm: Tập trung vào việc học Tập trung vào việc hiểu (learning) của hệ thống máy (understanding) dữ liệu tính Mục đích sử dụng: Nhằm dự đoán các kết quả Nhằm phân tích các dữ trong tương lai liệu hiện có (quá khứ) Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 3 Giới thiệu về Học máy ◼ Học máy (Machine Learning – ML) là một lĩnh vực nghiên cứu của Trí tuệ nhân tạo (Artificial Intelligence – AI) ◼ Các định nghĩa về học máy → Một quá trình nhờ đó một hệ thống cải thiện hiệu suất (hiệu quả hoạt động) của nó [Simon, 1983] → Một quá trình mà một chương trình máy tính cải thiện hiệu suất của nó trong một công việc thông qua kinh nghiệm [Mitchell, 1997] → Việc lập trình các máy tính để tối ưu hóa một tiêu chí hiệu suất dựa trên các dữ liệu ví dụ hoặc kinh nghiệm trong quá khứ [Alpaydin, 2020] ◼ Biểu diễn một bài toán học máy [Mitchell, 1997] Học máy = Cải thiện hiệu quả một công việc thông qua kinh nghiệm • Một công việc (nhiệm vụ) T • Đối với các tiêu chí đánh giá hiệu năng P • Thông qua (sử dụng) kinh nghiệm E Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 4 Ví dụ bài toán học máy (1) Lọc thư rác (Email spam filtering) • T: Dự đoán (để lọc) những thư điện tử nào là thư rác (spam email) • P: % of các thư điện tử gửi đến được phân loại chính xác • E: Một tập các thư điện tử (emails) Thư rác? mẫu, mỗi thư điện tử được biểu diễn bằng một tập thuộc tính (vd: tập từ Thư Thư thường khóa) và nhãn lớp (thư thường/thư rác rác) tương ứng Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 5 Ví dụ bài toán học máy (2) Phân loại các trang Web (Web page categorization/ classification) ◼ T: Phân loại các trang Web theo các chủ đề đã định trước ◼ P: Tỷ lệ (%) các trang Web được phân loại chính xác ◼ E: Một tập các trang Web, trong đó mỗi trang Web gắn với một chủ đề Chủ đề? Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 6 Ví dụ bài toán học máy (3) Nhận dạng chữ viết tay (Handwritten characters recognition) ◼ T: Nhận dạng và phân loại các từ trong các ảnh chữ viết tay Từ nào? ◼ P: Tỷ lệ (%) các từ được nhận dạng và phân loại đúng ◼ E: Một tập các ảnh chữ viết we do in the right way tay, trong đó mỗi ảnh được gắn với một định danh của một từ Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 7 Ví dụ bài toán học máy (4) Dự đoán rủi ro cho vay tài chính (Loan risk estimation) al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj • T: Xác định mức độ rủi ro (vd: al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj cao/thấp) đối với các hồ sơ xin vay al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj tài chính al kjasgsdfogsdjgfopjkhdrgfopjkhal kj al kjasgsdfogsdjgfopjkhdrgfopjkhal kj • P: Tỷ lệ % các hồ sơ xin vay có mức độ rủi ro cao (không trả lại tiền Rủi ro? vay) được xác định chính xác Cao Thấp • E: Một tập các hồ sơ xin vay; mỗi hồ sơ được biểu diễn bởi một tập các Từ chối Chấp nhận thuộc tính và mức độ rủi ro (cao/thấp) Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 8 Các ứng dụng thành công của học máy (1) ◼ Tương tác người máy ❑ Giọng nói, Cử chỉ, Hiểu ngôn ngữ, … Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 9 Các ứng dụng thành công của học máy (2) ◼ Giải trí ❑ Âm nhạc, Phim ảnh, Trò chơi, Tin tức, Mạng xã hội, … Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 10 Các ứng dụng thành công của học máy (3) ◼ Giao thông ❑ Xe tự động, Giám sát giao thông, Dự đoán nhu cầu đi xe, … Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 11 Các ứng dụng thành công của học máy (4) ◼ Thương mại điện tử ❑ Gợi ý các sản phẩm và dịch vụ, Dự đoán nhu cầu khách hàng, Khuyến mại, … Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 12 Các ứng dụng thành công của học máy (5) ◼ An ninh an toàn hệ thống ❑ Phát hiện vi rút máy tính, Phát hiện xâm nhập (tấn công) mạng, Lọc thư rác,… Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 13 Các ứng dụng thành công của học máy (6) ◼ Quảng cáo Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 14 Quá trình học máy Tập học (Training set) Huấn luyện Tập dữ liệu hệ thống (Dataset) Tập tối ưu (Validation set) Tối ưu hóa các tham số của hệ thống Tập thử nghiệm (Test set) Thử nghiệm hệ thống đã học Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 15 Các thành phần chính của bài toán học máy (1) ◼ Lựa chọn các ví dụ học (training/learning examples) • Các thông tin hướng dẫn quá trình học (training feedback) được chứa ngay trong các ví dụ học, hay là được cung cấp gián tiếp (vd: từ môi trường hoạt động) • Các ví dụ học theo kiểu có giám sát (supervised) hay không có giám sát (unsupervised) • Các ví dụ học phải tương thích với (đại diện cho) các ví dụ sẽ được sử dụng bởi hệ thống trong tương lai (future test examples) ◼ Xác định hàm mục tiêu (giả thiết, khái niệm) cần học • F: X → {0,1} • F: X → Một tập các nhãn lớp • F: X → R+ (miền các giá tri số thực dương) • … Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 16 Các thành phần chính của bài toán học máy (2) ◼ Lựa chọn cách biểu diễn cho hàm mục tiêu cần học • Hàm đa thức (a polynomial function) • Một tập các luật (a set of rules) • Một cây quyết định (a decision tree) • Một mạng nơ-ron nhân tạo (an artificial neural network) • … ◼ Lựa chọn một giải thuật học máy có thể học (xấp xỉ) được hàm mục tiêu • Phương pháp học hồi quy (Regression-based) • Phương pháp học quy nạp luật (Rule induction) • Phương pháp học cây quyết định (ID3 hoặc C4.5) • Phương pháp học lan truyền ngược (Back-propagation) • … Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 17 Các vấn đề trong Học máy (1) ◼ Giải thuật học máy (Learning algorithm) • Những giải thuật học máy nào có thể học (xấp xỉ) một hàm mục tiêu cần học? • Với những điều kiện nào, một giải thuật học máy đã chọn sẽ hội tụ (tiệm cận) hàm mục tiêu cần học? • Đối với một lĩnh vực bài toán cụ thể và đối với một cách biểu diễn các ví dụ (đối tượng) cụ thể, giải thuật học máy nào thực hiện tốt nhất? Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 18 Các vấn đề trong Học máy (2) ◼ Các ví dụ học (Training examples) • Bao nhiêu ví dụ học là đủ? • Kích thước của tập học (tập huấn luyện) ảnh hưởng thế nào đối với độ chính xác của hàm mục tiêu học được? • Các ví dụ lỗi (nhiễu) và/hoặc các ví dụ thiếu giá trị thuộc tính (missing-value) ảnh hưởng thế nào đối với độ chính xác? Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 19 Các vấn đề trong Học máy (3) ◼ Quá trình học (Learning process) • Chiến lược tối ưu cho việc lựa chọn thứ tự sử dụng (khai thác) các ví dụ học? • Các chiến lược lựa chọn này làm thay đổi mức độ phức tạp của bài toán học máy như thế nào? • Các tri thức cụ thể của bài toán thực tế (ngoài các ví dụ học) có thể đóng góp thế nào đối với quá trình học? Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 20 Các vấn đề trong Học máy (4) ◼ Khả năng/giới hạn học (Learning capability) • Hàm mục tiêu nào mà hệ thống cần học? ❑ Biểu diễn hàm mục tiêu: Khả năng biểu diễn (vd: hàm tuyến tính / hàm phi tuyến) vs. Độ phưc tạp của giải thuật và quá trình học • Các giới hạn đối với khả năng học của các giải thuật học máy? • Khả năng khái quát hóa (generalization) của hệ thống từ các ví dụ học? ❑ Vấn đề “học chưa khớp” (under-fitting) ❑ Vấn đề “học quá khớp” (over-fitting) • Khả năng hệ thống tự động thay đổi (thích nghi) biểu diễn (cấu trúc) bên trong của nó? ❑ Để cải thiện khả năng (của hệ thống đối với việc) biểu diễn và học hàm mục tiêu Nhập môn Học máy và Khai phá dữ liệu – Introduction to Machine learning and Data mining 21 Các vấn đề trong Học máy (5) ◼ (WHEN) Khi nào một mô hình (đã được huấn luyện trước đó) cần được huấn luyện lại? ❑ Mô hình đã huấn luyện hoạt động (rất) tốt đối với các ví dụ cũ ❑ Nhưng đến một thời điểm nhất định, mô hình đó hoạt động kém đi (rất) đáng kể đối với các ví dụ mới đưa vào hệ thống ◼ (HOW) Một mô hình (đã được huấn luyện trước đó) nên được huấn luyện lại như thế nào?