Luận văn thạc sĩ học máy bằng phương pháp hồi quy logistic và ứng dụng trong phân luồng học sinh phổ thông

Luận văn thạc sĩ nghiên cứu học máy bằng phương pháp hồi quy logistic và ứng dụng trong phân luồng học sinh phổ thông, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải

• Tác giả: Nguyễn Thị Phú
• Người hướng dẫn: TS. Lê Xuân Vinh
• Trường học: Đại học Quy Nhơn
• Chuyên ngành: Học Máy
• Đề tài: Học Máy Bằng Phương Pháp Hồi Quy Logistic Ứng Dụng Phân Luồng Học Sinh Phổ Thông
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Bình Định

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Tổng quan tình hình nghiên cứu của đề tài
• 0.3. Đối tượng và phạm vi nghiên cứu
• 0.4. Phương pháp nghiên cứu
• 0.5. Kết cấu của luận văn
• 1. CHƯƠNG 1: TỔNG QUAN VỀ HỌC MÁY
• 1.1. Tổng quan về học máy
• 1.2. Phân nhóm các thuật toán học máy
• 1.2.1. Phân loại dựa trên phương thức học
• 1.2.2. Học không giám sát (Unsupervised learning)
• 1.2.3. Học củng cố (Reinforcement learning)
• 1.3. Phân loại dựa trên chức năng
• 1.3.1. Thuật toán hồi quy (Regression Algorithms)
• 1.3.2. Thuật toán phân loại (Classification Algorithms)
• 1.3.3. Một số thuật toán khác
• 1.4. Quy trình tổ chức một chương trình học máy
• 1.5. Đánh giá mô hình trong học máy
• 1.5.1. Phương pháp accuracy
• 1.5.2. Phương pháp Confusion matrix
• 1.5.3. Phương pháp True/False Positive/Negative
• 1.5.3.1. Phương pháp True/False Positive/Negative
• 1.5.3.2. Phương pháp Receiver Operating Characteristic curve
• 1.5.4. Phương pháp Area Under the Curve
• 1.5.5. Phương pháp Precision và Recall
• 1.6. Kết luận chương
• 2. CHƯƠNG 2: PHƯƠNG PHÁP HỒI QUY LOGISTIC
• 2.1. Phương pháp hồi quy Logistic
• 2.2. Phát biểu bài toán với ngôn ngữ xác suất
• 2.3. Hàm mất mát và phương pháp tối ưu
• 2.3.1. Xây dựng hàm mất mát (loss function)
• 2.3.2. Tối ưu hàm mất mát
• 2.3.2.1. Khái quát về tối ưu bằng phương pháp Gradient Descent
• 2.3.2.2. Thuật toán Gradient Descent
• 2.3.2.3. Thuật toán Stochastic Gradient Descent dùng để tối ưu hàm mất mát
• 2.4. Một số ví dụ ứng dụng vào phương pháp hồi quy Logistic
• 2.4.1. Ví dụ về hồi quy đơn biến
• 2.4.2. Ví dụ về hồi quy đa biến
• 2.5. Kết luận chương
• 3. CHƯƠNG 3: ỨNG DỤNG PHƯƠNG PHÁP HỒI QUY LOGISTIC TRONG BÀI TOÁN PHÂN LUỒNG TRONG HỌC SINH PHỔ THÔNG
• 3.1. Giới thiệu bài toán
• 3.2. Mô tả dữ liệu đầu vào, đầu ra của bài toán
• 3.3. Tiền xử lí dữ liệu
• 3.4. Mô tả tập dữ liệu huấn luyện
• 3.5. Xây dựng mô hình
• 3.6. Sử dụng mô hình để dự báo
• 3.7. Đánh giá mô hình
• 3.8. Kết luận chương 3
• Kết quả đạt được từ nghiên cứu. Hạn chế của đề tài
• Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về học máy

Học máy là một lĩnh vực quan trọng trong trí tuệ nhân tạo, giúp máy tính học hỏi từ dữ liệu mà không cần lập trình rõ ràng. Phương pháp học máy được áp dụng rộng rãi trong nhiều lĩnh vực như tài chính, y học, giáo dục, và sản xuất. Trong giáo dục, học máy được sử dụng để phân loại học sinh và phân luồng giáo dục, giúp dự đoán xu hướng lựa chọn của học sinh sau khi tốt nghiệp. Mô hình học máy được xây dựng dựa trên các thuật toán như hồi quy logistic, giúp phân tích mối quan hệ giữa các biến độc lập và biến phụ thuộc.

1.1. Phân loại thuật toán học máy

Các thuật toán học máy được phân loại dựa trên phương thức học và chức năng. Học không giám sát và học củng cố là hai phương thức chính. Thuật toán hồi quy và thuật toán phân loại là các chức năng phổ biến. Hồi quy logistic là một trong những thuật toán quan trọng, được sử dụng để phân loại học sinh dựa trên các yếu tố như học lực, gia đình, và môi trường giáo dục.

1.2. Quy trình xây dựng mô hình học máy

Quy trình xây dựng mô hình học máy bao gồm các bước: thu thập dữ liệu, tiền xử lý dữ liệu, huấn luyện mô hình, và đánh giá mô hình. Phân tích dữ liệu là bước quan trọng để hiểu rõ các yếu tố ảnh hưởng đến quyết định của học sinh. Mô hình hồi quy logistic được sử dụng để dự đoán xu hướng lựa chọn của học sinh, giúp phân luồng giáo dục hiệu quả.

II. Phương pháp hồi quy logistic

Phương pháp hồi quy logistic là một kỹ thuật thống kê được sử dụng để phân tích mối quan hệ giữa các biến độc lập và biến phụ thuộc nhị phân. Trong giáo dục, hồi quy logistic được áp dụng để phân loại học sinh dựa trên các yếu tố như học lực, gia đình, và môi trường giáo dục. Hàm sigmoid và hàm mất mát là hai thành phần chính của mô hình hồi quy logistic, giúp tối ưu hóa dự đoán.

2.1. Hàm sigmoid và hàm mất mát

Hàm sigmoid được sử dụng để chuyển đổi giá trị đầu ra thành xác suất, giúp mô hình hồi quy logistic dự đoán chính xác hơn. Hàm mất mát được sử dụng để đo lường sai số giữa giá trị dự đoán và giá trị thực tế. Phương pháp Gradient Descent được áp dụng để tối ưu hóa hàm mất mát, giúp cải thiện độ chính xác của mô hình.

2.2. Ứng dụng hồi quy logistic trong giáo dục

Hồi quy logistic được sử dụng để phân loại học sinh dựa trên các yếu tố như học lực, gia đình, và môi trường giáo dục. Mô hình hồi quy logistic giúp dự đoán xu hướng lựa chọn của học sinh sau khi tốt nghiệp, hỗ trợ phân luồng giáo dục hiệu quả. Các yếu tố như thu nhập gia đình, trình độ học vấn của cha mẹ, và tư vấn hướng nghiệp được phân tích để đưa ra dự đoán chính xác.

III. Ứng dụng hồi quy logistic trong phân luồng học sinh

Phân luồng học sinh là một vấn đề quan trọng trong giáo dục, giúp học sinh lựa chọn con đường phù hợp sau khi tốt nghiệp. Phương pháp hồi quy logistic được sử dụng để phân loại học sinh dựa trên các yếu tố như học lực, gia đình, và môi trường giáo dục. Mô hình hồi quy logistic giúp dự đoán xu hướng lựa chọn của học sinh, hỗ trợ phân luồng giáo dục hiệu quả.

3.1. Mô tả dữ liệu và tiền xử lý

Dữ liệu về học sinh được thu thập từ các trường THPT, bao gồm thông tin về học lực, gia đình, và môi trường giáo dục. Tiền xử lý dữ liệu là bước quan trọng để chuẩn bị dữ liệu cho phân tích hồi quy logistic. Các bước tiền xử lý bao gồm làm sạch dữ liệu, chuẩn hóa dữ liệu, và chuyển đổi dữ liệu thành định dạng phù hợp.

3.2. Xây dựng và đánh giá mô hình

Mô hình hồi quy logistic được xây dựng dựa trên dữ liệu đã tiền xử lý. Phương pháp đánh giá mô hình bao gồm accuracy, confusion matrix, và ROC curve. Mô hình hồi quy logistic được sử dụng để dự đoán xu hướng lựa chọn của học sinh, hỗ trợ phân luồng giáo dục hiệu quả. Kết quả nghiên cứu cho thấy hồi quy logistic là phương pháp hiệu quả trong phân loại học sinh.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh giáo dục hiện nay tại Việt Nam, việc phân luồng học sinh sau trung học phổ thông trở thành một vấn đề cấp thiết. Theo ước tính, tại một số địa phương như Nghệ An, Thanh Hóa, tỷ lệ học sinh chọn học nghề thay vì vào đại học có thể lên đến 30-40%. Điều này phản ánh xu hướng đa dạng hóa con đường phát triển nghề nghiệp, không còn coi đại học là lựa chọn duy nhất để thành công. Tuy nhiên, công tác phân luồng học sinh ở nước ta vẫn còn nhiều hạn chế, chưa thực sự hiệu quả và thiếu cơ sở khoa học để dự báo chính xác xu hướng lựa chọn của học sinh.

Mục tiêu nghiên cứu của luận văn là xây dựng mô hình dự đoán lựa chọn phân luồng học sinh phổ thông sử dụng phương pháp hồi quy logistic, dựa trên các yếu tố cá nhân, gia đình và môi trường giáo dục. Nghiên cứu khảo sát gần 500 học sinh tại hai trường THPT Tăng Bạt Hổ và THPT Chuyên Chu Văn An, tỉnh Bình Định, trong khoảng thời gian gần đây. Việc dự báo chính xác xu hướng lựa chọn học tiếp đại học, cao đẳng hay học nghề sẽ giúp các nhà quản lý giáo dục, nhà trường và gia đình có định hướng phù hợp, nâng cao hiệu quả phân luồng và phát triển nguồn nhân lực.

Ý nghĩa của nghiên cứu được thể hiện qua việc ứng dụng học máy, cụ thể là hồi quy logistic, để phân tích và dự báo các quyết định của học sinh dựa trên dữ liệu thực tế. Đây là bước tiến quan trọng trong việc áp dụng các mô hình toán học và trí tuệ nhân tạo vào lĩnh vực giáo dục, góp phần nâng cao chất lượng công tác phân luồng và hướng nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nền tảng lý thuyết chính: học máy và hồi quy logistic.

1. Học máy (Machine Learning): Là lĩnh vực trí tuệ nhân tạo cho phép máy tính học hỏi từ dữ liệu mà không cần lập trình chi tiết. Học máy được phân loại thành các phương pháp học có giám sát, không giám sát, bán giám sát và học củng cố. Trong đó, học có giám sát được sử dụng phổ biến cho các bài toán phân loại và hồi quy. Các thuật toán học máy được đánh giá qua các chỉ số như accuracy, confusion matrix, precision, recall, F1-score và đường cong ROC.

2. Hồi quy logistic (Logistic Regression): Là phương pháp hồi quy phi tuyến dùng để dự đoán biến phụ thuộc nhị phân dựa trên một hoặc nhiều biến độc lập. Mô hình hồi quy logistic sử dụng hàm sigmoid để ánh xạ giá trị đầu ra vào khoảng (0,1), biểu diễn xác suất thuộc về một lớp nhất định. Hàm mất mát được xây dựng dựa trên log-likelihood, tối ưu bằng các thuật toán như Gradient Descent và Stochastic Gradient Descent nhằm tìm các hệ số mô hình tối ưu.

Các khái niệm chính bao gồm: hàm sigmoid, hàm mất mát (loss function), thuật toán tối ưu Gradient Descent, ma trận nhầm lẫn (confusion matrix), precision, recall, F1-score và đường cong ROC.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp kết hợp giữa lý thuyết và thực nghiệm:

• Nguồn dữ liệu: Thu thập thông tin từ gần 500 học sinh tại hai trường THPT Tăng Bạt Hổ và THPT Chuyên Chu Văn An, tỉnh Bình Định. Dữ liệu bao gồm các đặc điểm cá nhân (tuổi, giới tính, sức khỏe), gia đình (thu nhập, trình độ học vấn của bố mẹ), môi trường học tập và tư vấn hướng nghiệp.

• Phương pháp phân tích: Áp dụng hồi quy logistic để xây dựng mô hình dự đoán lựa chọn phân luồng học sinh. Dữ liệu được chia thành ba tập: tập huấn luyện (60%), tập kiểm chứng (20%) và tập kiểm tra (20%). Thuật toán Stochastic Gradient Descent được sử dụng để tối ưu hàm mất mát.

• Timeline nghiên cứu: Quá trình thu thập và xử lý dữ liệu diễn ra trong năm học gần nhất, sau đó tiến hành xây dựng và đánh giá mô hình trong vòng 6 tháng. Kết quả được phân tích và thảo luận để rút ra các kết luận và đề xuất.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Ảnh hưởng của hộ khẩu đến lựa chọn học tập: Học sinh có hộ khẩu thành thị có tỷ lệ chọn học tiếp đại học, cao đẳng cao hơn khoảng 25% so với học sinh hộ khẩu nông thôn, trong khi học sinh nông thôn có xu hướng chọn học nghề cao hơn 30%.

2. Tác động của học lực: Học sinh xếp loại học lực khá trở lên có khả năng chọn học tiếp đại học, cao đẳng cao hơn 40% so với học sinh học lực trung bình hoặc yếu.

3. Ảnh hưởng của thu nhập và trình độ học vấn của bố mẹ: Thu nhập gia đình cao và trình độ học vấn của bố mẹ từ trung cấp trở lên làm tăng xác suất học sinh chọn học đại học, cao đẳng lên khoảng 35%.

4. Vai trò của tư vấn hướng nghiệp: Học sinh được tư vấn hướng nghiệp đầy đủ tại gia đình và nhà trường có tỷ lệ chọn học tiếp đại học, cao đẳng cao hơn 20% so với nhóm không được tư vấn.

Mô hình hồi quy logistic xây dựng cho thấy độ chính xác dự đoán đạt khoảng 78%, với chỉ số AUC trên đường cong ROC đạt 0.82, thể hiện mô hình có khả năng phân loại tốt. Ma trận nhầm lẫn cho thấy tỷ lệ dự đoán đúng các lớp học sinh chọn học đại học, cao đẳng và học nghề lần lượt là 80%, 75% và 70%.

Thảo luận kết quả

Nguyên nhân các yếu tố cá nhân và gia đình ảnh hưởng đến lựa chọn học tập của học sinh có thể giải thích bởi điều kiện kinh tế và nhận thức về giá trị giáo dục. Học sinh thành thị và có điều kiện kinh tế tốt thường có nhiều cơ hội tiếp cận giáo dục đại học hơn. Kết quả này phù hợp với các nghiên cứu trong nước và quốc tế về tác động của môi trường xã hội đến quyết định học tập.

Việc tư vấn hướng nghiệp được xác định là yếu tố quan trọng giúp học sinh có định hướng rõ ràng hơn, giảm thiểu sự bối rối trong lựa chọn nghề nghiệp. So với các nghiên cứu trước đây, mô hình hồi quy logistic trong nghiên cứu này có độ chính xác cao hơn nhờ vào việc lựa chọn biến độc lập phù hợp và dữ liệu thực tế phong phú.

Dữ liệu có thể được trình bày qua biểu đồ cột thể hiện tỷ lệ lựa chọn học tập theo từng nhóm hộ khẩu, học lực và thu nhập; bảng ma trận nhầm lẫn minh họa hiệu quả phân loại của mô hình; đồ thị ROC thể hiện khả năng phân biệt của mô hình.

Đề xuất và khuyến nghị

1. Tăng cường tư vấn hướng nghiệp: Nhà trường và gia đình cần phối hợp tổ chức các buổi tư vấn hướng nghiệp định kỳ, nhằm nâng cao nhận thức và hỗ trợ học sinh lựa chọn con đường học tập phù hợp. Mục tiêu tăng tỷ lệ học sinh được tư vấn lên 90% trong vòng 1 năm.

2. Phát triển chương trình đào tạo nghề: Các địa phương nên đầu tư phát triển các trung tâm đào tạo nghề chất lượng, đặc biệt tại khu vực nông thôn, nhằm tạo điều kiện thuận lợi cho học sinh lựa chọn học nghề. Mục tiêu tăng tỷ lệ học sinh học nghề lên 35% trong 3 năm tới.

3. Hỗ trợ tài chính cho học sinh có hoàn cảnh khó khăn: Chính quyền và các tổ chức xã hội cần xây dựng các quỹ học bổng, hỗ trợ tài chính để giảm bớt gánh nặng chi phí học tập, giúp học sinh có điều kiện tiếp tục học đại học, cao đẳng. Mục tiêu hỗ trợ ít nhất 500 học sinh mỗi năm.

4. Ứng dụng mô hình dự báo trong quản lý giáo dục: Sở giáo dục và các trường học nên áp dụng mô hình hồi quy logistic để dự báo xu hướng phân luồng học sinh, từ đó xây dựng kế hoạch đào tạo và phân bổ nguồn lực hợp lý. Thời gian triển khai trong vòng 6 tháng tới.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý giáo dục: Giúp hoạch định chính sách phân luồng học sinh dựa trên dữ liệu khoa học, nâng cao hiệu quả công tác phân luồng và đào tạo nguồn nhân lực.

2. Hiệu trưởng và giáo viên các trường THPT: Cung cấp công cụ dự báo và phân tích lựa chọn học tập của học sinh, hỗ trợ tư vấn hướng nghiệp và định hướng phát triển nhà trường.

3. Phụ huynh học sinh: Hiểu rõ các yếu tố ảnh hưởng đến quyết định học tập của con em, từ đó phối hợp với nhà trường trong việc định hướng nghề nghiệp phù hợp.

4. Nhà nghiên cứu và sinh viên ngành giáo dục, khoa học dữ liệu: Tham khảo phương pháp ứng dụng học máy trong giáo dục, đặc biệt là hồi quy logistic trong phân tích và dự báo các quyết định xã hội.

Câu hỏi thường gặp

1. Hồi quy logistic là gì và tại sao được chọn cho nghiên cứu này?
   Hồi quy logistic là phương pháp phân tích thống kê dùng để dự đoán biến phụ thuộc nhị phân dựa trên các biến độc lập. Nó phù hợp với bài toán phân luồng học sinh vì lựa chọn học tập là biến rời rạc (đại học/cao đẳng hoặc học nghề). Phương pháp này có cơ sở toán học vững chắc và cho kết quả dự báo chính xác.

2. Dữ liệu nghiên cứu được thu thập như thế nào?
   Dữ liệu được thu thập từ gần 500 học sinh tại hai trường THPT ở Bình Định, bao gồm thông tin cá nhân, gia đình, học lực và tư vấn hướng nghiệp. Dữ liệu được xử lý và phân tích kỹ lưỡng để đảm bảo tính đại diện và độ tin cậy.

3. Mô hình hồi quy logistic được đánh giá bằng những chỉ số nào?
   Mô hình được đánh giá qua các chỉ số như độ chính xác (accuracy), ma trận nhầm lẫn (confusion matrix), đường cong ROC và chỉ số AUC, precision, recall, F1-score. Các chỉ số này giúp xác định khả năng phân loại và dự báo của mô hình.

4. Các yếu tố nào ảnh hưởng mạnh nhất đến lựa chọn học tập của học sinh?
   Các yếu tố quan trọng gồm hộ khẩu (thành thị/nông thôn), học lực, thu nhập và trình độ học vấn của bố mẹ, cùng với việc tư vấn hướng nghiệp. Những yếu tố này tác động trực tiếp đến quyết định học tiếp đại học, cao đẳng hay học nghề.

5. Làm thế nào để áp dụng kết quả nghiên cứu vào thực tiễn?
   Các nhà quản lý và nhà trường có thể sử dụng mô hình dự báo để xác định xu hướng phân luồng học sinh, từ đó xây dựng các chương trình tư vấn, đào tạo nghề và hỗ trợ tài chính phù hợp. Việc này giúp nâng cao hiệu quả phân luồng và phát triển nguồn nhân lực địa phương.

Kết luận

• Luận văn đã xây dựng thành công mô hình hồi quy logistic dự báo lựa chọn phân luồng học sinh phổ thông với độ chính xác khoảng 78% và AUC đạt 0.82.
• Các yếu tố cá nhân, gia đình và môi trường giáo dục có ảnh hưởng rõ rệt đến quyết định học tập của học sinh.
• Mô hình giúp nhà trường và gia đình có cơ sở khoa học để tư vấn hướng nghiệp và định hướng nghề nghiệp cho học sinh.
• Đề xuất các giải pháp tăng cường tư vấn hướng nghiệp, phát triển đào tạo nghề và hỗ trợ tài chính nhằm nâng cao hiệu quả phân luồng.
• Khuyến nghị áp dụng mô hình dự báo trong quản lý giáo dục để nâng cao chất lượng công tác phân luồng trong những năm tiếp theo.

Next steps: Triển khai mô hình tại các trường THPT trong tỉnh, mở rộng khảo sát và cập nhật dữ liệu để nâng cao độ chính xác dự báo. Kêu gọi sự phối hợp giữa nhà trường, gia đình và các cơ quan quản lý giáo dục nhằm thực hiện các giải pháp đề xuất.

Các nhà quản lý giáo dục và nhà trường nên áp dụng mô hình dự báo này để nâng cao hiệu quả phân luồng học sinh, đồng thời tăng cường công tác tư vấn hướng nghiệp nhằm giúp học sinh lựa chọn con đường phát triển phù hợp và bền vững.

Trích đoạn nội dung tài liệu

Chương 1 trình bày những kiến thức về học máy. Phân loại các thuật toán về học máy dựa vào cách thức học và dựa vào chức năng, các bước để xây dựng một mô hình bằng phương pháp học máy. Cách đánh giá mô hình học máy bằng các phương pháp thông dụng hiện nay cũng được trình bày.1 Tổng quan về học máy Trong khoa học máy tính, để giải quyết một bài toán ta cần một thuật toán. Thuật toán là một dãy hữu hạn các thao tác được sắp xếp theo một trình tự nhất định để biến dữ liệu đầu vào thành dữ liệu đầu ra.

Ví dụ thuật toán sắp xếp một dãy số ta cần dữ liệu đầu vào là một tập hợp các số và dữ liệu đầu ra là một dãy số được sắp xếp theo thứ tự tăng dần hoặc giảm dần. Đối với một bài toán có nhiều thuật toán khác nhau để giải, chúng ta thường quan tâm đến việc tìm ra thuật toán hiệu quả nhất theo tiêu chí độ phức tạp của thuật toán, số lượng bộ nhớ cần cho thuật toán hoặc cả hai tiêu chí trên. Tuy nhiên, có một số bài toán không có thuật toán để giải. Ví dụ, bài toán phát hiện thư rác từ những thư chính thống.

Đầu vào của bài toán là một thư, đầu ra của bài toán là thư đó có phải là thư rác hay không. Nhưng chúng ta không biết làm thế nào để trả lời câu hỏi này. Hay nói cách khác, chúng ta không có thuật toán để biến đổi từ đầu vào thành đầu ra. Chúng ta không biết được những thư nào được xem là thư rác bằng một thuật toán.

Những gì chúng ta thiếu kiến thức, chúng ta sẽ bù vào bằng dữ liệu. Máy tính có thể thông qua hàng nghìn bức thư trong đó có thư rác, để học hỏi về những gì liên quan đến thư rác trong đó. Nói cách khác, chúng ta muốn máy tính tự động trích xuất thuật toán cho các bài toán này. Có rất nhiều ứng e 8 dụng mà chúng ta không có thuật toán nhưng có nhiều dữ liệu rất lớn.Với những tiến bộ trong kỹ thuật máy tính, ngày nay chúng ta có thể lưu trữ và xử lý một lượng dữ liệu lớn, cũng như truy cập nó từ xa qua mạng máy tính.

Hầu hết các thiết bị thu thập dữ liệu là kỹ thuật số hiện nay lưu trữ dữ liệu đáng tin cậy. Ví dụ, chúng ta quan tâm đến một chuỗi siêu thị có hàng trăm cửa hàng trên khắp một quốc gia, bán hàng ngàn loại hàng hóa cho hàng triệu khách hàng mỗi ngày. Thiết bị đầu cuối tại các điểm bán hàng ghi lại chi tiết của từng giao dịch: ngày, mã nhận dạng khách hàng, hàng hóa đã mua và số tiền của họ, tổng số tiền chi tiêu, v. Và hàng gigabyte dữ liệu mỗi ngày được sinh ra.

Từ dữ liệu này, họ có thể dự đoán ai là khách hàng tiềm năng cho một vài sản phẩm. Một lần nữa, thuật toán cho bài toán này là không rõ ràng; nó thay đổi theo thời gian, theo vị trí địa lý và nhiều yếu tố khác. Dữ liệu được lưu trữ chỉ trở nên hữu ích khi được phân tích và biến thành thông tin mà chúng ta có thể sử dụngđể đưa ra dự đoán. Chúng ta có thể không xác định được hoàn toàn quy tắc xử lí nhưng chúng ta có thể xây dựng một xấp xỉ tốt và hữu ích, mà dựa vào đó có thể không giải thích được chi tiết nhưng vẫn có thể giải quyết được bài toán.

Nói cách khác, mặc dù có thể không thực hiện được chính xác quy trình hoàn chỉnh nhưng chúng ta vẫn có thể phát hiện các mẫu hoặc quy tắc nhất định. Việc này rất thích hợp cho học máy. Các mẫu như vậy giúp chúng ta hiểu quy trình thực hiện hoặc sử dụng các mẫu đó để đưa ra dự đoán. Giả sử rằng tương lai, ít nhất là trong tương lai gần, sẽ không khác nhiều so với quá khứ của dữ liệu mẫu được thu thập, khi đó dự đoán trong tương lai cũng có thể được mong đợi là chấp nhận được.

Áp dụng phương pháp học máy vào cơ sở dữ liệu lớn được gọi là khai thác dữ liệu. Tương tự như một khối lượng lớn đất và nguyên liệu thô được e 9 khai thác từ mỏ cho vào xử lí để được một lượng nhỏ nguyên liệu rất quý. Trong khai thác dữ liệu cũng vậy, một lượng lớn dữ liệu được đưa vào xử lí để xây dựng một mô hình đơn giản với việc sử dụng có giá trị, ví dụ như có độ dự đoán chính xác cao. Các lĩnh vực áp dụng của học máy rất phong phú.Trong lĩnh vực tài chính ngân hàng, phân tích dữ liệu trong quá khứ để xây dựng mô hình, ứng dụng trong tín dụng, phát hiện gian lận, dự báo thị trường chứng khoán.

Trong sản xuất, các mô hình học máy được sử dụng để tối ưu hóa, kiểm soát và xử lý sự cố. Trong y học, các chương trình học tập được sử dụng để chẩn đoán y tế. Trong viễn thông, các mẫu cuộc gọi được phân tích để tối ưu hóa mạng và tối đa hóa chất lượng dịch vụ. Trong khoa học, một lượng lớn dữ liệu trong vật lý, thiên văn học và sinh học có thể được phân tích để tìm ra những quy luật, quy tắc có giá trị.

Học máy là một lĩnh vực của trí tuệ nhân tạo. Để một hệ thống thông minh trong môi trường thay đổi chúng cần có khả năng học hỏi. Nếu hệ thống có thể học và thích nghi với những thay đổi đó, người thiết kế hệ thống không cần phải thấy trước và cung cấp giải pháp cho tất cả các tình huống có thể. Học máy cũng giúp chúng ta tìm ra giải pháp cho nhiều vấn đề về tầm nhìn, nhận dạng giọng nói và robot.

Chúng ta hãy lấy ví dụ về nhận diện khuôn mặt: Đây là việc mà con người thực hiện hàng ngày một cách dễ dàng, chúng ta nhận ra các thành viên của gia đình, bạn bè, học sinh bằng cách nhìn vào khuôn mặt hoặc từ các bức ảnh của họ, mặc dù chúng có thể khác nhau về tư thế, ánh sáng, kiểu tóc, v. Chúng ta làm điều đó một cách vô thức và dễ dàng đến nỗi không cần phải giải thích vì sao chúng ta có thể nhận diện được. Vì vậy, chúng ta không thể giải thích được cách nhận diện và do đóchúng ta không thể viết chương trình máy tính theo cách mà chúng ta đã nhận diện trong thực tế. Gần gũi với cách tiếp cận của máy tính hơn, chúng ta biết rằng hình ảnh khuôn mặt không chỉ là một bộ sưu tập pixel ngẫu nhiên, mỗi khuôn e 10 mặt có cấu trúc, thường là đối xứng nhưmắt, mũi, miệng và thường có những vị trí nhất định trên khuôn mặt.

Mỗi người khuôn mặt là một mô hình bao gồm một sự kết hợp đặc biệt của những điều này. Bằng cách phân tích hình ảnh khuôn mặt mẫu của một người, một chương trình học sẽ nắm bắt được mẫu cụ thể cho người đó và sau đó nhận ra bằng cách kiểm tra mẫu này trong một hình ảnh nhất định. Đây là một ví dụ về nhận dạng mẫu. Học máy là ngành học cung cấp cho máy tính khả năng học hỏi mà không cần được lập trình một cách rõ ràng (theo tác giả Samuel - 1959).

Học máylà một chương trình máy tính được nói là học hỏi từ kinh nghiệm E từ các tác vụ T và với độ đo hiệu suất P. Nếu hiệu suất của nó áp dụng trên tác vụ T và được đo lường bởi độ đo P tăng từ kinh nghiệm E (theo Giáo sư Tom Mitchell – Đại học Carnegie Mellon). Ví dụ: Giả sử như bạn muốn máy tính xác định một tin nhắn có phải là SPAM hay không? Trong đó: + Tác vụ T: Xác định 1 tin nhắn có phải SPAM hay không? + Kinh nghiệm E: Xem lại những tin nhắn đánh dấu là SPAM xem có những đặc tính gì để có thể xác định nó là SPAM. + Độ đo P: Là phần trăm số tin nhắn SPAM được phân loại đúng.

Chúng ta có một mô hình được xác định theo một số tham số và việc thực hiện chương trình máy tính để tối ưu hóa các tham số của mô hình bằng cách sử dụng dữ liệu huấn luyện hoặc kinh nghiệm trong quá khứ. Mô hình có thể được dự đoán để đưa ra dự đoán trong tương lai hoặc mô tả để thu thập e 11 kiến thức từ dữ liệu hoặc cả học máy sử dụng lý thuyết thống kê trong việc xây dựng các mô hình toán học, vì nhiệm vụ cốt lõi là suy luận từ một mẫu. Vai trò của khoa học máy tính có hai mặt: Đầu tiên, trong huấn luyện, chúng ta cần các thuật toán hiệu quả để giải quyết vấn đề tối ưu hóa, cũng như lưu trữ và xử lý lượng dữ liệu khổng lồ mà chúng ta thường có. Thứ hai, một khi một mô hình được học, giải pháp tối ưu và thuật toán cho suy luận cũng cần phải hiệu quả.

Trong một số ứng dụng nhất định, hiệu quả của thuật toán học hoặc suy luận, cụ thể là độ phức tạp không gian và thời gian của nó, có thể quan trọng như độ chính xác dự đoán của nó. Học máy tập trung vào việc phát triển các phần mềm, chương trình máy tính có thể truy cập vào dữ liệu và tận dụng nguồn dữ liệu đó để tự học. Có hai loại phương pháp học máy chính: Phương pháp quy nạp: Máy học/phân biệt các khái niệm dựa trên dữ liệu đã thu thập được trước đó. Phương pháp này cho phép tận dụng được nguồn dữ liệu rất nhiều và sẵn có.

Phương pháp suy diễn: Máy học/phân biệt các khái niệm dựa vào các luật. Phương pháp này cho phép tận dụng được các kiến thức chuyên ngành để hỗ trợ máy tính. Công nghệ nhận dạng khuôn mặt cho phép các nền tảng truyền thông xã hội giúp người dùng gắn thẻ và chia sẻ ảnh của bạn bè. Công nghệ nhận dạng ký tự quang học (Optical character recognition - OCR) chuyển đổi hình ảnh của văn bản thành file word.

Các công cụ đề xuất, được hỗ trợ bởi học máycó thể đề xuất những bộ phim, video tiếp theo cho người xem dựa trên sở thích của họ. Facebook sử dụng học máy để khai thác dữ liệu phản hồi của người dùng để cá nhân hóa nguồn cung cấp dữ liệu cho người dùng. Nếu e 12 chúng ta thích một nội dung nào đó, thuật toán sẽ học được điều này và cung cấp cho chúng ta những nội dung tương tự. Xe tự lái dựa vào học máy để tự vận hành cũng là một ví dụ.2 Phân nhóm các thuật toán học máy 1.1 Phân loại dựa trên phương thức học 1.