Chương 1: TỔNG QUAN VỀ HỌC MÁY VÀ HỌC SÂU. Chúng tôi trình bày tổng quan về ML và DL gồm có: sơ lược về ML, phương pháp ML, giới thiệu một số bài toán trong ML, giới thiệu một số thuật toán trong ML, sơ lược về DL và giới thiệu một số mô hình trong DL. + Chương 2: BÀI TOÁN PHÁT HIỆN LỖI TRÊN SẢN PHẨM DỆT MAY. Chúng tôi sẽ trình bày giải pháp giải quyết bài toán tìm lỗi trên sản có độ chính xác cao cho bài toán phát hiện lỗi trên sản phẩm dệt may.
+ Chương 3: XÂY DỰNG MÔ HÌNH VÀ THỰC NGHIỆM. Chúng tôi cài đặt thử nghiệm giải pháp đã đề xuất cho bài toán phát hiện lỗi trên sản phẩm dệt may, một số đánh giá về mô hình thu được và đề xuất giải pháp triển khai. TỔNG QUAN VỀ HỌC MÁY VÀ HỌC SÂU Chúng tôi trình bày tổng quan về học máy và học sâu gồm có: sơ lược về học máy, phương pháp học máy, giới thiệu một số bài toán trong học máy, giới thiệu một số thuật toán trong học máy, sơ lược về học sâu và giới thiệu một số mô hình học sâu.1 Sơ lược về học máy Học máy hay máy học (ML) là một thuật ngữ mà con người sử dụng để khi nhắc đến các chương trình máy tính có khả năng học hỏi về cách hoàn thành các nhiệm vụ và cách cải thiện hiệu suất theo thời gian. Nó là một công nghệ được phát triển từ lĩnh vực trí tuệ nhân tạo (AI).
Quá trình phát triển và hình thành của học máy ML vẫn cần sự đánh giá của con người trong việc tìm hiểu dữ liệu cơ sở và lựa chọn các kĩ thuật phù hợp để phân tích dữ liệu. Ngoài ra, trước khi sử dụng thì dữ liệu cần được tiền xử lý dữ liệu để dữ liệu được sạch, không có sai lệch và không có dữ liệu giả. Mô hình được tạo ra từ ML cần lượng dữ liệu đủ lớn để huấn luyện và đánh giá mô hình. Trước đây, quyền truy cập vào các nguồn dữ liệu cần thiết để mô hình hóa các mối quan hệ giữa các dữ liệu còn hạn chế.
Ngày nay, sự 4 tăng trưởng trong dữ liệu lớn (Big Data) đã cung cấp nguồn dữ liệu để cải thiện độ chính xác của mô hình và dự đoán của các mô hình ML.2 Phương pháp học máy ML có 2 lớp chính bao gồm học có giám sát (Supervised Learning) và học không giám sát (Unsupervised Learning). Ngoài ra, còn có 2 lớp khác là học bán giám sát (Semi-Supervised Learning) và học tăng cường (Reinforcement Learning).1 Supervised Learning Máy tính sẽ cố gắng học cách mô hình hóa các mối quan hệ dựa trên dữ liệu được gán nhãn (labeled data). Sau khi tìm hiểu cách tốt nhất để mô hình hóa các mối quan hệ cho dữ liệu được gắn nhãn, các thuật toán được huấn luyện được sử dụng cho các bộ dữ liệu mới. Supervised Learning có thể được nhóm lại thành 2 bài toán chính là phân lớp (Classification) và hồi quy (Regression), một số thuật toán tiêu biểu như: Decision Trees, Linear Regression, Logistic Regression, Support Vector Machine.2 Unsupervised Learning Máy tính không được cung cấp dữ liệu được dán nhãn mà thay vào đó chỉ được cung cấp dữ liệu và thuật toán tìm cách mô tả dữ liệu và cấu trúc của chúng.
Unsupervised Learning có một số thuật toán tiêu biểu như: Principal Component Analysis, Singular Value Decomposition.3 Reinforcement Learning Học tăng cường (RL) là một kỹ thuật học máy cho phép tác nhân học bằng cách thử và sai trong môi trường tương tác sử dụng đầu vào từ các hành động (Actions) và kinh nghiệm của nó. Không giống như học có giám sát, dựa trên dữ liệu mẫu hoặc ví dụ đã cho, phương pháp RL dựa trên tương tác với môi trường. Vấn đề cần giải quyết trong học tăng cường (RL) được định nghĩa là Markov Decision Process (MDP) [1] tức là tất cả về việc đưa ra các quyết định một cách tuần tự. Một vấn đề RL thường bao gồm bốn yếu tố như tác nhân (Agent), môi trường (Environment), phần thưởng (Rewards) và chính sách (Policy).
Reinforcement Learning 6 RL có thể được chia thành các kỹ thuật dựa trên mô hình (Model-based) và không có mô hình (Model-free). + Dựa trên mô hình: Quá trình suy ra hành vi tối ưu từ một mô hình của môi trường bằng cách thực hiện các hành động và quan sát kết quả, bao gồm trạng thái tiếp theo và phần thưởng ngay lập tức. AlphaZero, AlphaGo là những ví dụ về cách tiếp cận dựa trên mô hình [2]. + Không có mô hình: Cách tiếp cận không có mô hình không sử dụng phân phối xác suất chuyển đổi và hàm phần thưởng được liên kết với MDP.
Q-learning, Deep Q Network, Monte Carlo Control, SARSA (State – Action – Reward – State – Action),. là một số ví dụ về thuật toán không có mô hình [1]. Khác với RL dựa trên mô hình thì trên RL không có mô hình không yêu cầu chính sách (Policy), đây là điểm khác biệt chính giữa học tập dựa trên mô hình và không mô hình.3 Một số bài toán trong học máy 1.1 Bài toán phân loại Bài toán phân loại là quá trình phân một đối tượng dữ liệu vào một hay nhiều lớp đã cho trước nhờ vào một mô hình phân lớp. Về mặt toán học, nó là ánh xạ một hàm (f) từ các biến đầu vào (X) đến các biến đầu ra (Y) và được biểu diễn như sau 𝑓(𝑋) = 𝑌 [1].
Khi dự đoán lớp của các điểm dữ liệu đã cho, chúng ta có thể được thực hiện trên dữ liệu có cấu trúc hoặc phi cấu trúc. Sau đây, chúng tôi tóm tắt các vấn đề phân loại phổ biến.1 Phân loại nhị nhân Thông thường, các nhiệm vụ phân loại nhị phân sẽ bao gồm một lớp là “trạng thái bình thường” và một lớp khác là “trạng thái bất thường”. Ví dụ “not spam” là trạng thái bình thường và “spam” là trạng thái bất thường. Một ví dụ khác là "ung thư không được phát hiện" là trạng thái bình thường và "ung thư được phát hiện" là trạng thái bất thường.
Giả sử, lớp cho trạng thái bình thường được gán nhãn lớp 0 và lớp có trạng thái bất thường được gán nhãn lớp 1. Người ta thường lập mô hình nhiệm vụ phân loại nhị phân với một mô hình dự đoán phân phối xác suất Bernoulli cho mỗi ví dụ. Phân phối Bernoulli là một phân phối xác suất rời rạc bao gồm trường hợp một sự kiện sẽ có kết quả nhị phân là 0 hoặc 1. Đối với phân loại, điều này có nghĩa là mô hình dự đoán xác suất của một ví dụ thuộc lớp trạng thái bình thường hoặc lớp trang thái bất thường.
[1] Một số phương pháp thường được sử dụng để phân lớp nhị phân là: Decision Trees, Random Forests, Bayesian Networks, Support Vector Machines, Neural Networks, Logistic Regression.2 Phân loại nhiều lớp Khác với bài toán phân lớp nhị phân, phân loại nhiều lớp không sử dụng khái niệm “trạng thái bình thường” và “trạng thái bất thường” mà dữ liệu sẽ được phân lớp dựa vào danh sách nhãn đã biết. Số lượng nhãn có thể rất lớn tùy vào vấn đề, ví dụ trong hệ thống nhận diện khuôn mặt thì kết quả dự đoán một bức ảnh có thể thuộc về một trong số hàng nghìn hoặc chục nghìn khuôn mặt đã có trong hệ thống. Hay mô hình dịch văn bản cũng có thể được coi là một kiểu phân loại nhiều lớp đặc biệt. Mỗi từ trong chuỗi được dự đoán liên quan đến một phân loại nhiều lớp trong đó kích thước của từ vựng xác định số lượng các lớp có thể được dự đoán và có thể có kích thước hàng chục hoặc hàng trăm nghìn từ.
[1] Người ta thường lập mô hình nhiệm vụ phân loại nhiều lớp với một mô hình dự đoán phân phối xác suất Multinoulli cho mỗi ví dụ. Phân phối 8 Multinoulli là một phân phối xác suất rời rạc bao gồm trường hợp một sự kiện sẽ có kết quả phân loại, ví dụ: K trong {1, 2, 3,…, K}. Đối với phân loại, điều này có nghĩa là mô hình dự đoán xác suất của một ví dụ thuộc về mỗi nhãn lớp. Một số thuật toán phổ biến có thể được sử dụng để phân loại nhiều lớp là: k-Nearest Neighbors, Decision Trees, Random Forests.
Ngoài ra, một số thuật toán được sử dụng để phân loại nhị phân có thể được sử dụng để phân loại nhiều lớp.2 Bài toán hồi quy Bài toán hồi quy là quá trình dự đoán một biến kết quả (y) liên tục dựa trên giá trị của một hoặc nhiều biến dự báo (x) [1]. Sự khác biệt đáng kể nhất giữa phân loại và hồi quy là phân loại dự đoán các nhãn lớp riêng biệt, trong khi hồi quy tạo điều kiện cho việc dự đoán một đại lượng liên tục. Hình 6 cho thấy một ví dụ về cách phân loại khác với các mô hình hồi quy. Một số chồng chéo thường được tìm thấy giữa hai loại thuật toán học máy.
Các mô hình hồi quy hiện được sử dụng rộng rãi trong nhiều lĩnh vực, bao gồm dự báo hoặc dự đoán tài chính, ước tính chi phí, phân tích xu hướng, tiếp thị, ước tính chuỗi thời gian, mô hình phản ứng thuốc, và nhiều hơn nữa. Một số loại thuật toán hồi quy quen thuộc là hồi quy tuyến tính, hồi quy đa thức, … được giải thích ngắn gọn trong phần sau.1 Hồi quy tuyến tính đơn giản và đa tuyến tính Phương pháp này khá phổ biến trong những mô hình ML, đồng thời là phương pháp nổi tiếng trong các phương pháp hồi quy. Trong phương pháp này, biến phụ thuộc là liên tục, các biến độc lập có thể liên tục hoặc rời rạc và dạng của đường hồi quy là tuyến tính. Hồi quy tuyến tính tạo ra mối quan hệ giữa biến phụ thuộc (y) và một hoặc nhiều biến độc lập (x) (còn được gọi là đường hồi quy) bằng cách sử dụng đường thẳng phù hợp nhất [1].
Hồi quy đa tuyến tính là một phần mở rộng của hồi quy tuyến tính đơn giản cho phép hai hoặc nhiều biến dự báo mô hình hóa một biến đáp ứng, y như một hàm tuyến tính được định nghĩa bởi phương trình (2).Trong khi hồi quy tuyến tính đơn giản chỉ có 1 biến độc lập, được xác định trong phương trình (1).2 Hồi quy đa thức Hồi quy đa thức là một dạng phân tích hồi quy trong đó mối quan hệ giữa biến độc lập (x) và biến phụ thuộc (y) không phải là tuyến tính, mà là đa thức bậc n trong (x). Phương trình hồi quy đa thức cũng được suy ra từ phương trình hồi quy tuyến tính, được định nghĩa bởi công thức sau: 𝑦 = 𝑎 + 𝑏1 𝑥 1 + 𝑏2 𝑥 2 + .4 Một số thuật toán trong học máy 1.1 Khái niệm Cuối những năm 70 đầu những năm 80, J.