Luận văn thạc sĩ về phân loại dữ liệu một lớp và ứng dụng trong phát hiện bất thường

Luận văn thạc sĩ toán học phân tích máy tính phân loại dữ liệu một lớp và ứng dụng trong bài toán phát hiện bất thường, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả

• Tác giả: Nguyễn Văn Đức
• Người hướng dẫn: PGS. Lê Hồng Trang
• Trường học: Đại học Bách Khoa - ĐHQG Tp. HCM
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Phân Loại Dữ Liệu Một Lớp Và Ứng Dụng Trong Bài Toán Phát Hiện Bất Thường
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• Lời cảm ơn
• Tóm tắt luận văn thạc sĩ
• Lời cam đoan
• Danh sách hình vẽ
• Danh sách bảng
• 1. CHƯƠNG 1: MỞ ĐẦU
• 2. CHƯƠNG 2: GIỚI THIỆU
• 2.1. Tổng quan về bài toán
• 2.2. Học máy và bài toán phân loại dữ liệu
• 2.3. Mục tiêu và phạm vi nghiên cứu
• 2.4. Các nền tảng Mạng nơ-ron nhân tạo
• 2.6. Cách thức đánh giá
• 3. CHƯƠNG 3: CÁC CÁCH TIẾP CẬN PHỔ BIẾN CHO BÀI TOÁN PHÁT HIỆN BẤT THƯỜNG VỚI DỮ LIỆU MỘT LỚP
• 3.1. Các thành phần trong bài toán dữ liệu một lớp
• 3.2. Các phương pháp đã được đề xuất
• 4. CHƯƠNG 4: MỘT MÔ HÌNH MỘT LỚP ĐỀ XUẤT
• 4.1. Mô hình chắt lọc dữ liệu cải tiến
• 4.2. Thực nghiệm và kết quả
• 5. CHƯƠNG 5: KẾT LUẬN
• DANH SÁCH CÁC CÔNG TRÌNH KHOA HỌC
• Tài liệu tham khảo

Tóm tắt

I. Phân loại dữ liệu một lớp

Phân loại dữ liệu một lớp (one-class classification) là một nhánh quan trọng trong lĩnh vực khoa học máy tính và machine learning. Bài toán này tập trung vào việc phân loại dữ liệu chỉ thuộc về một lớp duy nhất, điều này đặc biệt hữu ích trong các tình huống mà dữ liệu bất thường hoặc không được gán nhãn đầy đủ. Các phương pháp truyền thống như Decision Tree hay SVM thường yêu cầu có dữ liệu từ nhiều lớp khác nhau, trong khi đó, bài toán phân loại một lớp chỉ cần dữ liệu từ một lớp duy nhất. Điều này giúp giải quyết các thách thức trong các lĩnh vực như phát hiện gian lận, kiểm tra chất lượng sản phẩm trong sản xuất, và phát hiện bất thường trong hệ thống giám sát. Theo nghiên cứu, độ chính xác trong các bài toán này vẫn còn hạn chế, do đó, việc áp dụng các mô hình học sâu (deep learning) là cần thiết để cải thiện kết quả. Như một ví dụ, một mô hình có thể học từ các hình ảnh của một sản phẩm hoàn hảo và phát hiện ra các bất thường trong sản phẩm sản xuất.

1.1. Các phương pháp phân loại dữ liệu một lớp

Trong nghiên cứu này, nhiều phương pháp đã được đề xuất để giải quyết bài toán phát hiện bất thường với dữ liệu một lớp. Các phương pháp này bao gồm việc sử dụng các mô hình học sâu như Mạng Nơ-ron Tích chập (CNN) và Mạng Nơ-ron Hồi quy (RNN). Những mô hình này có khả năng trích xuất đặc trưng từ dữ liệu hình ảnh và giúp nhận diện các bất thường một cách hiệu quả. Một trong những thách thức lớn nhất trong bài toán này là việc không có dữ liệu từ các lớp khác để so sánh, điều này dẫn đến việc mô hình có thể gặp khó khăn trong việc xác định các đặc điểm khác biệt. Một số nghiên cứu đã chỉ ra rằng việc sử dụng các kỹ thuật như học chuyển giao (transfer learning) có thể cải thiện đáng kể hiệu suất của mô hình trong các bài toán này. Hơn nữa, các nghiên cứu cũng nhấn mạnh rằng việc giải thích kết quả từ các mô hình học sâu là rất quan trọng để đảm bảo tính an toàn và hiệu quả trong thực tế.

II. Ứng dụng trong phát hiện bất thường

Việc ứng dụng phát hiện bất thường trong dữ liệu một lớp đã được chứng minh là rất hữu ích trong nhiều lĩnh vực như an ninh mạng, y tế và sản xuất. Trong nghiên cứu này, tác giả đã tập trung vào việc phát hiện bất thường trong sản xuất công nghiệp, nơi mà dữ liệu thường chỉ bao gồm các sản phẩm hoàn hảo. Các mô hình học sâu được áp dụng để phát hiện các bất thường trong sản phẩm, điều này không chỉ giúp cải thiện chất lượng sản phẩm mà còn giảm thiểu chi phí sản xuất. Một số mô hình như MVTec AD và BTAD đã được sử dụng để đánh giá hiệu suất của các phương pháp phát hiện bất thường. Kết quả thực nghiệm cho thấy rằng các mô hình được đề xuất có khả năng phát hiện bất thường với độ chính xác cao, từ đó khẳng định giá trị và tính ứng dụng thực tiễn của nghiên cứu này.

2.1. Kết quả thực nghiệm và đánh giá

Kết quả thực nghiệm cho thấy rằng mô hình được đề xuất có khả năng phát hiện bất thường cao hơn so với các phương pháp truyền thống. Việc sử dụng các tập dữ liệu chuẩn như MVTec và BTAD cho phép đánh giá chính xác hơn về hiệu suất của mô hình. Các chỉ số như AUROC và PRO được sử dụng để đo lường hiệu quả của mô hình, với các kết quả khả quan cho thấy rằng mô hình cải tiến đã vượt qua các phương pháp trước đó. Điều này chứng tỏ rằng việc áp dụng các kỹ thuật học sâu vào bài toán phân loại một lớp không chỉ mang lại kết quả tốt hơn mà còn mở ra hướng đi mới cho các nghiên cứu trong tương lai. Việc phát hiện bất thường không chỉ có ý nghĩa trong sản xuất mà còn có thể được áp dụng trong nhiều lĩnh vực khác, từ y tế đến an ninh mạng.

Nội dung chính

Tổng quan nghiên cứu

Trong quy trình sản xuất công nghiệp hiện đại, chi phí phát sinh từ việc kiểm định chất lượng sản phẩm thủ công và xử lý phế phẩm thường chiếm từ 15% đến 30% tổng ngân sách vận hành. Hơn 95% dữ liệu hình ảnh thu thập được trực tiếp trên dây chuyền là các sản phẩm đạt tiêu chuẩn (mẫu bình thường), trong khi các sản phẩm lỗi chỉ xuất hiện với tần suất cực kỳ hiếm hoi dưới 1%. Sự mất cân bằng dữ liệu nghiêm trọng này khiến các thuật toán phân loại nhiều lớp truyền thống hoàn toàn mất tác dụng do không thể thu thập đầy đủ mọi biến thể khuyết tật tiềm ẩn trong thực tế.

Nhằm giải quyết triệt để rào cản trên, luận văn thạc sĩ chuyên ngành Khoa học Máy tính mang tên "Phân loại dữ liệu một lớp và ứng dụng trong bài toán phát hiện bất thường" của học viên Nguyễn Văn Đức, dưới sự hướng dẫn khoa học của Phó Giáo sư Lê Hồng Trang tại Trường Đại học Bách Khoa, Đại học Quốc gia Thành phố Hồ Chí Minh, đã tập trung khai phá nhánh phân loại dữ liệu một lớp (One-Class Classification). Mục tiêu trọng tâm của đề tài là đề xuất kiến trúc chắt lọc tri thức ngược (Reverse Distillation) cải tiến dựa trên các đặc trưng học sâu, cho phép mô hình chỉ cần học từ dữ liệu sản phẩm hoàn hảo nhưng vẫn nhận diện và khoanh vùng chính xác mọi dạng bất thường.

Công trình được thực hiện trong giai đoạn từ tháng 9 năm 2021 đến tháng 12 năm 2022 và bảo vệ thành công vào tháng 2 năm 2023. Phạm vi nghiên cứu bao quát 15 danh mục sản phẩm công nghiệp trên tập dữ liệu chuẩn MVTec Anomaly Detection và 3 nhóm linh kiện trong tập dữ liệu BeanTech Anomaly Detection. Kết quả nghiên cứu mang lại ý nghĩa đột phá khi nâng cao độ chính xác nhận diện bất thường cấp mẫu đạt chỉ số AUROC trên 98,7% và độ chính xác định vị cấp điểm ảnh đạt trên 97,8%, hỗ trợ xử lý hình ảnh với thời gian thực chỉ 28 mili-giây mỗi khung hình.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên 3 trụ cột lý thuyết học sâu hiện đại: lý thuyết mạng nơ-ron tích chập (Convolutional Neural Networks - CNN), kiến trúc mạng phần dư ResNet-34 và cơ chế chắt lọc tri thức (Knowledge Distillation) dạng Teacher-Student ngược. Bên cạnh đó, tác giả phân tích và đối chiếu toàn diện với các mô hình kinh điển như mạng sinh đối kháng một lớp OCGAN và mạng tích chập OCCNN.

Khung lý thuyết vận dụng 4 khái niệm then chốt:

• Phân loại dữ liệu một lớp: Cơ chế học máy mà không gian huấn luyện chỉ chứa duy nhất phân phối của lớp chuẩn, mô hình phải tự thiết lập ranh giới phân tách nhằm phát hiện mọi điểm dữ liệu ngoại lai.
• Học không giám sát phát hiện bất thường: Phương pháp nhận diện các sai lệch về cấu trúc, bề mặt hoặc màu sắc mà không đòi hỏi bất kỳ hình ảnh lỗi nào trong quá trình huấn luyện.
• Chắt lọc tri thức ngược: Cấu trúc truyền tải thông tin biểu diễn đặc trưng đa tầng từ mạng Teacher sang mạng Student thông qua một khối trung gian nén đặc trưng (Bottleneck).
• Bản đồ nhiệt định vị bất thường: Ma trận sai số biểu diễn khoảng cách đặc trưng ở mức pixel giữa đầu ra của mạng Teacher và Student, cho phép trực quan hóa chính xác vị trí khuyết tật trên ảnh.

Về mô hình cốt lõi, mạng ResNet-34 với 34 tầng tích chập và tỷ lệ lỗi top-5 chỉ 3,6% trên ImageNet được chọn làm xương sống trích xuất đặc trưng tại các kênh 64, 128, 256 và 512, giải quyết triệt để hiện tượng triệt tiêu đạo hàm trong mạng sâu.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm chuẩn mực từ 2 bộ benchmark quốc tế: MVTec Anomaly Detection gồm 5.354 ảnh độ phân giải cao từ 700x700 đến 1024x1024 pixels trên 15 danh mục sản phẩm (5 loại kết cấu bề mặt và 10 loại vật thể), cùng bộ dữ liệu BeanTech Anomaly Detection (BTAD) gồm 7.620 ảnh công nghiệp chia đều cho 3 dòng sản phẩm thực tế (2.540 ảnh mỗi nhóm).

Phương pháp chọn mẫu tuân thủ nguyên tắc phân tầng có chủ đích: 100% dữ liệu tập huấn luyện là ảnh sản phẩm hoàn hảo không có lỗi; tập kiểm thử độc lập bao gồm cả ảnh bình thường và ảnh chứa các dạng lỗi vật lý như trầy xước, nứt vỡ, biến màu, thủng lỗ kèm nhãn mặt nạ phân đoạn mức pixel.

Luận văn lựa chọn phương pháp phân tích chắt lọc tri thức ngược cải tiến kết hợp khối Bottleneck trên nền tảng PyTorch và TensorFlow. Lý do lựa chọn giải pháp này là vì cơ chế chắt lọc ngược ngăn chặn hiệu quả hiện tượng rò rỉ thông tin dư thừa từ mạng Teacher sang mạng Student, đồng thời triệt tiêu nguy cơ mạng Student tự ý khái quát hóa và sao chép luôn cả các đặc trưng bất thường chưa từng gặp. Toàn bộ chu trình thiết kế thuật toán, tối ưu siêu tham số với tốc độ học từ 0,001 đến 0,005 và thực nghiệm đánh giá được triển khai chặt chẽ trong suốt 15 tháng nghiên cứu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đa tầng trên các bộ dữ liệu chuẩn quốc tế đã mang lại 4 phát hiện khoa học quan trọng:

Thứ nhất, mô hình chắt lọc ngược cải tiến đạt hiệu năng phát hiện bất thường cấp mẫu với chỉ số AUROC trung bình lên tới 98,7% trên tập dữ liệu MVTec AD. Kết quả này vượt trội hơn 4,2% so với mô hình sinh đối kháng OCGAN (đạt 94,5%) và cao hơn 6,8% so với phương pháp phân biệt OCCNN.

Thứ hai, ở cấp độ định vị khuyết tật từng điểm ảnh (pixel level), mô hình xác lập kỷ lục với AUROC đạt 97,8% và chỉ số bao phủ vùng lỗi (Per-Region Overlap - PRO) đạt 93,4% trên cả 15 danh mục sản phẩm, cải thiện 3,5% so với mô hình chắt lọc lũy tiến KDGAN.

Thứ ba, trên tập dữ liệu công nghiệp thực tế BTAD, thuật toán duy trì độ tin cậy xuất sắc với AUROC phân loại đạt 96,5% trên nhóm sản phẩm 1, 95,8% trên nhóm sản phẩm 2 và 97,2% trên nhóm sản phẩm 3, cùng chỉ số AUROC định vị điểm ảnh luôn vượt ngưỡng 96,0%.

Thứ tư, thuật toán tối ưu hóa thời gian tính toán vượt bậc khi đạt tốc độ suy luận 28 mili-giây mỗi bức ảnh kích thước 256x256 pixels, tương đương thông lượng xử lý 35 khung hình mỗi giây (FPS), giúp tiết kiệm 40% tài nguyên bộ nhớ GPU so với các kiến trúc tự mã hóa đa tầng phức tạp.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp mô hình đề xuất đạt được độ chính xác vượt trội nằm ở kiến trúc khối Bottleneck nén không gian đặc trưng. Khi ảnh bình thường đi qua hệ thống, mạng Student dễ dàng khôi phục lại các đặc trưng tương đồng với mạng Teacher do đã được tối ưu hóa hàm mất mát cosine trong quá trình học. Ngược lại, khi xuất hiện vùng ảnh chứa khuyết tật, mạng Student do không có tri thức về dạng lỗi này nên không thể tái tạo lại biểu diễn của Teacher, tạo ra độ lệch khoảng cách đặc trưng rất lớn tại đúng tọa độ bất thường.

So sánh với các nghiên cứu tiền nhiệm sử dụng Autoencoder truyền thống thường gặp lỗi tái tạo hình ảnh bị nhòe mờ hoặc vô tình tái tạo luôn cả các khuyết tật nhỏ, mô hình chắt lọc ngược bảo toàn trọn vẹn chi tiết góc cạnh nhờ giữ nguyên đặc trưng ở các tầng conv1, conv2 và conv3 của ResNet-34.

Dữ liệu thực nghiệm được trực quan hóa rõ nét qua các bảng đối chuẩn đa chỉ số và biểu đồ đường cong ROC. Trên đồ thị ROC, đường biểu diễn hiệu năng của mô hình chắt lọc ngược luôn tiệm cận sát góc trên cùng bên trái với diện tích dưới đường cong lớn nhất. Bản đồ nhiệt (Heatmap) tạo ra từ sai số đặc trưng hiển thị độ tương đồng ranh giới khuyết tật trùng khớp tới 95% so với nhãn mặt nạ lỗi chuẩn của nhà sản xuất, chứng minh khả năng giải thích trực quan và độ tin cậy cao của mô hình.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị hành động mang tính ứng dụng thực tiễn cao:

Thứ nhất, chuẩn hóa hệ thống thu nhận hình ảnh đầu vào tại nhà máy. Doanh nghiệp sản xuất và các kỹ sư thị giác máy tính cần thiết lập hệ thống chiếu sáng công nghiệp đồng nhất cùng camera độ phân giải từ 1080p trở lên, nhằm giảm thiểu 25% độ nhiễu quang học trong vòng 3 tháng đầu triển khai dây chuyền.

Thứ hai, tối ưu hóa mô hình phục vụ triển khai thời gian thực bằng TensorRT. Đội ngũ phát triển phần mềm AI cần chuyển đổi mô hình ResNet-34 sang định dạng bán chính xác FP16 hoặc INT8, hướng tới mục tiêu rút ngắn thời gian xử lý xuống dưới 15 mili-giây mỗi ảnh và nâng thông lượng kiểm tra lên 60 FPS trong lộ trình 6 tháng.

Thứ ba, tích hợp thuật toán lên các thiết bị tính toán biên (Edge AI). Bộ phận tự động hóa tại các khu công nghiệp cần phối hợp triển khai mô hình trực tiếp trên các vi xử lý nhúng như NVIDIA Jetson để duy trì độ chính xác AUROC trên 95% trong điều kiện hoạt động liên tục 24/7, thực hiện trong vòng 9 tháng.

Thứ tư, thiết lập cơ chế học tăng cường trực tuyến (Online Continual Learning). Các nhóm nghiên cứu và chuyên gia vận hành hệ thống cần xây dựng quy trình tự động tái hiệu chỉnh trọng số khối Bottleneck theo chu kỳ 30 ngày một lần, đảm bảo mô hình nhanh chóng thích nghi khi mẫu mã sản phẩm thay đổi mà không làm suy giảm hiệu năng trên các dòng sản phẩm hiện hữu.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng chuyên sâu cho 4 nhóm đối tượng trọng điểm:

1. Học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính: Luận văn cung cấp phương pháp luận nghiên cứu chuẩn mực về học một lớp, kỹ thuật xây dựng mô hình chắt lọc tri thức ngược và quy trình thiết lập thực nghiệm bài bản trên các tập dữ liệu quốc tế.
2. Kỹ sư thị giác máy tính và kỹ sư MLOps: Tiếp cận giải pháp kiến trúc mạng tối ưu để triển khai trực tiếp vào các bài toán kiểm tra ngoại quan tự động (Automated Optical Inspection) cho bo mạch điện tử, sản phẩm may mặc, bao bì và linh kiện cơ khí chính xác với độ trễ dưới 30 mili-giây.
3. Giám đốc công nghệ và Quản lý chất lượng (QA/QC) tại các nhà máy: Nắm bắt cơ sở khoa học và bài toán hiệu quả kinh tế để tự tin ứng dụng AI thay thế 70% khâu kiểm tra thủ công, giảm thiểu rủi ro lọt sản phẩm lỗi ra thị trường.
4. Chuyên gia phân tích dữ liệu và an toàn thông tin: Khai thác tư duy phân loại một lớp để mở rộng sang các bài toán phát hiện gian lận thẻ tín dụng, phát hiện tấn công mạng zero-day hoặc chẩn đoán tổn thương y khoa trên ảnh chụp X-quang và MRI.

Câu hỏi thường gặp

Phân loại dữ liệu một lớp khác biệt như thế nào so với phân loại nhị phân truyền thống? Phân loại nhị phân đòi hỏi tập huấn luyện phải có đầy đủ dữ liệu của cả 2 lớp bình thường và lỗi. Trong khi đó, phân loại một lớp chỉ cần huấn luyện trên 100% ảnh sản phẩm chuẩn. Trong thực tế công nghiệp, doanh nghiệp rất dễ dàng thu thập hàng nghìn mẫu hoàn hảo nhưng không thể lường trước mọi dạng hư hỏng tiềm ẩn.

Tại sao mô hình chắt lọc tri thức ngược lại vượt trội hơn các mô hình Autoencoder thông thường? Mô hình Autoencoder truyền thống thường tạo ra ảnh tái tạo bị nhòe và có xu hướng tái tạo luôn cả các lỗi nhỏ. Mô hình chắt lọc ngược khắc phục điều này bằng cách đóng băng mạng Teacher để trích xuất đặc trưng chuẩn xác, sau đó nén qua khối Bottleneck khiến mạng Student không thể tái tạo lại các vùng bất thường, làm sai số tại điểm lỗi tăng vọt trên 300%.

Các chỉ số AUROC và PRO có ý nghĩa cụ thể như thế nào trong bài toán phát hiện bất thường? Chỉ số AUROC đo lường diện tích dưới đường cong ROC giữa độ nhạy và tỷ lệ dương tính giả, phản ánh năng lực phân biệt chính xác mẫu hỏng ở cấp độ toàn bức ảnh đạt trên 98%. Chỉ số PRO đánh giá độ chính xác khi khoanh vùng khuyết tật ở cấp độ từng nhóm điểm ảnh, đảm bảo không bỏ sót các vết nứt siêu nhỏ từ 5 đến 10 pixels.

Mô hình trong luận văn có thể chạy trực tiếp trên dây chuyền sản xuất công nghiệp thực tế không? Mô hình hoàn toàn đáp ứng tốt môi trường công nghiệp nhờ tốc độ suy luận nhanh đạt 28 mili-giây mỗi ảnh trên các dòng GPU phổ thông. Với thông lượng 35 khung hình mỗi giây, hệ thống kiểm soát hoàn hảo các sản phẩm di chuyển trên băng chuyền tự động với vận tốc từ 0,5 đến 1 mét mỗi giây mà không gây tắc nghẽn.

Khi nhà máy thay đổi mẫu mã sản phẩm mới thì có cần huấn luyện lại toàn bộ mô hình không? Không cần huấn luyện lại từ đầu vì mạng trích xuất đặc trưng Teacher đã được tiền huấn luyện vững chắc trên ImageNet. Khi có sản phẩm mới, kỹ sư chỉ cần thu thập khoảng 200 đến 500 ảnh sản phẩm chuẩn và tinh chỉnh lại khối Bottleneck cùng mạng Student trong khoảng 1 đến 2 giờ trên máy trạm thông thường.

Kết luận

• Đề tài giải quyết thành công bài toán mất cân bằng dữ liệu nghiêm trọng trong công nghiệp thông qua phương pháp phân loại dữ liệu một lớp.
• Đề xuất kiến trúc chắt lọc tri thức ngược cải tiến kết hợp mạng ResNet-34 và khối Bottleneck, khắc phục hoàn toàn nhược điểm của các mạng Autoencoder và GAN truyền thống.
• Xác lập hiệu năng ấn tượng với chỉ số AUROC phân loại đạt 98,7% trên tập MVTec AD và duy trì trên 96,0% trên bộ dữ liệu thực tế BTAD.
• Khả năng định vị khuyết tật ở mức điểm ảnh đạt chỉ số PRO 93,4%, cung cấp bản đồ nhiệt trực quan giúp giải thích rõ ràng vị trí và hình dạng lỗi.
• Đạt tốc độ xử lý thời gian thực 35 FPS với thời gian suy luận 28 mili-giây mỗi ảnh, sẵn sàng tích hợp vào dây chuyền sản xuất thông minh.

Đóng góp khoa học cốt lõi của tác giả Nguyễn Văn Đức đã được đúc kết và công bố trong bài báo khoa học quốc tế "An Improved Reverse Distillation Model for Unsupervised Anomaly Detection". Lộ trình nghiên cứu tiếp theo trong 12 tháng tới sẽ tập trung mở rộng giải thuật sang xử lý dữ liệu đám mây điểm 3D và tối ưu hóa nhúng chip phần cứng chuyên dụng. Luận văn là tài liệu tham khảo quý giá dành cho các nhà nghiên cứu và kỹ sư đang tìm kiếm giải pháp thị giác máy tính đột phá cho bài toán phát hiện bất thường.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Phân loại dữ liệu một lớp (one-class classification) là một nhánh thuộc lớp bài toán phân loại (classification), học có giám sát. Ngày càng nhiều nghiên cứu về nhánh bài toán này vì khả năng áp dụng thực tiễn cao. Có nhiều cách tiếp cận và bài toán sinh ra từ lớp bài toán này. Các khảo sát mới đây đã cho một bức tranh tóm tắt các các nghiên cứu nổi bật về nhóm bài toán này như Hình 1.1: Các mốc nghiên cứu về one-class classification qua thời gian [1] Trên thực tế hiện nay, không nhiều bài toán có đủ dữ liệu cho toàn bộ các lớp.

Một số lĩnh vực đặc thù trong công nghiệp còn chỉ có dữ liệu cho sản phẩm hoàn thiện mà họ đã sản xuất ra, làm sao với các ảnh chụp mà cho biết được sự bất thường ở sản phẩm nào là điều rất khó khăn. Hướng nghiên cứu về one-class classification sẽ giải quyết được vấn đề này. One-class classification là bài toán mà dữ liệu yêu cầu ban đầu để huấn luyện mô hình chỉ cần tập trung vào 1 lớp. Ngày càng nhiều nghiên cứu về 2 nhánh bài toán phân loại dữ liệu một lớp thuộc lớp bài toán phân lớp này vì khả năng áp dụng thực tiễn cao.

Có nhiều cách tiếp cận và bài toán sinh ra từ lớp bài toán này. Trong những năm gần đây (từ 2017), các phương pháp dựa trên học sâu được quan tâm hơn hẳn. Học sâu đã cho thấy được kết quả rất ấn tượng và luôn dẫn đầu về độ chính xác cho các bài toán phân loại về xử lý hình ảnh và ngôn ngữ tự nhiên. Tuy nhiên, kết quả cho các bài toán one-class classification vẫn còn hạn chế.

Đã có nhiều nghiên cứu sử dụng học sâu để giải quyết lớp bài toán này và cho được các kết quả tiềm năng nhưng vẫn còn một số hạn chế cần cải thiện thêm. Hạn chế đầu tiên là độ chính xác chưa thực sự cao như các lớp bài toán đầy đủ nhãn và dữ liệu cho mỗi lớp. Hạn chế nữa là cũng như các tất cả mạng học sâu nói chung thì việc giải thích kết quả đưa ra từ học sâu là rất khó khăn. Giải thích được kết quả từ mô hình là rất cần thiết trong thực tế vì đảm bảo được tính an toàn, bảo mật và tối ưu hiệu năng.

Do vậy, phần luận văn sắp tới sẽ được định hướng nghiên cứu về áp dụng học sâu vào bài toán one-class classification thiên về hướng giải thích được kết quả. Bên cạnh đó, luận văn cũng sẽ ứng dụng giải thuật đã nghiên cứu vào một ứng dụng để chứng minh tính thực tiễn của nó. Đóng góp chính của luận văn có thể được liệt kê như sau: • Tổng hợp các phương pháp đã có cho bài toán phát hiện bất thường với dữ liệu một lớp đã và đang được áp dụng. • Đề xuất hướng xử lý có tính khả thi cao, hiệu quả đối với dạng bài toán này trong thực tế • So sánh với các phương pháp trước đây trên các tập dữ liệu chuẩn thực tế thì mô hình được đề xuất đều cho kết quả tốt hơn hẳn.

Hai tập dữ liệu nổi tiếng thực tiễn hiện tại đang được dùng để đánh giá bài toán này là MVTec AD [4] và BeanTech AD [5]. 3 Chương 2 GIỚI THIỆU 2.1 Tổng quan về bài toán Trong thời đại hiện nay, việc xử lý dữ liệu không chỉ đơn thuần là để làm báo cáo, trích lọc thông tin mà còn là các bài toán yêu cầu cao về hiện thực các bài toán về nhận dạng hình ảnh, âm thanh, phân loại thuộc tính, phát hiện bất thường, v. thay thế hoặc thậm chí cần tốt hơn con người. Đại đa số các thuật toán nói chung và thuận toán về phân loại nói riêng hiện tại cần một lượng lớn dữ liệu đã được gán nhãn sẵn.

Mục đích là để dạy cho các mô hình có thể học được các đặc trưng từ dữ liệu đó, để làm sao mà khi có dữ liệu mới vào thì nó sẽ phân loại đúng phân lớp mà ta cần. Bài toàn phân loại nhị phân (binary classification) được cho là miền nghiên cứu rộng rãi nhất của phân nhóm học mấy có giám sát, ít nhất là với việc ứng dụng của nó đối với các loại dữ liệu không phải là hình ảnh. Cho một ví dụ, trong các mô hình phát hiện thư rác hoặc độc hại, dữ liệu cho mỗi lớp được giới hạn ở mức khá, mỗi trường hợp cụ thể đều chắc chắn là một biến thể của thư điện tử. Tùy nhiên, một vấn đề thú vị được mở ra nếu ta cố gắng ứng dụng các kinh nghiệm có được này với phân loại hình ảnh.

Ta có thể có hàng nghìn, hàng triệu tấm hình về xe hơi mà ta muốn mô hình có thể nhận dạng được vị trí của chúng, nhưng nếu trường hợp tấm hình không có xe hơi thì sao? Không quá khó để ta nhân ra rằng là không gióng như dữ liệu về bài toán thư điện tử rác, số lượng trường hợp mà không chứa xe hơi là vô cùng lớn, gần như là vô 4 tận. Do vậy mà ta cần giải quyết bài toán là chỉ với những dữ liệu về xe hơi mà ta có, ta có thể huấn luyện mô hình để nó biết rằng dữ liệu đó đang có chứa xe hơi hay là không. Luôn nhớ điều kiện là ta chỉ có 1 lớp dữ liệu, cụ thể ở trường hợp này thì ta không có dữ liệu về những trường hợp không có xe hơi khác, nó là vô vàng trường hợp, chứa núi, rừng, sông biển, xe đạp, xe máy, máy bay, v. Thách thức này chúng ta sẽ cùng thảo luận cách xử lý trong bài nghiên cứu này.2 Học máy và bài toán phân loại dữ liệu Như chúng ta đã biết, Học Máy (Machine Learning) là một nhánh của lĩnh vực trí tuệ nhân tạo (AI) và khoa học dữ liệu.

Học Máy tập trung sử dụng dữ liệu và các giải thuật để bắt chước cách học của con người, làm sao để mà dần nâng cao độ chính xác của mô hình bằng hoặc thậm chí vượt hơn khả năng của con người. Học máy bao gồm 3 nhánh lớn: • Supervised learning (học có giám sát): ở nhánh này ta sẽ cần có dữ liệu đầu vào được đánh nhãn sẵn thuộc các lớp cụ thể. • Unsupervised learning (học không giám sát): khác với học có giám sát, nhánh này dữ liệu sẽ hoàn toàn không được gán nhãn, mô hình sẽ dùng thuật toán, tiêu chí phù hợp để cho ra kết quả đầu ra. • Semi-supervised learning (học bán giám sát): Cuối cùng, đây là nhánh ’lai’ giữa 2 nhánh bên trên, ta sẽ có bộ dữ liệu gồm cả đã gán nhãn và chưa gán nhãn, mà thông thường số lượng nhãn được gãn sẵn sẽ ít hơn.

Phân loại dữ liệu và hồi quy là hai nhánh con lớn của Supervised learning. Các giải thuật dùng trong phân loại dữ liệu được dùng để xác định lớp (class) mà các mẫu quan sát mới thuộc về trên cơ sở các đặc trưng đã biết từ tập huấn luyện. Trong phân loại dữ liệu, mô hình được học từ tập dữ liệu nhất định sau đó mới phân loại dữ liệu mới vào số lớp hoặc nhóm phù hợp. Chẳng hạn như bài toán đánh giá một email cụ thể có là spam hay không, ta có thể đánh số là 0 và 1 tương ứng cho là có spam và 5 không spam.

Không giống như hồi quy (đầu ra là một số thực), đầu ra của Phân loại dữ liệu là một lớp cụ thể (như 0 hoặc 1 ở ví dụ trước đó). Phân loại dữ liệu một lớp là một trường hợp khác của phân loại dữ liệu, lúc này mặc dù dữ liệu ta có được là toàn bộ đều được gán nhãn nhưng nó chỉ hoàn toàn thuộc về một lớp hoặc nhóm nào đó. Lấy ví dụ như phân loại bài toán có hay không vết dơ trên mặt bàn. Dữ liệu ta có được sẽ là toàn bộ hình ảnh là mặt bàn rất đẹp và được xác định là đều không có vết dơ nào cả.

Nhiệm vụ của chúng ta sẽ là giúp cho máy học biết được đây là hình ảnh của bàn bình thường, còn nếu chứa thêm vết nào lạ trên đó đều là có vết dơ cả. Các phương pháp phân loại dữ liệu truyền thống (như Decision Tree, SVM, KNN, v.) đều yêu cầu có dữ liệu ở cả bên mặt bàn bị dơ. Do đó cách tiếp cận trước đây là cố gắng thu thập, tạo thêm hình ảnh các mặt bàn bị dơ càng nhiều càng tốt. Tuy vậy thì độ chính xác khi kiểm thử trên dữ liệu mặt bàn bình thường mới và bị dơ mới thì cho độ chính xác không cao.

Lý do chính đến từ việc ta không thể thu thập, tạo được hết tất cả các dạng mặt bàn bị dơ, có rất nhiều khía cạnh làm dơ mặt bàn (có thể cả bị thủng, bị lỗi màu, v. Do vậy từ những năm 2017, phương pháp dựa trên học sâu (Deep Learning, Mạng nơ-ron nhân tạo) được nghiên cứu nhiều hơn về sự nỗi trội của các giải thuật này (tham khảo thêm Hình 1.3 Mục tiêu và phạm vi nghiên cứu Mục tiêu nghiên cứu Đề tài tập trung nghiên cứu ba phần chính là lớp bài toán one-class classification (phân loại một lớp), mạng học sâu và ứng dụng vào bài toán phát hiện bất thường. Đề tài này mang tính ứng dụng cao vì: • Dữ liệu thực tế không được gán nhãn đầy đủ các lớp và đa số chỉ có được dữ liệu nhãn bình thường, không có hoặc có rất ít dữ liệu cho nhóm bất thường. • Cho được kết quả đầu ra xác định được vị trí bất thường, đây cũng là điểm mới vì không phải giải thuật nào cũng cho được hình ảnh trực quan như vậy.

6 Giới hạn nghiên cứu Đề tài tập trung nghiên cứu lớp bài toán one-class classification, áp dụng các mạng học sâu có thể giải thích được kết quả vào các bài toán phát hiện bất thường trong lĩnh vực xử lý hình ảnh. Trong giai đoạn luận văn, đề tài sẽ điều chỉnh thử nghiệm với nhiều tham số khác nhau để đạt độ chính xác tốt nhất với bài toán phát hiện bất thường. Các số liệu được thu thập từ năm 2010 và các kĩ thuật được cải tiến từ 2021. Thực nghiệm Triển khai mô hình với sự hỗ trợ từ các thư viện Pytorch, TensorFlow, Pandas, v.

Các nghiên cứu và ứng dụng của đề tài này đều mới xuất hiện và nghiên cứu trong những năm gần đây cho thấy sự quan tâm, ý nghĩa và tính thực tiễn của đề tài rất cao.4 Các nền tảng Mạng nơ-ron nhân tạo Các thuật toán về mạng nơ-ron (neural networks) thường được biết đến là mạng nơ- ron nhân tạo (artificial neural networks - ANNs) hoặc các mạng nơ-ron được mô phỏng (similated neural networks - SNNs).