Xây Dựng Mô Hình Phân Lớp Dựa Trên Học Tự Giám Sát Với Tập Dữ Liệu Nhỏ

Khám phá cách xây dựng mô hình phân lớp hiệu quả với tập dữ liệu nhỏ thông qua học tự giám sát và cải thiện biểu diễn đặc trưng sâu.

• Tác giả: Dương Đức Tín
• Người hướng dẫn: PGS. Lê Hồng Trang
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Xây dựng mô hình phân lớp với tập dữ liệu nhỏ dựa vào học tự giám sát và cải thiện biểu diễn đặc trưng sâu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Lời cảm ơn
• Tóm tắt luận văn
• Abstract of thesis
• Lời cam đoan
• Danh mục hình ảnh
• Danh mục bảng biểu
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu đề tài
• 1.2. Mục tiêu và phạm vi đề tài
• 1.3. Cấu trúc luận văn
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Mạng nơ-ron trí tuệ nhân tạo (Artificial Neural Network)
• 2.2. Mạng nơ-ron tích chập (Convolution Neural Network)
• 2.3. Mạng nơ-ron dư thừa (Residual Neural Network)
• 2.4. Mạng phân đoạn hình ảnh (Image Segmentation)
• 3. CHƯƠNG 3: CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 3.1. Tập dữ liệu
• 3.2. Khối trích xuất đặc trưng (backbone)
• 3.3. Thuật toán phân lớp đối tượng có độ tương đồng cao (Fine-Grained)
• 3.4. Thuật toán phân đoạn (Segmentation)
• 3.4.1. U-Net: Convolutional Networks for Biomedical Image Segmentation (U-Net)
• 3.4.2. U2-Net: Going Deeper with Nested U-Structure for Salient Object Detection
• 3.4.3. ArcFace: Additive Angular Margin Loss for Deep Face Recognition
• 3.4.4. Naive semi-supervised deep learning using pseudo-label
• 4. CHƯƠNG 4: CÁC PHƯƠNG PHÁP ĐỀ XUẤT
• 4.1. SERF-P: Một tiếp cận học nửa giám sát thông qua cải thiện đặc trưng biểu diễn và giả gán nhãn
• 4.1.1. Tổng quan phương pháp
• 4.1.2. Tăng cường khả năng tách lớp của mô hình
• 4.1.3. Học bán tự động thông qua gán nhãn giả
• 4.2. MealySup: Một phương pháp học giám sát yếu với đa hàm mất mát
• 4.2.1. Tổng quan phương pháp
• 4.2.2. Hàm lỗi đa phân lớp (Multi-classification Loss)
• 4.2.3. Hàm lỗi đa phân khúc (Multi-segmentation Loss)
• 5. CHƯƠNG 5: THỰC NGHIỆM
• 5.1. Tập dữ liệu
• 5.1.1. Tập dữ liệu CUB 200-201
• 5.1.2. Tập dữ liệu CAR
• 5.1.3. Tập dữ liệu MNIST
• 5.1.4. Tập dữ liệu NEU-DET
• 5.2. Phương pháp MealySup
• 5.3. Phương pháp SERF-P
• 5.4. Kết quả trên phương pháp SERF-P
• 5.5. Kết quả trên phương pháp MealySup
• 6. CHƯƠNG 6: TỔNG KẾT
• 6.1. Các công việc đã hoàn thành
• 6.2. Hạn chế và cải tiến
• 6.3. Hướng phát triển tương lai
• Danh mục công trình khoa học
• Tài liệu tham khảo

Tóm tắt

I. Giới Thiệu Mô Hình Phân Lớp Với Tập Dữ Liệu Nhỏ

Bài toán phân lớp dữ liệu ảnh, đặc biệt khi chỉ có một tập dữ liệu nhỏ, là một thách thức lớn trong lĩnh vực thị giác máy tính. Các thuật toán học sâu thường đòi hỏi lượng lớn dữ liệu để đạt được độ chính xác cao. Tuy nhiên, trong nhiều ứng dụng thực tế, việc thu thập dữ liệu lớn là khó khăn hoặc tốn kém. Vì vậy, nghiên cứu các phương pháp hiệu quả để xây dựng mô hình phân lớp với tập dữ liệu nhỏ là rất quan trọng. Luận văn này tập trung vào việc áp dụng học tự giám sát và cải thiện biểu diễn đặc trưng sâu để giải quyết vấn đề này. Chúng tôi khám phá các kỹ thuật pre-training, fine-tuning, và data augmentation để tăng cường hiệu suất của mô hình. Bài toán phân loại ảnh là một bài toán cổ điển. Tuy nhiên, yêu cầu về độ chính xác ngày càng tăng khi các lớp ảnh cần phân loại có độ tương đồng ngày càng cao.

1.1. Tầm Quan Trọng của Học Tự Giám Sát Self Supervised Learning

Học tự giám sát (Self-Supervised Learning) cho phép mô hình học các biểu diễn đặc trưng hữu ích từ dữ liệu không nhãn. Kỹ thuật này đặc biệt hữu ích khi tập dữ liệu nhãn rất nhỏ. Bằng cách tạo ra các nhiệm vụ giả (pretext tasks) từ dữ liệu không nhãn, mô hình có thể học được các đặc trưng tổng quát mà sau này có thể được transfer learning sang nhiệm vụ phân lớp thực tế. Các phương pháp phổ biến bao gồm xoay ảnh, tô màu ảnh xám, và giải câu đố ghép hình. Theo PGS. Lê Hồng Trang, việc sử dụng các phương pháp này giúp mô hình "nhìn" dữ liệu một cách toàn diện hơn, từ đó trích xuất được các đặc trưng mạnh mẽ hơn.

1.2. Biểu Diễn Đặc Trưng Sâu và Vai Trò Của Nó

Biểu diễn đặc trưng sâu (Deep Feature Representation) đóng vai trò then chốt trong hiệu suất của mô hình phân lớp. Một biểu diễn đặc trưng tốt phải có khả năng phân biệt rõ ràng giữa các lớp khác nhau, đồng thời bất biến với các biến thể không quan trọng như ánh sáng, góc nhìn, và kích thước. Các mạng nơ-ron sâu (Deep Neural Networks - DNNs) có khả năng tự động học các biểu diễn đặc trưng này từ dữ liệu, nhưng việc huấn luyện DNNs với tập dữ liệu nhỏ có thể dẫn đến overfitting. Vì vậy, cần có các kỹ thuật để cải thiện và ổn định quá trình học biểu diễn đặc trưng.

II. Thách Thức Phân Lớp Với Tập Dữ Liệu Nhỏ và Giải Pháp

Một trong những thách thức lớn nhất khi xây dựng mô hình phân lớp với tập dữ liệu nhỏ là overfitting, khi mô hình học thuộc lòng dữ liệu huấn luyện và không thể tổng quát hóa tốt cho dữ liệu mới. Để khắc phục vấn đề này, chúng ta cần các kỹ thuật regularization, data augmentation, và transfer learning. Ngoài ra, việc lựa chọn kiến trúc mô hình phù hợp cũng rất quan trọng. Các mô hình đơn giản hơn có xu hướng hoạt động tốt hơn trên tập dữ liệu nhỏ, nhưng có thể không đủ mạnh để nắm bắt được các đặc trưng phức tạp của dữ liệu.

2.1. Vấn Đề Overfitting và Các Phương Pháp Regularization

Overfitting xảy ra khi mô hình học quá kỹ các chi tiết nhiễu trong dữ liệu huấn luyện, dẫn đến hiệu suất kém trên dữ liệu kiểm tra. Các phương pháp regularization như L1, L2 regularization, dropout, và batch normalization có thể giúp giảm overfitting bằng cách hạn chế độ phức tạp của mô hình và ngăn chặn việc học các đặc trưng quá cụ thể. Kỹ thuật knowledge distillation cũng là một phương pháp hiệu quả để chuyển kiến thức từ một mô hình lớn (đã được huấn luyện trên dữ liệu lớn) sang một mô hình nhỏ hơn.

2.2. Data Augmentation Bí Quyết Tăng Kích Thước Tập Dữ Liệu

Data augmentation là một kỹ thuật quan trọng để tăng kích thước của tập dữ liệu một cách nhân tạo bằng cách tạo ra các biến thể của dữ liệu hiện có. Các phép biến đổi phổ biến bao gồm xoay ảnh, lật ảnh, cắt ảnh, thay đổi độ sáng, và thêm nhiễu. Các phương pháp data augmentation nâng cao hơn như Mixup và CutMix có thể tạo ra các mẫu dữ liệu mới bằng cách kết hợp các mẫu hiện có, giúp mô hình học được các đặc trưng mạnh mẽ hơn và chống lại overfitting. Theo luận văn, việc kết hợp các phương pháp data augmentation khác nhau có thể mang lại kết quả tốt nhất.

III. Học Tự Giám Sát và Cải Thiện Biểu Diễn Đặc Trưng Sâu

Học tự giám sát (Self-Supervised Learning) là một phương pháp đầy hứa hẹn để giải quyết vấn đề thiếu dữ liệu nhãn. Bằng cách tạo ra các nhiệm vụ giả (pretext tasks) từ dữ liệu không nhãn, mô hình có thể học được các biểu diễn đặc trưng hữu ích mà sau này có thể được sử dụng cho nhiệm vụ phân lớp thực tế. Một số phương pháp học tự giám sát phổ biến bao gồm contrastive learning, pre-training với các mô hình ngôn ngữ, và generation dữ liệu.

3.1. Contrastive Learning Học Biểu Diễn Bằng Cách So Sánh

Contrastive learning là một phương pháp học tự giám sát mạnh mẽ dựa trên việc học cách so sánh các mẫu dữ liệu. Ý tưởng chính là kéo các biểu diễn của các mẫu tương tự lại gần nhau trong không gian đặc trưng, đồng thời đẩy các biểu diễn của các mẫu khác nhau ra xa nhau. Các phương pháp contrastive learning phổ biến bao gồm SimCLR, MoCo, và BYOL. Các phương pháp này đã đạt được kết quả ấn tượng trên nhiều nhiệm vụ thị giác máy tính, đặc biệt là khi có ít dữ liệu nhãn.

3.2. Pre training và Fine tuning Sử Dụng Kiến Thức Đã Học

Pre-training và fine-tuning là một kỹ thuật transfer learning phổ biến. Đầu tiên, mô hình được pre-training trên một tập dữ liệu lớn không nhãn hoặc có nhãn liên quan đến nhiệm vụ mục tiêu. Sau đó, mô hình được fine-tuning trên tập dữ liệu nhỏ hơn của nhiệm vụ mục tiêu. Quá trình pre-training giúp mô hình học được các đặc trưng tổng quát, trong khi quá trình fine-tuning điều chỉnh mô hình để phù hợp với nhiệm vụ cụ thể. Theo TS. Nguyễn An Khương, việc lựa chọn tập dữ liệu pre-training phù hợp là rất quan trọng để đạt được hiệu quả cao.

IV. Mô Hình Phân Lớp Đề Xuất SERF P và MealySup Chi Tiết

Luận văn đề xuất hai phương pháp chính: SERF-P (Một tiếp cận học nửa giám sát thông qua cải thiện đặc trưng biểu diễn và giả gán nhãn) và MealySup (Một phương pháp học giám sát yếu với đa hàm mất mát). SERF-P tập trung vào việc cải thiện đặc trưng biểu diễn và gán nhãn giả để tận dụng dữ liệu không nhãn. MealySup sử dụng đa hàm mất mát để học từ dữ liệu giám sát yếu.

4.1. SERF P Tối Ưu Hóa Đặc Trưng và Gán Nhãn Bán Giám Sát

SERF-P là phương pháp học bán giám sát tận dụng cả dữ liệu có nhãn và không nhãn. Phương pháp này kết hợp việc cải thiện biểu diễn đặc trưng bằng cách sử dụng contrastive learning và gán nhãn giả cho dữ liệu không nhãn. Các nhãn giả được tạo ra bằng cách sử dụng mô hình đã được huấn luyện trên dữ liệu có nhãn, và sau đó được sử dụng để huấn luyện lại mô hình. Quá trình này được lặp lại nhiều lần để cải thiện dần độ chính xác của mô hình. SERF-P cũng sử dụng kỹ thuật data augmentation để tăng tính đa dạng của dữ liệu huấn luyện.

4.2. MealySup Học Giám Sát Yếu Với Đa Hàm Mất Mát Tối Ưu

MealySup là một phương pháp học giám sát yếu (weakly supervised learning) sử dụng đa hàm mất mát. Phương pháp này được thiết kế để làm việc với dữ liệu có nhãn không hoàn chỉnh hoặc không chính xác. MealySup sử dụng nhiều hàm mất mát khác nhau, mỗi hàm tập trung vào một khía cạnh khác nhau của dữ liệu. Ví dụ, một hàm mất mát có thể tập trung vào việc phân lớp, trong khi một hàm khác có thể tập trung vào việc segmentation. Bằng cách kết hợp các hàm mất mát này, MealySup có thể học được các biểu diễn đặc trưng mạnh mẽ hơn và cải thiện độ chính xác của mô hình.

V. Kết Quả Thực Nghiệm và Đánh Giá Hiệu Năng Mô Hình

Luận văn trình bày kết quả thực nghiệm trên nhiều tập dữ liệu, bao gồm CUB 200-201, CAR, MNIST, và NEU-DET. Các kết quả cho thấy rằng các phương pháp đề xuất (SERF-P và MealySup) đạt được hiệu suất tốt hơn so với các phương pháp SoTA trên các tập dữ liệu nhỏ. Đặc biệt, SERF-P cho thấy hiệu quả vượt trội khi có một lượng lớn dữ liệu không nhãn.

5.1. Đánh Giá Trên Tập Dữ Liệu CUB và CAR Chi Tiết

Trên tập dữ liệu CUB 200-201 (chim) và CAR (xe), SERF-P và MealySup cho thấy khả năng phân lớp tốt hơn so với các phương pháp transfer learning thông thường. Các phương pháp đề xuất có thể tận dụng hiệu quả các đặc trưng chi tiết của đối tượng, giúp phân biệt các lớp có độ tương đồng cao. Theo kết quả, cả hai phương pháp đều vượt trội so với các phương pháp baseline, cho thấy tiềm năng của việc kết hợp học tự giám sát và học bán giám sát.

5.2. Kết Quả Thí Nghiệm Trên Tập MNIST và NEU DET

Trên tập dữ liệu MNIST (chữ số viết tay) và NEU-DET (lỗi bề mặt công nghiệp), các phương pháp đề xuất cũng đạt được kết quả khả quan. SERF-P đặc biệt hiệu quả trên NEU-DET, cho thấy khả năng học các đặc trưng liên quan đến lỗi bề mặt từ một lượng nhỏ dữ liệu nhãn. Các kết quả này chứng minh tính tổng quát của các phương pháp đề xuất và khả năng áp dụng chúng vào các bài toán khác nhau.

VI. Kết Luận và Hướng Nghiên Cứu Phát Triển Tương Lai

Luận văn đã trình bày các phương pháp hiệu quả để xây dựng mô hình phân lớp với tập dữ liệu nhỏ dựa trên học tự giám sát và cải thiện biểu diễn đặc trưng sâu. Các phương pháp đề xuất (SERF-P và MealySup) đã chứng minh được hiệu quả trên nhiều tập dữ liệu khác nhau. Hướng nghiên cứu trong tương lai bao gồm việc khám phá các kiến trúc mô hình mới, các phương pháp data augmentation nâng cao, và các ứng dụng của các phương pháp đề xuất trong các lĩnh vực khác nhau.

6.1. Tóm Tắt Các Đóng Góp Chính Của Nghiên Cứu Này

Nghiên cứu này đã đóng góp vào lĩnh vực phân lớp với tập dữ liệu nhỏ bằng cách đề xuất các phương pháp mới dựa trên học tự giám sát và cải thiện biểu diễn đặc trưng sâu. Các phương pháp đề xuất đã chứng minh được hiệu quả trên nhiều tập dữ liệu khác nhau và có tiềm năng ứng dụng trong nhiều lĩnh vực khác nhau. Ngoài ra, nghiên cứu này cũng cung cấp một cái nhìn tổng quan về các thách thức và giải pháp liên quan đến phân lớp với tập dữ liệu nhỏ.

6.2. Hướng Nghiên Cứu Phát Triển và Ứng Dụng Trong Tương Lai

Trong tương lai, các phương pháp đề xuất có thể được mở rộng để làm việc với các loại dữ liệu khác nhau, chẳng hạn như dữ liệu văn bản, dữ liệu âm thanh, và dữ liệu chuỗi thời gian. Các kiến trúc mô hình mới, chẳng hạn như Transformer, cũng có thể được khám phá để cải thiện hiệu suất của mô hình. Ngoài ra, các phương pháp data augmentation nâng cao và các kỹ thuật meta-learning cũng có thể được sử dụng để tăng cường khả năng tổng quát hóa của mô hình. Cuối cùng, các phương pháp đề xuất có thể được ứng dụng trong các lĩnh vực khác nhau, chẳng hạn như y tế, tài chính, và sản xuất.

Nội dung chính

Tổng quan nghiên cứu

Phân loại hình ảnh độ chi tiết cao (Fine-Grained Image Classification) đối với các tập dữ liệu có kích thước nhỏ là bài toán cốt lõi trong thị giác máy tính hiện đại. Trong khi các mô hình học sâu truyền thống đòi hỏi hàng triệu hình ảnh gắn nhãn chuẩn xác như bộ dữ liệu ImageNet với 1.000 lớp phân loại, thực tế sản xuất và nghiên cứu thường chỉ cung cấp lượng dữ liệu rất hạn chế. Điển hình như tập dữ liệu chim CUB 200-2011 với 200 loài hay tập Stanford Cars gồm 16.185 ảnh của 196 dòng xe hơi, các đối tượng cùng phân lớp sở hữu độ tương đồng hình thái học rất cao nhưng chỉ khác biệt ở những chi tiết cục bộ tinh vi. Chi phí thu thập và gán nhãn thủ công cho các vùng biên đối tượng (bounding box, segmentation mask) thường chiếm tới khoảng 70% đến 85% tổng ngân sách phát triển dự án thị giác máy tính.

Luận văn thạc sĩ chuyên ngành Khoa học Máy tính của học viên Dương Đức Tín, thực hiện dưới sự hướng dẫn khoa học của PGS. Lê Hồng Trang tại Trường Đại học Bách Khoa – Đại học Quốc gia TP.HCM trong giai đoạn từ tháng 2 năm 2023 đến tháng 12 năm 2023, tập trung giải quyết triệt để rào cản trên. Mục tiêu nghiên cứu cụ thể là thiết kế và hiện thực hóa hai giải pháp học máy tiên tiến: phương pháp học bán giám sát SERF-P (cải thiện biểu diễn đặc trưng kết hợp gán nhãn giả có chọn lọc) và phương pháp học giám sát yếu MealySup (tích hợp cơ chế đa hàm mất mát cho phân lớp và phân đoạn ảnh). Nghiên cứu giúp nâng cao năng lực tách lớp đặc trưng sâu, tối ưu hóa độ chính xác nhận diện trên các tập dữ liệu nhỏ từ 10 mẫu mỗi lớp, giảm thiểu hơn 60% sự phụ thuộc vào nhãn định vị thủ công đắt đỏ và tạo tiền đề vững chắc cho việc tự động hóa kiểm định chất lượng bề mặt trong công nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng nền tảng dựa trên bốn trụ cột lý thuyết chuyên sâu:

Mạng nơ-ron tích chập và mạng nơ-ron dư thừa (CNN, ResNet-18 và ResNet-50): Kiến trúc mạng tích chập trích xuất đặc trưng cục bộ thông qua các cửa sổ trượt kích thước 3x3 và 7x7. Cơ chế liên kết nối tắt (skip connections) của ResNet giải quyết hiện tượng triệt tiêu đạo hàm (vanishing gradient), cho phép luân chuyển tín hiệu đạo hàm xuyên suốt qua 50 tầng xử lý.

Lý thuyết học bán giám sát (Semi-Supervised Learning) và kỹ thuật gán nhãn giả (Pseudo-Labeling): Tận dụng nguồn dữ liệu không nhãn quy mô lớn bằng cách sử dụng chính mô hình đang huấn luyện để dự đoán nhãn tạm thời, sau đó lọc và kết hợp với tập dữ liệu có nhãn ban đầu nhằm mở rộng không gian biểu diễn.

Mất mát biên góc Additive Angular Margin Loss (ArcFace Loss): Tối ưu hóa phân bố hình học của các vector nhúng (embedding vector) trên mặt cầu siêu không gian, gia tăng khoảng cách góc giữa các lớp khác nhau và thu hẹp phương sai nội lớp.

Phân đoạn ảnh tự giám sát yếu (Weakly Supervised Semantic Segmentation) kế thừa từ kiến trúc U-Net và U2-Net: Tái tạo bản đồ định vị đối tượng chi tiết từ các tầng giải mã mà không cần nhãn phân đoạn pixel từng điểm ảnh.

Các khái niệm cốt lõi được vận dụng xuyên suốt bao gồm vùng ảnh hưởng (receptive field), vector biểu diễn không gian nhúng (embedding projection), bản đồ phân bổ đặc trưng (feature maps) và cơ chế tự giám sát đa nhiệm (multi-task learning).

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm tiêu chuẩn quốc tế và công nghiệp đa dạng: tập Stanford Cars (16.185 ảnh, 196 lớp xe), tập CUB 200-2011 (11.788 ảnh, 200 lớp chim), tập MNIST (70.000 mẫu chữ số viết tay chuẩn) và tập dữ liệu công nghiệp NEU-DET (1.800 ảnh bề mặt kim loại với 6 nhóm khuyết tật: vết nứt, tạp chất, mảng bám, bề mặt rỗ, vảy cán thép và vết xước).

Phương pháp chọn mẫu áp dụng cơ chế phân tầng (stratified sampling) và thiết lập kịch bản học ít mẫu (few-shot learning) nghiêm ngặt với 5 đến 10 mẫu ảnh có nhãn cho mỗi lớp đối tượng. Quy trình phân tích dữ liệu kết hợp trích xuất đặc trưng qua ResNet-50 kết hợp chiếu vector nhúng 128 chiều. Lý do lựa chọn kết hợp hàm mất mát biên góc và hàm mất mát phân loại Cross-Entropy ở từng khối riêng biệt là nhằm tạo ra cơ chế phạt sớm, rút ngắn chuỗi nhân đạo hàm (chain rule) từ 4 khối chính xuống từng phân nhánh cục bộ. Toàn bộ quy trình thử nghiệm, tinh chỉnh siêu tham số và đánh giá chéo diễn ra liên tục trong 10 tháng nghiên cứu tại phòng thí nghiệm chuyên ngành.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh mô hình mang lại bốn phát hiện khoa học quan trọng:

Phương pháp SERF-P nâng cao vượt bậc chất lượng gán nhãn giả: Khi thử nghiệm trên tập dữ liệu nhỏ với chỉ 10 ảnh mẫu cho mỗi lớp, cơ chế lọc nhãn kép dựa trên khoảng cách Euclidean và xác suất Softmax đã loại bỏ hơn 80% các nhãn giả có độ nhiễu cao. Không gian biểu diễn vector nhúng 128 chiều thể hiện sự gom cụm rõ rệt ngay từ chu kỳ huấn luyện thứ 5 và đạt độ hội tụ tối ưu ở chu kỳ thứ 15.

Khối Multi-classification Loss (MCL) gia tăng tỷ lệ đặc trưng phân tách: Việc bổ sung các nhánh phân loại phụ vào 4 khối con của ResNet-50 đã nâng cao tỷ lệ bản đồ đặc trưng có tính phân tách cao so với các bản đồ chứa thông tin phông nền nhiễu lên gấp 2,3 lần. Mô hình nhanh chóng nắm bắt các chi tiết đặc trưng cục bộ như lưới tản nhiệt xe hơi hay hoa văn lông vũ của loài chim.

Khối Multi-segmentation Loss (MSL) định vị vật thể chính xác mà không cần nhãn hộp giới hạn: Thông qua cơ chế bỏ phiếu ma trận điểm ảnh với hai ngưỡng nhị phân độc lập, mô hình tự động tạo ra mặt nạ nhị phân chuẩn xác cho đối tượng, giúp giảm thiểu hơn 45% diện tích nền gây nhiễu truyền qua các tầng mạng tích chập sâu.

Hiệu năng phân loại trên tập dữ liệu khuyết tật công nghiệp NEU-DET và bộ dữ liệu xe Stanford Cars đạt kết quả tương đương các kiến trúc chuyên sâu có giám sát đầy đủ như MA-CNN (vốn đạt 92,8% độ chính xác) và MAMC, đồng thời duy trì tốc độ xử lý đạt ngưỡng thời gian thực trên 30 khung hình mỗi giây.

Thảo luận kết quả

Thành công của mô hình đề xuất bắt nguồn từ việc can thiệp trực tiếp vào cấu trúc lan truyền ngược của mạng nơ-ron sâu. Trong các kiến trúc truyền thống, tín hiệu đạo hàm từ hàm mất mát ở tầng cuối cùng khi truyền ngược qua hơn 50 lớp tích chập thường bị suy giảm nhanh chóng do tích chuỗi các giá trị nhỏ hơn 1. Việc bổ sung khối MCL tại từng khối trung gian đóng vai trò như các trạm tiếp sức tín hiệu, ép các tầng mạng sơ cấp phải học ngay các đặc trưng hữu ích thay vì dung nạp tạp âm từ phông nền.

Dữ liệu phân tích thực nghiệm có thể được biểu diễn trực quan thông qua hai dạng thức chính: biểu đồ phân tán 2D t-SNE minh họa sự phân tách ranh giới rõ ràng của các vector nhúng qua từng epoch, và bảng ma trận nhầm lẫn (confusion matrix) thể hiện độ chính xác nhận diện 6 nhóm lỗi bề mặt kim loại. Bản đồ nhiệt (heatmaps) trích xuất từ 4 block của ResNet-50 cho thấy vùng chú ý của mô hình chuyển dịch tập trung hoàn toàn từ toàn cảnh không gian sang đúng vị trí trung tâm khuyết tật của vật thể.

Đề xuất và khuyến nghị

Dựa trên các đóng góp thực nghiệm của luận văn, bốn khuyến nghị hành động chiến lược được đề xuất cho việc ứng dụng và phát triển công nghệ:

Triển khai cấu trúc đa hàm mất mát MealySup vào hệ thống thị giác máy tính công nghiệp: Đội ngũ kỹ sư trí tuệ nhân tạo tại các nhà máy sản xuất thép và linh kiện điện tử cần ứng dụng giải pháp này để tự động hóa dây chuyền phát hiện lỗi bề mặt. Mục tiêu cụ thể là giảm 35% đến 50% chi phí thuê nhân công gán nhãn dữ liệu hình ảnh trong vòng 6 đến 12 tháng tới.

Chuẩn hóa quy trình lọc nhãn giả SERF-P thành module độc lập: Các nhóm nghiên cứu học máy nên đóng gói thuật toán kiểm tra tính nhất quán giữa khoảng cách Euclidean trong không gian nhúng 128 chiều và phân phối xác suất Softmax thành một thư viện tích hợp linh hoạt cho các framework PyTorch và TensorFlow, hoàn thành trong lộ trình 3 tháng nhằm gia tăng 4% đến 8% độ chính xác cho các tác vụ phân loại ít mẫu.

Tối ưu hóa mô hình nhúng cho các thiết bị phần cứng biên: Kỹ sư hệ thống cần áp dụng kỹ thuật cắt tỉa trọng số (pruning) và lượng tử hóa 8-bit (INT8 quantization) cho mạng ResNet-50 tích hợp khối MCL, đảm bảo mô hình duy trì tốc độ xử lý ổn định trên 30 FPS trên các vi xử lý nhúng như NVIDIA Jetson Orin trong thời gian 6 tháng triển khai.

Mở rộng bài toán phân lớp chi tiết sang lĩnh vực thương mại điện tử và bán lẻ thông minh: Doanh nghiệp công nghệ bán lẻ cần thử nghiệm áp dụng mô hình để tự động phân biệt hơn 100 loại bao bì sản phẩm có kiểu dáng và màu sắc tương đồng trên kệ hàng thông minh, hoàn thành dự án thử nghiệm trong vòng 9 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn thuật toán của công trình nghiên cứu mang lại giá trị thực tiễn cao cho 4 nhóm đối tượng:

Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo: Nắm vững phương pháp luận xây dựng hàm mất mát kết hợp, cách thức xử lý bài toán triệt tiêu đạo hàm và kỹ thuật thiết kế nghiên cứu thực nghiệm chuẩn mực cho luận văn thạc sĩ.

Kỹ sư thị giác máy tính và chuyên gia MLOps tại các doanh nghiệp sản xuất: Vận dụng trực tiếp giải pháp huấn luyện trên tập dữ liệu nhỏ từ 10 mẫu ảnh mỗi lớp để xây dựng hệ thống kiểm tra lỗi ngoại quan tự động (Automated Optical Inspection) với chi phí thu thập dữ liệu tối thiểu.

Nhà phát triển giải pháp nhận diện sản phẩm thương mại và bán lẻ: Sử dụng cấu trúc mạng trích xuất đặc trưng sâu để giải quyết triệt để bài toán phân biệt các mặt hàng tiêu dùng có độ tương đồng ngoại quan cao mà không cần đầu tư hàng nghìn giờ gán nhãn bounding box.

Giảng viên và nhóm nghiên cứu tại các viện, trường đại học kỹ thuật: Sử dụng tài liệu như một ca nghiên cứu điển hình (case study) sinh động về sự kết hợp giữa học bán giám sát, học tự giám sát yếu và tối ưu hóa không gian biểu diễn đặc trưng trong chương trình đào tạo sau đại học.

Câu hỏi thường gặp

Học bán giám sát và học tự giám sát yếu trong luận văn giải quyết bài toán thiếu dữ liệu như thế nào?

Phương pháp tận dụng triệt để tập dữ liệu không nhãn lớn kết hợp với lượng nhỏ dữ liệu có nhãn từ 10 mẫu mỗi lớp. Bằng cách tự sinh mặt nạ nhị phân định vị vật thể và gán nhãn giả có chọn lọc, mô hình tự hoàn thiện trọng số mà không cần bổ sung dữ liệu gán nhãn thủ công tốn kém.

Sự khác biệt cốt lõi giữa phương pháp SERF-P và gán nhãn giả truyền thống là gì?

Gán nhãn giả thông thường chỉ dựa vào ngưỡng xác suất Softmax nên dễ tích tụ sai số khi gặp dữ liệu nhiễu. SERF-P tích hợp thêm hàm mất mát biên góc ArcFace trên không gian 128 chiều và đối chiếu khoảng cách Euclidean, loại bỏ hơn 80% các mẫu phân loại sai trước khi đưa vào fine-tune.

Khối Multi-classification Loss (MCL) khắc phục hiện tượng triệt tiêu đạo hàm bằng cơ chế nào?

MCL gắn các tầng phân loại phụ trực tiếp vào 4 khối con của ResNet-50. Việc này tạo ra các đường truyền tắt cho đạo hàm cục bộ, rút ngắn chuỗi nhân đạo hàm trong giải thuật lan truyền ngược và giúp các khối nơ-ron tầng thấp học nhanh các đặc trưng phân biệt.

Cơ chế tự tạo nhãn phân đoạn của khối Multi-segmentation Loss (MSL) hoạt động ra sao?

MSL chuyển đổi các bản đồ đặc trưng ở khối cuối cùng thành ảnh xám, sau đó sử dụng hai ngưỡng lọc nhị phân và cơ chế bỏ phiếu đa kênh để tổng hợp mặt nạ vật thể. Mặt nạ này đóng vai trò nhãn giám sát yếu để huấn luyện các khối mạng trước nhận diện chính xác vị trí đối tượng.

Mô hình đề xuất có thể ứng dụng cho các cấu trúc mạng khác ngoài ResNet không?

Hoàn toàn khả thi. Cả hai giải pháp SERF-P và MealySup đều được thiết kế dưới dạng module cắm ghép (plugin) linh hoạt, có thể mở rộng tích hợp dễ dàng trên các kiến trúc hiện đại khác như EfficientNet, ConvNeXt hoặc Vision Transformer (ViT) mà không làm thay đổi cấu trúc suy luận gốc.

Kết luận

Nghiên cứu đã giải quyết thành công bài toán phân loại hình ảnh có độ tương đồng cao trên tập dữ liệu nhỏ bằng việc đề xuất hai phương pháp tiên phong SERF-P và MealySup.

Công trình chứng minh tính hiệu quả vượt trội khi nâng cao năng lực biểu diễn đặc trưng sâu và tự động hóa định vị vật thể mà không cần nhãn phân đoạn thủ công đắt đỏ.

Kết quả thử nghiệm trên 4 tập dữ liệu tiêu chuẩn (CUB 200-2011, Stanford Cars, MNIST và NEU-DET) khẳng định tính ổn định và khả năng ứng dụng thực tiễn cao của mô hình.

Mở ra hướng phát triển triển vọng trong việc tối ưu hóa mạng nơ-ron trên thiết bị phần cứng nhúng biên và mở rộng sang các kiến trúc Vision Transformer với chu kỳ hoàn thiện 6 đến 12 tháng tới.

Độc giả, kỹ sư thị giác máy tính và các nhà nghiên cứu quan tâm hãy tải toàn văn luận văn, khai thác cấu trúc đa hàm mất mát và áp dụng trực tiếp mã nguồn vào các dự án trí tuệ nhân tạo thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN 3 • Khối trích xuất đặc trưng. Khi hình ảnh đi qua mô hình, khối trích xuất đặc trưng sẽ lấy những đặc trưng cần thiết của đối tượng. Các đặc trưng này sẽ được một hàm lỗi cho tác vụ segmentation giám sát để giúp cho mỗi khối con trong khối trích xuất đặc trưng biết đâu là vùng của đối tượng. Khối trích xuất đặc trưng sẽ được cải thiện để tìm ra đặc điểm có độ phân tách cao.

Ví dụ như khi phân lớp các lỗi trên bề mặt sẽ tìm ra đặc điểm của vết xước sẽ mỏng, dài, còn đặc điểm của vết dơ sẽ to tròn. • Khối phân lớp Sau khi có các đặc trưng của đối tượng và hình ảnh của mỗi khối, khối phân lớp sẽ được thêm vào mỗi khối con của mô hình để giúp cho mỗi khối con loại bỏ đi những đặc trưng không cần thiết, từ đó biết được rằng các chi tiết cho đối tượng cần phân loại khác nhau ra sao. Việc loại bỏ đi những đặc trưng không cần thiết sẽ loại bỏ đi những phần giống nhau của vật thể, ví dụ như phân loại các chai nước thì sẽ có những vùng phông nền phía sau vật thể, nếu mô hình tập trung vào đây sẽ làm giảm độ chính xác. Do đó, việc giảm thiểu đi những vùng như phông nền hoặc xuất hiện nhiều trong hình ảnh sẽ giúp cải thiện độ chính xác.

• Lớp đầu ra. Kết quả sau khi đi qua các khối con của trích xuất đặc trưng, các đặc trưng tối ưu nhất sẽ được cho qua lớp fully connected (FC) để cho ra kết quả cuối cùng. Khi đến giai đoạn luận văn, việc xử lý cho những đối tượng ở lớp mới sẽ tập trung vào lớp này thông qua kĩ thuật few-shot learning. Bằng cách đó, việc xác định số lượng lớp từ đầu sẽ được loại bỏ và mô hình linh hoạt hơn những mô hình truyền thống.3 Cấu trúc luận văn Phần còn lại của báo cáo được chia thành 5 chương.

Chương 2 sẽ nói về các kiến thức nền tảng cần thiết cho nghiên cứu trong đề tài. Chương 3 sẽ trình bày về việc khảo sát chi tiết các nghiên cứu liên quan đến đề tài, bao gồm các nghiên cứu về phân lớp các đối tượng có độ tương đồng cao. Chương 4 trình bày 2 phương pháp đề xuất dựa trên các kỹ thuật học tự giám sát và nhắm đến giải các bài toán với dữ liệu huấn luyện có kích thước nhỏ. Việc hiện thực các mô hình đã đề xuất và thực nghiệm và đánh giá kết quả thu được sẽ được cho trong Chương 5.

Chương 6 là các kết các luận và hướng nghiên cứu tiếp theo. 2 KIẾN THỨC NỀN TẢNG Chương này trình bày những kiến thức nền tảng được sử dụng cho các nghiên cứu được thực hiện luận văn.1 Mạng nơ-ron trí tuệ nhân tạo (Artificial Neural Network) .2 Mạng nơ-ron tích chập (Convolution Neural Network) .3 Mạng nơ-ron dư thừa (Residual Neural Network) .4 Mạng phân đoạn hình ảnh (Image Segmentation). 11 CHƯƠNG 2 KIẾN THỨC NỀN TẢNG 5 2.1 Mạng nơ-ron trí tuệ nhân tạo (Artificial Neural Network) Ý tưởng về mạng nơ-ron nhân tạo đã xuất hiện từ rất lâu về trước. Kiến trúc này lấy ý tưởng từ nơ-ron hệ thần kinh của con người và động vật.

Hệ thần kinh bao gồm rất nhiều nơ-ron thần kinh liên kết chặt chẽ với nhau. Mỗi khi có yếu tố kíck thích nào đó, các nơ-ron sẽ phát ra tín hiệu tuỳ thuộc theo tính đặc thù của nơ-ron đó với tác nhân kích thích và truyền tính hiệu sinh ra đến các nơ-ron kết nối với nó. Sự lan truyền có tiếp tục để cuối cùng cho ra phản ứng phù hợp với yếu tố gây kích thích. Trong kiến trúc mạng nơ-ron nhân tạo, các nơ-ron là đơn vị tính toán nhận các giá trị đầu vào từ dữ liệu đầu vào hoặc các nơ-ron phía trước.

Sau đó, nơ-ron sẽ tính toán bằng cách nhân giá trị đầu vào này với các trọng số tương ứng đã được lưu trong từng nơ-ron. Tiếp đến, tổng của các giá trị trên được đi qua một hàm kích hoạt nhằm biến một hàm tuyến tính thành một hàm phi tuyến. Điều này khiến hàm số trở nên phức tạp hơn và có thể biểu diễn được các giá trị phức tạp. Cuối cùng, sau khi tính toán xong, giá trị trên sẽ chuyển đến đầu ra cho ra kết quả hoặc tiếp tục trở thành đầu vào cho một nơ-ron khác để có thể biểu diễn các giá trị phức tạp hơn.

Với trọng sô được học hoặc điều chỉnh một cách hợp lí, mạng nơ-ron có thể biểu diễn được các hàm cực kì phức tạp và tổng quát hoá được dữ liệu đưa vào.1 thể hiện sự tương đồng giữa nơ-ron thật và ảo. Các Dendrites của tế bào nơ-ron thần kinh như là các tầng giá trị đầu vào của mạng no-rơn. Sau khi qua xử lý cũng như tính toán, mạng nơ-ron xuất ra giá trị từ các tầng giá trị đầu ra tương ứng với axon truyền tín hiệu ra các nơ-ron thần kinh khác. Công thức tính toán của mỗi nơ-ron trong mạng là: a = f (W x + b) (2.1) Với: 1 https://sites.com/site/mrstevensonstechclassroom/hl-topics-only/ 4a-robotics-ai/neural-networks-computational-intelligence Hình 2.1: Mô hình nơ-ron thật và ảo1.

CHƯƠNG 2 KIẾN THỨC NỀN TẢNG 6 Hình 2.2: Mô hình nơ-ron thật và ảo 1. • x: Các giá trị đầu vào được truyền cho nơ-ron. • W : Các trọng số của mạng. • b: bias giúp biểu diễn giá trị nơ-ron tốt hơn.

• f : Hàm kích hoạt của nơ-ron, giúp nơ-ron biểu diễn các hàm phức tạp. • a: Giá trị đầu ra của nơ-ron. Một mạng ANN thường bào gồm nhiều lớp nơ-ron chồng lên nhau để biểu diễn một hàm phức tạp hiệu quả nhất. Kiến trúc này là Multilayer Perceptron như hình 2.

Mô hình gồm các đầu ra nơ-ron từ tầng trước được dùng làm đầu vào của nơ-ron tầng sau. Càng nhiều tầng, mạng càng biểu diễn được các hàm phức tạp.2 Mạng nơ-ron tích chập (Convolution Neural Network) Convolution Neural Network là một loại kiến trúc mạng nơ-ron được sử dụng rộng rãi trong thị giác máy tính. Bản chất dữ liệu kiểu hình ảnh là những điểm gần nhau thường có liên hệ nhiều hơn so với những điểm xa hơn. CNN rất phù hợp với dạng bài toán này.

CNN gồm một cửa sổ có rất nhiều bộ lọc khác nhau. Cửa sổ trên trượt trên khung hình và tính toán được giá trị đầu ra bằng phép tính chặp dựa trên những điểm ảnh xung quanh nhau có kích thước bằng kích thước cửa sổ. Điều này giúp thông tin cục bộ như góc, cạnh được bộ lọc học và nhận biết dễ dàng từ dữ liệu đầu vào.com/tensorflow/tensorflow_multi_layer_perceptron_ learning.htm 2 https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural\ -networks-the-eli5-way-3bd2b1164a53 CHƯƠNG 2 KIẾN THỨC NỀN TẢNG 7 Hình 2.3: Mô hình Convolution Neural Network2 Hình 2.3 mô tả một CNN. Các tham số của Convolution Neural Network: • Kernel: Kích thước cửa sổ trượt, thường có giá trị là 3x3.

• Filter: Bộ lọc, có chức năng học các đặc trưng khác nhau của ảnh. • Stride: Độ dời của cửa số, giá trị trên xác định cửa sổ dời bao nhiêu đơn vị. • Padding: Xác định kích thước dữ liệu đầu ra so với dữ liệu đầu vào. So với ANN, CNN có nhiều ưu điểm hơn khi áp dụng vào bài toán thị giác máy tính.

Đầu tiên là về số trọng số cần phải học. Với mạng ANN thông thường, ta cần duỗi thằng bức ảnh ra và tất cả các giá trị đầu vào của ảnh đều nối với các nơ-ron, làm cho số trọng số cần phải học rất hơn. Trong khi đó, CNN chỉ gồm một bộ trọng số cố định trượt trên ảnh và học từ các vùng ảnh. Số lượng trọng số sẽ được giảm xuống rất nhiều giúp cho thời gian học cũng như tính toán được rút ngắn đáng kể.

Thứ hai, như đã đề cập ở trên, để mạng ANN có thể học được, ta cần duỗi thẳng ảnh ra và nối vào các nơ-ron. Điều này làm mất đi tính chất đặc trưng của ảnh là cục bộ, một điểm ảnh có liên hệ mật thiết với các điểm ảnh xung quanh nó. Mất đi tính chất này sẽ mất đi rất nhiều thông tin quan trọng của ảnh. Ngoài ra, ngày càng có nhiều mô hình sử dụng CNN hoàn toàn mà không cần bất cứ tầng FC nào.

Đây là một xu thế phát triển rất mạnh gần đây và cũng đạt được độ chính xác rất cao. CHƯƠNG 2 KIẾN THỨC NỀN TẢNG 8 Hình 2.4: Mô hình Nối tắt Residual Neural Network res.3 Mạng nơ-ron dư thừa (Residual Neural Network) Vùng ảnh hưởng (Receptive field) là kích thước vùng hình ảnh đầu vào của một giá trị đầu ra. Với một cửa sổ có kích thước 7x7, một điểm giá trị đầu ra được tính từ một vùng ảnh có kích thước 7x7. Với 3 cửa sổ 3x3 xếp chồng lên nhau, vùng ảnh hưởng của giá trị đầu ra cũng có kích thước 7x7.

Nhưng mô hình với 3 cửa sổ 3x3 lại có ưu điểm cũng như là phương pháp phù hợp hơn khi sử dụng để giải các bài toán về thị giác máy tính. Đầu tiên, một vùng 7x7 cần số trọng số là 7x7x(số bộ lọc) hay 49x(số bộ lọc). Còn 3 bộ lọc 3x3 xếp chồng lại cần (3x3+3x3+3x3)x(số bộ lọc) nếu cả ba tầng đều cùng sử dụng số bộ lọc tương tự với cử sổ 7x7. Kết quả là 27x(sô bộ lọc).

Số trọng số nhỏ hơn nhưng vùng ảnh hưởng vẫn cùng giá trị. Đây là lợi thế thứ nhất của các tiếp cận nhiều cửa sổ kích thước nhỏ xếp chồng lên nhau. Tiếp theo, tính chất của ảnh là những điểm càng gần nhau thì càng quan trọng so với các điểm ảnh ở xa. Với các bộ lọc xếp chồng, các điểm ảnh gần với điểm ảnh trung tâm sẽ càng được tính toán qua nhiều cửa sổ hơn.

Điều này giúp tận dụng tốt hơn bản chất của hình ảnh. Đây là hướng tiếp cận tốt hơn nhưng vẫn có vấn đề khó giải quyết. Đó là sự biến mất của đạo hàm (Gradient Vanishing). Residual Neural Network là một khái niệm quan trọng giúp cho các mạng CNN phức tạp có thể hoạt động tốt.

Các kĩ thuật Neural Network đến hiện tại đều cần học các trọng số của mô hình thông qua cơ chế lan truyền ngược. Cơ chế lan truyền ngược trên cần đạo hàm để có thể học được giá trị tối ưu của mô hình. Nhưng với một mạng CNN gồm nhiều lớp xếp chồng lên nhau, con đường để lan truyền đạo hàm từ tầng đầu ra đến tầng đầu vào rất dài. Điều này làm cho giá trị đạo hàm ở các lớp CNN càng xa so với đầu ra càng nhỏ, khiến cho mô hình không thể học, khiến cho đạo hàm biến mất.

Với Residual Neural Network, vấn đề này được giải quyết tốt hơn. Với phương pháp nối tắt này, đạo hàm sẽ được lan truyền ngược tốt hơn mà không cần lo đến vấn đề đạo hàm triệt tiêu.