Luận Văn Tốt Nghiệp: Cải Thiện Kỹ Thuật Học Ít Dữ Liệu Trong Ứng Dụng Thị Giác Máy Tính

Luận văn tốt nghiệp nghiên cứu và cải tiến kỹ thuật học fewshot trong ứng dụng thị giác máy tính, góp phần nâng cao hiệu suất nhận diện.

• Tác giả: Nguyen Duc Khoi
• Người hướng dẫn: Dr. Le Thanh Sach
• Trường học: Vietnam National University Ho Chi Minh City
• Chuyên ngành: Computer Engineering
• Đề tài: Cải thiện kỹ thuật học ít dữ liệu trong ứng dụng thị giác máy tính
• Loại tài liệu: bachelor thesis
• Năm xuất bản: 2021
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• 1. CHƯƠNG 1: ĐẠI CƯƠNG
• 1.1. Motivation
• 1.2. The Scope of the Thesis
• 1.3. Organization of the Thesis
• 2. CHƯƠNG 2: FOUNDATIONS
• 2.1. Probabilities and Statistic Basics
• 2.1.1. Random Variables
• 2.1.2. Discrete Random Variables - Probability Mass Function
• 2.1.3. Continuous Random Variables - Probability Density Function
• 2.1.4. Marginal Probability
• 2.1.5. Conditional Probability
• 2.1.6. Expectation and Variance
• 2.2. Machine Learning Basics
• 2.2.1. Semi-supervised learning
• 2.2.2. Few-shot Learning
• 2.2.2.1. Few-shot Learning
• 2.2.2.2. Boosting few-shot visual learning with self-supervision
• 3. CHƯƠNG 3: LEGACY RESEARCH WORKS
• 4. CHƯƠNG 4: OBJECT DETECTION AND NETWORK ARCHITECTURE
• 4.1. Two-stage Detectors
• 4.2. One-stage Detectors
• 4.2.1. Bag of freebies
• 4.2.2. A Strong Baseline for Few-Shot Learning
• 4.2.2.1. Joint Training of Episodic and Standard Supervised Strategies
• 4.2.2.2. Revisiting Pooling Layer
• 4.3. Results of Training ResNet-50-YOLOv5 from Scratch with Abundant Annotations
• 4.4. Performance of Deploying ResNet-50-YOLOv5 with TensorRT
• 4.4.1. Comparison between TensorRT and Pytorch
• 4.4.2. Effect of image’s resolution on performance
• 4.5. Result of Baseline on Few-shot Benchmarks
• 4.6. Results of Training ResNet-50-YOLOv5 with Limited Annotations
• 4.6.1. Results of Training ResNet-50-YOLOv5 from Scratch with Limited Annotations
• 4.6.2. Results of Training Pretrained ResNet-50-YOLOv5 with Limited Annotations
• 4.7. Network architecture terminology
• 4.8. Jetson TX2 Developer Kit
• 4.9. Developing and Deploying with Tensor RT
• 5. CHƯƠNG 5: DROWSINESS DETECTION PROBLEM
• 6. CHƯƠNG 6: CONCLUSION

Tóm tắt

I. Tổng quan về cải thiện kỹ thuật học ít dữ liệu trong thị giác máy tính

Kỹ thuật học ít dữ liệu (few-shot learning) đang trở thành một trong những xu hướng quan trọng trong lĩnh vực thị giác máy tính. Với khả năng học từ một số lượng mẫu hạn chế, kỹ thuật này giúp giảm thiểu chi phí thu thập dữ liệu và thời gian huấn luyện. Nghiên cứu cho thấy rằng con người có thể nhận diện đối tượng chỉ với một vài hình ảnh, điều này mở ra cơ hội cho việc phát triển các mô hình học máy hiệu quả hơn. Việc cải thiện các mô hình học ít dữ liệu không chỉ giúp tăng cường độ chính xác mà còn nâng cao khả năng áp dụng trong thực tiễn.

1.1. Khái niệm và tầm quan trọng của học ít dữ liệu

Học ít dữ liệu là một phương pháp cho phép các mô hình học từ một số lượng mẫu rất nhỏ. Điều này đặc biệt quan trọng trong các lĩnh vực như y tế, nơi việc thu thập dữ liệu có thể tốn kém và khó khăn. Việc áp dụng kỹ thuật này giúp giảm thiểu chi phí và thời gian, đồng thời vẫn đạt được hiệu suất cao.

1.2. Ứng dụng của học ít dữ liệu trong thị giác máy tính

Trong thị giác máy tính, học ít dữ liệu có thể được áp dụng trong nhiều lĩnh vực như nhận diện khuôn mặt, phân loại hình ảnh và phát hiện đối tượng. Các mô hình như YOLOv5 đã cho thấy khả năng hoạt động tốt với ít dữ liệu, mở ra hướng đi mới cho các ứng dụng thực tiễn.

II. Thách thức trong việc cải thiện kỹ thuật học ít dữ liệu

Mặc dù học ít dữ liệu mang lại nhiều lợi ích, nhưng vẫn tồn tại nhiều thách thức cần phải vượt qua. Một trong những vấn đề lớn nhất là việc đảm bảo độ chính xác của mô hình khi chỉ có một số lượng mẫu hạn chế. Các mô hình thường gặp khó khăn trong việc tổng quát hóa từ dữ liệu ít ỏi, dẫn đến hiệu suất kém trong các tình huống thực tế.

2.1. Vấn đề tổng quát hóa trong học ít dữ liệu

Tổng quát hóa là khả năng của mô hình để áp dụng kiến thức đã học từ dữ liệu huấn luyện vào dữ liệu chưa thấy. Khi chỉ có một vài mẫu, mô hình có thể không học được các đặc điểm quan trọng, dẫn đến việc nhận diện sai hoặc không chính xác.

2.2. Khó khăn trong việc thu thập dữ liệu chất lượng

Việc thu thập dữ liệu chất lượng cao cho các ứng dụng học ít dữ liệu là một thách thức lớn. Dữ liệu không đủ hoặc không chính xác có thể làm giảm hiệu suất của mô hình, gây khó khăn trong việc triển khai thực tế.

III. Phương pháp cải thiện kỹ thuật học ít dữ liệu hiệu quả

Để cải thiện kỹ thuật học ít dữ liệu, nhiều phương pháp đã được nghiên cứu và áp dụng. Một trong những phương pháp hiệu quả là sử dụng các mô hình tiền huấn luyện (pretrained models) để tăng cường khả năng học của mô hình chính. Việc này giúp mô hình có thể tận dụng kiến thức từ các tác vụ khác, từ đó cải thiện độ chính xác.

3.1. Sử dụng mô hình tiền huấn luyện

Mô hình tiền huấn luyện cho phép các mô hình học từ các tập dữ liệu lớn trước khi được tinh chỉnh cho các tác vụ cụ thể. Điều này giúp cải thiện đáng kể hiệu suất của mô hình trong các tác vụ học ít dữ liệu.

3.2. Kỹ thuật tăng cường dữ liệu

Tăng cường dữ liệu là một kỹ thuật giúp tạo ra nhiều mẫu hơn từ một mẫu gốc thông qua các biến thể như xoay, lật, hoặc thay đổi độ sáng. Kỹ thuật này giúp mô hình học được nhiều đặc điểm hơn từ dữ liệu hạn chế.

IV. Ứng dụng thực tiễn của kỹ thuật học ít dữ liệu

Kỹ thuật học ít dữ liệu đã được áp dụng thành công trong nhiều lĩnh vực khác nhau, từ nhận diện khuôn mặt đến phát hiện hành vi. Một ví dụ điển hình là ứng dụng phát hiện buồn ngủ, nơi mà mô hình có thể nhận diện trạng thái của người lái xe chỉ với một vài hình ảnh. Điều này không chỉ giúp nâng cao an toàn giao thông mà còn mở ra hướng đi mới cho các ứng dụng thông minh.

4.1. Phát hiện buồn ngủ trong lái xe

Phát hiện buồn ngủ là một ứng dụng quan trọng trong việc nâng cao an toàn giao thông. Các mô hình học ít dữ liệu có thể giúp nhận diện trạng thái buồn ngủ của người lái xe chỉ với một vài hình ảnh, từ đó cảnh báo kịp thời.

4.2. Nhận diện khuôn mặt trong các ứng dụng an ninh

Nhận diện khuôn mặt là một ứng dụng phổ biến khác của học ít dữ liệu. Các mô hình có thể học từ một số lượng mẫu hạn chế để nhận diện khuôn mặt trong các tình huống an ninh, giúp tăng cường bảo mật.

V. Kết luận và tương lai của kỹ thuật học ít dữ liệu

Kỹ thuật học ít dữ liệu đang mở ra nhiều cơ hội mới trong lĩnh vực thị giác máy tính. Mặc dù còn nhiều thách thức, nhưng với sự phát triển của công nghệ và các phương pháp mới, khả năng ứng dụng của kỹ thuật này sẽ ngày càng rộng rãi hơn. Tương lai của học ít dữ liệu hứa hẹn sẽ mang lại nhiều giải pháp sáng tạo cho các vấn đề thực tiễn.

5.1. Tương lai của học ít dữ liệu trong thị giác máy tính

Tương lai của học ít dữ liệu trong thị giác máy tính sẽ tiếp tục phát triển với sự hỗ trợ của các công nghệ mới. Các nghiên cứu sẽ tập trung vào việc cải thiện độ chính xác và khả năng tổng quát của các mô hình học ít dữ liệu.

5.2. Các xu hướng nghiên cứu mới trong học ít dữ liệu

Các xu hướng nghiên cứu mới sẽ tập trung vào việc phát triển các phương pháp học sâu hơn, tối ưu hóa mô hình cho các thiết bị nhúng và cải thiện khả năng xử lý thời gian thực trong các ứng dụng thực tiễn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực giao thông thông minh và xe tự hành, việc giám sát trạng thái của người lái nhằm nâng cao an toàn giao thông đang nhận được sự quan tâm lớn. Hiện tượng buồn ngủ khi điều khiển phương tiện là một trong những nguyên nhân hàng đầu dẫn đến các tai nạn nghiêm trọng. Việc xây dựng một hệ sinh thái nhận diện và cảnh báo sớm tình trạng buồn ngủ của tài xế đóng vai trò thực tiễn cấp thiết. Với sự phát triển của học sâu (Deep Learning), các bài toán thị giác máy tính như phân loại ảnh, phân đoạn ảnh và phát hiện đối tượng đã đạt được những bước tiến vượt bậc. Tiếp cận bài toán phát hiện trạng thái ngủ gật dưới góc độ phát hiện đối tượng cục bộ trên khuôn mặt (trạng thái mở/nhắm của mắt) cho phép tận dụng các kiến trúc mạng nơ-ron tích chập hiện đại để giải quyết bài toán với độ chính xác cao.

Tuy nhiên, các mô hình học sâu truyền thống đòi hỏi nguồn dữ liệu gán nhãn khổng lồ và chi phí tính toán cao, gây khó khăn khi triển khai trên các thiết bị nhúng có tài nguyên hạn chế trong xe ô tô. Trong khi con người có khả năng thích ứng và học một khái niệm mới chỉ từ một hoặc vài hình ảnh mẫu nhờ tích lũy trải nghiệm trước đó, các mô hình phân loại thông thường như ResNet phải huấn luyện trên 1,28 triệu ảnh từ ImageNet để đạt mức độ chính xác tương đương. Trong nhiều tình huống thực tế, việc thu thập và gán nhãn dữ liệu chuẩn rất tốn kém và phức tạp. Vấn đề đặt ra là làm thế nào để tận dụng tri thức từ các tập dữ liệu có sẵn thông qua kỹ thuật học với số ít mẫu (Few-shot Learning - FSL) và chuyển giao sang bài toán phát hiện đối tượng mới với số lượng mẫu gán nhãn hạn chế, đồng thời tối ưu hóa tốc độ suy diễn trên các phần cứng biên (Edge AI).

Được thực hiện tại Khoa Khoa học và Kỹ thuật Máy tính, Trường Đại học Bách Khoa – ĐHQG TP.HCM trong thời gian từ tháng 01/2021 đến tháng 08/2021, khóa luận tốt nghiệp ngành Kỹ thuật Máy tính của sinh viên Nguyễn Đức Khôi tập trung giải quyết 3 nhiệm vụ nghiên cứu chính:

1. Nghiên cứu cơ sở lý thuyết về học sâu và tổng quan các công trình nghiên cứu về học với số ít mẫu (Few-shot Learning).
2. Đề xuất kỹ thuật học nhằm huấn luyện các mô hình học sâu trong thị giác máy tính với các tập dữ liệu benchmark phổ biến trên Internet.
3. Ứng dụng kỹ thuật học ít mẫu vào bài toán phát hiện buồn ngủ (Drowsiness Detection), thực hiện toàn diện các giai đoạn từ huấn luyện, tinh chỉnh siêu tham số đến triển khai mô hình đã tối ưu hóa lên hệ thống nhúng hỗ trợ bởi công nghệ NVIDIA.

Đối tượng nghiên cứu của đề tài là các thuật toán học ít mẫu, kiến trúc mạng phát hiện đối tượng YOLOv5 kết hợp xương sống ResNet-50 (ResNet-50-YOLOv5) và bài toán xác định trạng thái mắt người lái xe trên tập dữ liệu Drowsiness Dataset. Phạm vi không gian triển khai thực nghiệm bao gồm môi trường tính toán máy chủ đồ họa và kit nhúng NVIDIA Jetson TX2 Developer Kit với công cụ tăng tốc suy diễn NVIDIA TensorRT.

---

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết xác suất thống kê, học máy, học sâu và xử lý ảnh số:

• Cơ sở xác suất và thống kê: Khóa luận hệ thống lại các khái niệm biến ngẫu nhiên rời rạc/liên tục, hàm khối xác suất (PMF), hàm mật độ xác suất (PDF), xác suất biên duyên (marginal probability), xác suất có điều kiện (conditional probability), kỳ vọng, phương sai, luật số lớn, định lý giới hạn trung tâm (Central Limit Theorem), phân phối Chuẩn, phân phối Student-$t$ và ước lượng khoảng tin cậy (Confidence Intervals).
• Phân loại học máy và học ít mẫu: Hệ thống các phương pháp học có giám sát (Supervised Learning), học không giám sát (Unsupervised Learning), học bán giám sát (Semi-supervised Learning) và học meta (Meta-learning). Trong cấu hình học ít mẫu $N$-way $K$-shot, mô hình được cung cấp tập dữ liệu cơ sở $D_b$ với $N_b$ lớp cơ sở có nhiều mẫu, sau đó phải thích ứng nhanh với tập hỗ trợ (support set) $D_s$ chứa $N$ lớp mới lạ (novel classes), mỗi lớp có $K$ mẫu gán nhãn, và được đánh giá trên tập truy vấn (query set) $D_q$.
• Cơ chế huấn luyện tập (Episodic Training) và Huấn luyện giám sát chuẩn (Standard Supervised / Global Training): Khóa luận phân tích các mô hình meta-learning dựa trên tối ưu hóa gradient như MAML, Meta-SGD, LEO và các mô hình dựa trên không gian metric phi tham số như Prototypical Networks, Relation Networks kết hợp cơ chế chú ý (attention-based weight generator).

Phương pháp nghiên cứu thực nghiệm được tác giả áp dụng bao gồm:

1. Thiết kế phương pháp Baseline kết hợp (Joint Training): Tích hợp hàm mất mát huấn luyện theo tập ($L_{episodic}$) sử dụng biểu diễn vector nguyên mẫu (prototype) với hàm mất mát giám sát toàn cục ($L_{global}$) sử dụng bộ phân loại tuyến tính (Linear Classifier): $$L_{joint} = L_{episodic} + \alpha L_{global}$$ Trong đó $\alpha$ là siêu tham số cân bằng đóng góp giữa hai thành phần (thực nghiệm thiết lập $\alpha = 0.5$).
2. Kỹ thuật điều chỉnh kích thước bộ lọc gộp (Adapted Pooling Layer): Tác giả phân tích sự đánh đổi giữa phân loại dày đặc (Dense Classification với kernel $1 \times 1$) và gộp toàn cục (Global Pooling với kernel $w \times h$), từ đó đề xuất tinh chỉnh kích thước kernel pooling tùy biến theo đặc tính độ phân giải của từng tập dữ liệu.
3. Tiền xử lý và gia tăng dữ liệu (Data Augmentation): Áp dụng các phép biến đổi ảnh bao gồm cắt ngẫu nhiên (random cropping), lật ngang (horizontal flipping) và tổng hợp che khuất nhân tạo (occlusion synthesis) nhằm tăng cường độ bền vững cho bộ trích xuất đặc trưng.

Nguồn dữ liệu thực nghiệm gồm 4 tập dữ liệu học ít mẫu tiêu chuẩn: mini-ImageNet (100 lớp, 600 ảnh/lớp, kích thước $84 \times 84$), CIFAR-FS và FC100 (đều dẫn xuất từ CIFAR-100 với kích thước ảnh $32 \times 32$), cùng tập dữ liệu Drowsiness Dataset gồm 4.521 ảnh huấn luyện gốc và 848 ảnh kiểm thử độc lập.

---

Thiết kế và triển khai

Khóa luận phát triển hệ thống kỹ thuật hoàn chỉnh từ khâu kiến trúc mạng đến khâu biên dịch và nạp lên phần cứng biên:

1. Kiến trúc mạng ResNet-50-YOLOv5

Tác giả thay thế mạng xương sống (backbone) CSP-Darknet mặc định trong kiến trúc YOLOv5 bằng mạng nơ-ron phần dư ResNet-50. Lý do của sự thay đổi này là nhằm tận dụng khả năng tương thích cao của ResNet-50 với các trọng số tiền huấn luyện (pretrained weights) sẵn có từ các nghiên cứu học tự giám sát (Self-supervised Learning) và học ít mẫu trên ImageNet.

• Backbone: Giữ lại khối biến đổi Focus ban đầu và khối tích chập thứ nhất (Conv) của YOLOv5, sau đó luân chuyển luồng đặc trưng qua 4 khối phần dư (Residual Blocks) của ResNet-50 với cấu trúc lần lượt gồm 3, 4, 6 và 3 khối thắt cổ chai (Bottleneck Blocks).
• Neck: Nhận đầu vào là các bản đồ đặc trưng trích xuất từ các khối phần dư số 2, 3 và 4 của ResNet-50, kết hợp các tầng tích chập, bộ lấy mẫu nâng (Upsample), các khối CSPBottleneck và phép nối (Concatenate) để hợp nhất thông tin đa tỷ lệ.
• Head: Sử dụng các lớp tích chập Conv2d để dự đoán trực tiếp tọa độ hộp bao (bounding box offsets), độ tin cậy chứa đối tượng (objectness confidence) và xác suất phân loại lớp (mắt mở - opened / mắt nhắm - closed).

2. Triển khai và tối ưu hóa trên NVIDIA Jetson TX2

Nhằm đạt được tốc độ xử lý thời gian thực trên xe, mô hình sau khi huấn luyện được chuyển đổi từ môi trường PyTorch sang công cụ tối ưu hóa NVIDIA TensorRT trên kit nhúng Jetson TX2:

• TensorRT thực hiện tối ưu hóa đồ thị tính toán, gộp các tầng nơ-ron (layer fusion), chuẩn hóa cấu trúc bộ nhớ và sử dụng các nhân tính toán CUDA được tinh chỉnh đặc thù cho kiến trúc GPU của Jetson TX2.
• Thực hiện đo đạc và so sánh độ trễ (latency tính bằng mili-giây - ms) và tốc độ khung hình (Frames Per Second - FPS) giữa bản cài đặt gốc PyTorch và bản tối ưu hóa TensorRT trên luồng camera trực tiếp ở nhiều mức phân giải đầu vào khác nhau (từ $64 \times 64$, $128 \times 128$ đến $640 \times 640$).

---

Nội dung chính theo từng chương

Chương 2: Cơ sở lý thuyết (Foundations)

Chương 2 trình bày toàn diện các nguyên lý toán học xác suất, thống kê ứng dụng và các khái niệm cốt lõi trong học máy hiện đại. Tác giả định nghĩa không gian bài toán học có giám sát, hàm mất mát, ma trận nhầm lẫn (Confusion Matrix), các chỉ số Precision, Recall, ma trận đánh giá thử nghiệm y tế (True Positive, False Positive, True Negative, False Negative), bài toán hồi quy và học không giám sát. Tiếp theo, chương này cung cấp công thức hóa toán học chặt chẽ cho bài toán học ít mẫu (Few-shot Learning), cấu hình huấn luyện meta ($N$-way $K$-shot), sự phân chia giữa tập cơ sở $D_b$, tập hỗ trợ $D_s$, tập truy vấn $D_q$, cơ chế vòng lặp trong (inner loop / adaptation) và vòng lặp ngoài (outer loop) của meta-learning. Phần cuối chương định nghĩa bài toán phát hiện đối tượng, phân tích hai nhiệm vụ song song là định vị vị trí (localization) và gán nhãn phân loại (classification).

Chương 3: Các công trình liên quan (Related Work)

Chương 3 tổng thuật có hệ thống các nghiên cứu tiền đề trong hai nhánh học thuật:

• Học ít mẫu: Trình bày các công trình tiêu biểu như MAML (Model-Agnostic Meta-Learning), LEO (Latent Embedding Optimization), Meta-SGD, phương pháp tăng cường học ít mẫu bằng tự giám sát qua góc xoay ảnh (Rotation prediction), mạng nguyên mẫu Prototypical Networks, mạng quan hệ Relation Networks và cơ chế sinh trọng số dựa trên chú ý (Dynamic Few-shot Learning without Forgetting).
• Phát hiện đối tượng: So sánh chi tiết hai trường phái:
  • Bộ phát hiện hai giai đoạn (Two-stage Detectors): Phân tích lộ trình phát triển từ R-CNN (sử dụng trích chọn vùng đề xuất kết hợp SVM), Fast R-CNN (giới thiệu RoI Pooling) đến Faster R-CNN (tích hợp mạng đề xuất vùng Region Proposal Network - RPN).
  • Bộ phát hiện một giai đoạn (One-stage Detectors): Phân tích nguyên lý chia lưới không gian và hồi quy trực tiếp của YOLO (You Only Look Once), các cải tiến về anchor box và fine-grained feature của YOLO9000 (YOLOv2), YOLOv3, YOLOv4 và kiến trúc SSD (Single Shot MultiBox Detector).

Chương 4: Phương pháp đề xuất (Proposed Method)

Chương này mô tả chi tiết giải pháp kỹ thuật tích hợp của khóa luận:

• Phân tích bài toán phát hiện buồn ngủ dưới dạng phát hiện khuôn mặt và nhận diện biểu cảm trạng thái mắt từ ảnh tĩnh đầu vào.
• Trình bày khái niệm "Bags of Freebies" - cải tiến phương pháp huấn luyện để nâng cao độ chính xác mà không làm tăng chi phí tính toán khi suy diễn.
• Mô tả chi tiết phương pháp Baseline kết hợp huấn luyện tập (Episodic) và huấn luyện toàn cục (Global) với biểu diễn hàm mất mát $L_{joint}$.
• Trình bày kỹ thuật Adapted Pooling Layer: phân tích ảnh hưởng của kích thước kernel pooling đến tính chất Dense Classification và đưa ra công thức điều chỉnh kích thước pooling phù hợp cho từng bộ dữ liệu.
• Trình bày chi tiết cấu trúc các khối chức năng và luồng kết nối của mạng ResNet-50-YOLOv5.

Chương 5: Thực nghiệm và Đánh giá (Experiments)

Chương 5 là chương thực nghiệm trọng tâm của khóa luận, thực hiện trên nhiều khía cạnh:

• Thiết lập môi trường thực nghiệm, mô tả tập dữ liệu Drowsiness (chia 3.600 ảnh train, 921 ảnh val, 848 ảnh test) và các bộ benchmark mini-ImageNet, CIFAR-FS, FC100.
• Đánh giá mô hình ResNet-50-YOLOv5 huấn luyện từ đầu (from scratch) với đầy đủ 3.600 ảnh gán nhãn qua 200 epochs.
• Đo lường và so sánh hiệu năng triển khai trên kit Jetson TX2 giữa PyTorch và TensorRT, khảo sát ảnh hưởng của độ phân giải ảnh đầu vào đối với độ trễ và FPS.
• Đánh giá mô hình Baseline học ít mẫu đề xuất trên các benchmark mini-ImageNet, CIFAR-FS, FC100, so sánh các kích thước pooling kernel khác nhau.
• Khảo sát sự suy giảm hiệu năng khi huấn luyện ResNet-50-YOLOv5 từ đầu với tập dữ liệu gán nhãn cực nhỏ (100, 200, 300, 400 mẫu).
• Đánh giá khả năng chuyển giao của các phương pháp tiền huấn luyện (Pretraining) trên mini-ImageNet sang mô hình ResNet-50-YOLOv5 với 100 mẫu dữ liệu buồn ngủ.

Chương 6: Kết luận và Thảo luận (Conclusion)

Chương 6 tổng kết các kết quả đạt được về mặt khoa học (phương pháp huấn luyện kết hợp và tinh chỉnh pooling layer) và kỹ thuật (mô hình ResNet-50-YOLOv5 triển khai thời gian thực trên Jetson TX2), đồng thời thảo luận thẳng thắn về những hạn chế và gợi mở các hướng phát triển trong tương lai.

---

Kết quả và đóng góp

1. Hiệu năng mô hình ResNet-50-YOLOv5 khi có đủ dữ liệu

Khi được cung cấp đầy đủ 3.600 mẫu dữ liệu huấn luyện (huấn luyện 200 epochs, batch size 16, ảnh $640 \times 640$), mô hình ResNet-50-YOLOv5 đạt độ chính xác cao trên tập kiểm thử:

Lớp đối tượng	Precision	Recall	mAP@0.5	mAP@0.5:0.95
Tất cả các lớp (All)	0.906	0.912	0.932	0.655
Mắt nhắm (Closed - Positive)	0.910	0.910	0.930	0.650

2. Hiệu năng triển khai trên kit nhúng NVIDIA Jetson TX2

So sánh giữa nền tảng PyTorch gốc và bản tối ưu hóa TensorRT trên GPU nhúng Jetson TX2 (đầu vào camera $640 \times 640$):

Chỉ số hiệu năng	PyTorch	NVIDIA TensorRT
Precision	0.906	0.906
Recall	0.912	0.912
mAP@0.5	0.932	0.932
mAP@0.5:0.95	0.655	0.655
Độ trễ (Latency)	310,0 ms	119,3 ms
Tốc độ khung hình (FPS)	3,2 FPS	8,3 FPS

TensorRT giữ nguyên các chỉ số độ chính xác tính toán nhưng giảm độ trễ từ 310 ms xuống 119,3 ms (nhanh hơn xấp xỉ 2,6 lần) và tăng tốc độ xử lý từ 3,2 FPS lên 8,3 FPS. Khi giảm độ phân giải đầu vào từ 640 xuống 128, tốc độ khung hình tiếp tục tăng và độ trễ giảm dần trong khi độ chính xác suy giảm không đáng kể (chỉ giảm đột ngột ở mức cực đoan $64 \times 64$).

3. Đánh giá phương pháp Baseline học ít mẫu trên các tập Benchmark

Kết quả kiểm thử độ chính xác phân loại trung bình trên các tập dữ liệu chuẩn (với khoảng tin cậy 95% qua 2.000 tập kiểm thử):

Tập dữ liệu	Mô hình	Backbone	1-shot (%)	5-shot (%)
mini-ImageNet	MAML	Conv-4-32	48,70	63,11
	Prototypical Nets	Conv-4-64	49,42	68,20
	Our Baseline	ResNet-12	66,31	81,81
	Our Baseline	ResNet-18	67,40	82,50
CIFAR-FS	MAML	Conv-4-32	58,90	71,50
	Prototypical Nets	ResNet-12	72,60	84,30
	Our Baseline	ResNet-12	77,40	86,47
FC100	Prototypical Nets	Conv-4-64	35,30	48,60
	Our Baseline	ResNet-12	42,66	57,12

Trên mini-ImageNet, phương pháp baseline đề xuất với kernel pooling $1 \times 1$ đạt kết quả vượt trội so với các phương pháp meta-learning truyền thống.

4. Đánh giá mô hình khi huấn luyện với dữ liệu hạn chế và hiệu quả tiền huấn luyện

Khi giảm số lượng ảnh huấn luyện xuống mức rất ít (huấn luyện 1.000 epochs, batch size 16), hiệu năng của mô hình huấn luyện từ đầu (scratch) suy giảm mạnh:

Số lượng mẫu gán nhãn	Precision	Recall	mAP@0.5	mAP@0.5:0.95
100 mẫu	0,521	0,312	0,345	0,182
200 mẫu	0,684	0,591	0,612	0,354
300 mẫu	0,778	0,723	0,765	0,481
400 mẫu	0,832	0,811	0,829	0,548

Khi áp dụng phương pháp tiền huấn luyện xương sống ResNet-50 trên mini-ImageNet trước khi huấn luyện trên 100 mẫu dữ liệu buồn ngủ:

• So sánh trên benchmark mini-ImageNet: Baseline đề xuất đạt 62,63% (1-shot) và 77,33% (5-shot), vượt trội so với Standard Supervised chỉ đạt 58,33% (1-shot) và 75,12% (5-shot).
• Chuyển giao sang bài toán phát hiện đối tượng với 100 mẫu:

Phương pháp tiền huấn luyện	Precision	Recall	mAP@0.5	mAP@0.5:0.95
Standard Supervised Pretraining	0,712	0,654	0,681	0,412
Our Few-shot Baseline Pretraining	0,634	0,512	0,551	0,321

Thực nghiệm đem lại phát hiện khoa học quan trọng: Mặc dù phương pháp học ít mẫu đạt độ chính xác cao trên bài toán phân loại ảnh tĩnh, nhưng khi chuyển giao trọng số sang làm xương sống cho bài toán phát hiện đối tượng cục bộ trong điều kiện khan hiếm dữ liệu, kỹ thuật huấn luyện giám sát chuẩn (Standard Supervised Pretraining) lại mang lại khả năng tổng quát hóa và độ chính xác chuyển giao tốt hơn.

---

Hạn chế và hướng nghiên cứu tiếp

Khóa luận tự chỉ ra các hạn chế nghiên cứu và được Hội đồng chấm bảo vệ ghi nhận:

• Về mặt bài toán ứng dụng: Mô hình chỉ xử lý dựa trên ảnh tĩnh đơn lẻ mà chưa tích hợp thông tin chuỗi thời gian (temporal information) giữa các khung hình liên tiếp từ luồng video để phân tích hành vi phức tạp của tài xế (như tần suất chớp mắt, thời lượng nhắm mắt hay cử chỉ ngáp).
• Về tính chuyển giao của kỹ thuật Few-shot: Thuật toán học ít mẫu được thiết kế chủ yếu cho bài toán phân loại tổng thể toàn bức ảnh, dẫn đến việc chuyển giao biểu diễn đặc trưng sang bài toán phát hiện đối tượng cục bộ (object detection) chưa đạt hiệu quả tối ưu như kỳ vọng so với tiền huấn luyện giám sát chuẩn.
• Về mặt công bố khoa học: Tại thời điểm bảo vệ khóa luận (tháng 08/2021), kết quả nghiên cứu cải tiến kỹ thuật học ít mẫu đã được hoàn thiện và nộp tới hội nghị quốc tế nhưng bài báo chưa kịp xuất bản chính thức.
• Đóng góp về mặt kiến trúc: Việc thay thế khối tích chập chuẩn bằng các khối phần dư ResNet trong mô hình phát hiện đối tượng là kỹ thuật đã được áp dụng trong nhiều nghiên cứu trước đây, cần mở rộng thêm các cấu trúc mô hình mới trong tương lai.

---

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo thiết thực cho các đối tượng sau:

• Sinh viên và học viên ngành Kỹ thuật Máy tính, Khoa học Máy tính, Trí tuệ Nhân tạo: Cung cấp tài liệu tham khảo chi tiết về quy trình nghiên cứu học ít mẫu (Few-shot Learning), phương pháp thiết kế hàm mất mát kết hợp ($L_{joint}$) và kỹ thuật điều chỉnh pooling layer.
• Kỹ sư phát triển hệ thống nhúng và Edge AI: Cung cấp quy trình thực tế về việc chuyển đổi mô hình học sâu từ framework PyTorch sang NVIDIA TensorRT và triển khai thực nghiệm trên phần cứng NVIDIA Jetson TX2.
• Nhà nghiên cứu về thị giác máy tính và an toàn giao thông: Cung cấp các phân tích định lượng về sự đánh đổi giữa kích thước ảnh đầu vào, độ trễ và độ chính xác khi phát hiện trạng thái ngủ gật của người lái xe.

---

Câu hỏi thường gặp

1. Tại sao khóa luận lại thay thế mạng xương sống mặc định của YOLOv5 bằng ResNet-50?

Kiến trúc mặc định của YOLOv5 sử dụng CSP-Darknet, một cấu trúc đặc thù khó tương thích trực tiếp với các bộ trọng số tiền huấn luyện từ các nghiên cứu học tự giám sát và học ít mẫu trên ImageNet. Việc chuyển đổi xương sống sang ResNet-50 giúp mô hình dễ dàng nạp và đánh giá khả năng chuyển giao (transfer learning) của các kỹ thuật tiền huấn luyện khác nhau trên ImageNet/mini-ImageNet vào bài toán phát hiện đối tượng.

2. Kỹ thuật "Adapted Pooling Layer" do tác giả đề xuất hoạt động như thế nào?

Thay vì áp dụng gộp toàn cục ($w \times h$) làm mất nhiều thông tin không gian hoặc phân loại dày đặc ở từng điểm ảnh ($1 \times 1$) gây tốn chi phí tính toán, tác giả đề xuất một lớp pooling trung gian với kích thước kernel tùy chỉnh theo từng tập dữ liệu. Trên mini-ImageNet ($84 \times 84$), kernel $1 \times 1$ cho hiệu quả phân loại cao nhất, trong khi trên CIFAR-FS và FC100 ($32 \times 32$), việc sử dụng kernel lớn hơn giúp giảm tải đáng kể khối lượng tính toán mà không làm suy giảm độ chính xác.

3. Việc sử dụng NVIDIA TensorRT mang lại cải thiện cụ thể nào khi triển khai trên Jetson TX2?

Khi xử lý ảnh đầu vào độ phân giải $640 \times 640$, TensorRT giữ nguyên vẹn độ chính xác của mô hình (Precision 0,906; Recall 0,912; mAP@0.5 0,932) nhưng tối ưu hóa tốc độ vượt bậc: giảm độ trễ từ 310,0 ms xuống còn 119,3 ms và tăng tốc độ xử lý từ 3,2 FPS lên 8,3 FPS so với môi trường thực thi PyTorch gốc.

4. Kết quả chuyển giao của mô hình tiền huấn luyện Few-shot sang bài toán phát hiện đối tượng mang lại phát hiện gì?

Mặc dù phương pháp Baseline học ít mẫu đạt độ chính xác phân loại vượt trội trên tập mini-ImageNet (62,63% so với 58,33% của Standard Supervised ở cấu hình 1-shot), nhưng khi chuyển giao sang phát hiện trạng thái buồn ngủ với 100 mẫu gán nhãn, xương sống tiền huấn luyện bằng Standard Supervised lại đạt mAP@0.5 cao hơn đáng kể (0,681 so với 0,551). Điều này chỉ ra rằng các kỹ thuật học ít mẫu phức tạp trong phân loại ảnh không phải lúc nào cũng chuyển giao hiệu quả sang bài toán phát hiện đối tượng cục bộ.

---

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Đức Khôi đã giải quyết trọn vẹn cả hai nhiệm vụ khoa học và kỹ thuật công nghệ trong lĩnh vực thị giác máy tính. Về mặt học thuật, đề tài đã đề xuất thành công phương pháp học ít mẫu kết hợp huấn luyện tập và huấn luyện toàn cục cùng kỹ thuật tùy biến lớp pooling, đạt kết quả cạnh tranh trên các tập dữ liệu chuẩn. Về mặt kỹ thuật ứng dụng, tác giả đã xây dựng mô hình ResNet-50-YOLOv5 và triển khai tối ưu hóa thành công trên phần cứng nhúng NVIDIA Jetson TX2 với TensorRT, cung cấp giải pháp khả thi cho bài toán nhận diện trạng thái buồn ngủ của người lái xe trong thời gian thực.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY FACULTY OF COMPUTER SCIENCE & ENGINEERING ——————– * ——————— BACHELOR THESIS Study and Improve Few-shot Learning Techniques in Computer Vision Application Major: Computer Engineering Council: Computer Engineering 1 Supervisor: Dr. Le Thanh Sach Dr. Nguyen Ho Man Rang Reviewer: Dr. Nguyen Duc Dung —o0o— Student: Nguyen Duc Khoi (1752302) HO CHI MINH CITY, 8/2021 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ---------- Độc lập - Tự do - Hạnh phúc TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA:KH & KT Máy tính ____ NHIỆM VỤ LUẬN ÁN TỐT NGHIỆP BỘ MÔN: KHMT ___________ Chú ý: Sinh viên phải dán tờ này vào trang nhất của bản thuyết trình MSSV: 1752302 Họ và Tên SV: NGUYEN DUC KHOI Ngành: Kỹ thuật Máy tính 1.

Đầu đề luận án: EN: A study on few-shot learning for computer vision applications VN: Nghiên cứu và cải tiến kỹ thuật học với số ít mẫu được làm nhãn cho các ứng dụng trong thị giác máy tính 2. Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu): • Study Deep learning, and do literature review for few-shot learning; • Propose a learning techinque for training deep models (in computer vision) with popuplar datasets on the Internet; • Apply few-learning to an application in computer vision, from training, tuning, to deploying the trained model on embeded systems supported by NVIDIA’s technologies. Ngày giao nhiệm vụ luận án: 01/ 01 /2021 4. Ngày hoàn thành nhiệm vụ: 01/ 08 /2021 5.

Họ tên giảng viên hướng dẫn: Phần hướng dẫn: 1) Lê Thành Sách Đồng hướng dẫn __________________ 2) Nguyễn Hồ Mẫn Rạng Đồng hướng dẫn __________________ Nội dung và yêu cầu LVTN đã được thông qua Bộ môn. Ngày tháng năm 2021 CHỦ NHIỆM BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN CHÍNH (Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên) Lê Thành Sách PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ): ________________________ Đơn vị: _______________________________________ Ngày bảo vệ: ___________________________________ Điểm tổng kết: _________________________________ Nơi lưu trữ luận án: _____________________________ TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày 09 tháng 08 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn) 1. Họ và tên SV: MSSV: 1752302 Họ và Tên SV: NGUYEN DUC KHOI Ngành: Kỹ thuật Máy tính 2. Đề tài: EN: A study on few-shot learning for computer vision applications VN: Nghiên cứu và cải tiến kỹ thuật học với số ít mẫu được làm nhãn cho các ứng dụng trong thị giác máy tính 3.

Họ tên người hướng dẫn: TS. Lê Thành Sách 4. Tổng quát về bản thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính toán: Hiện vật (sản phẩm) 5. Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6.

Những ưu điểm chính của LVTN: • The author masters different techniques required for designing deep learning models, and for training, tunning, and deploying models to GPU cards with NVIDIA’s technologies. • The thesis consists of a science and an engineering task related to deep learning as follows: (a) Science: improve a selected few-shot learning technique for computer vision. The author has proposed an idea that is based on the episodic training and the dense convolution. The proposed idea has been evaluated with popular datasets reserved for the reseach field, it can gain some improvements.

The reseach’s results have been submitted to an international conference and wait for the reviewers’ conclusions. (b) Engineering: apply the few-shot to train a selected computer vision task and then deploy the trained model to an embeded system GPU card. To this end, the author selected application “drowsiness detection”. He utilized few-shot to train YOLOv5 and then deploy the trained model to NVIDIA Jetson TX2 successfully.