Luận văn tốt nghiệp kỹ thuật máy tính study and improve few shot learning techniques in computer vision application

Luận văn tốt nghiệp ngành Kỹ thuật Máy tính: Nghiên cứu và cải tiến kỹ thuật Few-Shot Learning cho các ứng dụng trong lĩnh vực thị giác máy tính.

• Tác giả: Nguyễn Đức Khôi
• Người hướng dẫn: Ts. Lê Thành Sách
• Trường học: Trường Đại học Bách Khoa
• Chuyên ngành: Kỹ thuật Máy tính
• Đề tài: Nghiên cứu và cải tiến kỹ thuật học với số ít mẫu được làm nhãn cho các ứng dụng trong thị giác máy tính
• Loại tài liệu: Luận án tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• 1. Chapter 1: Introduction
• 1.1. The Scope of the Thesis
• 1.2. Organization of the Thesis
• 2. Chapter 2: Foundations
• 2.1. Probabilities and Statistic Basics
• 2.1.1. Random Variables
• 2.1.2. Discrete Random Variables - Probability Mass Function
• 2.1.3. Continuous Random Variables - Probability Density Function
• 2.1.4. Marginal Probability
• 2.1.5. Conditional Probability
• 2.1.6. Expectation and Variance
• 2.2. Machine Learning Basics
• 2.2.1. Semi-supervised learning
• 2.2.2. Few-shot Learning
• 2.2.2.1. Few-shot Learning
• 2.2.2.2. Boosting few-shot visual learning with self-supervision
• 3. Chapter 3: Legacy Research Works
• 4. Chapter 4: Object Detection and Few-shot Learning Method
• 4.1. Two-stage Detectors
• 4.2. One-stage Detectors
• 4.2.1. Bag of freebies
• 4.2.2. A Strong Baseline for Few-Shot Learning
• 4.2.2.1. Joint Training of Episodic and Standard Supervised Strategies
• 4.2.2.2. Revisiting Pooling Layer
• 4.3. Results of Training ResNet-50-YOLOv5 from Scratch with Abundant Annotations
• 4.4. Performance of Deploying ResNet-50-YOLOv5 with TensorRT
• 4.4.1. Comparison between TensorRT and Pytorch
• 4.4.2. Effect of image’s resolution on performance
• 4.5. Result of Baseline on Few-shot Benchmarks
• 4.6. Results of Training ResNet-50-YOLOv5 with Limited Annotations
• 4.6.1. Results of Training ResNet-50-YOLOv5 from Scratch with Limited Annotations
• 4.6.2. Results of Training Pretrained ResNet-50-YOLOv5 with Limited Annotations
• 4.7. Network architecture terminology
• 4.8. Jetson TX2 Developer Kit
• 4.9. Developing and Deploying with Tensor RT
• 5. Chapter 5: Drowsiness Detection Problem
• 6. Chapter 6: Conclusion

Tóm tắt

I. Few Shot Learning Tổng quan và ứng dụng thị giác máy tính

Trong bối cảnh trí tuệ nhân tạo ngày càng phát triển, việc ứng dụng Few-Shot Learning (FSL) vào thị giác máy tính đang thu hút sự quan tâm lớn. FSL cho phép mô hình học từ một lượng dữ liệu hạn chế, khắc phục nhược điểm của các phương pháp học sâu truyền thống đòi hỏi lượng dữ liệu lớn. Bài toán drowsiness detection được xem xét như một bài toán object detection và FSL được sử dụng để cải thiện hiệu suất khi dữ liệu hạn chế. Nghiên cứu này tập trung vào việc cải thiện hiệu suất của mô hình object detection khi chỉ có sẵn một số ít mẫu được gán nhãn. Các phương pháp tiếp cận hiện đại thường yêu cầu hàng triệu mẫu dữ liệu được gán nhãn, điều này không phải lúc nào cũng khả thi trong thực tế. Việc tận dụng các kỹ thuật Transfer Learning và Meta-Learning đang trở thành xu hướng để giải quyết bài toán này.

1.1. Định nghĩa và vai trò của Few Shot Learning trong CV

Few-Shot Learning là một phương pháp học máy cho phép mô hình học các khái niệm mới chỉ từ một vài ví dụ. Trong thị giác máy tính, FSL giúp các mô hình nhận diện và phân loại hình ảnh một cách hiệu quả ngay cả khi dữ liệu huấn luyện rất hạn chế. Điều này đặc biệt hữu ích trong các ứng dụng thực tế, nơi việc thu thập và gán nhãn dữ liệu là tốn kém và mất thời gian. FSL tận dụng kiến thức đã học từ các nhiệm vụ tương tự để nhanh chóng thích nghi với nhiệm vụ mới, giảm đáng kể nhu cầu về dữ liệu.

1.2. Ưu điểm vượt trội của FSL so với Deep Learning truyền thống

So với Deep Learning truyền thống, Few-Shot Learning mang lại nhiều ưu điểm vượt trội. FSL giảm đáng kể nhu cầu về dữ liệu huấn luyện, tiết kiệm chi phí và thời gian thu thập, gán nhãn. FSL cũng có khả năng thích ứng nhanh chóng với các nhiệm vụ mới, trong khi các mô hình Deep Learning truyền thống thường yêu cầu huấn luyện lại từ đầu. Hơn nữa, FSL có thể giúp mô hình học các khái niệm phức tạp một cách hiệu quả hơn, đặc biệt khi dữ liệu không đầy đủ hoặc có nhiễu.

II. Thách thức dữ liệu trong ứng dụng Few Shot Object Detection

Mặc dù Few-Shot Learning hứa hẹn nhiều tiềm năng, việc ứng dụng nó vào bài toán Object Detection vẫn còn nhiều thách thức. Một trong những thách thức lớn nhất là việc xử lý sự biến đổi lớn trong hình ảnh và kích thước của đối tượng. Các mô hình Object Detection thường yêu cầu lượng lớn dữ liệu để học cách nhận diện các đối tượng ở nhiều góc độ, kích thước và điều kiện ánh sáng khác nhau. Khi dữ liệu hạn chế, mô hình có thể dễ bị overfitting và kém khả năng tổng quát hóa. Vì vậy, cần có các phương pháp cải tiến để tăng cường khả năng học của mô hình trong điều kiện dữ liệu ít ỏi.

2.1. Khó khăn khi huấn luyện mô hình Object Detection với dữ liệu ít

Việc huấn luyện mô hình Object Detection với dữ liệu ít (Few-Shot Learning) gặp nhiều khó khăn. Mô hình dễ bị overfitting, tức là học quá kỹ các đặc điểm của dữ liệu huấn luyện, dẫn đến khả năng tổng quát hóa kém. Sự thiếu đa dạng trong dữ liệu cũng khiến mô hình khó nhận diện các đối tượng trong các tình huống khác nhau. Ngoài ra, việc cân bằng giữa độ chính xác và khả năng nhớ lại (recall) cũng là một thách thức lớn, đặc biệt khi số lượng mẫu cho mỗi lớp là không đồng đều.

2.2. Vấn đề overfitting và cách tăng cường khả năng tổng quát hóa

Overfitting là một vấn đề nghiêm trọng trong Few-Shot Learning. Để khắc phục, có thể sử dụng các kỹ thuật Data Augmentation Techniques để tạo ra các mẫu dữ liệu mới từ dữ liệu hiện có, tăng cường tính đa dạng của tập huấn luyện. Các phương pháp Regularization như L1, L2 cũng giúp giảm độ phức tạp của mô hình, ngăn ngừa overfitting. Transfer Learning từ các mô hình đã được huấn luyện trên các tập dữ liệu lớn cũng là một cách hiệu quả để tận dụng kiến thức đã học và cải thiện khả năng tổng quát hóa.

2.3. Sự biến đổi hình ảnh và kích thước đối tượng trong thực tế

Trong thực tế, hình ảnh và kích thước đối tượng có thể biến đổi rất lớn, gây khó khăn cho việc nhận diện. Các đối tượng có thể xuất hiện ở nhiều góc độ, kích thước và điều kiện ánh sáng khác nhau. Để giải quyết vấn đề này, các mô hình Object Detection cần được trang bị khả năng xử lý các biến đổi này một cách hiệu quả. Các kỹ thuật như Attention Mechanisms in Few-Shot và Spatial Transformer Networks có thể giúp mô hình tập trung vào các vùng quan trọng của hình ảnh và bỏ qua các yếu tố gây nhiễu.

III. Giải pháp Meta Learning cho bài toán Few Shot Detection

Meta-Learning, hay học cách học, là một hướng tiếp cận đầy hứa hẹn trong Few-Shot Learning. Thay vì học trực tiếp từ dữ liệu, Meta-Learning học cách nhanh chóng thích nghi với các nhiệm vụ mới chỉ từ một vài ví dụ. Các mô hình Meta-Learning được huấn luyện trên một tập hợp các nhiệm vụ tương tự để học cách trích xuất các đặc trưng quan trọng và tìm ra các tham số mô hình phù hợp cho các nhiệm vụ mới. Model Agnostic Meta-Learning (MAML) là một thuật toán Meta-Learning phổ biến, cho phép mô hình nhanh chóng thích nghi với các nhiệm vụ mới bằng cách tìm ra các tham số mô hình dễ dàng tinh chỉnh.

3.1. Giới thiệu về Meta Learning và các phương pháp tiếp cận chính

Meta-Learning là một phương pháp học máy tiên tiến, tập trung vào việc học cách học. Các phương pháp tiếp cận chính bao gồm học dựa trên mô hình (model-based meta-learning), học dựa trên độ đo (metric-based meta-learning) và học dựa trên tối ưu hóa (optimization-based meta-learning). Mỗi phương pháp có những ưu điểm và nhược điểm riêng, phù hợp với các loại bài toán khác nhau. Ví dụ, Prototypical Networks là một phương pháp metric-based meta-learning, trong khi MAML là một phương pháp optimization-based meta-learning.

3.2. Ứng dụng MAML và các biến thể trong Few Shot Object Detection

MAML và các biến thể của nó đã được ứng dụng thành công trong Few-Shot Object Detection. MAML cho phép mô hình nhanh chóng thích nghi với các lớp đối tượng mới chỉ từ một vài ví dụ. Các biến thể của MAML như Reptile và Meta-SGD giúp cải thiện hiệu suất và độ ổn định của quá trình huấn luyện. Việc kết hợp MAML với các kỹ thuật Data Augmentation Techniques và Attention Mechanisms in Few-Shot cũng giúp tăng cường khả năng học của mô hình.

3.3. So sánh hiệu quả của Meta Learning với các phương pháp khác

So với các phương pháp Few-Shot Learning khác như Transfer Learning và Metric Learning, Meta-Learning thường cho kết quả tốt hơn, đặc biệt khi số lượng mẫu huấn luyện rất ít. Meta-Learning có khả năng tổng quát hóa tốt hơn và ít bị overfitting hơn so với các phương pháp khác. Tuy nhiên, Meta-Learning cũng đòi hỏi nhiều tính toán hơn và có thể khó huấn luyện hơn. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của bài toán và nguồn lực tính toán.

IV. Transfer Learning Tận dụng kiến thức từ dữ liệu lớn cho FSL

Transfer Learning là một kỹ thuật quan trọng trong Few-Shot Learning, cho phép tận dụng kiến thức đã học từ các tập dữ liệu lớn để cải thiện hiệu suất trên các tập dữ liệu nhỏ. Bằng cách huấn luyện trước mô hình trên một tập dữ liệu lớn và sau đó tinh chỉnh nó trên một tập dữ liệu nhỏ hơn, mô hình có thể nhanh chóng thích nghi với các nhiệm vụ mới. Transfer Learning đặc biệt hữu ích khi không có đủ dữ liệu để huấn luyện mô hình từ đầu. Các mô hình được huấn luyện trước trên ImageNet thường được sử dụng làm điểm khởi đầu cho các bài toán Few-Shot Learning.

4.1. Vai trò của Transfer Learning trong việc cải thiện hiệu suất FSL

Transfer Learning đóng vai trò quan trọng trong việc cải thiện hiệu suất Few-Shot Learning. Bằng cách chuyển kiến thức từ một nhiệm vụ nguồn (source task) sang một nhiệm vụ đích (target task), Transfer Learning giúp mô hình học nhanh hơn và hiệu quả hơn. Điều này đặc biệt quan trọng khi số lượng mẫu huấn luyện cho nhiệm vụ đích là rất ít. Việc lựa chọn nhiệm vụ nguồn phù hợp là yếu tố then chốt để Transfer Learning đạt hiệu quả cao.

4.2. Fine tuning các mô hình tiền huấn luyện pretrained models cho Object Detection

Fine-tuning là một kỹ thuật phổ biến trong Transfer Learning, trong đó các tham số của mô hình tiền huấn luyện được điều chỉnh để phù hợp với nhiệm vụ mới. Việc Fine-tuning có thể được thực hiện bằng cách huấn luyện lại toàn bộ mô hình hoặc chỉ huấn luyện một số lớp nhất định. Trong Object Detection, việc Fine-tuning các mô hình tiền huấn luyện trên ImageNet thường mang lại kết quả tốt. Tuy nhiên, cần cẩn thận để tránh overfitting khi Fine-tuning trên các tập dữ liệu nhỏ.

4.3. Các phương pháp Domain Adaptation để giảm sự khác biệt dữ liệu

Domain Adaptation là một kỹ thuật được sử dụng khi có sự khác biệt lớn giữa phân phối dữ liệu của nhiệm vụ nguồn và nhiệm vụ đích. Các phương pháp Domain Adaptation nhằm mục đích giảm sự khác biệt này để Transfer Learning có thể đạt hiệu quả cao hơn. Có nhiều phương pháp Domain Adaptation khác nhau, bao gồm phương pháp dựa trên việc điều chỉnh đặc trưng (feature-based adaptation) và phương pháp dựa trên việc điều chỉnh không gian (space-based adaptation).

V. Ứng dụng FSL Phát hiện buồn ngủ Drowsiness Detection trên xe

Một ứng dụng thực tế quan trọng của Few-Shot Learning trong thị giác máy tính là phát hiện buồn ngủ (Drowsiness Detection) trên xe. Việc phát hiện sớm các dấu hiệu buồn ngủ của lái xe có thể giúp ngăn ngừa tai nạn giao thông. Tuy nhiên, việc thu thập dữ liệu về các trạng thái buồn ngủ khác nhau có thể khó khăn và tốn kém. Few-Shot Learning cho phép huấn luyện mô hình Drowsiness Detection chỉ với một vài ví dụ về các trạng thái buồn ngủ, giúp giảm thiểu chi phí và thời gian thu thập dữ liệu.

5.1. Bài toán Drowsiness Detection và tầm quan trọng của FSL

Bài toán Drowsiness Detection là một bài toán quan trọng trong lĩnh vực an toàn giao thông. Few-Shot Learning có thể giúp giải quyết bài toán này một cách hiệu quả, đặc biệt khi dữ liệu về các trạng thái buồn ngủ của lái xe là hạn chế. Việc sử dụng Few-Shot Learning giúp giảm thiểu chi phí và thời gian thu thập dữ liệu, đồng thời cải thiện độ chính xác và độ tin cậy của hệ thống phát hiện buồn ngủ.

5.2. Sử dụng YOLOv5 và ResNet cho phát hiện đối tượng khuôn mặt

Mô hình YOLOv5 kết hợp với ResNet có thể được sử dụng để phát hiện khuôn mặt và các dấu hiệu buồn ngủ trên khuôn mặt. YOLOv5 là một mô hình Object Detection nhanh và chính xác, trong khi ResNet là một kiến trúc mạng nơ-ron sâu có khả năng trích xuất các đặc trưng quan trọng từ hình ảnh. Việc kết hợp hai mô hình này giúp tạo ra một hệ thống Drowsiness Detection hiệu quả và tin cậy.

5.3. Triển khai mô hình trên Jetson TX2 để ứng dụng thời gian thực

Để ứng dụng hệ thống Drowsiness Detection trong thực tế, mô hình cần được triển khai trên các thiết bị nhúng có khả năng xử lý thời gian thực. Jetson TX2 là một nền tảng nhúng mạnh mẽ của NVIDIA, phù hợp cho các ứng dụng thị giác máy tính đòi hỏi hiệu suất cao. Việc tối ưu hóa mô hình cho Jetson TX2 giúp đảm bảo hệ thống có thể phát hiện buồn ngủ một cách nhanh chóng và chính xác trong môi trường thực tế.

VI. Xu hướng phát triển và ứng dụng tiềm năng của Few Shot Learning

Few-Shot Learning đang là một lĩnh vực nghiên cứu rất năng động và có nhiều tiềm năng phát triển trong tương lai. Các hướng nghiên cứu mới bao gồm việc kết hợp Few-Shot Learning với các kỹ thuật khác như Self-Supervised Learning, Reinforcement Learning và Federated Learning. Các ứng dụng tiềm năng của Few-Shot Learning rất đa dạng, từ y tế, công nghiệp đến tự động hóa và robotics. Trong tương lai, Few-Shot Learning có thể đóng vai trò quan trọng trong việc giải quyết các bài toán khó khăn trong thị giác máy tính khi dữ liệu hạn chế.

6.1. Các hướng nghiên cứu mới trong lĩnh vực Few Shot Learning

Các hướng nghiên cứu mới trong Few-Shot Learning bao gồm việc phát triển các thuật toán Meta-Learning hiệu quả hơn, khám phá các phương pháp Data Augmentation Techniques sáng tạo, và nghiên cứu các kỹ thuật Attention Mechanisms in Few-Shot mạnh mẽ hơn. Ngoài ra, việc kết hợp Few-Shot Learning với các lĩnh vực khác như Natural Language Processing (NLP) và Robotics cũng đang thu hút sự quan tâm lớn.

6.2. Tiềm năng ứng dụng FSL trong y tế công nghiệp tự động hóa

Few-Shot Learning có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực. Trong y tế, Few-Shot Learning có thể giúp chẩn đoán bệnh từ ảnh y tế khi dữ liệu huấn luyện là hạn chế. Trong công nghiệp, Few-Shot Learning có thể giúp phát hiện lỗi sản phẩm với số lượng mẫu lỗi ít ỏi. Trong tự động hóa, Few-Shot Learning có thể giúp robot học các nhiệm vụ mới chỉ từ một vài ví dụ.

6.3. Tương lai của FSL trong bối cảnh dữ liệu lớn ngày càng phổ biến

Mặc dù dữ liệu lớn ngày càng phổ biến, Few-Shot Learning vẫn đóng vai trò quan trọng trong việc giải quyết các bài toán mà dữ liệu là hạn chế hoặc tốn kém để thu thập. Trong tương lai, Few-Shot Learning có thể được sử dụng để tăng cường hiệu quả của các mô hình Deep Learning trên các tập dữ liệu lớn, giúp mô hình học nhanh hơn và hiệu quả hơn. Ngoài ra, Few-Shot Learning cũng có thể giúp giải quyết các bài toán mà dữ liệu mang tính riêng tư hoặc nhạy cảm, nơi việc chia sẻ dữ liệu là không khả thi.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY FACULTY OF COMPUTER SCIENCE & ENGINEERING ——————– * ——————— BACHELOR THESIS Study and Improve Few-shot Learning Techniques in Computer Vision Application Major: Computer Engineering Council: Computer Engineering 1 Supervisor: Dr. Le Thanh Sach Dr. Nguyen Ho Man Rang Reviewer: Dr. Nguyen Duc Dung —o0o— Student: Nguyen Duc Khoi (1752302) HO CHI MINH CITY, 8/2021 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ---------- Độc lập - Tự do - Hạnh phúc TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA:KH & KT Máy tính ____ NHIỆM VỤ LUẬN ÁN TỐT NGHIỆP BỘ MÔN: KHMT ___________ Chú ý: Sinh viên phải dán tờ này vào trang nhất của bản thuyết trình MSSV: 1752302 Họ và Tên SV: NGUYEN DUC KHOI Ngành: Kỹ thuật Máy tính 1.

Đầu đề luận án: EN: A study on few-shot learning for computer vision applications VN: Nghiên cứu và cải tiến kỹ thuật học với số ít mẫu được làm nhãn cho các ứng dụng trong thị giác máy tính 2. Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu): • Study Deep learning, and do literature review for few-shot learning; • Propose a learning techinque for training deep models (in computer vision) with popuplar datasets on the Internet; • Apply few-learning to an application in computer vision, from training, tuning, to deploying the trained model on embeded systems supported by NVIDIA’s technologies. Ngày giao nhiệm vụ luận án: 01/ 01 /2021 4. Ngày hoàn thành nhiệm vụ: 01/ 08 /2021 5.

Họ tên giảng viên hướng dẫn: Phần hướng dẫn: 1) Lê Thành Sách Đồng hướng dẫn __________________ 2) Nguyễn Hồ Mẫn Rạng Đồng hướng dẫn __________________ Nội dung và yêu cầu LVTN đã được thông qua Bộ môn. Ngày tháng năm 2021 CHỦ NHIỆM BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN CHÍNH (Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên) Lê Thành Sách PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ): ________________________ Đơn vị: _______________________________________ Ngày bảo vệ: ___________________________________ Điểm tổng kết: _________________________________ Nơi lưu trữ luận án: _____________________________ TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày 09 tháng 08 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn) 1. Họ và tên SV: MSSV: 1752302 Họ và Tên SV: NGUYEN DUC KHOI Ngành: Kỹ thuật Máy tính 2. Đề tài: EN: A study on few-shot learning for computer vision applications VN: Nghiên cứu và cải tiến kỹ thuật học với số ít mẫu được làm nhãn cho các ứng dụng trong thị giác máy tính 3.

Họ tên người hướng dẫn: TS. Lê Thành Sách 4. Tổng quát về bản thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính toán: Hiện vật (sản phẩm) 5. Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6.

Những ưu điểm chính của LVTN: • The author masters different techniques required for designing deep learning models, and for training, tunning, and deploying models to GPU cards with NVIDIA’s technologies. • The thesis consists of a science and an engineering task related to deep learning as follows: (a) Science: improve a selected few-shot learning technique for computer vision. The author has proposed an idea that is based on the episodic training and the dense convolution. The proposed idea has been evaluated with popular datasets reserved for the reseach field, it can gain some improvements.

The reseach’s results have been submitted to an international conference and wait for the reviewers’ conclusions. (b) Engineering: apply the few-shot to train a selected computer vision task and then deploy the trained model to an embeded system GPU card. To this end, the author selected application “drowsiness detection”. He utilized few-shot to train YOLOv5 and then deploy the trained model to NVIDIA Jetson TX2 successfully.

The demo application can run and detect the drowsiness live. Những thiếu sót chính của LVTN: • The publication is not available at the defense’s time as designed. Đề nghị: Được bảo vệ þ Bổ sung thêm để bảo vệ o Không được bảo vệ o 9. Ba câu hỏi SV phải trả lời trước Hội đồng: 10.

Đánh giá chung (bằng chữ: giỏi, khá, TB): 10 (mười) Ký tên (ghi rõ họ tên) Lê Thành Sách TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày 01 tháng 08 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn/phản biện) 1. Họ và tên SV: Nguyễn Đức Khôi MSSV: 1752302 Ngành (chuyên ngành): Computer Engineering 2. Đề tài: Research and Apply Few-shot Learning Techniques in Drowsiness Detection 3. Họ tên người hướng dẫn/phản biện: Nguyễn Đức Dũng 4.

Tổng quát về bản thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính toán: Hiện vật (sản phẩm) 5. Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6. Những ưu điểm chính của LVTN: The thesis focus on detecting drowsiness from the human face using deep learning approaches. The team proposed using ResNet block instead of normal convolutional block in the YOLOv5 network to improve the detection accuracy.

The team also deploy this model to the embedded system (Jetson TX2) for realtime performance. The results show some improvement in the detection accuracy. Những thiếu sót chính của LVTN: The replacement of ResNet block in the network has been utilized for awhile, which makes this contribution a bit weak. The drowsiness detection problem, however, can be solved better by other vision techniques, which can be very fast and realtime.

The choice of current approach is very bias and need to be considered in the future. The few-shot learning scheme is irrelevant to the main topic we are discussing. Đề nghị: Được bảo vệ o Bổ sung thêm để bảo vệ o Không được bảo vệ o 9. 3 câu hỏi SV phải trả lời trước Hội đồng: a.

Why don't you use other vision algorithms to detect drowsiness? Even if it will give much better performance comparing to YOLO? b. Explain why Few-shot learning matter. The discussion need to be improved. Đánh giá chung (bằng chữ: giỏi, khá, TB): Giỏi Điểm: 9 /10 Ký tên (ghi rõ họ tên) Nguyễn Đức Dũng Declaration We hereby declare that this thesis titled ‘Research and Apply Few-shot LearningTech- niques in Computer Vision Application’ and the work presented in it are our own.

We confirm that: • This work was done wholly or mainly while in candidature for a degree at this Uni- versity. • Where any part of this thesis has previously been submitted for a degree or any other qualification at this University or any other institution, this has been clearly stated. • Where we have quoted from the work of others, the source is always given. With the exception of such quotations, this thesis is entirely our own work.

• We have acknowledged all main sources of help. • Where the thesis is based on work done by ourselves jointly with others, we have made clear exactly what was done by others and what we have contributed ourselves. Acknowledgments First and foremost, I am tremendously grateful for my advisers Dr. Sach Le Thanh and Dr.

Rang Nguyen Ho Man for their continuous support and guidance throughout my project, and for providing me the freedom to work on a variety of problems. Second, I take this opportunity to express gratitude to all of the Faculty of Computer Science and Engineering members for their help and support. I also thank my parents for the unceasin encouragement, support and attention. Abstract Artificial intelligence for driving is receiving more attention.

Drowsiness detection is one of the smaller tasks to improve the driving experience. A drowsiness detector can detect and warn the drivers when they fall asleep and prevent accidents caused by drivers’ drowsiness. A simple approach is to consider the drowsiness detection problem as an object detection problem. In this thesis, we adopt a powerful object detector called YOLOv5.

It is one of the most pop- ular frameworks for object detection that was released to the public. In our experiments, the YOLOv5 framework can achieve excellent detection performance with abundant supervised data. In terms of speed performance, we deploy the trained model to the Jetson TX2 using TensorRT, which significantly outperforms the released Pytorch implementation. In practice, we are not always able to access an abundant amount of labeled data.

The limited number of training examples can lead to severely deficient performance, as shown in our experiments. We propose to pretrain the model with other datasets to improve the overall performance without in- troducing any computational inference cost. We introduce a pretraining method from few-shot learning that achieves state-of-the-art in widely used few-shot learning benchmarks to pretrain the model. We extensively conduct experiments with several pretraining methods to analyze their transfer performance to object detection tasks.2 The Scope of the Thesis .3 Organization of the Thesis .1 Probabilities and Statistic Basics .3 Discrete Random Variables - Probability Mass Function .4 Continuous Random Variables - Probability Density Function .7 Expectation and Variance .2 Machine Learning Basics .3 Semi-supervised learning .3 Few-shot Learning .1 Few-shot Learning .3 Boosting few-shot visual learning with self-supervision .1 Two-stage Detectors .2 One-stage Detectors .2 Bag of freebies .3 A Strong Baseline for Few-Shot Learning .1 Joint Training of Episodic and Standard Supervised Strategies .2 Revisiting Pooling Layer .2 Results of Training ResNet-50-YOLOv5 from Scratch with Abundant Annota- tions .3 Performance of Deploying ResNet-50-YOLOv5 with TensorRT .1 Comparison between TensorRT and Pytorch .2 Effective of image’s resolution on performance .4 Result of Baseline on Few-shot Benchmarks .5 Results of Training ResNet-50-YOLOv5 with Limited Annotations .1 Results of Training ResNet-50-YOLOv5 from Scratch with Limited Annotations .2 Results of Training Pretrained ResNet-50-YOLOv5 with Limited An- notations .1 Network architecture terminology .1 Jetson TX2 Developer Kit .1 Developing and Deploying with Tensor RT.

48 List of Tables 2.2 Quantities in Confusion Matrix of Testing for Coronavirus .1 Evaluation of training ResNet-50-YOLOv5 from scratch .2 Performance of deploying trained ResNet-50-YOLOv5 into Jetson TX2 .3 Comparison to prior work on CIFAR-FS and FC100 .4 Comparison with previous works on mini-ImageNet .5 Evaluation of training ResNet-50-YOLOv5 from scratch .6 Comparison between Our Baseline and Standard Supervised Training on mini- ImageNet benchmark .7 Performance of mini-ImageNet-pretrained ResNet-50-YOLOv5 .8 Performance of ImageNet-pretrained ResNet-50-YOLOv5. 39 iii List of Figures 1.1 The graph of the standard normal distribution .2 Mnist digit dataset .3 Meta-SGD algorithms .6 Attention-based weight generator .10 You only look once model .11 Single Shot MultiBox Detector .2 Overall development of our system.3 a) Different kernel sizes of pooling layers applied to feature maps. b) Adapted pooling layer.5 resnet50xYOLOv5 architecture .2 mini-ImageNet sample images .3 Qualitative results of training ResNet-50-YOLOv5 from scratch with abundant annotations.4 Performance on different image sizes .5 Evaluation on different kernel sizes of the last pooling layer .6 Precision of mini-ImageNet-pretrained ResNet-50-YOLOv5 on Validation Set .7 Recall of mini-ImageNet-pretrained ResNet-50-YOLOv5 on Validation Set .5 of mini-ImageNet-pretrained ResNet-50-YOLOv5 on Validation Set 38 5.95 of mini-ImageNet-pretrained ResNet-50-YOLOv5 on Valida- tion Set .10 Precision of ImageNet-pretrained ResNet-50-YOLOv5 on Validation Set .11 Recall of ImageNet-pretrained ResNet-50-YOLOv5 on Validation Set .5 of ImageNet-pretrained ResNet-50-YOLOv5 on Validation Set .95 of ImageNet-pretrained ResNet-50-YOLOv5 on Validation Set 41 iv 7.1 Jetson TX2 Developer Kit components .2 NVIDIA SDK Manager .1 Motivation Drowsiness detection is usually applied in modern vehicles to enhance driving safety.