MỞ ĐẦU. Lý do chọn đề tài. Tổng quan tình hình nghiên cứu đề tài. Mục tiêu nghiên cứu.
Đối tƣợng và phạm vi nghiên cứu. Đối tượng nghiên cứu. Phạm vi nghiên cứu. Nội dung nghiên cứu.
Phƣơng pháp nghiên cứu. KIẾN THỨC CƠ SỞ CỦA HỌC MÁY VÀ HỌC SÂU. Ứng dụng của học máy. Phân loại các phương pháp học máy.
Các bước tiến hành trong bài toán học máy. Mô hình nơ-ron nhân tạo. Mô hình mạng nơ-ron nhân tạo. Quy tắc delta.
Quy tắc đào tạo delta. Hàm kích hoạt. Thuật toán lan truyền ngược. Giới thiệu về học sâu (Deep Learning) .Cấu trúc mạng CNN .1 Lớp tích chập (Convolutional Layer).
Lớp hiệu chỉnh (Hàm phi tuyến- ReLU). Lớp kết nối đầy đủ (Fully Connected- FC). Lớp đầu ra (Output Layer). Các kỹ thuật cơ bản trong Học sâu (Deep Learning).
Kết luận chƣơng 1. MÔ HÌNH MẠNG YOLO VÀ THUẬT TOÁN SORT (SIMPLE ONLINE REALTIME OBJECT TRACKING). Giới thiệu chung về YOLO. Kiến trúc của YOLO.
Kiến trúc YOLO.1 Kiến trúc mạng YOLO. Cách YOLO hoạt động. Hàm đánh giá độ chính xác (Intersection Over Union-IOU). Kiến trúc YOLO v7.
Mạng tổng hợp lớp hiệu quả mở rộng (E-ELAN). Nhân rộng mô hình (Model scaling) hợp chất YOLO v7. Các phương pháp BoF (Bag-of-freebies) trong YOLO v7. Tích chập tái tham số hóa theo kế hoạch.
Thô cho phụ trợ và tốt cho mất mát. Kiến thức tiềm ẩn (Implicit Knowledge). Thuật toán SORT (Simple Online Realtime Object Tracking). Giải thuật Hungary.
Bộ lọc Kalman (Kalman Filter). Kết luận chƣơng 2. ỨNG DỤNG YOLO XÂY DỰNG MÔ HÌNH HỖ TRỢ GIÁM SÁT THÍ SINH TRONG PHÒNG THI. Giới thiệu và phân tích bài toán.
Xây dựng chƣơng trình thử nghiệm. Kiểm tra và đánh giá kết quả. Huấn luyện mô hình .1 Tiền xử lý ảnh (dữ liệu huấn luyện). Nhận diện đối tượng.
Để tính khoảng cách. Kiểm tra khoảng cách. Hiển thị kết quả. Đánh giá mô hình.
Kết luận chƣơng 3. 78 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN. 79 TÀI LIỆU THAM KHẢO. 81 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Chữ viết tắt Nguyên mẫu Diễn giải AI Artificial Intelligence Trí tuệ nhân tạo DL Deep Learning Học sâu ML Machine Learning Học máy YOLO You Only Look Once Bạn Chỉ Nhìn Một Lần IoT Internet of Things Internet vạn vật SSD Solid State Drive Là ổ đĩa bán dẫn, ở thể đặc, dạng rắn mAP Mean Average Precision trung bình cộng giá trị AP của các class khác nhau FPS Frames per second là thông số đo lƣờng số lƣợng hình ảnh mà bộ xử lý đồ họa (GPU) có thể kết xuất và hiển thị trên màn hình của bạn trong mỗi giây.
BoF Bag of Features Túi đặc trƣng SORT SIMPLE ONLINE Theo dõi đối tƣợng trực REALTIME OBJECT tuyến thời gian thực TRACKING đơn giản CNN Convolutional Neural Mạng học sâu tích chập Network VGG Visual Geometry Group Nhóm hình học thị giác DANH MỤC CÁC BẢNG Bảng 1. Các phƣơng pháp padding. Một số biến thể của hàm ReLU. Các layer trong mạng darknet-53.
Các Layer của mạng YOLO. 39 DANH MỤC CÁC HÌNH Hình 1. Mô hình nơ- ron sinh học. Mô hình nơ- ron trong toán học.
Kiến trúc mạng Nơ-ron nhân tạo (Neural network). Đồ thị hàm Sigmoid. Đồ thị hàm ReLU. Cấu trúc cơ bản của mạng CNN (Lecun, 1998).
Minh họa việc áp dụng phép toán Conv. Minh họa việc áp dụng phép toán Conv. Minh họa việc áp dụng phép toán Conv. Minh họa sự kết hợp của hình ảnh với các bộ lọc khác nhau.
Lớp tích chập hoạt động với stride là 2. Minh họa thêm các số 0 vào vùng này. Minh họa lớp ReLU. Minh họa lớp pooling phổ biến.
Minh họa lớp pooling. Minh họa lớp pooling với kích thƣớc ảnh 224 x 224. Bố trí các biến đổi hình thành nên cấu trúc mạng CNN. Sơ đồ kiến trúc mạng YOLO.
Minh hoạt việc chia ô của các đối tƣợng trong ảnh. Minh họa giá trị hàm Localization. So sánh các mô hình.5: Cách thức hoạt động của YOLO v7. Mô hình thử nghiệm tái tham số hóa.
Model thông thƣờng (trái) và model có Aux Head (phải). Các cách sử dụng Auxiliary Head. Assigner là quá trình Label Assignment, GT là ground truth, Aux Head là Auxiliary Head, Lead Head là head sẽ dùng để đƣa ra kết quả prediction trong quá trình inference. Auxiliary head trong Inceptionv3.
Minh họa sự khác nhau giữa cách chọn positive sample của RetinaNet và FCOS. Minh họa sự khác nhau giữa cách predict Box của RetinaNet và FCOS. Implicit Knowledge trong YOLOR. Minh họa SORT.
Mô hình bộ lọc Kalman. Hình ảnh hoặc video đầu vào. Một số hình ảnh thu thập. Kết quả huấn luyện minh họa.
YOLO nhận diện đối tƣợng là học sinh. Hình ảnh minh họa ý tƣởng cơ bản. Hình ảnh minh họa khoảng cách đầu dãy và cuối dãy. Minh họa kiểm tra khoảng cách.
Kết quả train- batch. Hiển thị kết quả đầu ra. Hiển thị kết quả đầu ra. Hiển thị kết quả đầu ra giờ kiểm tra giữa kỳ 7E.
Hiển thị kết quả đầu ra giờ kiểm tra giữa kỳ 9G. Kết quả hiển thị (results). Lý do chọn đề tài Những năm gần đây, khả năng tính toán của máy tính ngày càng đƣợc nâng cao và lƣợng dữ liệu (big data) khổng lồ đƣợc thu thập từ các nguồn dữ liệu khác nhau dễ dàng hơn. Mô hình học sâu có thể nhận diện nhiều hình mẫu phức tạp trong hình ảnh, văn bản, âm thanh và các dữ liệu khác để tạo ra thông tin chuyên sâu và dự đoán chính xác.
Ta có thể sử dụng các phƣơng pháp học sâu để tự động hóa các tác vụ thƣờng đòi hỏi trí tuệ con ngƣời, chẳng hạn nhƣ mô tả hình ảnh hoặc chép lời một tập tin âm thanh. Nhiều doanh nghiệp sử dụng các mô hình học sâu để phân tích dữ liệu và đƣa ra dự đoán trong nhiều ứng dụng khác nhau. Một số ví dụ nhƣ sau: Xe tự lái sử dụng các mô hình học sâu để tự động phát hiện biển báo giao thông và ngƣời đi bộ. Hệ thống quốc phòng sử dụng mô hình học sâu để tự động gắn cờ các khu vực đƣợc quan tâm trong ảnh vệ tinh.
Phân tích hình ảnh y khoa sử dụng học sâu để tự động phát hiện các tế bào ung thƣ trong chẩn đoán y tế. Các nhà máy sử dụng ứng dụng học sâu để tự động phát hiện con ngƣời hoặc vật thể khi những đối tƣợng này đang nằm trong khoảng cách không an toàn của máy móc. Trong giáo dục, đào tạo, cụ thể trong khảo thí: Với phƣơng pháp phân tích dữ liệu, hiển thị dữ liệu sẽ giúp cho giám thị có thể giám sát tự động thí sinh, phát hiện sử dụng tài liệu, quay cóp khi làm bài thi. Bản thân học sinh 2 khi biết có hệ thống nhƣ vậy thì cũng nghiêm túc hơn trong phòng thi.
Hệ thống cũng sẽ hỗ trợ cho các hội đồng coi thi. Mục tiêu chính của tôi là nâng cao chất lƣợng giáo dục trong nhà trƣờng và thúc đẩy ý thức học tập của học sinh. Chính vì vậy, tôi đã quyết định chọn Đề án "Ứng dụng mô hình YOLO xây dựng hệ thống giám sát thí sinh trong phòng thi" nhƣ một hƣớng nghiên cứu tiềm năng. Đây là sự kết hợp khoa học và công nghệ để đảm bảo công bằng và khách quan trong việc đánh giá học sinh trong các bài kiểm tra, nhằm đáp ứng các yêu cầu đổi mới trong lĩnh vực giáo dục nói chung và trong nhà trƣờng nói riêng.
Tổng quan tình hình nghiên cứu đề tài Hiện nay, thuật toán phát hiện đối tƣợng là một trong những bài toán quan trọng trong lĩnh vực thị giác máy tính và trí tuệ nhân tạo. Các thuật toán mới của phát hiện đối tƣợng nhƣ YOLO, SSD có tốc độ khá nhanh và độ chính xác cao nên giúp cho phát hiện đối tƣợng có thể thực hiện đƣợc các tác vụ dƣờng nhƣ là thời gian thực, thậm chí là nhanh hơn so với con ngƣời. Các mô hình cũng trở nên nhẹ hơn nên có thể hoạt động trên các thiết bị IoT để tạo nên các thiết bị thông minh. Ngoài ra, một thuật toán phát hiện đối tƣợng có thể tạo ra những ứng dụng rất đa dạng nhƣ: Đếm số lƣợng vật thể, thanh toán tiền tại quầy hàng, chấm công tự động, phát hiện vật thể nguy hiểm nhƣ súng, dao,….
và rất nhiều các ứng dụng khác. Có thể nói dƣờng nhƣ bất kì lĩnh vực nào cũng đều có nhu cầu phát hiện đối tƣợng. Bên cạnh đó nguồn dữ liệu ảnh hiện nay cũng khá phong phú, dễ thu thập giúp việc huấn luyện mô hình phát hiện đối tƣợng trở nên dễ dàng hơn. Mục tiêu nghiên cứu Nghiên cứu và ứng dụng YOLO để xây dụng mô hình giám sát thí sinh 3 trong phòng thi.
Đề án nghiên cứu về ý tƣởng, cấu trúc của mô hình YOLO, các thuật toán đƣợc sử dụng trong mô hình YOLO. Xây dựng chƣơng trình YOLO để nhận diện trên ảnh, trên video cung cấp sẵn. Đối tƣợng và phạm vi nghiên cứu 4. Đối tượng nghiên cứu Nghiên cứu cơ sở lý thuyết về học máy, học sâu và mô hình YOLO.
Phạm vi nghiên cứu + Về không gian: tại trƣờng THCS Quảng Phú, thành phố Quảng Ngãi, tỉnh Quảng Ngãi. + Nội dung: Ứng dụng mô hình YOLO xây dựng hệ thống giám sát thí sinh trong phòng thi. Nội dung nghiên cứu - Lý thuyết và mô hình YOLO - Ứng dụng mô hình YOLO xây dựng hệ thống giám sát thí sinh trong phòng thi. Phƣơng pháp nghiên cứu Đề án sử dụng nhiều phƣơng pháp khác nhƣ phƣơng pháp thu thập thông tin và xử lý thông tin nhƣ tiến hành sƣu tầm các sách, báo, tạp chí, nguồn Internet… các công trình liên quan đến học máy và học sâu, các lớp mô hình phát hiện đối tƣợng, tiến hành sử dụng phƣơng pháp xử lý thông tin, ngoài ra đề án còn sử dụng các phƣơng pháp khác nhƣ phân tích thực trạng, và sử dụng phƣơng pháp so sánh, tổng hợp, hệ thống hóa các vấn đề đƣợc nghiên cứu làm cơ sở lý luận và thực tiễn cho các nội dung nghiên cứu.
KIẾN THỨC CƠ SỞ CỦA HỌC MÁY VÀ HỌC SÂU Trong chƣơng 1 sẽ trình bày một số kiến thức tổng quan về học máy, mạng nơron, học sâu để làm cơ sở nghiên cứu về mô hình YOLO. Khái niệm Học máy (Machine Learning) là một lĩnh vực của trí tuệ nhân tạo (AI) liên quan đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống "học" tự động từ dữ liệu để giải quyết những vấn đề cụ thể. Các định nghĩa về học máy: - Một quá trình nhờ đó một hệ thống cải thiện hiệu suất (hiệu quả hoạt động) của nó.