Hệ Thống Điểm Danh Thông Minh Sử Dụng Công Nghệ Bluetooth Năng Lượng Thấp và Nhận Dạng Gương Mặt

Khóa luận nghiên cứu phát triển hệ thống điểm danh lớp học thông minh sử dụng công nghệ bluetooth năng lượng thấp và nhận diện gương mặt.

• Tác giả: Vũ Quốc An
• Người hướng dẫn: PGS. Lê Trung Quân
• Trường học: Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Mạng máy tính và truyền thông
• Đề tài: Hệ Thống Điểm Danh Thông Minh Sử Dụng Bluetooth và Nhận Dạng Gương Mặt
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Các nghiên cứu liên quan
• 1.3. Mục tiêu, đối tượng và phạm vi nghiên cứu
• 1.3.1. Mục tiêu nghiên cứu
• 1.3.2. Đối tượng nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.4.1. Thiết kế mô hình IoT
• 1.4.2. Lựa chọn mô hình máy học phù hợp, thu thập dataset, huấn luyện và đánh giá
• 1.4.3. Thiết lập các thiết bị thu thập dữ liệu và các thiết bị biên, bố trí tại môi trường thử nghiệm
• 1.4.4. Xây dựng server, tìm hiểu và triển khai Kafka
• 1.5. Phát triển ứng dụng
• 1.6. Các đóng góp chính của đề tài
• 1.7. Cấu trúc khóa luận tốt nghiệp
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Thị giác máy tính
• 2.2. Nhận dạng khuôn mặt
• 2.2.1. Phát hiện khuôn mặt bằng You Only Look Once
• 2.2.2. Trích xuất đặc trưng bằng FaceNet
• 2.3. Bluetooth Low Energy
• 3. CHƯƠNG 3: PHƯƠNG PHÁP THỰC HIỆN
• 3.1. Thiết kế mô hình IoT và mô hình hoạt động
• 3.1.1. Mô hình bố trí thiết bị tại phòng học
• 3.1.2. Luồng hoạt động tổng quan của hệ thống
• 3.1.3. Đề xuất cấu trúc topic Kafka
• 3.1.4. Luồng xử lí dữ liệu tại biên
• 3.1.4.1. Tiến trình chính
• 3.1.4.2. Tiến trình xử lý dữ liệu hình ảnh
• 3.1.4.3. Tiến trình xử lý dữ liệu BLE
• 3.1.5. Phương pháp đánh giá dựa trên nhiều nguồn dữ liệu
• 3.1.6. Mô hình triển khai hệ thống
• 3.2. Thu thập dataset, huấn luyện các mô hình và đánh giá
• 3.2.1. Mô hình phát hiện khuôn mặt
• 3.2.2. Huấn luyện mô hình phát hiện khuôn mặt và đánh giá
• 3.3. Mô hình trích xuất đặc trưng và phân loại
• 3.3.1. Huấn luyện mô hình trích xuất đặc trưng và đánh giá
• 3.3.2. Huấn luyện mô hình phân loại và đánh giá
• 3.4. Thiết lập và cấu hình các thiết bị tại biên
• 3.4.1. Thiết bị thu thập dữ liệu hình ảnh
• 3.4.2. Thiết bị thu thập dữ liệu BLE
• 3.4.3. Lập lịch thực thi trên các thiết bị
• 3.5. Triển khai hệ thống Backend
• 3.5.1. Tạo dựng các service tại Server
• 3.5.2. Xây dựng hệ thống cơ sở dữ liệu sử dụng PostgreSQL
• 3.5.3. Xây dựng Hệ thống API server sử dụng Spring boot
• 3.6. Phát triển ứng dụng Web
• 3.6.1. Phát triển ứng dụng mobile app dành cho Học sinh/Sinh viên
• 3.6.2. Mục tiêu xây dựng ứng dụng
• 3.6.3. Đánh giá ứng dụng dựa trên tiêu chí dữ liệu
• 3.6.4. Phát triển ứng dụng web app dành cho Quản trị viên/Giảng viên
• 3.6.5. Mục tiêu xây dựng ứng dụng
• 4. CHƯƠNG 4: THỰC NGHIỆM, ĐÁNH GIÁ VÀ THẢO LUẬN
• 4.1. Đánh giá về mặt tài nguyên cho quá trình nhận diện khuôn mặt
• 4.2. Đánh giá mô hình nhận diện khuôn mặt dựa trên khoảng cách
• 4.3. Đánh giá vận hành của BLE station và app hỗ trợ điểm danh
• 4.4. Đánh giá mô hình nhận diện khuôn mặt qua một số kịch bản
• 4.5. Thử nghiệm và đánh giá hệ thống với một buổi học mô phỏng
• 4.5.1. Kịch bản mô phỏng
• 4.5.2. Thực hiện thử nghiệm
• 4.5.3. Kết quả thử nghiệm
• 4.5.4. Đánh giá hệ thống
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Hệ Thống Điểm Danh Thông Minh Sử Dụng Bluetooth

Hệ thống điểm danh thông minh sử dụng công nghệ Bluetooth và nhận diện gương mặt đang trở thành xu hướng trong giáo dục hiện đại. Công nghệ này không chỉ giúp tiết kiệm thời gian mà còn nâng cao tính chính xác trong việc ghi nhận sự có mặt của sinh viên. Hệ thống này hoạt động dựa trên việc thu thập dữ liệu từ các thiết bị IoT và xử lý thông tin để xác minh sự hiện diện của sinh viên trong lớp học.

1.1. Công nghệ Bluetooth trong giáo dục

Công nghệ Bluetooth đã được áp dụng rộng rãi trong giáo dục, giúp kết nối các thiết bị thông minh và thu thập dữ liệu một cách hiệu quả. Việc sử dụng Bluetooth năng lượng thấp giúp tiết kiệm pin và tăng cường khả năng kết nối.

1.2. Nhận diện gương mặt và ứng dụng của nó

Nhận diện gương mặt là một công nghệ tiên tiến, cho phép xác định danh tính của sinh viên một cách nhanh chóng và chính xác. Công nghệ này giúp giảm thiểu tình trạng gian lận trong điểm danh.

II. Vấn đề và Thách thức trong Điểm Danh Truyền Thống

Các phương pháp điểm danh truyền thống như gọi tên hay ký danh sách thường gặp nhiều vấn đề như tốn thời gian và thiếu tính minh bạch. Những phương pháp này không thể đảm bảo rằng sinh viên thực sự có mặt trong suốt buổi học. Điều này dẫn đến việc cần thiết phải có một giải pháp hiệu quả hơn.

2.1. Hạn chế của phương pháp điểm danh truyền thống

Phương pháp điểm danh truyền thống thường không đảm bảo tính chính xác và minh bạch. Sinh viên có thể nhờ người khác điểm danh thay cho mình, gây khó khăn cho giảng viên trong việc theo dõi sự chuyên cần.

2.2. Tác động của việc điểm danh không chính xác

Điểm danh không chính xác có thể ảnh hưởng đến kết quả học tập của sinh viên. Việc này không chỉ làm giảm chất lượng giáo dục mà còn gây ra sự bất công trong đánh giá sinh viên.

III. Phương Pháp Điểm Danh Thông Minh Sử Dụng Bluetooth và Nhận Diện Gương Mặt

Hệ thống điểm danh thông minh kết hợp giữa công nghệ Bluetooth và nhận diện gương mặt mang lại nhiều lợi ích. Hệ thống này có khả năng tự động ghi nhận sự có mặt của sinh viên mà không cần sự can thiệp của giảng viên. Điều này giúp tiết kiệm thời gian và nâng cao tính chính xác.

3.1. Thiết kế hệ thống IoT cho điểm danh

Hệ thống IoT được thiết kế để thu thập dữ liệu từ các thiết bị di động của sinh viên. Dữ liệu này sẽ được gửi về server để xử lý và xác minh sự hiện diện của sinh viên trong lớp học.

3.2. Quy trình nhận diện gương mặt

Quy trình nhận diện gương mặt bao gồm việc phát hiện khuôn mặt và xác định danh tính. Công nghệ này cho phép nhận diện nhiều sinh viên trong cùng một khung hình, đảm bảo tính chính xác cao.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Hệ thống điểm danh thông minh đã được triển khai thử nghiệm tại một số trường đại học và cho thấy kết quả khả quan. Hệ thống không chỉ giúp tiết kiệm thời gian mà còn nâng cao tính chính xác trong việc ghi nhận sự có mặt của sinh viên.

4.1. Kết quả thử nghiệm tại trường đại học

Kết quả thử nghiệm cho thấy hệ thống có khả năng nhận diện chính xác trên 90% sinh viên có mặt trong lớp học. Điều này chứng tỏ tính hiệu quả của công nghệ trong việc điểm danh.

4.2. Phản hồi từ giảng viên và sinh viên

Giảng viên và sinh viên đều đánh giá cao tính tiện lợi và chính xác của hệ thống. Họ cho rằng hệ thống giúp giảm bớt gánh nặng trong việc quản lý điểm danh.

V. Kết Luận và Tương Lai của Hệ Thống Điểm Danh Thông Minh

Hệ thống điểm danh thông minh sử dụng Bluetooth và nhận diện gương mặt hứa hẹn sẽ trở thành một phần quan trọng trong giáo dục hiện đại. Với những lợi ích mà nó mang lại, hệ thống này có thể được mở rộng và áp dụng rộng rãi trong nhiều lĩnh vực khác nhau.

5.1. Hướng phát triển trong tương lai

Trong tương lai, hệ thống có thể được cải tiến với các công nghệ mới như trí tuệ nhân tạo và học máy để nâng cao độ chính xác và hiệu quả.

5.2. Tác động đến giáo dục

Hệ thống điểm danh thông minh không chỉ cải thiện quy trình điểm danh mà còn góp phần nâng cao chất lượng giáo dục, giúp sinh viên có được trải nghiệm học tập tốt hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp với đề tài "Nghiên cứu, phát triển hệ thống điểm danh cho lớp học thông minh sử dụng công nghệ Bluetooth năng lượng thấp và nhận diện gương mặt" được thực hiện bởi sinh viên Vũ Quốc An và Nguyễn Phúc Bảo, dưới sự hướng dẫn của PGS. Lê Trung Quân và ThS. Nguyễn Khánh Thuật tại Khoa Mạng máy tính và Truyền thông, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh (năm 2024).

Trong giáo dục đại học, tính chuyên cần của sinh viên là cơ sở để tiếp thu kiến thức và giúp giảng viên đánh giá kết quả học tập. Tuy nhiên, bốn hình thức điểm danh truyền thống đang áp dụng phổ biến gồm:

1. Gọi tên và hồi đáp: Tốn một phần thời lượng đáng kể của buổi học, không kiểm soát được trường hợp sinh viên rời lớp ngay sau khi phản hồi.
2. Ký tên vào danh sách: Tiêu tốn thời gian chuyển danh sách, dễ xuất hiện tình trạng ký thay cho sinh viên vắng mặt.
3. Điền thông tin trực tuyến: Khó kiểm soát việc chia sẻ liên kết điểm danh cho người không có mặt trong phòng học.
4. Quét thẻ RFID (Radio Frequency Identification): Sinh viên có thể nhờ người khác mang thẻ quẹt hộ và chỉ ghi nhận sự hiện diện tại một thời điểm duy nhất.

Trước các bất cập trên, nhóm tác giả đề xuất xây dựng hệ thống điểm danh lớp học thông minh đáp ứng ba tiêu chí: hạn chế thao tác thủ công, bảo đảm tính minh bạch và đánh giá sự có mặt dựa trên toàn bộ thời lượng buổi học.

Mục tiêu nghiên cứu được xác định theo 5 nhiệm vụ cụ thể:

1. Thiết lập và cấu hình các thiết bị IoT trong phòng học.
2. Chuẩn bị dataset phù hợp và huấn luyện mô hình nhận diện khuôn mặt hoạt động tốt trong môi trường triển khai.
3. Triển khai và cấu hình nền tảng Apache Kafka phục vụ xử lý luồng dữ liệu lớn và phân tán.
4. Đề xuất phương pháp tính toán để đánh giá trạng thái hiện diện của sinh viên trong lớp dựa trên dữ liệu thu thập.
5. Xây dựng ứng dụng web cho phép giảng viên quản lý, lập lịch các phiên điểm danh và hỗ trợ tra cứu kết quả.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Máy tính nhúng Raspberry Pi 4 Model B, NVIDIA Jetson Nano; module camera và trạm thu BLE (Bluetooth Low Energy); tập dữ liệu công cộng FDDB (Face Detection Dataset and Benchmark) cùng tập dữ liệu tự thu thập; các mô hình YOLO, FaceNet, SVM; nền tảng truyền thông Apache Kafka và MQTT.
• Phạm vi nghiên cứu: Thử nghiệm thực tế tại phòng Lab E3.1 thuộc Trường Đại học Công nghệ Thông tin. Hệ thống tập trung vào việc giám sát liên tục trạng thái hiện diện của sinh viên trong suốt buổi học thông qua hai luồng dữ liệu (khuôn mặt và sóng Bluetooth từ điện thoại cá nhân), sau đó tổng hợp kết quả lên cơ sở dữ liệu để tra cứu qua giao diện phần mềm.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên các nền tảng lý thuyết và công nghệ chuyên ngành thuộc lĩnh vực Thị giác máy tính (Computer Vision), Mạng không dây và Hệ thống phân tán:

• Quy trình nhận diện gương mặt: Gồm 3 giai đoạn: Phát hiện khuôn mặt (Face Detection), Trích xuất đặc trưng (Feature Extraction) và Phân loại (Classification).
• Mô hình phát hiện đối tượng đơn giai đoạn (Single-shot Detection): Sử dụng thuật toán YOLO (phiên bản YOLOv5 phát triển bởi Ultralytics trên PyTorch, đồng thời so sánh với YOLOv8). Khác với các mô hình hai giai đoạn như R-CNN hoặc Faster R-CNN vốn có chi phí tính toán cao, YOLOv5 chia ảnh thành lưới ô vuông và dự đoán trực tiếp tọa độ hộp giới hạn (bounding box) cùng độ tin cậy trong một lần duyệt, cho phép xử lý thời gian thực trên phần cứng nhúng. Các chỉ số đánh giá gồm IoU (Intersection over Union), Precision, Recall, AP (Average Precision) và mAP (Mean Average Precision).
• Mô hình trích xuất đặc trưng FaceNet: Sử dụng mạng nơ-ron tích chập sâu ánh xạ khuôn mặt thành vector đặc trưng (embedding) 128 chiều hoặc 512 chiều, tối ưu hóa qua hàm mất mát Triplet Loss. Khoảng cách Euclidean giữa các vector phản ánh mức độ tương đồng giữa các khuôn mặt.
• Mô hình phân loại Support Vector Machine (SVM): Tìm kiếm siêu phẳng tối ưu nhằm phân tách các lớp trong không gian nhiều chiều. SVM hoạt động ổn định trên tập dữ liệu quy mô nhỏ đến trung bình và hạn chế hiện tượng quá khớp (overfitting) nhờ sử dụng các vector hỗ trợ (support vectors).

Bảng so sánh độ chính xác của các phương pháp trên tập dữ liệu chuẩn LFW (Labeled Faces in the Wild) được tổng hợp trong phần khảo cứu của khóa luận:

Phương pháp trích xuất	Phương pháp phân loại	Độ chính xác trên LFW	Đặc điểm kỹ thuật
Eigenfaces (PCA)	Ngưỡng khoảng cách / SVM	85% – 90%	Nhạy cảm với biến thể ánh sáng và góc chụp
Fisherfaces (LDA)	Ngưỡng khoảng cách / SVM	90% – 95%	Phân biệt lớp tốt hơn PCA nhưng hạn chế khi hình dạng biến đổi lớn
Local Binary Patterns (LBP)	SVM	Khoảng 95%	Hiệu quả với ánh sáng đổi nhưng kém với chi tiết nhỏ
HOG	SVM	Khoảng 93%	Nắm bắt hình dạng tổng quát, hạn chế góc nghiêng
FaceNet	SVM (SVC)	Đạt 99.63% (trích xuất) / 97% (kết hợp phân loại)	Vector embedding bất biến cao với góc mặt, biểu cảm và ánh sáng

• Hạ tầng truyền thông và xử lý luồng:
  • Bluetooth Low Energy (BLE): Sử dụng băng tần ISM 2.4 GHz, hoạt động theo cơ chế quét (scanning) và quảng bá (advertising) gói tin để thu thập địa chỉ MAC từ smartphone của sinh viên với mức tiêu thụ năng lượng thấp.
  • Giao thức MQTT: Giao thức truyền thông Machine to Machine (M2M) gọn nhẹ theo mô hình Publisher/Broker/Subscriber, truyền tải dữ liệu địa chỉ BLE dạng JSON từ trạm thu về máy chủ.
  • Apache Kafka: Nền tảng phân tán tiếp nhận và truyền phát dữ liệu hình ảnh liên tục theo thời gian thực, quản lý qua các Topic, Partition, Broker và Consumer Group.
  • Hạ tầng Backend và Ứng dụng: API server phát triển trên nền Java Spring Boot (sử dụng Spring Security và JWT Filter); hệ quản trị cơ sở dữ liệu PostgreSQL (hỗ trợ kiểu JSON, JSONB, ARRAY); giao diện người dùng xây dựng bằng Flutter cho cả ứng dụng di động sinh viên và ứng dụng web quản trị.

Phương pháp nghiên cứu kết hợp giữa khảo sát lý thuyết, thực nghiệm huấn luyện mô hình máy học (sử dụng thư viện PyTorch và tối ưu hóa suy luận bằng NVIDIA TensorRT), thiết kế kiến trúc hệ thống IoT biên - đám mây và thử nghiệm thực địa trong phòng học mô phỏng.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo mô hình kết hợp giữa tính toán biên (Edge Computing) và máy chủ phân tán (Cloud/Server):

[Camera USB + Raspberry Pi 4] ---> (Hình ảnh khuôn mặt) ---> [Kafka Broker] ---> [Tiến trình 1: FaceNet + SVM]
                                                                                               |
                                                                                               v
                                                                                   [Tổng hợp kết quả điểm danh]
                                                                                               ^
                                                                                               |
[BLE Station + Jetson Nano]   ---> (Địa chỉ MAC BLE)   ---> [MQTT Broker]  ---> [Tiến trình 2: Đối chiếu MAC]

1. Thiết kế phần cứng và bố trí tại phòng học:

   • Khối thu nhận hình ảnh: Raspberry Pi 4 Model B kết nối USB camera góc rộng, lắp đặt ở vị trí trên cao chính giữa phòng học và xuôi theo hướng bảng để ghi nhận trực diện khuôn mặt sinh viên khi nghe giảng.
   • Khối thu nhận tín hiệu BLE: Máy tính nhúng NVIDIA Jetson Nano kết nối module BLE station, bố trí ở độ cao thích hợp để hạn chế vật cản (bàn, ghế) làm suy giảm chỉ số RSSI. Mô hình phát hiện khuôn mặt trên Jetson Nano được biên dịch sang định dạng TensorRT engine để khai thác bộ tăng tốc phần cứng DLA (Deep Learning Accelerator).
   • Cơ chế tự động kích hoạt phiên điểm danh thông qua việc lập lịch bằng lệnh Crontab và shell script trên thiết bị biên.

2. Luồng truyền thông và xử lý dữ liệu:

   • Thiết bị biên đọc frame ảnh từ camera, đưa qua mô hình YOLO để phát hiện và cắt riêng từng khuôn mặt, sau đó gửi payload chứa ảnh khuôn mặt kèm nhãn thời gian (timestamp) đến Apache Kafka Broker.
   • Trạm BLE quét các địa chỉ Bluetooth MAC phát ra từ điện thoại của sinh viên trong phòng, đóng gói định dạng JSON và publish lên MQTT Broker.
   • Cấu trúc Apache Kafka được đề xuất: Mỗi buổi học tương ứng một Topic độc lập (tồn tại trong thời gian diễn ra buổi học) và một Consumer Group riêng biệt; mỗi camera trong phòng học truyền dữ liệu vào một Partition tương ứng.

3. Xử lý tập trung tại máy chủ Backend:

   • Chương trình xử lý trung tâm (viết bằng Python) khởi tạo tiến trình chính (Main Process) kết nối đến Kafka Broker, MQTT Broker và truy vấn Spring Boot API Server để tải danh sách sinh viên cùng thời gian biểu lớp học.
   • Process 1: Đọc ảnh khuôn mặt từ Kafka Consumer, chuyển đổi qua FaceNet lấy vector embedding và sử dụng mô hình SVM đã huấn luyện để phân loại danh tính sinh viên.
   • Process 2: Đọc dữ liệu địa chỉ MAC từ MQTT Consumer, kiểm tra sự tồn tại của thiết bị trong danh sách thành viên lớp học.
   • Thuật toán đánh giá đa nguồn: Dữ liệu nhận diện khuôn mặt đóng vai trò xác thực chính; tín hiệu BLE đóng vai trò xác thực bổ trợ tại các khoảng thời gian khuôn mặt bị che khuất hoặc sinh viên quay góc mặt khỏi camera. Hệ thống ghi nhận trạng thái theo từng mốc thời gian liên tục trong suốt buổi học.

4. Triển khai ứng dụng và cơ sở dữ liệu:

   • Hạ tầng máy chủ triển khai trên các máy ảo VPS (web01, compute01) đóng gói bằng Docker Compose.
   • Cơ sở dữ liệu PostgreSQL lưu trữ bảng thành viên, tài khoản, lớp học, buổi học và lịch sử điểm danh chi tiết.
   • Spring Boot API Server triển khai kiến trúc đa tầng (Layered Architecture), xác thực phân quyền qua JWT.
   • Ứng dụng di động sinh viên (Flutter): Cung cấp các chức năng đăng nhập, cập nhật địa chỉ Bluetooth vật lý của điện thoại cá nhân (có cơ chế giới hạn thời gian đổi MAC để tránh gian lận), xem lịch học và tra cứu lịch sử điểm danh.
   • Ứng dụng web quản trị (Flutter Web): Cung cấp các giao diện quản lý buổi học (chọn ngày, giờ, thêm/xóa thành viên) và quản lý tài khoản người dùng.

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương 1 phân tích tính cấp thiết của công tác quản lý chuyên cần tại bậc đại học và chỉ rõ hạn chế của bốn phương thức điểm danh hiện nay. Tác giả khảo sát các công trình liên quan trong và ngoài nước: mô hình của nhóm [1] trên Raspberry Pi 3 dùng MTCNN và FaceNet kết hợp gửi SMS qua Twilio; nghiên cứu [2] so sánh Faster R-CNN, ResNet, SSD để giảm tỷ lệ nhận diện sai; công trình [3] dùng Jetson Nano chạy SSD đạt trên 20 FPS; các nghiên cứu [4], [5] ứng dụng mạng sinh đối kháng CGAN/SRGAN nâng cao độ phân giải ảnh; hệ thống [6] tinh chỉnh AlexNet trên MATLAB; giải pháp web Flask dùng YOLO và Dlib của [7]; các phương pháp định vị trong nhà qua RSSI và mạng nơ-ron nhân tạo ANN [10], [11]. Từ đó, chương xác lập mục tiêu, đối tượng, phạm vi nghiên cứu tại Lab E3.1 và cấu trúc 5 chương của khóa luận.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày có hệ thống các khái niệm thị giác máy tính và công thức đánh giá IoU, đường cong Precision-Recall, AP, mAP. Trình bày chi tiết cấu trúc mạng nơ-ron tích chập (CNN), sự khác biệt giữa mô hình hai giai đoạn (R-CNN, Fast R-CNN, Faster R-CNN) và đơn giai đoạn (SSD, YOLO). Đi sâu phân tích kiến trúc YOLOv5 với các khối cấu tạo Backbone (CBS, C3, SPPF), Neck kết hợp feature map ba kích thước (P3: 80x80, P4: 40x40, P5: 20x20) cùng giải thuật loại trừ bất cực đại NMS (Non-maximum suppression). Trình bày cơ chế trích xuất vector đặc trưng FaceNet thông qua hàm mất mát Triplet Loss và thuật toán phân loại SVM dựa trên siêu phẳng phân tách tối ưu. Giới thiệu tổng quan về framework PyTorch, thư viện tăng tốc NVIDIA TensorRT, giao thức truyền thông không dây BLE, giao thức mạng nhẹ MQTT, kiến trúc hàng đợi phân tán Apache Kafka (Producer, Consumer, Broker, Topic, Partition, ZooKeeper), framework Spring Boot, hệ quản trị PostgreSQL và nền tảng giao diện Flutter.

Chương 3: Phương pháp thực hiện

Chương 3 mô tả chi tiết phương pháp triển khai hệ thống điểm danh thông minh. Trình bày sơ đồ bố trí camera trên cao và vị trí lắp đặt BLE station tại phòng học; quy trình hoạt động 5 bước từ lúc bắt đầu lớp học, thu thập dữ liệu song song (khuôn mặt và BLE), truyền phát qua Kafka/MQTT, xử lý phân loại tại server đến khi kết xuất báo cáo cuối buổi. Thiết kế chi tiết cấu trúc topic Kafka và luồng xử lý đa tiến trình tại server (Main Process quản lý Process 1 xử lý ảnh và Process 2 xử lý BLE). Trình bày quá trình thu thập dataset khuôn mặt (kết hợp tập chuẩn FDDB và ảnh tự chụp), quy trình huấn luyện và đánh giá mô hình phát hiện khuôn mặt YOLOv5 so với YOLOv8, trích xuất đặc trưng bằng FaceNet và phân loại danh tính bằng SVC. Trình bày các bước cấu hình thiết bị phần cứng nhúng (Raspberry Pi, Jetson Nano chuyển đổi mô hình sang TensorRT), lập lịch chạy bằng Crontab, cấu hình Docker Compose trên các máy ảo VPS, xây dựng cấu trúc cơ sở dữ liệu PostgreSQL, các lớp điều khiển API Spring Boot (JWT Authentication) và phát triển giao diện phần mềm Flutter (Mobile App sinh viên và Web App giảng viên).

Chương 4: Thực nghiệm, đánh giá và thảo luận

Chương 4 thực hiện các bài đo kiểm tra và đánh giá hệ thống:

• Đo lường mức tiêu thụ tài nguyên phần cứng (tỷ lệ sử dụng CPU, dung lượng bộ nhớ RAM, tốc độ xử lý khung hình FPS) của luồng nhận diện khuôn mặt.
• Khảo sát hiệu năng và độ chính xác của mô hình nhận diện khuôn mặt ở các khoảng cách khác nhau tính từ camera đến vị trí ngồi của sinh viên.
• Kiểm tra tính ổn định trong vận hành của BLE station khi quét và nhận diện địa chỉ MAC từ ứng dụng di động.
• Đánh giá khả năng nhận diện gương mặt qua nhiều kịch bản: góc mặt quay nghiêng, thay đổi cường độ ánh sáng, che khuất một phần khuôn mặt.
• Thử nghiệm hệ thống trong một buổi học mô phỏng thực tế tại phòng Lab E3.1: theo dõi các đối tượng sinh viên tham gia đầy đủ, vào trễ hoặc ra sớm; ghi nhận nhật ký (log) xử lý tại Process 1, Process 2 và Main Process; kết xuất bảng dữ liệu điểm danh hoàn chỉnh thể hiện tỷ lệ thời gian tham gia lớp học của từng cá nhân (trong đó có trường hợp kiểm chứng đối tượng đạt tỷ lệ tham gia từ 50% đến 80%).

Chương 5: Kết luận và hướng phát triển

Chương 5 tóm tắt các kết quả đạt được về việc hoàn thiện mô hình IoT tích hợp công nghệ thị giác máy tính và sóng không dây tầm ngắn phục vụ điểm danh tự động. Đồng thời, chương chỉ rõ các điểm còn tồn tại và đề xuất định hướng nghiên cứu tiếp theo nhằm nâng cấp hệ thống.

Kết quả và đóng góp

Khóa luận đạt được các kết quả kỹ thuật cụ thể:

• Huấn luyện và tích hợp thành công mô hình phát hiện khuôn mặt YOLOv5 tối ưu hóa qua NVIDIA TensorRT, kết hợp trích xuất đặc trưng FaceNet và phân loại SVM, chạy ổn định trên nền tảng máy tính nhúng và máy chủ.
• Xây dựng cơ chế xác minh kép kết hợp dữ liệu thị giác máy tính từ camera (yếu tố định danh chính) và tín hiệu BLE từ điện thoại thông minh (yếu tố bổ trợ khi góc quay bị khuất), khắc phục tình trạng điểm danh hộ.
• Thiết lập thành công đường truyền streaming phân tán sử dụng Apache Kafka cho dữ liệu hình ảnh dung lượng lớn và MQTT cho dữ liệu gói tin BLE nhẹ, bảo đảm thứ tự thời gian và giảm độ trễ xử lý.
• Xây dựng thuật toán theo dõi xuyên suốt buổi học, tính toán chính xác tổng thời lượng có mặt thực tế và phân loại sinh viên theo tỷ lệ phần trăm tham gia (chẳng hạn mức 50% – 80% trong thực nghiệm mô phỏng), thay thế hoàn toàn phương pháp điểm danh một lần duy nhất.
• Hoàn thiện hệ sinh thái phần mềm gồm ứng dụng di động cho sinh viên cập nhật BLE MAC/tra cứu lịch sử và ứng dụng web cho giảng viên quản lý buổi học/xuất dữ liệu, vận hành đồng bộ với API Spring Boot và cơ sở dữ liệu PostgreSQL.

So với các nghiên cứu trước đây:

• Khắc phục nhược điểm của các hệ thống điểm danh một lần (chỉ chụp ảnh hoặc quẹt thẻ ở đầu/cuối buổi học) bằng cơ chế giám sát liên tục theo chu kỳ thời gian.
• Khắc phục hạn chế góc quay và điểm mù của camera đơn lẻ bằng việc bổ sung lớp dữ liệu sóng BLE từ thiết bị cá nhân.
• Khắc phục tình trạng gian lận vị trí của các hệ thống chỉ dùng BLE bằng kênh xác thực sinh trắc học khuôn mặt.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài được ghi nhận trong văn bản:

• Do quy mô giới hạn về thiết bị phần cứng thử nghiệm và nhân lực, hệ thống mới chỉ triển khai ở mức 1 Topic (chứa 1 Partition) và 1 Consumer Group (gồm 1 Consumer) trên cụm Apache Kafka tại môi trường phòng Lab E3.1.
• Hiệu năng nhận diện khuôn mặt suy giảm khi khoảng cách từ sinh viên đến camera vượt quá phạm vi tối ưu, hoặc khi sinh viên quay mặt lệch góc quá lớn so với hướng bảng giảng dạy.
• Kênh xác thực phụ thuộc vào việc sinh viên duy trì kích hoạt kết nối Bluetooth trên điện thoại di động suốt buổi học.

Hướng nghiên cứu tiếp theo:

• Mở rộng kiến trúc Apache Kafka với nhiều Partition và Consumer Group để xử lý đồng thời luồng dữ liệu từ nhiều camera tại nhiều phòng học trên toàn trường.
• Thử nghiệm các kiến trúc phát hiện khuôn mặt mới hơn (như YOLOv8, YOLOv9) và tích hợp các mạng sinh đối kháng (như SRGAN đã khảo cứu) nhằm tăng độ phân giải cho các khuôn mặt ở cự ly xa.
• Nghiên cứu thuật toán ước lượng vị trí dựa trên giá trị RSSI và phương pháp Fingerprint kết hợp mạng nơ-ron để xác định chính xác hơn phạm vi sinh viên ngồi trong phòng học.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo chuyên môn cho:

• Sinh viên, học viên chuyên ngành Mạng máy tính và Truyền thông dữ liệu, Khoa học máy tính, Kỹ thuật dữ liệu, Công nghệ thông tin và Hệ thống nhúng/IoT.
• Các nhóm nghiên cứu đang xây dựng hệ thống giám sát lớp học thông minh, kiểm soát ra vào tự động hoặc bài toán nhận diện sinh trắc học thời gian thực.
• Kỹ sư phát triển phần mềm muốn tham khảo mô hình kiến trúc kết hợp giữa thiết bị biên (Raspberry Pi, Jetson Nano), streaming dữ liệu lớn (Apache Kafka, MQTT), backend dịch vụ doanh nghiệp (Spring Boot, PostgreSQL) và giao diện đa nền tảng (Flutter).

Nội dung đáng tham khảo nhất trong khóa luận là thiết kế luồng xử lý dữ liệu đa tiến trình tại máy chủ (Chương 3), cách cấu hình phân vùng Kafka kết hợp MQTT để gom dữ liệu đa nguồn, và quy trình chuyển đổi tối ưu mô hình thị giác sang TensorRT trên phần cứng nhúng.

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lại kết hợp nhận diện khuôn mặt với công nghệ Bluetooth Low Energy (BLE) thay vì chỉ sử dụng một trong hai?
Nếu chỉ dùng camera, hệ thống sẽ gặp điểm mù khi sinh viên quay đầu sang hướng khác, cúi mặt viết bài hoặc bị người ngồi trước che khuất. Nếu chỉ dùng BLE, sinh viên có thể gian lận bằng cách đưa điện thoại cho bạn cùng lớp mang vào phòng hộ. Việc kết hợp nhận diện khuôn mặt làm kênh định danh chính và BLE làm kênh bổ trợ giúp xác minh sự hiện diện liên tục và bảo đảm tính minh bạch.

2. Hệ thống tổ chức Topic và Partition trong Apache Kafka như thế nào?
Mỗi buổi học được đại diện bởi một Topic riêng biệt và được xử lý bởi một Consumer Group tương ứng trên server. Bên trong mỗi Topic, hệ thống phân chia các Partition riêng để tiếp nhận dữ liệu từ từng camera lắp đặt trong phòng học. Trong khuôn khổ thử nghiệm giới hạn của đồ án, hệ thống vận hành với cấu hình 1 Topic (1 Partition) và 1 Consumer Group (1 Consumer).

3. Mô hình nhận diện khuôn mặt được triển khai gồm những thành phần nào và tại sao lại chọn SVM làm bộ phân loại?
Hệ thống sử dụng mô hình YOLOv5 (tối ưu hóa qua TensorRT) để phát hiện và cắt vùng mặt, sau đó dùng FaceNet trích xuất vector đặc trưng 128 chiều hoặc 512 chiều. SVM được chọn làm bộ phân loại danh tính thay vì mạng nơ-ron sâu vì SVM tìm siêu phẳng tối ưu rất hiệu quả trong không gian đặc trưng nhiều chiều, hạn chế tối đa hiện tượng quá khớp (overfitting) trên tập dữ liệu kích thước nhỏ đến trung bình và tiêu tốn ít tài nguyên tính toán hơn.

4. Kết quả điểm danh cuối cùng của sinh viên được tính toán như thế nào sau buổi học?
Khác với phương pháp truyền thống chỉ ghi nhận tại một thời điểm, hệ thống liên tục ghi nhận dữ liệu có mặt theo từng mốc thời gian từ Process 1 (camera) và Process 2 (BLE). Khi buổi học kết thúc, hệ thống đối soát dữ liệu của cả hai kênh trong toàn bộ buổi học, tính toán tổng thời lượng sinh viên thực sự có mặt trong lớp để đưa ra tỷ lệ phần trăm tham gia (như mức 50% – 80% trong kịch bản kiểm thử) và lưu vào cơ sở dữ liệu PostgreSQL.

5. Ứng dụng di động dành cho sinh viên được xây dựng bằng công nghệ gì và có chức năng chính nào?
Ứng dụng di động được xây dựng bằng framework Flutter (ngôn ngữ Dart). Ứng dụng cung cấp các chức năng: đăng nhập tài khoản, cập nhật địa chỉ Bluetooth vật lý (MAC) của điện thoại cá nhân (có cơ chế khóa thời gian sau mỗi lần đổi để chống gian lận), xem danh sách các lớp học và tra cứu lịch sử điểm danh của từng buổi học.

Kết luận

Khóa luận tốt nghiệp của sinh viên Vũ Quốc An và Nguyễn Phúc Bảo đã nghiên cứu và phát triển hoàn chỉnh giải pháp điểm danh thông minh cho lớp học dựa trên sự kết hợp giữa thị giác máy tính và công nghệ Bluetooth năng lượng thấp. Hệ thống vận hành trên kiến trúc tính toán biên phối hợp máy chủ phân tán (sử dụng Raspberry Pi 4, Jetson Nano, Apache Kafka, MQTT, Spring Boot và Flutter), giải quyết hiệu quả bài toán tự động hóa điểm danh và theo dõi chuyên cần liên tục trong suốt buổi học. Kết quả kiểm thử thực tế tại phòng Lab E3.1 chứng minh tính khả thi của giải pháp trong việc nâng cao tính minh bạch, tiết kiệm thời gian giảng dạy và hướng tới xây dựng mô hình phòng học thông minh tại các trường đại học.

Trích đoạn nội dung tài liệu

Mở đầu. * Chương 2: Cơ sở lý thuyết. » Chương 3: Phương pháp thực hiện. « Chương 4: Thực nghiệm, đánh giá và thảo luận.

* Chương 5: Kết luận và hướng phát triển. CƠ SỞ LÝ THUYET Trong chương này, chúng tôi sẽ đề cập đến cơ sở lý thuyết cần thiết để hiểu sâu hơn về van dé được nghiên cứu trong khóa luận. Chúng tôi sẽ trình bày các khái niệm, lý thuyết, kiến trúc và thông số, tạo nền tảng cho việc phát triển phần thực nghiệm và phân tích kết quả sau này.1 Thị giác máy tính Thị giác máy tính Computer Vision (CV) là công nghệ trong đó máy tính có khả năng tự động nhận biết và mô tả hình ảnh một cách chính xác. Hiện nay, có rất nhiều nguồn dữ liệu hình ảnh mà máy tính có thể đọc được như thoại thông minh, camera giao thông, camera giám sát.

Do đó, ứng dụng thị giác máy tính sử dụng trí tuệ nhân tạo Artifial Intelligence (AI) và may hoc Machine Learning (ML) được áp dụng ngày càng phổ biến. Chi với những dữ liệu hình ảnh này, một số lượng lớn các ứng dụng liên quan đến thị giác máy tính có thể được triển khai như xác minh danh tinh, phân tích cảm xúc, theo dõi mật độ giao thông, dự báo thời tiết, .2_ Nhận dạng khuôn mặt Nhận dạng khuôn mặt (Facial Recognition) là một ứng dụng thị giác máy tính, gồm quá trình xác định hoặc xác nhận danh tính của một người qua khuôn mặt của họ. Công nghệ này hoạt động bằng cách xác định và đo lường các đặc điểm khuôn mặt trong hình ảnh. Nó có khả nắng xác định khuôn mặt người trong hình ảnh hoặc video, kiểm tra xem khuôn mặt xuất hiện trong hai hình ảnh có phải là cùng một người không hoặc tìm kiếm một khuôn mặt trong một bộ sưu tập lớn các hình ảnh hiện có.

Các hệ thống bảo mật sinh trắc học sử dụng công nghệ nhận dạng khuôn mặt để xác định cá nhân độc nhất cho quá trình đăng nhập, cũng như tăng cường cho hoạt động xác thực người dùng. Quá trình nhận dạng khuôn mặt trải qua 3 bước chính như sau: phát hiện khuôn mặt (Face Detection), trích xuất đặc trưng (Feature Extraction) và phân loại (Classifica- tion). Phát hiện khuôn mặt bang You Only Look Once s« Phát hiện đối tượng: © Phát hiện đối tượng hay phát hiện vật thể (Object Detection), là một ứng dụng thị giác máy tính giúp nhận diện và xác định vị trí các đối tượng thuộc các lớp được xác định trước trong các hình ảnh đầu vào. © Với sự phát triển của học sâu (Deep Learning), việc phát hiện đối tượng đã đạt được những kết quả hứa hẹn.

Nhiều thuật toán và mô hình đã được phát triển cho phát hiện đối tượng như: R-CNN, Faster R-CNN, YOLO và SSD. Các thuật toán và mô hình này đang được sử dụng trong các ứng dụng khác nhau, như xe tự lái, hệ thống giám sát và theo dõi đối tượng. Hai đối tượng điển hình để phân loại trong object detection: chó và mèo. © Các thông số đánh giá (metrics) hiệu suất chính của mô hình phát hiện đối tượng: - Intersection over Union (IoU): IoU IoU là tỷ lệ giữa phần giao và phan hợp của vùng dự đoán và vùng đối tượng thật.

Trong đó: + Area of Overlap là diện tích vùng giao nhau giữa hộp giới hạn (bound- ing box) phát hiện bởi mô hình và hộp giới hạn thực tế (đã dán nhãn trước đó). + Area of Union là diện tích toàn bộ phần hợp của hộp giới hạn phát hiện bởi mô hình và hộp giới hạn thực tế. CƠ SỞ LÝ THUYET IOU = area of overlap _ [| area of union [7] Hình 2. Minh họa chỉ số IOU.

Dé xác định dự đoán là đúng hay là sai, chúng ta dựa vào một ngưỡng (threshold) cho trước (có thể là 0.), nếu IoU lớn hơn hoặc bằng ngưỡng thì đó là kết luận dự đoán đúng, ngược lại là dự đoán sai. Định nghĩa True/false positive/negative: + True Positive (TP): dự đoán đúng, khi IoU lớn hơn hoặc bằng ngưỡng. + False Positive (FP): dư đoán sai, IoU bé hơn ngưỡng. + False Negative (FN): không thé dự đoán, khi mô hình không cho ra được hộp giới nhưng theo thực tế phải có hộp giới hạn.

-Average Precision (AP): Đối với bài toán Object Detection, hai chỉ số precision va recall được định nghĩa như sau: + Precision: thể hiện độ chính xác của dự đoán. (%) + Recall: thể hiện độ tốt của khả năng cho ra các dự đoán đúng. (%) Công thức tinh precision: TP TP NASON TP +FP all detections (2. Công thức tinh recall: Precision = TP+FN TP TẾ all ground truth (2.2) Theo mỗi mức IoU threshold chạy trong một khoảng, ta tính toán ra được giá tri Precision va Recall tại các mức đó và vẽ ra được Precision Recall lãi CHƯƠNG 2.

CƠ SỞ LÝ THUYET Curve, ví dụ như với 11 mức: 11 Point Interpolated Precision-Recall Curve ° ° ° ° 0 Of 02 03 04 05 06 07 08 09 1 Recall Hinh 2. Minh hoa Precision Recall Curve. AP chính là vùng diện tích màu vàng nằm dưới đường cong Precision Recall. + AP lớn nếu vùng này lớn, suy ra đường cong có xu hướng gần góc trên bên phải và có nghĩa là tại các threshold khác nhau thì Precision và Recall đều khá cao.

Từ đó suy ra model tốt. + AP nhỏ thì cả Precision và Recall đều khá thấp và model không tốt. -Mean Average Precision (mAP): mỗi class trong bài toán sẽ có một giá trị AP, mAP là trung bình cộng giá trị AP của các class khác nhau. Ví dụ với một bài toán phát hiện vật thể với 30 lớp đối tượng: s Phát hiện khuôn mặt: Phát hiện khuôn mặt (Face Detection) là ứng dụng thị giác máy tính liên quan đến việc tự động nhận dạng và xác định vị trí các khuôn mặt trong hình ảnh hoặc video.

Đây là một công nghệ quan trọng đứng sau nhiều ứng dụng như nhận dạng khuôn mặt, theo dõi khuôn mặt và phân tích khuôn mặt. Khuôn mặt là một dạng đối tượng có thể áp dụng vào lĩnh vực Object Detec- tion. Qua đó, ta có thể sử dụng những mô hình object detection và huấn luyện nó với dữ liệu khuôn mặt. Mô hình sử dụng: YOLOv5 © Region-Based CNN: Mang nơ-ron tích chập dựa trên vùng R-CNN là một thuật toán phát hiện đối tượng sử dụng CNN để phát hiện các đối tượng trong hình ảnh.

CƠ SỞ LÝ THUYET sofa 0. emote nightstand tvmonitor pottedplant chair wastecontainer person eee | diningtable š bow! windowblind bottle backpack door countertop - vase pictureframe book sink bookcase pillow cabinetry heater coffeetable .6 08 10 Average Precision Hình 2. Minh họa mAP của một bài toán phát hiện đối tượng. tưởng cơ bản đằng sau R-CNN gồm: trước tiên tạo ra tập hợp các vùng ứng cử trong hình ảnh hoặc video, sau đó sử dụng một CNN để phân loại mỗi vùng, xác định liệu nó có chứa một đối tượng nào đó hay không.

Các vùng được phân loại là chứa đối tượng sau đó được xử lý tiếp để làm rõ vị trí của đối tượng và phân loại nó vào một lớp cụ thể. Quá trình này được biết đến với tên gọi: phát hiện đối tượng hai giai đoạn (Two-stage Object Detection). A Typical Convolutional Neural Network (CN? am nl <es es> Convolution Pooling Convolution Pooling Input Image Featured Pooled ‘a Featured Pooled Flatten maps Featured maps maps Featured maps _ layer > — Feature Maps Fully connected layer Feature Extraction | Ô Classification | | Probabilistic | distribution Hình 2. Cấu trúc mang CNN trong ứng dung phân loại đối tượng hình anh.

Các biến thể của R-CNN như Fast R-CNN, Faster R-CNN, và Mask R- CNN được đề xuất để cải thiện tốc độ và độ chính xác của quá trình phát hiện đối tượng. CƠ SỞ LÝ THUYET R-CNN: Regions with CNN features ¬ worped region PA aeroplane? no (een ae 3 Sap ¬ ‘> person? yes CNNSg, tv monitor? no 1 2 3 4 Input Extract Region Compute CNN Classify image proposals (~2K) features Regions Hình 2. Cấu trúc của R-CNN. Mặc dù R-CNN có thể giải quyết nhiệm vụ phát hiện đối tượng với độ chính xác tương đối tốt, nó vẫn tồn tại một số điểm yếu như: hạn chế về yếu t6 tổng quát và bối cảnh, chi phi tính toán cao, qua đó không tối ưu cho việc phát hiện đối tượng thời gian thực trên các thiết bị có công suất thấp.

© Bộ phát hiện đối tượng đơn giai đoạn: Phát hiện đôi tượng đơn giai đoạn (Single-shot Object Detection) là một loại thuật toán phát hiện đối tượng có khả năng phát hiện các đối tượng trong hình ảnh hoặc video trong một lần duyệt mà không cần sử dụng nhiều giai đoạn và vùng ứng cử. Các bộ phát hiện đối tượng đơn giai đoạn như YOLO và SSD, sử dụng một mạng CNN duy nhất để trực tiếp dự đoán các lớp (classes) và hộp giới hạn của các đối tượng trong một hình ảnh hoặc video. Những mô hình này được huấn luyện end-to-end bằng cách sử dụng một bộ dữ liệu lớn của các hình ảnh được gan nhãn (labeled) và các hộp giới hạn (bounding boxes) của đối tượng tương ứng. Phát hiện đối tượng đơn giai đoạn được coi là nhanh hơn và hiệu quả hơn so với các phương pháp phát hiện đối tượng hai giai đoạn, vì nó tối giản số giai đoạn và có thể chạy trong thời gian thực trên các thiết bị có công suất thấp.

Tuy nhiên, mức độ chính xác sẽ tương đương phương pháp phát hiện đối tượng hai giai đoạn. © You Only Look Once (YOLO): YOLO là một thuật toán phát hiện đối tượng thời gian thực (Real-time 14 CHƯƠNG 2. CƠ SỞ LÝ THUYET SNuopn-Mraexsim 74. S9FPS Object Detection algorithm) được phát triển bởi Joseph Redmon va Ali Farhadi vào năm 2015.

Đây là bộ phát hiện đối tượng đơn giai đoạn sử dung mạng CNN để dự đoán các hộp giới han và xác suất lớp của các đối tượng trong các hình ảnh đầu vào. YOLO ban đầu được triển khai bằng framework Darknet. c9Detpla8isonr: H Ei YOLO ⁄ », |ổB34mAP +*| §| 45FPS E 2 2 Hình 2. Cấu trúc tổng quát của YOLO.

Thuật toán YOLO chia hình ảnh đầu vào thành một mạng lưới các ô, và đối với mỗi ô, nó dự đoán xác suất hiện diện của một đối tượng và tọa độ hộp giới hạn của đối tượng. Nó cũng đồng thời dự đoán lớp của đối tượng đó. Khác với acR-CNN và các biến thể của nó, YOLO xử lý toàn bộ hình ảnh qua một lần duyệt, nhờ đó quá trình dự đoán trở nên nhanh và hiệu quả hơn. YOLO luôn tục được phát triển qua các phiên bản khác nhau, gồm: YOLOv1, YOLOv2, YOLOv3, YOLOv4, YOLOv5, YOLOv6, YOLOv7, YOLOv§ và mới nhất là YOLOv9.

Mỗi phiên bản đã được xây dựng trên cơ sở của phiên bản trước đó với các tính năng được cải thiện như độ chính xác tăng cường, xử lý nhanh hơn và xử lý tốt hơn các đối tượng nhỏ.