Chương 1. TONG QUAN ĐÈ, TÀII. Lý do chọn đề tài. Phân tích các hướng nghiên cứu đã có.
Mô hình phát hiện đối tượng ISHD: Intelligent Standing Human Detection of Video Surveillance for the Smart Examination Environment. A Solution for Attendance Checking with Face Recognition Technology and Application at Laboratories in Faculty of Information Technology [1]. Ung dụng công nghệ trí tuệ nhân tạo (AJ) giúp phát hiện hành vi gian lận thi cử của nhóm sinh viên Đại học Công nghiệp Hà Nội. Giới thiệu đề tài.
Mục tiêu, đối tượng, phạm vi nghiên cứu. Phạm vi nghién CỨU. Phương pháp thực hiện .-- - G 1S 3+ HH re, 6 Chương 2.-- <2 2£ ©s£Ss£EssEss£SseEsseserseEssesserssrs 9 QD. TOmg QUAM eee cece.
Các khái niệm về mang neuron nhân tạo .-- - - 5< v11 HS TH HH TH HH ng 10 2. Khoảng cách Euclide [1Í]. Giới thiệu về giao thức MQTT [3],. Giới thiệu về công nghệ RFID [ 1I].
Khái niệm về hệ thống phòng thi thông minh [15]. THIET KE VÀ HIỆN THỰC HỆ THÓNG. Mô hình tổng thé của hệ thống. Giải thuật nhận diện khuôn mặt.
Giới thiệu Facenet [2]. Mô hình pDrefra1'ied. -- --- «+ + +4 +1 +3 €1 3E vn ng ng nàn 17 3. Mô hình lay đặc trưng khuôn mặt dib.
Facial landmarks occ. Dữ liệu training và độ chính Xác oe. Thu thập dữ liệu khuôn mặt mô hình Facenet. Quá trình đánh giá mô hình Facenet.
Chia tập dữ lIỆU.---- --- Gv n TH TH ngàn Hàn ng 21 3. Quá trình huấn luyện.--- ¿+ + +x£EE+EE#EESEEEEEEEEEEEEEEEErEkrrrrrrrei 21 3. Kết quả đánh giá. Giải thuật phát hiện hành vi.
Giới thiệu MedIalPIpe.--- --- 6 th vn ng HH ni, 22 3. Quá trình train mô hình. Sơ đồ hoạt động của hệ thống .-- 2-22 2+SE£2E2+EEeEEE2EEeEErrrerrkervee 29 3. Thiết kế PCB kết nói hệ thống các phan cứng.
Sơ đồ kết nối phần cứng [6] .----- 2-2 + E+EE+EE+EE+EE+EE+EEzEEzErrsrreres 30 3. Thiết ké Senora€ đe. Thiết KE PC. Xây dựng giao diỆn.
nh HH TH HH HH 32 3. Giới thiệu PY QUO .---- c0 2 tt 21191151191 1 11 11 11H ng nhiệt 32 3. Tổng quan về giao điỆn.--- ¿+ 2© ©x+EE#EEEEESEEEEEEEEEE1EE12212E12E2 2E. Mô tả cơ sở dữ lIỆU.
6 G11 1911 TH TH ng ng ngàn nh nệt 34 3. Cac tính năng giao diện quản lý kỳ thi. Tính năng giao diện đăng ky thí sinh mới.- -- 5-5555 +s+ss+ss+ssxx 42 3. Mô tả các phương pháp hoạt động.
Phương pháp đọc mã thẻ RFÏD. Phương pháp hiền thị thông tin lên LCD1602. Phương pháp giao tiếp giữa ESP32 và Server.------- -cs+s¿50 Chương 4. KET QUÁ THỰC HIỆN.
Kết quả thực hiện phần cứng. Kết quả chạy mô hình:.-- - 2-2 SSS£SE£EE£EEEEESEEEEEEEEEEEEEEEErrrkrrerreee 52 4. Kết quả chạy thử nghiệm. 2-2-2 5 <+SE‡EE+EE2EE2EEEEEEEErEerrerrerree 53 4.
Cau hình đề xuất để có thé hoạt động mô hình. Cau hình tối thiểu của máy tính.--2¿- 2< 2222112211271221211211211111111 211211211 1x xe 57 AAA, LCD 2. Kết quả dat được so với mục tiêu đề ra .----- 2 2 s+sz+ss2cz+se2 57 Chương 5. KET LUẬN VA HƯỚNG PHAT TRIN.
Hướng phát triỄn.--- 2-2 S99 SE£EE#EEEEEEEEEEEEE121121121121111 1. 59 DANH MỤC HÌNH Hình 1. Mô tả Hệ thống phòng thi thông minh.-- 2-2 2 2£22S£+££+£+zE£+£zs£2 4 Hình 2. Mô hình một mang neuron cơ bản.-- <5 2 33s * +3 +*vE++eeeeeeseeerrss 9 Hình 3.
Các đặc trưng của một khuôn mặặt. Face embedding ni: 11 Hình 5. Sơ đồ kết nối hệ thống,.-----¿- 2 252 E£SE+EE2EEEEEEEE2E12E122121121222221. Kiến trúc mạng Facenet .---¿- ¿+ +22++2E++EE++EEESEE+SEEESEkrsrkrrrkrrrree 17 Hình 7.
68 điểm facial landmark được đánh dấu trên mỗi khuôn mặt. Hình ảnh thành viên nhóm. Hình ảnh từ đatasS€I.-- --- Ác 1S ng TH ng ng tr 20 Hình 10. Quá trình chia tập dữ liỆu.
Quy trình nhận diện khuôn mặt. Ung dụng Mediapipe. Minh họa timeS(€p.- -- 6 2c c1 E21183101 1811151111 11 911 9v 1n ng ệc 25 Hình 15. Dataset cho mô hình phát hiện hành vi.- 55 55555 ££+se++sex+sex+ 25 Hình 16.
Các điểm trên khuôn mặt. Chia tập dữ liỆU. 21121121121 151151 11 11 H1 HH HH như 27 Hình 18. Tạo mô hình LSTÌM.
--- + <EE E32 2221118EE££22EEEEESEEEEEEkeesereeeeeerse 27 Hình 19. Sơ đồ giải thuật hệ thống.- --2- 2 2 5E SESE+EE+EE2EEEEEEEEEEEEEErErrrerrrree 29 Hình 20. Sơ đồ kết nối phần cứng.--- 2-2 2 x++E£+EE+EE+EEE2EE+EEEZEEEEEerrerrrrrvee 30 Hình 21. Sơ đồ thiết kế Schematic mạch đọc thẻ RFID và hiển thị.
So đồ thiết kế PCB mach đọc thé RFID và hién thi. Giao diện đăng nhập PyQt6. Giao diện quan lý kỳ tH1H. ng ng kg 33 Hình 25.
Giao diện đăng ký thí sinh mỚIi.--- 5 2+2 *+tE+EseEetreerrrrreeree 34 Hình 26. Hình anh mô tả cơ sở dit liỆU. Nhắn nút “Tao bảng'”. Kiểm tra bảng đã tạO.--¿- 6c Ss St St E EEE121121121121121121121111 1.
Dit LGU Exams oo. Dữ liệu ROOMS 00. eee eecccccceessccccessscceeceesssceecceseeeseeeessseeeeeessseeeeseessseeeeeeees 37 Hình 32. Chọn bang cần thêm dit liệu.-- 2-2-2 2 E+SE+E£+EE+E£EE+EzEzEerrerreee 38 Hình 34.
Chọn file Excel cần thêm. Thêm dữ liệu thành công.-- --- --- 22223133 E*EE£EESEESEEEEkrrrrkrrkrreree 39 Hình 36. Chọn bảng muốn hiên th.---:-2¿22¿©2+£©+2E++EE+2EE+2EE++EE+zzxzrxrrxee 39 Hình 37. Thông tin bảng hiển thị,.
-- 2-2 ©5£S££SE£EE2EE£EEtEEEEEEEEEEEEEerkrrrrrrrrree 39 Hình 38. Xóa dữ liệu bảng. S1 120113 111111121121 111v HH HH Hàng Hàn nrệp 4I Hình 41. Tải hình ảnh gian lận.
Thu mục chứa ảnh gan lẬ. Ảnh gian lật JF. Chức năng cập nhật gia0 diỆn. Giới thiệu Ø1aO CHIỆN.
Ảnh chưa đạt yêu cầu.-- 2 25s SE£2EE‡EEEEE2E19E1211271711211 2121. Ảnh đạt yêu cầu. Cấu trúc các phân vùng lưu trữ thông tin trên thẻ RFID. Cấu trúc lệnh truy xuất dit liệu trên thẻ REID.
Cấu trúc kết qua trả về khi doc đữ liệu trên thé RFID. Thong tin token trên Server. Thong tin token trên ESÌP32. ESP32 nhận dữ liệu từ S€TV€Y.
Server nhận dữ liệu từ ESP32 .- - - - - - - << 1 s11 n SH 55351111 ceg 51 Hình 60. Mach hệ thống đọc thé RFID và hién thi LCD. Nhận diện khuôn mat. Ảnh gian lận tải về từ database.----2- + sS++EE‡E2EEESErErrrrrrrres 53 Hình 62.
Phat hiện hành vi Gian lẬn. Màn hình LCD .---- 6 6 E11 1 1 vn HH HH HH HH 57 DANH MỤC BANG Bang 1. Kết quả đánh giá từng người .---- 2 2- 2S<+E++E2EE2EEEEEErErrrrrerreee 22 Bảng 2. Mô tả bang “Students” trong cơ sở dif liệu .---- 55+ <++<es+sss2 34 Bảng 3.
Mô tả bang “Rooms” trong cơ sở dữ lIỆU. Mô tả bảng “Exams” trong cơ sở dữ lTIỆu. Mô ta bang “Students” trong cơ sở dit liệu. Lệnh điều khiển của LCD.--2¿- 22 +¿©2+2E£+2E++EE+2EE+SEEEvExezrxrrrxrrrree 49 Bảng 7.
Kết quả chạy thực nghiệm.-- 22 22+ ©S£2E++EEE2EEESEEESExezrxrrrxrrrree 53 Bang 8. Cấu hình máy tính. - - 2-2 2 E9SE9EE9EE9EEEEEEEE2E12E1211211211211211 1. Thông số kỹ thuật MCU ESP32.- 2-2222 +2S22£E+EE2Eterxerxezrrerxee 56 Bảng 10.
Thông số kỹ thuật RFID RC522. Thông số kỹ thuật LCD 1602.-- 2-22 2 ©5£25£2£E££E£+E+£EzE+zzserxez 57 Bảng 12. Kết quả đạt được so với mục tiêu a ee, 57 DANH MỤC TU VIET TAT CNN Convolutional Neural Network CRC Cyclic Redundancy Check ISHD Improved Small Hard-Object Detection LSTM Long short-term memory MQTT Message Queuing Telemetry Transport QoS Quality of Service ReLU Rectified Linear Unit RFID Radio Frequency Identification RGB Red Green Blue RNN Recurrent Neural Network RW Read/Write SPI Serial Peripheral Interface SSD Single Shot Detector SSL Secure Sockets Layer TCP Transmission Control Protocol TLS Transport Layer Security UART Universal Asynchronous Receiver / Transmitter UID Unique Identification YOLO You Only Look Once TOM TAT KHÓA LUẬN Đề tài “Hệ thống phòng thi thông minh” của nhóm hướng tới mục đích xây dựng được một hệ thống quản lý kỳ thi, nhận diện khuôn mặt và phát hiện hành vi gian lận. Đồng thời kết hợp với thẻ RFID dé hiển thị chỗ ngồi thí sinh.
Hệ thống phòng thi thông minh được thiết kế đề tăng cường tính minh bạch và công bằng trong các kỳ thi. Khi thí sinh quét thẻ RFID, hệ thống sẽ hiển thị thông tin chỗ ngồi trên màn hình LCD, giúp xác định vị trí ngồi chính xác. Công nghệ nhận diện khuôn mặt được sử dụng dé xác minh danh tính thí sinh, đảm bao đúng người dự thi. Hệ thống còn phát hiện các hành vi gian lận như quay sang trái, quay sang phải và cúi người.
Ngoài ra, hệ thống cung cấp giao diện cho quản trị viên tạo kỳ thi mới, bao gồm nhập thông tin kỳ thi, danh sách thí sinh, phân bố chỗ ngồi và đăng ký thí sinh. TONG QUAN DE TÀI 1. Ly do chon đề tai "Dự án 'Hé thống phòng thi thong minh’ do nhóm nghiên cứu triển khai nhằm nâng cao chất lượng tô chức và giám sát kỳ thi bang cách áp dụng công nghệ tiên tiến. Việc chon lựa đề tài này rất quan trọng và cấp thiết trong bối cảnh nền giáo dục ngày cảng dé cao sự công bang va minh bach trong kiểm tra và đánh giá.
Trước đây, đã có nhiều sản phẩm và nghiên cứu áp dung công nghệ trong tô chức và giám sát thi cử. Những giải pháp này chủ yếu tập trung vào giám sát học sinh, sinh viên băng camera dé phát hiện gian lận hoặc sử dụng hệ thống quản lý dé thi điện tử. Tuy nhiên, các sản phâm hiện tại thường chưa đáp ứng đủ các yếu tố quan trọng như tính linh hoạt, tự động hóa và tương tác cao. Thêm vào đó, nhiều hệ thống còn hạn chế trong việc xử lý đữ liệu lớn và cung cấp phản hồi tức thời cho người quản lý kỳ thi, cũng như nhắc nhở sinh viên.
Dự án 'Hệ thống phòng thi thông minh' đặt mục tiêu phát triển một hệ thống kiểm soát thông tin sinh viên và phát hiện hành vi gian lận. Hệ thống sẽ tích hợp các công nghệ như camera đề giám sát và nhận diện sinh viên tại bàn thi, cũng như phát hiện hành vi gian lận trong suốt quá trình thi. Phân tích các hướng nghiên cứu đã có Qua tìm hiểu và nghiên cứu những bài báo trên Google Scholar về các công nghệ di trước đã dùng như mô hình SSD, mô hình ISHD, YOLO,. Mô hình phát hiện đối tượng ISHD: Intelligent Standing Human Detection of Video Surveillance for the Smart Examination Environment Liên quan đến Mô hình phát hiện đối tượng ISHD [14], bài báo “ISHD: Intelligent Standing Human Detection of Video Surveillance for the Smart Examination Environment” đề xuất một phương pháp phát hiện người đứng trong giám sát video phòng thi, sử dụng mạng MobileNet thay thế cho VGGNet trong mang SSD đề giảm lượng tính toán và tăng độ chính xác.
ISHD_v1 cải thiện khả năng phát hiện các đối tượng nhỏ và vừa bằng cách giữ lại các đặc điểm đa tỉ lệ và áp dụng học chuyền giao dé tối ưu hóa quá trình huấn luyện. Thử nghiệm cho thấy mô hình ISHD vượt trội hơn so với các mô hình trước đó trong việc phát hiện tư thế đứng của con người. Tuy nhiên, mô hình vẫn gặp hạn chế trong khung cảnh phức tạp và nhiều nhiễu, cần tối ưu hóa thêm đề cân bằng giữa độ chính xác và hiệu suất tính toán. Ứng dụng trong thực tế cần thử nghiệm thêm dé đảm bao tính kha thi và hiệu quả.
Ngoài ra, việc áp dụng mô hình vào các bối cảnh khác ngoài phòng thi cần được kiểm nghiệm dé xác định tính linh hoạt và độ tin cậy của nó.