Chương 1. GIỚI THIỆU DE TÀI 1. Tổng quan về đề tài Trước tình hình luôn thay đổi và nhu cầu thích ứng với hoàn cảnh thách thức, việc triển khai mô hình “lớp học Hybrid” là một giải pháp không còn xa lạ trong nền giáo dục. Mô hình này là sự kết hợp giữa cả cách học tập truyền thống và cả hiện đại với sự hỗ trợ từ các thiết bị thông minh, công nghệ hiện đại cùng với phương pháp học mới giúp việc học tập và dạy học trở nên linh hoạt, dễ dàng tiếp cận và đáp ứng đúng hoàn cảnh hơn như dot dịch Covid vừa qua.
Các nghiên cứu quốc tế Mô hình lớp học thông minh kết hợp không chỉ xuất hiện ở các nước phát triển mà đã khá phổ biến nhiều nước trên thé giới, đặc biệt là ké từ thời điểm dịch bệnh Covid- 19 bùng phát thì nó được tập trung và đây mạnh nhiều hơn. Một trong những mô hình với các đặc điểm và chức năng khác nhau có thé kể đến như nghiên cứu lớp học kết học dành cho đại học của Đại học Quốc gia Thanh Hoa, Đài Loan [20]. 86” touch screen * VC-B30U *VC-B30U 86” touch screen ` * VC-TR1 4 * LC200 BCS mesons noon * ` Audio| Processor Sound ce 66 EL Power Amplifier = i Microphone HDMI Audio Line Hình 1. Mô hình lớp học thông minh của đại học Quốc gia Thanh Hoa Như hình minh họa 1.1, Hệ thống Lớp học thông minh AUO bao gồm màn hình LED lớn 135 inch với màn hình cảm ứng 86 inch mỗi bên.
Giáo viên có thể viết trực tiếp lên màn hình và kết nối với màn hình lớn. Ngoài ra, trong lớp học còn có 3 camera theo dõi tự động. Học sinh ở xa có thé nhìn và tương tác cùng với các bạn trong lớp thông qua hai camera còn lại và tương tác trong thời gian thực. Tuy mô hình này đã đáp ứng được những nhu cầu trong giáo dục và học tập, nhưng chưa khai thác được tiềm năng của trí tuệ nhân tao (AI) và van vật internet (IoT).
Với sự phát triển nhanh chóng của công nghệ, việc áp dụng AI và IoT trong xây dựng một giải pháp toàn diện cho lớp học thông minh được coi là cần thiết dé đạt được sự đột phá va mang lại giá tri cao nhằm phục vụ cho học sinh, giáo viên, phụ huynh và nhà trường. Cac nghiên cứu trong nước Ở Việt Nam, đã có những nghiên cứu liên quan mô hình lớp học kết hợp như trong đề tài [1] "Smart Desk in Hybrid Classroom: Detecting student's lack of concentration when studying", do cac tac gia Manh Hung LE, Thien Minh DOAN, Duy Dieu NGUYEN và Minh Son NGUYEN thực hiện và được công bồ tại hội nghị ACOMPA 2022. Trong nghiên cứu này, các tác giả đưa ra đề xuất một mô hình lớp học kết hợp, gồm bục giảng thông minh, bàn học thông minh cùng với các ứng dụng phần mềm chạy cùng với thiết bi. Những phần mềm này giúp hoc sinh có thể tham gia lớp học trực tuyến hoặc học trực tiếp, đồng thời cũng giúp cho giáo viên quản lý lớp học như Hình 1.
h ‘Webcam Speeker Micro INTERNET ` — $ CỤ) Uj _— a — - Remote Student ~ Web / API ~ Database ~ Data ~ Streaming - LMS Public Cloud Server Hình 1. Lớp học thông minh ma nhóm tác giả ĐH CNTT dé xuất Đặc biệt là trong nghiên cứu này thì nhóm tác giả còn đề cập đến việc tích hợp thêm trí tuệ nhân tạo (AI) nhằm giám sát sự tập trung học của học sinh và ứng dụng Internet of Things (IoT) trong quan lý lớp học. Mô hình lớp học được dé cập ở nghiên cứu này đã đánh dấu sự tiễn bộ trong việc ứng dụng công nghệ vào giáo dục, tạo ra một môi trường học tập tiên tiến và tăng tương tác. Việc ứng dụng thêm trí tuệ nhân tạo và Internet of Things cho lớp học không chỉ giúp cải thiện quá trình học tập, mà còn mở ra những tiềm năng phát triển hơn cho nên giáo dục.
Mục tiêu của đề tài Thiết kế và triển khai một Miniserver trong phạm vi trường học dé thiết bị bục giảng và các thiết bị IoT khác như bàn học thông minh trong mô hình lớp học Hybrid [6] có thé giao tiếp theo thời gian thực. Thêm vào đó, dé đáp ứng chức năng giảng dạy online của lớp học Hybrid, server này cũng được sử dụng cho việc stream video và đồng bộ dữ liệu với Cloud server. Ngoài ra, cũng xây dựng một ứng dụng Qt với các chức năng như tự động nhận diện khuôn mặt giáo viên khi đăng nhập, điểm danh tự động khi học sinh vào lớp,. dùng để kiểm tra các chức năng đã trình bày của Miniserver.
Cụ thé bang 1-1 dưới đây sẽ so sánh mục tiêu của khóa luận với các công trình liên quan: Bảng 1-1. Bang so sánh mục tiêu khóa luận với các công trình liên quan Công trình nước Công trình trong Tiêu chí. Mục tiêu khóa luận ngoài [20] nước [1] -Đăng nhập tự động vào ứng dụng Qt bằng khuôn -Camera tự động -Theo dõi khả năng. Có tích mặt theo dõi và tập trung của học hợp AI.
, -Theo đõi trạng thái của livestream sinh trong lớp học sinh khi thực hiện bài kiểm tra -Diéu khiển nhiệt độ và ánh sáng ; ; Ung dung -Giao tiép thời gian | -Giao tiép thời gian thực phòng học công nghệ thực -Cloud server, _ local -Giao tiếp thời loT -Cloud server server gian thực -Cloud server -Ung dung Qt có UI với UI trên -Một chức năng - thiét bi Ò, — nhiều chức năng -Nhiêu chức năng -Thiết bị bục giảng ¬ nhúng với a. ; - -Thiét bị bục giảng va LÀ -Thiét bị bục giảng | (kiêm tra) và thiệt a. " nhiêu ; thiét bi ban hoc (kiém ae bi ban hoc chức nang tra) -VC-TR1 Auto -Buc giang: Mini Tracking Camera, 11% -Bục giảng, bàn học: ` VC-B30U Full HD | -Ban hoc: Jetson Jetson Nano Phan cứng USB PTZ Camera, Nano -Camera Logitech 720p, LC200 Media touch screen -Camera Logitech, Processor,. Giới hạn nghiên cứu của đề tài - Ung dung Qt C++ chạy được trên thiét bi nhúng cu thé là Jetson Nano - Hién thực được Miniserver đáp ứng nhu cau giao tiếp thời gian thực giữa thiết bị bục giảng và thiết bị bàn học với kha năng chiu tai tối đa 1000 người dùng truy cập - _ Giải thuật nhận diện khuôn mặt có độ chính xác với tập dữ liệu kiểm tra đạt trên 90% và tốc độ xử lý ở trên thiết bị nhúng nhỏ hơn 150ms trên 1 khung hình - Tich hợp được chức nang stream video trên chính Miniserver đó phục vụ cho việc mở lớp học online trên ứng dụng Qt.
Kết quả mong đợi của đề tài - Ung dung Qt có các chức nang đã đề cập ở trên có thể chạy ồn định không bị đứt quãng khi đang sử dụng trên thiết bị nhúng Jetson Nano. - _ Giải thuật nhận diện khuôn mặt có độ chính xác với tập dữ liệu kiểm tra đạt trên 95% và tốc độ xử lý trên thiết bị nhúng nhỏ hơn 100ms trên 1 khung hình - _ Tốc độ giao tiếp thời gian thực giữa thiết bị bục giảng và bàn học trong lớp học có độ trễ nhỏ hơn 2 giây và có thể chịu tải tối đa 1000 người dùng truy ^ cập. TÌM HIEU LY THUYET VA LỰA CHON CÔNG NGHỆ 2. Công nghệ lập trình phần mềm nhúng Qt là Framework hỗ trợ máy tính phát triển trên các ứng dụng đa nền tang.
Nó được phát triển bởi công ty The Qt Company và là công ty con thuộc sở hữu của Digia Ple. Dưới đây là một số điểm nỗi trội: - Ngôn ngữ lập trình: Qt nó không là ngôn ngữ lập trình riêng. Đó là một framework và dùng ngôn ngữ C++. Có bộ tiền xử lý MOC (Meta-Object Compiler) được sử dụng để mở rộng ngôn ngữ với các tính năng như signals va slots.
- Nén tảng hỗ tro: Linux, OS X, Windows, Andorid, VxWorks, QNX, Ios, BlackBerry và những nền tang khác. - _ Xây dựng hệ thống: mặc dù bất kỳ hệ thong nào cũng có thé được sử dụng với Qt, nhưng Qt có QMake của riêng nó. Nó là giao diện đa nền tảng người dùng dành cho các hệ thống xây dựng dựa trên một số nền tảng như GNU Make, Visual Studio và Xeode. Thêm vào đó, CMake cũng là một giải pháp thay thế phổ biến dé xây dựng dự án Qt.
- _ Các thành phan và thư viện: Các thành phần chính gồm Qt Core (quản lý tài nguyên va quản lý sự kiện), Qt GUI (đồ họa va đa phương tiện), Qt Widgets (giao điện người dùng truyền thống), Qt QML (giao diện người dùng động và linh hoạt) và Qt Network (mạng). - _ Công cụ phát triển tích hợp: Qt đi kèm với Môi trường phát triển tích hop (IDE) của riêng nó, được đặt tên là Qt Creator. Nó chạy trên Linux, OS X và Windows. Cung cấp tính năng hoàn thiện mã thông minh, tích hợp hệ thống trợ giúp, trình gỡ lỗi và trình biên dịch cũng như tất cả các hệ thống kiểm soát phiên bản chính.
- _ Quốc tế hóa và bản địa hóa: Qt có tính năng hỗ trợ hầu hết các ngôn ngữ và hệ thống chữ viết ngày nay. - Hai thành phan của Qt là GUI Design và C++ như Hình 2. Qt UI Design có 2 lựa chon là Qt Quick va Qt Widgets. Tuy nhiên, việc sử dung Qt Quick mang lai vé dep va su hién dai hon cho cac thiét bi hay hé diéu hanh.
Qt Quick Hình 2. Hình anh về kiến trúc Qt QML [10] (Meta-Object Language) là ngôn ngữ cho phép xây dựng các thành phần giao diện tĩnh dựa trên JavaScript. Nó hỗ trợ xử lý các sự kiện, rang buộc dữ liệu và tạo hiệu ứng đồ họa. Bên cạnh đó, nó cũng cung cấp khả năng kết hợp với mã C++ thông qua các liên kết C++/QML dé cho phép bạn mở rộng khả năng ứng dụng.
Lựa chọn phần cứng NVIDIA Jetson Nano Developer Kit BO1 là một máy tính AI cỡ nhỏ được tích hop có kích thước của một bảng mạch - một bộ phát triển nhúng từ NVIDIA.2 dưới đây là một số thông số kỹ thuật quan trọng: JETSON NANO SPECIFICATIONS 128 Core Maxwell = 472 GFLOPs (FP16) CPU 4 core ARM A57 @ 1.43 GHz Memory 4 GB 64 bit LPDDR4 25.6 GB/s Storage 16 GB eMMC = 4K @ 30 | 4x 1080 @ 30 | 8x 720p @ 30 Video Encode (H.265) 12 (3x4 or 4x2) MIPI Cl-2 DPHY 1.5 Camera Dbps) Display HDMI 2.4 | DSI (1 x2) 2 BS simultanceous UPHY 1 x1/2/4 PCIE 1 USB 3.0 SDIO/SPI/SyslOs/GPI 1x SDIO / 2x SPI / 5x SysIO / 13x GPIOs /6x Os/l2C 12C Hình 2. Cầu hình của Jetson Nano - _ Kết nối: Jetson Nano B01 có các cổng kết nối sau: + Một công HDMI cho dau ra video.