Chương 1. GIỚI THIỆU DE TÀI 1. Tổng quan về dé tài Trải qua một giai đoạn dịch bệnh Covid-19 diễn biến vô cùng phức tạp đã có nhiều tác động đến sự thay đổi trong cuộc sống hiện nay. Trong thời điểm đó thì các lớp học đã chuyển sang dạng trực tuyến điều này giúp cho công nghệ đã trở thành một phần không thẻ tách rời của lớp học hiện đại trong những năm gan đây, việc này đã biến đổi cả cách học của học sinh và cách dạy của giáo viên.
Khi mà chúng ta luôn mong muốn tìm kiếm nhiều cách khác nhau dé đáp ứng nhu cầu da dang của việc day và học, thì lúc này các mô hình về “⁄ớp học thông minh kết hop” đã xuất hiện như một phương pháp tiếp cận sáng tạo dé kết hợp tốt nhất giữa việc dạy trực tiếp truyền thống với tính linh hoạt của học tập từ xa. Đây là một phương pháp tiếp cận kết hợp giữa việc dạy trực tiếp truyền thống và tính linh hoạt của học tập trực tuyến, giúp các trường học tạo ra môi trường học tập bao quát hơn, dễ tiếp cận hơn, đáp ứng được nhu cầu và hoàn cảnh khác nhau của học sinh. Các nghiên cứu quốc tế Mô hình lớp học thông minh kết hợp không phải mới ở các nước phát triển nhưng ké từ thời điểm bùng phat dịch bệnh Covid-19 thì thực sự bat đầu được tập trung va day mạnh nhiều hơn. Kể từ thời điểm này thi cũng có nhiều mô hình với các đặc điểm và chức năng khác nhau được giới thiệu nổi bật nhất trong đó thì có mô hình lớp học thông minh của trường Đại học Bentley ở Mỹ.
Hình minh họa vê mô hình lớp học thông minh của Đại hoc Bentley Như hình minh họa 1.1, ta có thé thay các thành phan thiết kế trong lớp học thông minh, bao gồm màn hình lớn làm bảng thông minh, thiết bị thông minh dành cho học sinh, camera và thiết bị thu âm, cùng với các thiết bị phần cứng đi kèm và phần mềm hỗ trợ. Mô hình của Đại học Bentley đã cung cấp những chức năng cơ bản như truyền tải video bài giảng, âm thanh và lớp học trực tuyến. Tuy mô hình này đáp ứng được yêu cầu giáo dục và học tập, nhưng chưa khai thác được tiềm năng của trí tuệ nhân tạo (AI) và internet vạn vật (IoT). Với sự phát triển nhanh chóng của công nghệ, việc áp dụng AI và IoT trong xây dựng một giải pháp toàn diện cho lớp học thông minh được coi là quan trọng dé đạt được sự đột phá, sáng tạo và mang lại giá trị cao cho học sinh, phụ huynh, giáo viên và nhà quản lý.
Ngoài ra còn nhiều sản phẩm đơn lẻ được nghiên cứu đến từ nhiều nhà sản xuất khác nhau ví dụ như sản phẩm bảng thông minh của Samsung hoặc các sản phâm tương tự khác đến từ Trung Quốc. Điểm chung của các sản phẩm này là chủ yếu đáp ứng nhu cầu về trình chiếu ngoài ra không thêm nhiều các chức năng đặc biệt khác như trình chiếu bài giảng. Các nghiên cứu trong nước Hiện nay, Việt Nam đã tiến hành nghiên cứu về mô hình lớp học kết hợp trong đề tài [1] "Smart Desk in Hybrid Classroom: Detecting student's lack of concentration when studying", do các tác giả Manh Hung LE và cộng sự thực hiện va được công bố tại hội nghị ACOMPA 2022. Trong nghiên cứu này, các tác giả đã đề xuất một mô hình lớp học kết hợp, bao gồm bục giảng thông minh, bàn học thông minh và các hệ thống phần mềm đi kèm.
Các phần mềm này không chỉ cho phép học sinh tham gia học trực tuyến và học trực tiếp, mà còn cung cấp các chức năng quản lý lớp học cho nhà quản lý và giám sát học sinh (như được mô tả trong hình 1.2 ở phía bên dưới). Ngoài các chức năng cơ bản của lớp học, mô hình của tác giả còn đề cập đến việc ứng dung trí tuệ nhân tao (AI) để nhận diện sự tập trung học của học sinh và ứng dụng Internet of Things (IoT) trong quản lý lớp học. Điều này mở ra nhiều hướng phát triển mới, chẳng hạn như việc chuyển đôi số hóa các trường học. Mô hình này cung câp một giải pháp toàn diện với nhiêu lợi ích cho nhiêu đôi tượng khác nhau, bao gồm học sinh, phụ huynh, giáo viên và quản lý trường học.
Nghiên cứu này đánh dấu sự tiến bộ trong việc ứng dụng công nghệ trong giáo dục, tạo ra một môi trường học tập tiên tiễn và giàu tương tác. Việc áp dụng trí tuệ nhân tạo và Internet of Things trong lớp học không chỉ giúp cải thiện quá trình học tập, mà còn mở ra nhiêu cơ hội phát triên hơn cho giáo dục sô. INTERNET ~ Web / API ~ Database ~ Data ~ Streaming - LMS Public Cloud Server Hình 1. Mô hình lớp hoc thông minh mà nhóm tác giả DH CNTT dé xuất Dựa trên kinh nghiệm học trực tuyến trong thời gian dịch Covid-19 và khám phá từ mô hình nghiên cứu trên, nhóm nghiên cứu đã quyết định tiến hành nghiên cứu sâu hơn.
Tuy nhiên, do mô hình đó là một dự án rất lớn, yêu cầu nhiều nguồn lực về thời gian, nhân lực vả cơ sở hạ tầng. So sánh với thực tế của khóa luận tốt nghiệp với các giới hạn về thời gian và nguồn lực khác, nhóm nghiên cứu đã quyết định tập trung nghiên cứu và thiết kế triển khai một thành phần cụ thê trong mô hình đó, đó là bục giảng thông minh. Mục tiêu của đề tài Thiết kế và hiện thực được thiết bị bục giảng thông minh có thé kết nối camera và tự động nhận diện giáo viên, cung cấp cho giáo viên các chức năng như điểm danh tự động, giao bài tập, mở lớp học online dé học sinh vào học. Mục tiêu chi tiết: “+ Hiện thực các chức năng như mô tả trên nền tảng Qt C++ có giao diện thân thiện với người dùng.
% Nghiên cứu triển khai giải thuật học sâu về nhận diện khuôn mặt cho chức năng tự động điểm danh vào ứng dụng chính và chạy trên nền tảng phần cứng. “+ Nghiên cứu tích hợp ứng dụng lớp học online dựa trên nền tang web. s* Nghiên cứu triển khai mô hình giao tiếp thời gian thực giữa thiết bị bục giảng và các thiết bị bàn học thông minhở trong lớp học dựa trên công nghệ socketio. s* Đánh giá các kêt quả thực nghiệm và so sánh với kêt quả dự kiên.
Phạm vi nghiên cứu của đề tài s* Có thể chạy được ứng dụng Qt C++ ở trên thiết bị nhúng cụ thể là Jetson Nano. s* Giải thuật nhận diện khuôn mặt có độ chính trên tập dữ liệu kiểm tra đạt độ chính xác trên 90%, tốc độ xử lý trên phần cứng Jetson Nano đạt tốc độ nhỏ hơn 150ms trên 1 khung hình. s* Tích hợp được nền tảng web mở lớp học online chạy cùng ứng dụng Qt. » Hiện thực chương trình truyền nhận dữ liệu giữa thiết bị bục giảng và thiết bị bàn học.
Kết quả mong đợi của đề tài s* Ứng dung Qt C++ có thé chạy ôn định không bi đứt quãng khi đang sử dụng ở trên thiết bị nhúng Jetson Nano. * > » Giải thuật nhận diện khuôn mặt có độ chính trên tập dữ liệu kiểm tra đạt độ chính xác trên 93.5%, tốc độ xử lý trên phần cứng Jetson Nano đạt tốc độ nhỏ hon 100 ms trên 1 khung hình — tương đương 10 fps. * Nền tảng lớp học online có thé hoạt động với microphone và camera. * Tốc độ giao tiếp thời gian thực giữa thiết bị bục giảng và các thiết bị bản học thông minh ở trong lớp học có thể hoạt động ồn định và có độ trễ nhỏ hon 1 giây.
TÌM HIẾU LÝ THUYET VA LỰA CHỌN CÔNG NGHỆ 2. Công nghệ lập trình phần mềm nhúng Qt Framework là một bộ công cụ phát triển ứng dụng đa nền tảng mạnh mẽ và phô biến. Nó được phát triển bởi công ty Digia (hiện tại là The Qt Company) và cung cấp một loạt các thư viện, công cụ và ngôn ngữ lập trình để xây dựng các ứng dụng đa nên tảng cho máy tính, điện thoại di động, thiết bị nhúng và nhiều nền tảng khác. QML (Meta-Object Language) là một ngôn ngữ lập trình đồ họa dựa trên JavaScript, được sử dụng trong việc phát triển giao diện người dùng đa nền tảng và tương tác người dùng trong các ứng dụng Qt.
QML là một phần của Qt Quick Framework, cho phép bạn tạo ra giao diện đẹp, linh hoạt và mượt mà với việc sử dụng các thành phần và hiệu ứng đô họa. Qt QML hỗ trợ việc xử lý sự kiện, ràng buộc dữ liệu, và tạo hiệu ứng đồ họa thông qua việc sử dụng các khối mã J avaScript. Bạn có thê định nghĩa các hàm và biểu thức JavaScript dé xử lý sự kiện người dùng và thay đổi dữ liệu trong ứng dụng của bạn. Ngoài ra, Qt QML cũng cung cấp khả năng kết hợp với mã C++ thông qua các liên kết C++/QML, cho phép bạn mở rộng khả năng của ứng dụng bằng cách sử dụng các lớp và phương thức C++.
Lựa chọn phần cứng Jetson Nano Developer Kit B01 là một bộ phát triển nhúng từ NVIDIA, được thiết kế dé cung cấp khả năng xử lý AI mạnh mẽ trong một thiết bị nhỏ gọn. Dưới đây là những thông số kỹ thuật chính của Jetson Nano Developer Kit B0I: s* Bộ xử lý: Jetson Nano B01 được trang bị bộ xử lý NVIDIA Tegra XI, với kiến trúc ARM Cortex-A57 64-bit tốc độ 1. Đây là một bộ xử lý mạnh mẽ được tối ưu hóa cho ứng dụng AI và xử lý đa luồng. %* GPU: Jetson Nano B01 có GPU NVIDIA Maxwell với 128 nhân CUDA.
Điều này cung cấp khả năng xử lý đồ họa mạnh mẽ và hiệu suất tính toán song song cho các ứng dụng AI. s* Bộ nhớ: Jetson Nano BO1 đi kèm với 4GB LPDDR4 RAM, cho phép xử lý các tác vụ đa nhiệm và ứng dụng yêu câu nhiêu bộ nhớ một cách hiệu quả. s* Đồ họa: Jetson Nano BO1 hỗ trợ đầu ra video 4K ở 30Hz và hỗ trợ kha năng xử lý video và đồ họa chất lượng cao. “+ Két nôi: Jetson Nano BOI có các công kệt nôi sau: © Một công HDMI cho đầu ra video.
© Một công Gigabit Ethernet cho kết nối mạng có dây. le) Bốn công USB 3.0 cho kết nối với các thiết bị ngoại vi. © Một khe cắm thẻ nhớ microSD dé lưu trữ hệ điều hành và dữ liệu. © Công cấp nguồn 5V/4A dé cung cấp điện cho Jetson Nano.
s* GPIO: Jetson Nano B01 có bộ chân GPIO 40 chân, cho phép kết nối và tương tác với các linh kiện và thiệt bi ngoại vi khác nhau.