Đặt vấn đề Giáo viên thƣờng phải đối mặt với vấn đề học sinh la hét khi đọc to hoặc làm gián đoạn bài học nhóm nhỏ và hội nghị đọc sách để xin đi vệ sinh, uống nƣớc, cần sự hỗ trợ hoặc đặt câu hỏi. Những sự gián đoạn này thƣờng khiến các học sinh khác mất tập trung và không tập trung vào bài giảng. Đôi khi, học sinh đặt những câu hỏi phá vỡ toàn bộ cấu trúc mà giáo viên đang làm việc (Ai đã từng đặt câu hỏi và đƣợc yêu cầu nghỉ đi vệ sinh? Câu trả lời là tất cả mọi ngƣời!), học sinh đặt câu hỏi không đúng lúc. Dù thế nào đi nữa, việc thể hiện cử chỉ tay của ngƣời quản lý lớp học sẽ giành lại quyền kiểm soát lớp học của mình.
Có rất nhiều tín hiệu tay của ngƣời quản lý lớp học, từ tín hiệu giơ tay đơn giản hoặc giơ ngón tay cái lên,… Tại đồ án này em sẽ lựa chọn một số cử chỉ tay cơ bản nhƣ nhƣ đồng ý (agree), không đồng ý(disagree), xong bài tập (done), muốn uống nƣớc (drink), có câu hỏi (question), đi wc (restroom), cần hỗ trợ (help). Về cơ bản, thay vì một học sinh giơ tay, chờ đƣợc chú ý và gọi tên, sau đó bằng lời nói yêu cầu đi vệ sinh, cần sự hỗ trợ hoặc uống nƣớc, thay vào đó, học sinh đó giơ một số ngón tay cụ thể (cử chỉ tay cụ thể). Điều này cho giáo viên thấy những gì học sinh đó cần và giáo viên có thể chỉ cần gật đầu thừa nhận học sinh đó. Việc này có hiệu quả trong suốt quá trình học và đặc biệt hữu ích khi đang quản lý với 1 nhóm nhỏ hay là một lớp lớn có rất nhiều học sinh.
Trong giáo dục, việc giao tiếp không chỉ bằng lời nói mà còn thông qua các cử chỉ tay là một phần quan trọng của quá trình học và truyền đạt kiến thức. Việc sử dụng các cử chỉ tay thƣờng đƣợc coi là một cách hiệu quả để giao tiếp và truyền đạt ý kiến một cách rõ ràng và nhanh chóng. Với nhận thức về tầm quan trọng của việc này, do đó việc xây dựng một ứng dụng ứng dụng trí tuệ nhân tạo nhận dạng cử chỉ bàn tay ra đời với mục đích cung cấp cho học sinh một công cụ hữu ích để học, ghi nhớ và áp dụng các cử chỉ cơ bản một cách hiệu quả và thú vị nhất. Tăng cƣờng khả năng nhận biết: Học sinh sẽ đƣợc tiếp xúc và thực hành nhận biết các cử chỉ tay thông qua việc sử dụng ứng dụng trang web này.
Việc lặp lại quá trình này 3 giúp củng cố và tăng cƣờng khả năng nhận biết của họ đối với các cử chỉ tay cụ thể. Phát triển kỹ năng ghi nhớ: Bằng cách thực hành nhận biết và ghi nhớ các cử chỉ tay trên trang web của bạn, học sinh có thể phát triển kỹ năng ghi nhớ hiệu quả. Việc lặp lại quá trình này giúp họ tăng cƣờng khả năng nhớ lâu dài các cử chỉ tay đã học. Tăng cƣờng tính tƣơng tác: Trang web của bạn cung cấp một nền tảng tƣơng tác giữa học sinh và nội dung học tập.
Việc tham gia vào việc tƣơng tác với các cử chỉ tay trên trang web giúp học sinh tăng cƣờng sự tƣơng tác và tham gia tích cực trong quá trình học. Hỗ trợ cho việc áp dụng trong lớp học: Khi học sinh đã học và ghi nhớ các cử chỉ tay trên ứng dụng trang web, học sinh có thể áp dụng những kỹ năng này vào lớp học thực tế. Điều này giúp học sinh tăng cƣờng sự tự tin và tính hiệu quả trong việc sử dụng giao tiếp không ngôn ngữ trong lớp học.2 Mục tiêu nghiên cứu Mục tiêu nghiên cứu của đề tài “Xây dựng ứng dụng trí tuệ nhân tạo nhận dạng cử chỉ bàn tay ngƣời” đƣợc xác định nhƣ sau: Xây dựng tập dữ liệu phục vụ cho quá trình giải quyết bài toán. Nghiên cứu và huấn luyện mô hình YOLOv8 để nhận diện vùng bàn tay ngƣời tốt nhất.
Nghiên cứu và huấn luyện mô hình VGG-16 để nhận diện cử chỉ tay. Ứng dụng nền tảng Flask để xây dựng ứng dụng Web nhận diện cử chỉ tay ngƣời kết hợp hai mô hình đã huấn luyện. Mục tiêu của nghiên cứu là tạo ra một nền tảng trực tuyến giúp học sinh học và ghi nhớ các cử chỉ tay, sau đó áp dụng chúng vào lớp học là rất cần thiết và mang lại nhiều lợi ích quan trọng. Đồ án này không chỉ giúp tăng cƣờng kỹ năng giao tiếp của học sinh mà còn tạo ra một môi trƣờng học tích cực và hỗ trợ cho việc áp dụng thực tế trong lớp học.
Phát triển kỹ năng giao tiếp không ngôn ngữ: Học sinh có cơ hội học và thực hành các cử chỉ tay thông qua ứng dụng này. Việc này giúp họ phát triển kỹ năng giao tiếp không ngôn ngữ, một kỹ năng quan trọng trong việc tƣơng tác và giao tiếp hiệu quả không chỉ trong lớp học mà còn trong cuộc sống hàng ngày. 4 Tăng cƣờng tính tƣơng tác và tham gia: Bằng cách tham gia vào việc học và thực hành các cử chỉ tay trên ứng dụng, học sinh có thể tăng cƣờng tính tƣơng tác và tham gia vào quá trình học một cách tích cực. Điều này giúp tạo ra một môi trƣờng học tích cực và hỗ trợ sự tiếp nhận thông tin và kiến thức.
Tạo ra một phƣơng tiện học tập linh hoạt: Ứng dụng này cung cấp một phƣơng tiện học tập linh hoạt cho học sinh, giúp họ có thể học và thực hành bất kỳ lúc nào và ở bất kỳ đâu. Điều này tạo điều kiện cho việc học tập linh hoạt và thuận tiện, từ đó tăng cƣờng tính chủ động và sự tự quản lý trong việc học. Áp dụng kiến thức vào thực tế: Mục tiêu cuối cùng của đồ án là tạo điều kiện cho học sinh áp dụng những kỹ năng họ học đƣợc thông qua ứng dụng vào thực tế trong lớp học. Việc này giúp họ trở thành những ngƣời học có khả năng áp dụng kiến thức và kỹ năng một cách linh hoạt và hiệu quả.3 Phƣơng pháp nghiên cứu Ứng dụng mô hình học máy YOLOv8 và VGG-16 để hỗ trợ giải quyết vấn đề nhận diện và phân loại cử chỉ tay.
Từ đó triển khai và phát triển nền tảng Flask để xây dựng ứng dụng Web nhận diện cử chỉ tay ngƣời kết hợp hai mô hình đã huấn luyện. Tối ƣu hóa các tham số trong mô hình học máy để cải thiện độ chính xác và hiệu suất của hệ thống. Áp dụng các kỹ thuật xử lý ảnh nhằm xác định vùng vật thể, đặc biệt là vùng tay, để làm nền tảng cho việc nhận diện và phân loại cử chỉ tay.2 Khái niệm về cử chỉ tay Cử chỉ tay là hành động hoặc sự chuyển động của tay, cổ tay và ngón tay để diễn đạt ý nghĩa, truyền đạt thông điệp hoặc tƣơng tác với ngƣời khác. Cử chỉ tay có thể đƣợc sử dụng trong giao tiếp để bổ sung hoặc thay thế cho từ ngữ, hoặc để truyền đạt cảm xúc, ý kiến, ý định, hoặc chỉ dẫn.
Có nhiều loại cử chỉ tay khác nhau, bao gồm cử chỉ nhƣ vuốt tóc, đƣa tay ra để chỉ đƣờng, hoặc cử chỉ nhƣ việc gật đầu, bắt tay để biểu thị sự đồng tình hoặc sự chấp nhận. Cử chỉ tay thƣờng đƣợc xem là một phần không thể thiếu trong giao 5 tiếp non-verbal, giúp tăng cƣờng hiểu biết và giao tiếp hiệu quả giữa con ngƣời.1 Ngôn ngữ kí hiệu tay Hình 1.2 Ký hiệu các số bằng cử chỉ tay 6 Hình 1.3 Ký hiệu cử chỉ tay khi nhảy dù Mặc dù thực tế có rất nhiều cử chỉ tay, tuy nhiên, em đã tập trung vào một số cử chỉ cơ bản phổ biến nhất và thƣờng đƣợc sử dụng trong lớp học. Bao gồm đồng ý(agree), không đồng ý(disagree), làm xong bài (done), muốn uống nƣớc(drink), đi wc (restroom), cần hỗ trợ (help), có câu hỏi (question). Bằng cách tham gia vào việc học và thực hành các cử chỉ tay trên ứng dụng, học sinh có thể tăng cƣờng tính tƣơng tác và tham gia vào quá trình học một cách tích cực.
Điều này nhằm mục đích một môi trƣờng học tích cực và 7 giúp học sinh tập trung vào việc học và áp dụng các cử chỉ cơ bản một cách hiệu quả và thú vị nhất.4 Các cử chỉ tay trong đồ án 1.3 Phân tích bài toán nhận diện vùng tay Xác định vị trí và phạm vi của tay: Trƣớc hết, việc nhận diện vùng tay giúp xác định đúng vị trí và phạm vi của bàn tay trong hình ảnh đầu vào. Điều này đặc biệt quan trọng trong một môi trƣờng nhƣ lớp học, nơi có nhiều yếu tố nhiễu nhƣ sự chuyển động của học sinh, ánh sáng thay đổi và phông nền đa dạng. Việc xác định chính xác vùng tay giúp hệ thống tập trung vào phần quan trọng của hình ảnh và loại bỏ nhiễu, từ đó tăng khả năng chính xác của bƣớc nhận diện cử chỉ sau này. Tập trung vào vùng quan trọng: Bằng cách xác định vùng tay trƣớc khi phân loại cử chỉ, chúng ta có thể giảm độ phức tạp của bài toán nhận diện và tối ƣu hóa quá trình phân loại.
Thay vì phải quét toàn bộ hình ảnh hoặc video để tìm kiếm bàn tay, việc đã biết đƣợc vị trí của tay giúp chúng ta tập trung vào vùng quan trọng này, tăng tốc độ xử lý và giảm bớt tài nguyên tính toán cần thiết. Cải thiện hiệu suất và chính xác: Nhận diện vùng tay trƣớc khi phân loại cử chỉ giúp cải thiện hiệu suất và chính xác của hệ thống. Bằng cách tập trung vào vùng tay, chúng ta có thể tối ƣu hóa các thuật toán phân loại và giảm độ phức tạp của bài toán, từ đó nâng cao độ tin cậy của hệ thống trong việc nhận diện các cử chỉ bàn tay thƣờng gặp trong môi trƣờng lớp học. Trong tổng thể, phân tích bài toán nhận diện vùng tay là một phần quan trọng của quy trình xây dựng hệ thống nhận diện cử chỉ bàn tay, giúp tối ƣu hóa quá trình nhận diện và cải thiện hiệu suất của hệ thống trong ứng dụng thực tế.
8 Nghiên cứu sẽ xem xét các phƣơng pháp và công nghệ nhận diện hình ảnh, chẳng hạn nhƣ mạng nơ-ron YOLO (You Only Look Once) hoặc các phƣơng pháp khác của Trí Tuệ Nhân Tạo để thực hiện.