ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KỸ THUẬT MÁY TÍNH NGUYEN THÀNH TRUNG - 20520946 KHÓA LUẬN TÓT NGHIỆP HE THONG NHẬN DIEN CỬ CHI TAY DE DIEU KHIEN SLIDE TRINH CHIEU Hand gesture recognition system for controlling presentation slides CU NHAN KY THUAT MAY TINH GIANG VIEN HUONG DAN THS. TRAN HOANG LOC TP. HO CHI MINH, 2024 LOI CAM ON Em xin gửi lời cảm on chân thành và sâu sắc nhất đến Khoa Kỹ thuật Máy tính, Trường Đại học Công Nghệ Thông tin, đã hỗ trợ và đồng hành cùng em trong suốt chặng đường học tập và nghiên cứu tại trường.
Nhờ sự hướng dẫn tận tình và những kiến thức quý báu mà các thầy cô đã truyền đạt, em đã có cơ hội tiếp cận và phát triển bản thân trong lĩnh vực công nghệ thông tin, từ đó hoàn thành tốt khóa luận tốt nghiệp này. Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc đến Thạc sĩ Trần Hoàng Lộc, người đã trực tiếp hướng dẫn và hỗ trợ em trong suốt quá trình thực hiện khóa luận. Thầy đã dành nhiều thời gian, tâm huyết và kiên nhẫn để hướng dẫn em từ những bước đầu tiên, giúp em vượt qua những khó khăn, thử thách, và hoàn thiện nghiên cứu của mình. Sự tận tình và chu đáo của thầy đã giúp em không chỉ hoàn thành khóa luận một cách tốt nhất mà còn học hỏi được nhiều kinh nghiệm quý báu trong nghiên cứu khoa học.
Một lần nữa, em xin chân thành cảm ơn Khoa Kỹ thuật Máy tính và Thạc sĩ Trần Hoàng Lộc vì sự hỗ trợ và chỉ dẫn tận tình trong suốt thời gian qua. Em hy vọng rằng những kiến thức và kinh nghiệm mà em đã học được sẽ là nền tảng vững chắc dé em phát triển trong tương lai, và em mong rang mình sẽ có cơ hội đóng góp lại cho sự phát trién của khoa và nhà trường. TÓM TAT KHÓA LUẬN .--2-22-©2++2EE2EE22EE222122712221221211211211 21111. MO DAU woceeeececcsscssssssessessessessessessessessessesscsuesussucasesscssesscsussucsucsesssesseaveaseaes 3 1.
Lý do chọn đề tai c. TONG QUAN DE TAL .-- 2-5252 S22SE+EE2EE2EE2EE2E12E12E121121271221e 2e xeC 5 2. Góc nhìn chung — một số nghiên cứu đã có:. Mục tiêu cụ thỂ.
Giới bạn đề tài <A <a A eee 10 Chương 3. 2-52 S2E2+ES£2E££EE£EEEEEE2EEEEEEZEEEEEerEerrkervee 11 3. M6 hình HandLandmark trong MediaPipe:. Một số mô hình nồi bật của MediaPine.
Tổng quan về mô hình HandLandmark trong MediaPipe. Các thành phan chính. --:- 2c + E+EE+EE+EE+EE+EEEEESEEEEErErrrrreree 15 3. Dit liệu các điểm.
Cách thức hoạt động. --- Ăn SH HH ng nh Hy 17 3. Ưu điểm, hạn Chế.----- 2: ©5£+SE+EE£+EE£EE£EEEEEEEEEEEEEEEEErkrrreerkrree 18 3. _ Thư viện pyautogui tao lập con chuột — bàn phím ảo:.
Tổng quan về thư viện pyautOgui. Thuật Toán Con Chuột ẢO. Thuật Toán Bàn Phím ẢO.- - - +6 St+E‡EEEE+EEEEEEeEeEerkererkrkereree 19 Chương 4. PHƯƠNG PHAP THUC HIỆN.
Tổng quan về phương pháp thực hiện. _ Giải quyết van dé xử lý điểm trên mô hình Handlandmark. Tổng quát quy trình trong việc phát triển giải pháp cho đề tài. _ Trạng thái hoạt động của để tầi,.
cv HE H1 1121111111111 11t rree 25 4. Các trạng thái hoạt động lựu chọn trong việc thực thi. Sơ đồ chuyển trạng thái. Xây dựng giải thuật nhận diện cử Chi (ay.
Xây dựng giải thuật nhận diện từng ngón tay thay đổi. Xây dựng giải thuật nhận diện hình dạng cơ ban của bàn tay. Xây dựng giải thuật nhận diện các mỗi tương quan của bàn tay. Xây dựng giải thuật nhận diện chuyên động của từng chức năng của Cor” £đ/ `".
_ Thực nghiệm và kiểm tra hệ thông nhận diện cử chỉ. Thực hiện test kiểm tra khả năng nhận diện. Thống kế mức độ chính xác - và sé liệu cần lấy cuối cùng. Lập trình xây dựng mô hình con chuột ảo điều khiến.
Ăn TT TT T HT nưệp 55 4. Công cụ và Thư viện Sử dung. Ứng dụng Điều Khién Chuyên Tiếp Slide. Kết UA HISN thc: 17.
Do lường tỉ lệ chính xác thông qua test thử hệ thống:. Đánh giá kết quả: .1 xe,59 Chương 5.-- 2: 2¿©22+SE+EE2+EESEEE2EE2E1E7112117171121111. txeE 60 Chương 6. HƯỚNG PHAT TRIÉN.
2-2 2 2£ +E£+EE+EE££EE2EE£EEEZEESEEerEerrkrrvee 62 6. Phat triển về các thuật toán phức tap cho việc nhận diện. Xây dựng thuật toán phát triển trên bàn tay trái — cả hai tay. _ Xây dựng việc thiết bi phần cứng thu thập các dữ liệu thay vì camera .64 TÀI LIEU THAM KHẢO.
2-5-5: ‡ESESEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEEErkrkrkrrrrrrsre 65 DANH MỤC HÌNH Hình 2.1: Cảm biến đo điện cơ.2: Bộ cam biến xác định cử động trên từng ngón tay .1: Cấu trúc 21 điểm HandLandmark.-- 2-2 52 +22+£2++£xzx+2zsz2 14 Hình 4.1: Các bước phân tích và xây dựng giải thuật nhận diện cử chỉ tay .2: Thứ tự thực hiện các bước phương pháp .3: Cử chỉ xác định trạng thái S. - -- - cà St SH re, 26 Hình 4.4: Cử chỉ xác định trạng thái Š Ì.-- -- 25 St Sky 27 Hình 4.5: Cử chỉ xác định trạng thái Š2.6: Cử chỉ xác định trạng thái S2.- --- --c Sc St s+Sssrseirrrerrrree 30 Hình 4.7: Sơ đồ chuyền trạng thái. -- - 2-2 sSE9SE£EE£EEEEEEEEEEEEEEEEEerkrrerrrrrree 32 Hình 4.8: Lưu đồ giải thuật xác định ngón tay cái mở .9: Lưu đồ giải thuật xác định các ngón tay khác mở.10 : Lưu đỗ giải thuật xác định số ngón tay mở.11 : Khoảng cách của hai điểm nằm trên cùng cạnh và nam trên khác cạnh. 40 : Hai đường thang song song từ các điểm trên tay.-------:- 42 : Lưu đồ giải thuật bộ chức năngL .----- 2-52 2+cs+£s+£zzszceee 45 Hình 4.14 : Lưu đỗ giải thuật chức năng 2 .--- 2 2 £+ ++E++Ee£Eerkerkerkerkeee 47 Hình 4.15 : Hai đường thắng sẽ xét độ phóng to thu nhỏ .16 : Lưu đồ giải thuật bộ chức năng 3.----2¿©22c+ccEe+rerxerrerred 51 Hình 4.17 : Sơ đồ chức năng hiện thực bộ chức năng l.18 : Sơ đồ chức năng hiện thực bộ chức năng 2 .19 : Sơ đồ chức năng hiện thực chức năng phó to .20 : Sơ đồ chức năng hiện thực chức năng thu nhỏ.-- 5-5-5: 58 DANH MỤC BANG Bảng 2.1: Bang mô tả chỉ tiết các chức năng theo cử Chi tay.2: Các mức chuyên động tại chức năng 3.1: Chỉnh sửa thông sỐ 1 .2: Chỉnh sửa thông $6 2 v.3: Chinh stra thong SỐ 3 vecscsssessesssecsessusssecsessusssecsecsusssessusssecsecsusssessesseeesecses 54 Bang 4.4: Chinh sửa thông SỐ 4 .5: Bảng khảo sát việc chuyên trạng thái thực hiện chức năng.
59 DANH MỤC TỪ VIẾT TẮT TOM TAT KHÓA LUẬN Trong thời đại công nghệ số phát triển mạnh mẽ, việc áp dụng công nghệ vào giảng dạy và thuyết trình không chỉ mang lại hiệu quả cao mà còn nâng cao trải nghiệm người dùng. Đề tài đã tập trung nghiên cứu và phát triển một hệ thống nhận diện cử chỉ tay đề điều khiến slide trình chiếu. Đây là một bước tiễn quan trọng nhằm đem lại sự tiện lợi và hiện đại trong việc thuyết trình. Khởi đầu, dé tài sử dung framework MediaPipe do Google phát triển dé áp dụng mô hình HandLandmark.
Mô hình này cho phép phát hiện bàn tay trong hình ảnh hoặc video và xác định vị trí của 21 điểm mốc chính trên mỗi ban tay, bao gồm các khớp ngón tay, gốc ban tay và các điểm khác trên mu ban tay và lòng ban tay. Việc xác định chính xác các điểm mốc này là cơ sở đề hệ thống nhận diện các cử chỉ tay một cách hiệu quả. Hệ thống nhận diện cử chỉ tay được xây dựng với mục tiêu xác định và phân tích các cử chỉ dé điều khiến slide trình chiếu. Các cử chỉ này bao gồm: di chuyên slide, phóng to/thu nhỏ màn hình, và làm nôi bật một điểm nội dung quan trọng.
Đề đạt được điều này, hệ thống đã áp dụng các giải thuật xử lý tọa độ trong không gian hai chiều Oxy, phân tích sự biến đổi của các tọa độ này theo thời gian dé nhận diện chuyền động của bàn tay. Các trạng thái và tính năng nhận diện cử chỉ của hệ thống được thiết kế chi tiết. Trạng thái reset được xác định khi bàn tay năm, giúp hệ thống trở về trạng thái ban đầu. Khi bàn tay mở cả năm ngón, hệ thống nhận diện người dùng chuẩn bị chuyên slide.
Di chuyển bàn tay qua phải sẽ tiến slide, còn qua trái sẽ lùi slide. Đối với chế độ zoom, khi người dùng mở hai ngón tay cái và trỏ, hệ thống nhận diện sự thay đôi khoảng cách giữa các điểm mốc trên hai ngón tay này dé điều chỉnh mức độ phóng to/thu nhỏ của hình ảnh. Cuối cùng, trong chế độ highlight, khi người dùng mở ba ngón tay cái, trỏ và giữa, hệ thống sẽ theo dõi tọa độ đầu ngón tay trỏ dé di chuyền điểm được làm nồi bật trên slide. Giải thuật nhận diện cử chỉ được xây dựng một cách khoa học và chính xác.
Đối với ngón tay cái, hệ thống so sánh hoành độ của các điểm mốc trên ngón tay để xác định trạng thái mở hay đóng. Đối với các ngón tay còn lại, hệ thống kiểm tra tung độ của các điểm mốc đề nhận diện. Sự biến thiên của các tọa độ này quyết định thao tác của người dùng như di chuyển slide, phóng to/thu nhỏ và di chuyển điểm highlight. Các giải thuật này phải đảm bảo độ chính xác cao, với độ sai số dưới 10% dé hệ thống hoạt động hiệu quả.
Kết quả thử nghiệm cho thấy hệ thống hoạt động rất hiệu quả, với khả năng nhận diện cử chỉ chính xác và nhanh chóng. Sau một thời gian đo đạc và kiểm thử với nhiều trường hợp khác nhau, hệ thống đã chứng minh được độ tin cậy và tính khả dụng cao. Việc sử dụng công nghệ nhận diện cử chỉ tay dé điều khiển slide trình chiếu không chỉ mang lại tiện ích lớn cho người đùng mà còn mở ra nhiều cơ hội phát triển trong lĩnh vực công nghệ nhận diện cử chỉ. Đề tài đã mang lại nhiều đóng góp quan trọng trong việc áp dụng công nghệ nhận diện cử chỉ tay vào điều khiển slide trình chiếu.
Hệ thống nay không chỉ giúp nâng cao trải nghiệm thuyết trình mà còn tạo nền tảng cho nhiều nghiên cứu và ứng dụng khác trong tương lai. Những giải thuật và phương pháp đã được phát triển trong dé tài có thé được áp dụng và mở rộng dé phuc vu cho nhiéu linh vuc khac, gop phan vào sự phát triển của công nghệ nhận diện cử chi va ứng dụng công nghệ trong đời sông. Ly do chọn đề tài Trong bối cảnh xã hội ngày càng phát triển, công nghệ càng ngày càng hiện đại, việc nhận diện cử chỉ tay ngày càng trở nên quan trọng và có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, từ giao diện người dùng không chạm đến thực tế ảo và tăng cường. Đặc biệt là trong lĩnh vực xử lý tín hiệu cử chỉ tay đó trong các lĩnh vực như lĩnh vực giáo dục có thể coi là ưu tiên hàng đầu.