Luận văn: Phát hiện cử chỉ bàn tay ứng dụng trong điều khiển thiết bị từ xa

Luận văn chi tiết về phát hiện cử chỉ bàn tay và ứng dụng điều khiển thiết bị từ xa. Tổng hợp các kỹ thuật, xây dựng hệ thống và kết quả thực tế.

Chuyên ngành

Công Nghệ Thông Tin

Người đăng

Ẩn danh

Thể loại

Luận văn
75
2
0

Phí lưu trữ

30 Point

Tóm tắt

I. Giới thiệu về Phát hiện Cử chỉ Bàn tay Điều khiển Từ xa

Phát hiện cử chỉ bàn tay là một lĩnh vực quan trọng trong tương tác người-máy hiện đại. Công nghệ này cho phép người dùng điều khiển các thiết bị máy tính thông qua những chuyển động tự nhiên của bàn tay, thay thế cho các phương thức truyền thống như bàn phím hay chuột. Ứng dụng phát hiện bàn tay đã trở thành một phần không thể thiếu trong các hệ thống tương tác tiên tiến, từ các ứng dụng thương mại cho đến nghiên cứu khoa học. Lĩnh vực này kết hợp nhiều kỹ thuật xử lý hình ảnh, thị giác máy tínhthuật toán nhận dạng để có thể nhanh chóng và chính xác xác định vị trí, hình dạng cũng như trạng thái của bàn tay trong các khung hình video.

1.1. Khái niệm Tương tác Người Máy

Tương tác người-máy là một phân ngành của công nghệ thông tin nghiên cứu cách thức giao tiếp giữa con người và máy tính. Đây là một bộ môn liên ngành giữa khoa học máy tính, tâm lý học và thiết kế giao diện. Mục tiêu chính là tạo ra những hệ thống thân thiện, dễ sử dụng và tự nhiên nhất có thể. Phát hiện cử chỉ bàn tay là một phần quan trọng của lĩnh vực này, cho phép người dùng tương tác với máy tính một cách trực quan hơn.

1.2. Ý nghĩa của Công nghệ Phát hiện Bàn tay

Công nghệ phát hiện bàn tay mang lại nhiều lợi ích trong việc cải thiện trải nghiệm người dùng. Nó cho phép điều khiển từ xa các thiết bị máy tính mà không cần tiếp xúc trực tiếp, rất hữu ích trong các môi trường vô trùng hoặc công cộng. Ứng dụng này cũng hỗ trợ những người khuyết tật trong việc tương tác với máy tính một cách độc lập hơn.

II. Bài toán Phát hiện và Theo dõi Bàn tay

Bài toán phát hiện bàn tay là một thách thức phức tạp trong thị giác máy tính. Nó yêu cầu hệ thống phải xác định chính xác vị trí bàn tay trong các khung hình video, xác định kích thước, hình dạng cũng như trạng thái bàn tay (nắm, xoẻ, hay các cử chỉ khác). Bài toán theo dõi chuyển động bàn tay là phần tiếp theo, giúp hệ thống theo dõi liên tục chuyển động của bàn tay qua các khung hình liên tiếp. Cả hai bài toán này đòi hỏi sự kết hợp giữa các kỹ thuật tiền xử lý ảnh, trích xuất đặc trưngthuật toán nhận dạng để đạt được độ chính xác cao.

2.1. Bài toán Phát hiện Bàn tay

Phát hiện bàn tay từ các khung hình video là bài toán cơ bản. Hệ thống cần xác định xem khung hình có chứa bàn tay hay không, sau đó xác định tọa độ tâm, kích thướctrạng thái của bàn tay. Đầu vào là chuỗi khung hình từ camera hoặc webcam, đầu ra là thông tin chi tiết về vị trí và hình dạng bàn tay phát hiện được trong hình ảnh.

2.2. Bài toán Theo dõi Chuyển động Bàn tay

Theo dõi chuyển động bàn tay yêu cầu hệ thống phải liên tục cập nhật vị trí của bàn tay trong các khung hình liên tiếp. Công nghệ Optical FlowParticle Filter là những phương pháp phổ biến để giải quyết bài toán này, giúp duy trì sự nhất quán trong việc theo dõi và giảm lỗi tích lũy.

III. Các Kỹ thuật Phát hiện Cử chỉ Bàn tay

Có nhiều kỹ thuật phát hiện bàn tay được phát triển để giải quyết bài toán này. Đặc trưng Haar-like là một phương pháp cổ điển sử dụng các mẫu hình học đơn giản để phát hiện đối tượng. Trích xuất đặc trưng PCA giúp giảm chiều dữ liệu và trích xuất những đặc trưng quan trọng nhất. Phân tách màu da kết hợp với phát hiện chuyển động là một phương pháp hiệu quả khác, sử dụng không gian màu YCrCb để tách biệt vùng da khỏi nền. Sử dụng găng tay nhiều màu giúp tăng tính phân biệt và độ chính xác của phát hiện bàn tay. Ngoài ra, các kỹ thuật phụ trợ như biến đổi ảnh sang không gian màu xám, loại bỏ vùng nhiễu cũng rất quan trọng.

3.1. Phương pháp Đặc trưng Haar like và PCA

Đặc trưng Haar-like sử dụng các mẫu hình chữ nhật đơn giản để phát hiện đối tượng. Phương pháp này nhanh và có thể huấn luyện để nhận dạng bàn tay. Trích xuất đặc trưng PCA là phương pháp học không giám sát giúp tìm ra các thành phần chính trong dữ liệu hình ảnh, rất hữu ích để giảm chiều và tăng tốc độ xử lý.

3.2. Phương pháp Phân tách Màu da và Phát hiện Chuyển động

Phân tách màu da trong không gian YCrCb cho phép tách biệt vùng da khỏi nền. Kết hợp với phát hiện chuyển động giúp hệ thống xác định chính xác vị trí bàn tay. Phương pháp này đặc biệt hiệu quả khi môi trường chiếu sáng ổn định và nền tương đối đơn giản.

3.3. Thuật toán Theo dõi Optical Flow và Particle Filter

Optical Flow tính toán chuyển động của từng pixel giữa các khung hình liên tiếp. Particle Filter sử dụng các hạt để biểu diễn phân bố xác suất của trạng thái, rất hiệu quả trong theo dõi chuyển động bàn tay qua các khung hình.

IV. Ứng dụng Thực tiễn và Hướng Phát triển

Phát hiện cử chỉ bàn tay điều khiển từ xa có nhiều ứng dụng thực tiễn trong cuộc sống. Nó có thể được sử dụng để điều khiển các slide thuyết trình, điều khiển các thiết bị thông minh trong nhà, hỗ trợ người khuyết tật, và nhiều ứng dụng khác. Hệ thống thường bao gồm các khối chính: khối nhập dữ liệu từ camera, khối xử lý hình ảnh cơ bản, khối nhận dạng bàn tay, khối theo dõi chuyển độngkhối cấp lệnh điều khiển. Trong tương lai, công nghệ này sẽ tiếp tục được cải thiện bằng cách sử dụng học sâu (deep learning) và mạng nơron tích chập (CNN) để đạt độ chính xác cao hơn, xử lý nhanh hơn và khả năng thích ứng tốt hơn với các điều kiện môi trường khác nhau.

4.1. Các Ứng dụng Thực tiễn

Phát hiện bàn tay được ứng dụng rộng rãi trong điều khiển thiết bị thông minh, thuyết trình trực quan, y tế (phẫu thuật không tiếp xúc), trò chơi điện tử tương tác, và các ứng dụng hỗ trợ người khuyết tật. Các kịch bản sử dụng thực tế cho thấy khả năng ứng dụng rộng rãi của công nghệ này.

4.2. Hướng Phát triển Tương lai

Tương lai của phát hiện cử chỉ bàn tay nằm trong việc tích hợp học sâumạng nơron tích chập để cải thiện độ chính xác và tốc độ xử lý. Cải thiện khả năng hoạt động trong các điều kiện ánh sáng thay đổi, nền phức tạp, và môi trường tự nhiên sẽ là những mục tiêu chính của nghiên cứu sắp tới.

Tóm tắt và mô tả trên trang này được tạo với sự hỗ trợ của AI. Nếu bạn thấy nội dung không chính xác hoặc có vấn đề, vui lòng Báo lỗi nội dung.

28/12/2025
Luận văn phát hiện cử chỉ bàn tay ứng dụng trong điều khiển thiết bị từ xa

Trích đoạn nội dung tài liệu

CHƯƠNG I : GIỚI THIỆU VAN DE VA XAC DINHHNHIỆM VỤ. Tổng quan đẻ tải. Dat van de : " 1,3. Xác định nhiệm vụ vả định on a cứu CHUONG II: PHAN TICH HE THONG .1, Mô tả hệ thống điều khiên máy tỉnh theo cử chỉ bản tay.

DD! ĐĂ(GEDIẨNEMotogtescoagboieeigtislibegsdd/4SSA7G0030886030/42388 2. Bài toán phát hiện bản tay. Bài toán theo dõi chuyển động tân ĐRỮ cho sp tgynsunn 2. Sơ đồ khối các khỏi hệ thống.4, Cac thanh phan của hệ thông 2.

Module tiên xử lý. Module phat hién ban tay. Module theo dõi chuyên động bản tay. Module điều khiển thiết bị máy tính.

CHUONG III: CAC KY THUAT PHAT HIEN CU CHI BAN TAY 3.1, Cac ky thuat phat hién ban tay f ea 3. Phát hiện bàn tay sử dụng đặc trưng Haar-like. Phát hiện bản tay sử dụng trích trọn đặc trưng PCA. Phát hiện bản tay bằng cách sử dụng gang tay nhieu mau.

Các kỹ thuật cỏ theo đối chuyên động. Theo dõi bản tay sử as Mi thuật phát hiện. ig quang hoc i eg (Optical Flow). Theo dõi bản tay sử lăng lọc hạt (Partisle Filter) " xeseeeeseroeree 21 3.

Cac kỹ thuật phụ trợ. mae wUNen TTT ee 3.1, Kỹ thuật biến đôi ảnh thông, tbvex về dae ảnh xám. Học viên: Nguyễn Mạnh Việt Lớp: I3BMTTT Ị 3. Một số kết quả và tôn tại - - - 26 3,3.

Một số để xuất kỹ thuật.1, Phat hién mau da két hop khoanh ving chuyé én déng (triv nén). Kỹ thuật loại bỏ những vùng không có khả năng chứa bản lay 30 3. Kỹ thuật tìm điểm lỗi lớm trên vùng bảm tay và ước lượng vị trí khả nghĩ có chứa bản tay - 31 3.4, Ước lượng vùng có thế chửa bản tay có thể trên ảnh màu đa 32 CHƯƠNGTV: XÂY DỰNG ỨNG DỤNG. Môi trường, thiết bị và các công cụ sử dụng - - 33 4.1, Hệ thống phần cứng.

Nên tầng phân mỆHM,. Cai dt chương trỉnh.1, Kbéi thu nbn dét liệu từ camera. Kbéixit ly hinh anh co ban. Khối nhận đạng bàn tay 4.

Khối theo đời chuyên độngbản ty - 37 4.5, Khoi câp lệnh điều khiến. Thử nghiệm chương trình. Kiếm tra hoạt động timg module.2, Kiểm tra hoại động của toàn bộ chương trình 39 4. Thử nghiệm chương trình với các kịch bản thực lễ - - 40 KẾT LUẬN VÀ HƯỚNG PHÁT TRIBN.

Hướng phát trị - TÀI LIỆU THAM KHẢO. Học viên: Nguyễn Mạnh Việt Lớp: 13BMTTT kg DANH MUC BANG, HINH VE Hinh 1: Dieu khién máy tính bằng cử chỉ bản tay. Hình 2: Hệ thông điều khiển máy tỉnh bằng cử chỉ bàn tay Hình 3: Bài toán phát hiện bàn tay. Hình 4: Bải toán theo đối chuyên động Hình 5: Sơ đỏ khôi hệ thống.

Hình 6: Module phát hiện bản tay. Hình 7: Module theo dõi chuyển động bản jay Hinh 8 : Module dieu khién thiết bi may tinh Hình 9: Các đặc trưng Haar-like cơ bản 2 Hình 10: Quá trình phát hiện đối tượng sử dụng dic trong haar-like Hình 11 : Phát hiện bản tay sử dụng găng tay nhiều mảu. Hình 12: Theo dõi bản tay sử dụng thuật toan Optical Flow Hình 13 : Theo dõi ban tay str dung loc hat (Particle Filter). Hình 14 : Mô tả tả thuật toán cắt ảnh.

" Hình 15 : Kỹ thuật trừ nên. Hình 16 :Phát hiện bản tay sử dụng.phân tach mau da Hình 17 : Màu da trong không gian YCrCb. Hình 18 : Ảnh mảu da bị nhiều bởi yeu tổ môi Nữ. i Hình 19: Mô hình phát hiện mảu da kết hợpphát hiện sự sai biệt : Hình 20: Tách mâu da kết hợp phát hiện chuyên động.

Hình 21 : Khoanh vùng màu da chứa ban tay Hình 22: Thuật toán loại bỏ vùng không có khả năng chứa bản tay Hinh 23: Phat hién viing cue tiéw/eue dai dia sate piece Hình 24: Ước đoán vị tri ban tay. Nóng i Hinh 25 : Cai dat khéi nhan dirliệu tử camera trên EmguCV xes2/9eexiau Hình 26 : Ảnh xử lý căn bản. Hình 27: Cài đặt khối xử lý hình ảnh o cơơ bản s8 Hinh 28: Cac anh mau ban tay. Hình 29 : Phát hiện bản tay M h oa Hình 30 : Theo déi chuyên động.

Bereeerseonmessreronsnceane Hình 31: Theo dõi chuyên động bản tay. Hình 32 :Thử nghiệm chương trình với trình duyệt CN Hình 33 :Kịch bản điều khiến slide thuyết trình. TH:h:34: Kịnh tấn xữ đụng mấy tínhðtriới cổ šnH tân nàgấH cuc. Học viên: Nguyễn Mạnh Việt Lớp:I3BMTTT 3 2.

Bài toán đặt ra Đề tải nghiên cứu là sự kết hợp giữa 2 bài toán: * Bai toan 1: Phat hién ban tay = Bai toan 2: Theo dõi chuyên đông bản tay 2. Bài toán phát hiện bàn tay Hình ảnh không chứa bản tay Tọa độ tâm Kích thước Trạng thái bản tay Hình ảnh chứa bàn tay Hình 3: Bài toản phát hiện bàn tay s# Đầu vào: Chuỗi các khung hình (rame) được thu nhận từ các thiết bị ghi hình như Camera, Webcam hoặc Video s# Đầu ra: Xác định khung hình thu được từ các thiết bị ghi hình có xuất hiện bản tay hay không? —> Nếu có *_ Kích thước của bản tay là bao nhiêu? *_ Vi trí của hình chữ nhật chứa bản tay * _ Trạng thái của bàn tay đó (nắm/xoẻ/.) Học viên: Nguyên Mạnh Việt Lớp: 13BMTTT o¡ LOI NOI DAU / Tương tác người-máy hay giao tiếp người-máy lả một phân ngảnh của công nghệ thông tin nghiên cứu về tương tác giữa người sử dụng và máy tính. Đây lả một bộ môn liên ngành giữa khoa học máy tính và các lĩnh vực khác. Lĩnh vực tương tác máy tính đã phát triển tử rất lâu và có những công trình nghiên cứu rất công phu, kết quả thẻ hiện như giao điện người dùng của hệ điều hanh Mac OSX, giao dién diéu hanh Windows 10 là những minh chứng rất rõ ràng.

Tuy nhiên, sự tương tác đó dựa trên các thiết bị nhập xuất chuân lả chuột và bàn phím. Điều khiển máy tính theo cử chỉ là một lĩnh vực tương đổi mới, nghiên cứu tương tác người-máy theo một cách mới và thú vị hơn — điều khiển theo cử chỉ cơ thẻ. Microsoft đã rất thành công với thiết bị Kineet được giới thiệu từ năm 2009, cho phép người dùng chơi game thông qua việc đứng trước thiết bị Kinect và điều khiển bằng cách cử động cơ thể như đầu, tay, chân. Điều nảy tạo nên sự thảnh công nổi bật của Microsoft: hon 10 triệu thiết bị Kinect được bản ra chỉ sau gần 3 tháng.

Thiết bị Kineet đã được giới thiệu vào năm 2012. Samsung vả một số hãng sản xuất TV cũng đã nghiên cửu và cho ra đời hàng loạt thiết bị smartTV sử dụng điều khiển theo cử chỉ. Măc dủ chưa thật sự thành công nhưng, cũng đã mở ra những hưởng nghiên cửu mới làm thay đổi tư duy và thỏi quen người dùng. Tuy nhiên, tương tác người-mảy theo cử chỉ ứng dụng trên các thiết bị như robot, smartTV, các máy tỉnh cả nhân vẫn là những lĩnh vực chưa thực sự hoàn thiên và cần nhiều nghiên cửu khác nữa đề làm phong phú hơn lĩnh vực này.

Xuất phát từ điều này, tôi quyết định lựa chọn đề tài “Phát hiện cứ chỉ bàn tay ứng dung trong điều khiên thiết bị từ xa” nhằm tham gia vào lĩnh vực này. Mong muôn của tôi là được nghiên cứu những kỹ thuật tiên tiền, và phát triển mở rộng cũng như sảng tạo ra các kỹ thuật khác nhằm dong góp một phần lâm cho lĩnh vực nảy trở nên phong. phú vả phát triển hiệu quả với những ứng dụng thực tiền hơn nữa Đề tải luận văn nảy là một phan trong du an RemoteHand của công ty cô phân công, nghệ FUT Hanoi. Kết quả nghiên cứu của luận văn là một trong những đóng góp quan trọng cho dự án.

Tôi xin chân thành cảm ơn cô Nguyên Thị Hoàng Lan,. đã nhiệt tình hướng dan va hỗ trợ tôi thực hiện đề tai nay. Học viên: Nguyễn Mạnh Việt Lớp:I3BMTTT 5 2. Bài toán đặt ra Đề tải nghiên cứu là sự kết hợp giữa 2 bài toán: * Bai toan 1: Phat hién ban tay = Bai toan 2: Theo dõi chuyên đông bản tay 2.

Bài toán phát hiện bàn tay Hình ảnh không chứa bản tay Tọa độ tâm Kích thước Trạng thái bản tay Hình ảnh chứa bàn tay Hình 3: Bài toản phát hiện bàn tay s# Đầu vào: Chuỗi các khung hình (rame) được thu nhận từ các thiết bị ghi hình như Camera, Webcam hoặc Video s# Đầu ra: Xác định khung hình thu được từ các thiết bị ghi hình có xuất hiện bản tay hay không? —> Nếu có *_ Kích thước của bản tay là bao nhiêu? *_ Vi trí của hình chữ nhật chứa bản tay * _ Trạng thái của bàn tay đó (nắm/xoẻ/.) Học viên: Nguyên Mạnh Việt Lớp: 13BMTTT o¡ CHUONG I : GIGI THIEU VAN DE VA XAC DINH NHIEM VU 1. Tổng quan đề tài Tương tác giữa người dùng và máy tính cảng ngày cảng trở nên đơn giản và phức tạp. Đơn giản với người dùng và phức tạp đối với mảy tỉnh. Hiện tại con người vả máy tính không chỉ tương tác với nhau qua giao tiếp chuột bản phim với màn hình.

Trên thể giới các công ty, tổ chức công nghệ đã nghiên cứu và đưa vào thực tế sử dụng các phương pháp giao tiếp giữa người với máy khác như phim bam cảm img, giao tiếp thoại, cử chỉ, Điều khiển máy tính theo cử chỉ là một lĩnh vực tương đổi mới, nghiên cửu tương. tác người-máy theo một cách mới vả thú vị hơn — Theo cử chỉ cơ thê. Các công ty lớn trên thế giới đã rất thành công với các thiết bị như Kinect của Microsoft, Xtion của Asus, The Leap của Leap Motion,. Tuy nhiên, tương tác người-máy theo cử chỉ ứng dụng trên các thiết bị như Tivi thông mình, robot thông mình, các may tinh ca nhân vẫn là những lĩnh vực chưa thực sự hoàn thiện và cần nhiều nghiên cứu khác nữa đề làm phong phú hơn lĩnh vue nay [1] [2] Xuất phát từ đó, tôi quyết định lựa chọn đề tải “Phát hiện cử chỉ bàn tay ứng dụng trong điều khiên thiết bị từ xa”.

Mong muôn của tôi là được nghiên cửu những kỹ thuật tiên tiền trong lĩnh vực cảm quan may tinh — img dụng trong tương tác người-máy vả phát triển một số kỹ thuật khác nhằm đóng góp một phần làm cho lĩnh vực nảy trở nên phong phú và phát triển hiệu quả với những ứng dụng thực tiên hơn nữa. Dat van dé - - Việc điêu khiến máy tỉnh băng bản phím khả tiên dụng nhưng đề thao tác người dùng phải sử dụng bản phim có kích thước tương đối lớn và thừa thãi đổi với những, ứng dụng chỉ cân những thao tác đơn giản như thuyết trình, xem phim, nghe nhạc, giải trí. Đôi khi những ứng dụng nay cần sự tương tác trực quan hơn là việc bám nút.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ