Nghiên cứu thuật toán nhận dạng cử chỉ hành động ứng dụng cho nhà thông minh

Nghiên cứu các thuật toán nhận dạng cử chỉ hành động ứng dụng cho nhà thông minh, sử dụng thị giác máy tính và học sâu để điều khiển thiết bị.

• Tác giả: Phùng Ngọc Tân
• Người hướng dẫn: TS. Trần Mạnh Hoàng
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật viễn thông
• Đề tài: Nghiên cứu phát triển các thuật toán nhận dạng cử chỉ hành động ứng dụng cho nhà thông minh
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Khái Niệm Cơ Bản Về Thuật Toán Nhận Dạng Cử Chỉ

Thuật toán nhận dạng cử chỉ là một lĩnh vực quan trọng trong thị giác máy tính và tương tác người-máy. Đây là công nghệ cho phép máy tính hiểu và phân loại các cử chỉ hành động của con người thông qua xử lý hình ảnh video. Ứng dụng của nhận dạng cử chỉ trong nhà thông minh mang lại trải nghiệm tương tác thiết bị hiện đại, an toàn và tiện lợi. Công nghệ này kết hợp các kỹ thuật xử lý ảnh số, học máy và mạng nơ-ron tích chập (CNN) để nhận biết chính xác các hành động người dùng. Sự phát triển của trí tuệ nhân tạo đã giúp nâng cao độ chính xác và tốc độ xử lý của các hệ thống nhận dạng cử chỉ hiện đại.

1.1. Định Nghĩa Nhận Dạng Cử Chỉ

Nhận dạng cử chỉ là quá trình máy tính phát hiện, theo dõi và phân loại cử chỉ hành động từ dữ liệu video hoặc ảnh. Kỹ thuật này sử dụng các thuật toán xử lý ảnh và mô hình học sâu để hiểu ý định của người dùng. Ứng dụng phổ biến bao gồm điều khiển thiết bị nhà thông minh, nhân dạng ngoại hình và tương tác giao diện trực quan.

1.2. Tương Tác Người Máy Qua Cử Chỉ

Tương tác người-máy (HCI) thông qua cử chỉ tạo ra giao diện thân thiện và trực quan. Thay vì sử dụng các thiết bị điều khiển truyền thống, người dùng có thể điều khiển nhà thông minh bằng các cử chỉ tay, chuyển động cơ thể. Điều này làm tăng độ tiện dụng và tạo trải nghiệm người dùng tốt hơn cho các ứng dụng dân dụng.

II. Cơ Sở Lý Thuyết Và Các Kỹ Thuật Chính

Nền tảng của thuật toán nhận dạng cử chỉ dựa trên các kỹ thuật xử lý ảnh số và thị giác máy tính. Các phương pháp phát hiện đối tượng như HOG (Histogram of Oriented Gradients) và SVM (Support Vector Machine) được sử dụng để phát hiện tay người và cơ thể. Kỹ thuật bám đối tượng theo thời gian thực giúp theo dõi chuyển động của người dùng liên tục. Mạng nơ-ron tích chập (CNN) là công nghệ tiên tiến nhất, cho phép phân loại các cử chỉ với độ chính xác cao. Các kỹ thuật học máy và học sâu cũng đóng vai trò quan trọng trong việc huấn luyện mô hình nhận dạng chính xác.

2.1. Phát Hiện Và Bám Đối Tượng

Kỹ thuật phát hiện đối tượng sử dụng các thuật toán HOG kết hợp cửa sổ trượt để xác định vị trí tay người trong hình ảnh. Phương pháp bám đối tượng theo thời gian thực như KCF, CSRT, MOSSE giúp theo dõi liên tục chuyển động của người dùng. Kỹ thuật triệt tiêu không cực đại (NMS) loại bỏ những phát hiện trùng lặp, tăng độ chính xác của hệ thống.

2.2. Mạng Nơ Ron Tích Chập CNN

CNN (Convolutional Neural Networks) là kiến trúc mạng nơ-ron sâu đặc biệt hiệu quả trong phân loại ảnh và nhận dạng cử chỉ. Cấu trúc CNN bao gồm các lớp tích chập, pooling và fully connected, cho phép mô hình học các đặc trưng phân cấp. Kỹ thuật này đạt hiệu suất cao hơn các phương pháp truyền thống trong bài toán phân loại cử chỉ.

III. Quá Trình Xây Dựng Hệ Thống Nhận Dạng

Quá trình phát triển hệ thống nhận dạng cử chỉ cho nhà thông minh bao gồm nhiều giai đoạn quan trọng. Đầu tiên, cần xây dựng tập mẫu huấn luyện chứa các video và ảnh mẫu của các cử chỉ khác nhau. Tiếp theo, huấn luyện mô hình phát hiện tư thế bắt đầu để xác định thời điểm người dùng muốn thực hiện cử chỉ. Sau đó, huấn luyện mô hình nhận dạng cử chỉ chính bằng mạng nơ-ron CNN. Cuối cùng, xây dựng chương trình chính để tích hợp các mô hình vào ứng dụng điều khiển nhà thông minh thực tế.

3.1. Thu Thập Và Chuẩn Bị Dữ Liệu

Tập mẫu huấn luyện được xây dựng từ các video quay lại cử chỉ thực tế của người dùng. Dữ liệu cần được chuẩn hóa và tiền xử lý bằng các kỹ thuật xử lý ảnh như cân bằng histogram, giảm nhiễu. Mỗi cử chỉ cần nhiều mẫu đủ để mô hình học sâu có thể học chính xác các đặc trưng.

3.2. Huấn Luyện Và Đánh Giá Mô Hình

Huấn luyện mô hình sử dụng Python và các thư viện hỗ trợ như OpenCV, TensorFlow. Mô hình CNN được huấn luyện trên tập dữ liệu với độ chính xác đạt trên 90%. Quá trình đánh giá kết quả bao gồm kiểm tra độ chính xác, độ nhạy trên tập dữ liệu kiểm tra độc lập.

IV. Ứng Dụng Và Triển Vọng Phát Triển

Thuật toán nhận dạng cử chỉ có ứng dụng rộng rãi trong điều khiển nhà thông minh hiện đại. Người dùng có thể bật/tắt đèn, điều chỉnh nhiệt độ, mở rèm cửa bằng các cử chỉ đơn giản. Công nghệ này cũng được ứng dụng trong các lĩnh vực khác như y tế, giáo dục, giải trí. Hướng phát triển tương lai bao gồm cải thiện độ chính xác, giảm độ trễ xử lý, tích hợp AI để hiểu ý định phức tạp hơn. Mạng nơ-ron sâu và học máy sẽ tiếp tục evolve để tạo ra các hệ thống nhà thông minh tự động, thông minh hơn.

4.1. Ứng Dụng Thực Tiễn Trong Nhà Thông Minh

Nhà thông minh sử dụng nhận dạng cử chỉ để tạo tương tác người-máy tự nhiên. Người dùng có thể điều khiển thiết bị IoT như điều hòa, TV, hệ thống an ninh bằng cử chỉ. Ứng dụng này nâng cao trải nghiệm người dùng, đặc biệt hữu ích cho người cao tuổi và người khuyết tật.

4.2. Hướng Phát Triển Tương Lai

Tương lai của nhận dạng cử chỉ hướng tới các mô hình nhẹ hơn, xử lý real-time trên các thiết bị cạnh (edge devices). Học chuyển giao sẽ giúp các mô hình adapt với môi trường mới. Tích hợp cảm biến hồng ngoài và camera 3D sẽ nâng cao độ chính xác của hệ thống nhận dạng cử chỉ trong tương lai.

Trích đoạn nội dung tài liệu

CHƯƠNG I: GIỚI THIỆU CHUNG Trong phần này tác giả sẽ đưa ra bài toán nhận dạng cử chỉ và các yêu cầu đặt ra cũng như những vấn đề cần giải quyết. Cụ thể tác giả sẽ tiếp cận các kỹ thuật hiện tại và lựa chọn các kỹ thuật ứng dụng giải quyết bài toán điều khiển bằng cử chỉ cho các ứng dụng trong nhà thông minh. Giới thiệu chung Ngày nay, khoa học kỹ thuật phát triển rất nhanh tạo điều kiện cho các công nghệ và ý tưởng mới được ra đời. Cùng với đó là nhu cầu tận hưởng sự tiện dụng của công nghệ trong đời sống ngày càng tăng.

Vì vậy yêu cầu đặt ra cho quá trình ứng dụng khoa học công nghệ vào đời sống là cấp thiết. Trong đó, các hệ thống tương tác giữa con người và máy tính HCI đã dần trở thành một lĩnh vực được tập trung nghiên cứu. Trong kỹ thuật ứng dụng ngày nay, nhà thông minh được hiểu là kiểu nhà được lắp đặt các thiết bị điện và điện tử có thể được điều khiển một cách tự động hoặc bán tự động. Nó giúp thay thế con người trong thực hiện một hoặc một số thao tác quản lý và điều khiển.

Hệ thống điện tử này giao tiếp với người dùng thông qua hệ thống điều khiển đặt trong nhà, ứng dụng trên điện thoại di động, máy tính bảng hoặc một giao diện trình duyệt web. Một hệ thống nhà thông minh thường bao gồm những yếu tố cốt lõi như sau: • Hệ thống cảm biến thông minh: cảm nhận tác động môi trường, các yếu tố chủ quan để chuyển thông tin cần thiết tới hệ thống điều khiển tự động hoặc thông báo tới người dùng; tiếp nhận yêu cầu của người sử dụng bằng các yếu tố hình ảnh hoặc giọng nói… • Hệ thống xử lý, điều khiển: thu thập các dữ liệu cần thiết để ra quyết định điều khiển, hiệu chỉnh các thiết bị trong nhà sao cho phù hợp với kịch bản hoặc theo yêu cầu của người sử dụng. • Hệ thống kết nối, đồng bộ: trợ giúp con người trong việc quản lý nhà thông minh một cách tiện lợi, đồng bộ, tích hợp. Giúp việc quản lý 1 nhà đơn giản hơn, thông thường chỉ qua một thiết bị quản lý như điện thoại, máy tính hoặc một số thiết bị di động thông minh khác.

Trong đó, việc tương tác giữa người và hệ thống điều khiển trong nhà thông minh là một trong những vấn đề cốt lõi tạo ra sự chính xác, thuận tiện và thân thiện với người dùng. Hiện nay, vấn đề tương tác giữa người và thiết bị trong nhà thông minh chủ yếu sử dụng các phương thức trực tiếp, thiết bị trung gian hoặc sử dụng giọng nói, một số phương thức điều khiển qua cử chỉ cũng đang được phát triển. Tuy nhiên, việc tương tác trong nhà thông minh còn một số hạn chế như: • Giá thành cao; • Điều khiển chưa thực sự gần gũi, tiện dụng; • Khả năng phối hợp các công nghệ trong nhà thông minh • Còn sơ khai và đôi khi chưa phù hợp với các kịch bản sử dụng đa dạng trong thực tế. Các phương thức giao tiếp qua giọng nói và cử chỉ hiện nay đang rất được chú trọng nghiên cứu vì sự tiện dụng và thân thiện của nó.

Trong đó việc sử dụng giọng nói đang rất phổ biến, tuy nhiên vấn đề xử lý nhiễu âm thanh do khách quan người dùng hoặc môi trường là một vấn đề khó xử lý. Việc sử dụng cử chỉ trong các hệ thống HCI được xem là một ý tưởng hiệu quả, giống như việc con người giao tiếp với nhau bằng cử chỉ trong thế giới thực. Trong đó cử chỉ là hành động của một hay nhiều sự kết hợp của nhiều bộ phận khác nhau trên cơ thể mang hàm ý truyền đạt thông tin. Trong đó tay người (cụ thể là bàn tay) là dạng cử chỉ, là một loại ngôn ngữ cơ thể được sử dụng phổ biến so với các bộ phận khác vì sự linh hoạt của tay người.

Các hình dạng, tư thế đa dạng của tay mang lại một lượng lớn các thông tin cần truyền đạt trong giao tiếp. Phương thức điều khiển bằng cử chỉ hiện nay đã có nhiều phương án sử dụng cảm biến chuyển động để xử lý, tuy nhiên cũng gặp nhiều khó khăn trong vấn đề chi phí và việc đảm bảo sự thuận tiện khi sử dụng. Ban 2 đầu các phương án điều khiển đưa ra là sử dụng các cảm biến gắn trên cơ thể để nhân biết cử chỉ, tuy nhiên điều này hoàn toàn không mang lại sự tiện dụng cho người sử dụng. Ngày này, khoa học máy tính phát triển, các kỹ thuật thị giác máy tính đang được ứng dụng trong đời sống, việc xử lý hình ảnh trở nên không quá khó khăn và phức tạp.

Trong luận văn này, tác giả sẽ trình bày phương án áp dụng nhận dạng cử chỉ trong việc điều khiển nhà thông minh với điều kiện sử dụng các camera thông thường với chất lượng trung bình. Bài toán nhận dạng cử chỉ 1. Ngôn ngữ cử chỉ trong tương tác người - máy Ngôn ngữ cơ thể là một dạng của truyền thông phi ngôn ngữ trong đó các hành vi của cơ thể, được sử dụng để thể hiện hoặc truyền đạt thông tin. Hành vi như vậy bao gồm các biểu hiện trên khuôn mặt, tư thế cơ thể, cử chỉ, cử động của mắt, của tay, chân trong không gian cá nhân.

Trong một số tình huống nhất định, con người không thể sử dụng ngôn ngữ nói mà phải sử dụng ngôn ngữ cử chỉ và ngược lại. Cử chỉ tay được xem là một phương pháp hữu hiệu trong việc truyền đạt, vì sự đa dạng và linh hoạt của tay, cụ thể là bàn tay. Do đó, có thể truyền đạt nhiều thông tin. Cử chỉ cũng thường được sử dụng trong giao tiếp giữa con người với con người.

Trong cuộc sống, đôi khi con người vẫn sử dụng các cử chỉ tay trong giao tiếp để biểu đạt thông tin mà không nhất thiết phải nói ra. Ngày nay, việc áp dụng cử chỉ trong tương tác người – máy (Human–computer interaction - HCI) đã được ứng dụng trong một số thiết bị như ti vi, thiết bị chơi trò chơi điện tử hay robot công nghiệp, tuy nhiên chưa có tiêu chuẩn cụ thể nào. Các công nghệ, kỹ thuật cũng rất đa dạng luôn phải đảm bảo tính hiệu quả cũng như giảm thiểu độ phức tạp cũng như chi phí. Nhìn chung, sử dụng cử chỉ trong tương tác giữa con người và máy tính đem lại sự trực quan và dễ dàng như khi tương tác giữa người với 3 người trong thế giới thực.

Ứng dụng cử chỉ tay người trong các hệ thống HCI cũng đang là hướng được quan tâm nghiên cứu hiện nay. Giao tiếp người - người Thông qua các giác quan: thị giác, thính giác. Giao tiếp người - máy Thông qua các cảm biến: Cảm biến âm thanh, cảm biến hình ảnh.1 Tương tác người – người và tương tác người – máy. Các cử chỉ có thể được phân loại thành hai loại chính: • Cử chỉ tĩnh là một tư thế tĩnh của tay, là một sự kết hợp cụ thể về vị trí và hướng của tay được quan sát tại một thời điểm nhất định.

Một tư thế tĩnh đơn giản của cử chỉ vẫn có thể truyền đạt thông tin đầy đủ nếu cử chỉ tĩnh đó là thông dụng và phổ biến trong cuộc sống. • Cử chỉ động là sự kết hợp nhiều tư thế khác nhau trong thời gian ngắn, có thể là sự kết hợp của nhiều cử chỉ tĩnh. Phân tích bài toán nhận dạng cử chỉ trong điều khiển nhà thông minh Kết quả mong muốn của đề tài này là nghiên cứu, ứng dụng các công nghệ mới hoặc sẵn có trong việc điều khiển trong nhà thông minh sử dụng ngôn ngữ cử chỉ với chi phí và chất lượng phần cứng ở mức giới hạn. Cùng với đó là sự thân thiện, tiện dụng cho người sử dụng.

4 Trong lịch sử nghiên cứu nhận dạng cử chỉ tay người, đã có nhiều hướng phát triển khác nhau. Ban đầu, hướng nghiên cứu điển hình là sử dụng thiết bị có dạng găng tay cơ khí để nhận dạng cử chỉ, đó có thể là một găng tay mỏng trang bị các cảm biến từ trường được sử dụng để phát hiện vị trí và hướng của tay. Tuy nhiên các thiết bị dạng này gặp phải nhiều vấn đề liên quan đến nhiễu trong môi trường điện từ ở hầu hết các phòng thí nghiệm máy tính. Do đó các nghiên cứu này dần bị hạn chế.

Trong quá trình phát triển của công nghệ máy ảnh và thị giác máy tính, các nghiên cứu nhận dạng cử chỉ tay người sử dụng phương pháp xử lý hình ảnh dần được quan tâm nghiên cứu, điển hình của phương pháp này là sử dụng cảm biến camera. Ưu điểm của phương pháp là chi phí, giá thành cho thiết bị rẻ và dễ lắp đặt. Người tương tác không phải đeo bất kỳ thiết bị nào nên việc thực hiện cử chỉ sẽ trở nên trực quan và tự nhiên hơn, qua đó ứng dụng xử lý hình ảnh trong nhận dạng cử chỉ tay người dần trở thành một chủ đề quan trọng. Áp dụng các kỹ thuật xử lý hình ảnh, phân tích dữ liệu đầu vào từ các khung hình thu được để đưa ra kết quả nhận dạng, thậm chí một số yếu điểm phần cứng cũng có thể được khắc phục nhờ các thuật toán xử lý hình ảnh.

Đối với bài toán đặt ra trong luận văn, tác giả lựa chọn phương án nhận dạng cử chỉ động, nghĩa là nhận dạng cử chỉ dựa trên tư thế tay ở trạng thái bắt đầu và kết thúc. Phương án này sẽ mang lại chất lượng cho bộ xử lý, tránh được các cử chỉ nhiễu do thao tác không chủ đích của người sử dụng. Tuy nhiên vấn đề nhận dạng cử chỉ này cũng sẽ phức tạp hơn nhiều so với cử chỉ tĩnh. Quá trình xử lý để giải quyết bài toán nhận dạng cử chỉ động thông thường gồm ba phần: • Quá trình phát hiện: là quá trình hệ thống phát hiện được tư thế bắt đầu của cử chỉ, từ đó phân vùng chứa đối tượng (trong bài toán này là tay người) và tách riêng.

Kể từ các khung hình tiếp theo việc xử lý ảnh sẽ dựa trên phân vùng đó đến khi kết thúc. 5 • Quá trình bám mục tiêu: điều này có thể thực hiện bằng một bộ phát hiện, tuy nhiên nếu như vậy sẽ tiêu tốn tài nguyên có thể gặp phải sai số trong quá trình bám mục tiêu cũng như khả năng bị ngắt liên tục. Vì vậy cần có thuật toán riêng để đảm bảo tính liên tục và hiệu quả.