Chương 1. Tổng quan về khóa luận tốt nghiệp. Lý do thực hiện đề tài. Phương pháp thực hiỆn.
Cac nội dung chính. Cac nghiên cứu liên quaI. ---s<-5c+e+cEEeE+EkekEkEketEkiirEkriririririirriee 5 Chương 2. Giới thiệu về Azure Kinect DK.e-cccsccccveserkeerrrketerkirtrkrtrrkirrrrirrriee 7 RRR 77 A ee 7 2.
Thông số phần cứng. _ Thiết lập Azure Kinect DK. Thiết lập kết nổi cho Azure Kinect body tracking. API của Azure Kinect DK.
Tìm hiểu về giải pháp Media Pipe. Những khả năng tuyệt vời của Media PIpe. Các giải pháp Machine Learning trong Media PIpe. Khả năng tương thích của Media Pipe trên các hệ điều hành và ngôn ngữ lập trình.
---«--«ccxs+kkkkkrEritkrH HH HH1 11111111 11trree 21 2. Media Pipe với Python.----s<ccxkhihhnH HH nà iày 23 2. Media Pipe Hands. Tìm hiểu về Keras và TenSOTfÏOAW.
Tìm hiểu về thư viện OpenCV. Giới thiệu về OpenCV. Ứng dụng của OpenCV. Kiến thức cơ bản về xử lý ảnh trong OpenCV.
Các tính năng của Gui trong OpenCV ,. __ Xử lý ảnh trong OpenCV. Thư Viện NumPy Trong Pyth0H. Tìm hiểu về giải pháp Speech SerViCe.
Tổng quan về Speech Service. Các giải pháp trong Speech Service. Khởi tạo tài khoản AZULC.cssssesesessesssecsessesessesessessessesetseeseeasserseessseeseestenesees 30 Chương 3. Phân tích và thiết kế hệ thống.
Phân tích hố Ƒ mo. _ Sơ đồ khối của hệ thống. Thiết kế hệ thống. Xây dựng module nhận diện giọng nỐI.
__ Xây dung module nhận diện cử chỉ tay bằng giải pháp Media Pipe Hands 38 3. Xây dựng thao tác điều khiển ChUGtocsssssssessseesssseesssnessssesaseesssseesassee 41 3. Xây dựng module điều khiển âm lượng bằng cử chỉ tay. __ Xây dung module vẽ bằng cử chỉ tay.------eccesreeceerre 46 Chương 4.
KET QUA MO PHỎNG. Điều khiển chon lựa bằng giọng nói và trả lời. Danh sách các khẩu lệnh, độ chính xác và thời gian đáp ứng. Điều khiển sự kiện của chuột bằng cử chỉ tay.
Thao tác di chuyền chuột. Thao tác clIck ChuỘPC.-----s-cc5sccs+cs+sersEesttersersrksrsersrtsrsersrsrrsrrsresree 53 4. Thao tác kéo thả. Điều khiển âm lượng bằng cử chỉ tay.
Âm lượng tối đa. Âm lượng tối thiẾu. Âm lượng trung bình. Vẽ bằng cử Chỉ tay.
Màu xanh da trời. Màu xanh dương. So sánh với các nghiên cứu liÊn quan.--+-cscceesrsserirrrrririe 62 Chương 5. KẾT LUẬN, HƯỚNG PHÁT TRIỂN VÀ NHỮNG KHÓ KHĂN.
Hướng phát triển. Những khó khăn gặp phải và các giải quyết trong quá trình thực hiện 50. Hướng giải quyết DANH MỤC HÌNH Hình 2. 1: Thiết bi Azure Kinect DK.
2: Dịch vụ đi kèm của thiết bị Azure Kinect DK. 3: Bố trí sensor trên thiết bi Azure Kinect DK.-----c--cc-s-ccccsccs 9 Hình 2. 4: Thông số kỹ thuậtt. 5: Trường nhìn CỦa CaImeFA.---cc<-5cxecSEEetEkrtEkrirtkriririiirirrree 13 Hình 2.
6: Tầm nhìn của camera về phía trước 2m. 7: Giao diện để cấu hình camera của thiết bị. 8: Giao diện hiển thị của thiết bị. 9: Mô phỏng khung xương cơ thỂ.
10: Mô phỏng khung xương của nhiều cơ thể. 11: Hệ tọa độ Oxyz trên cơ thể. 14: Sơ đồ các mốc của lòng bàn tay trong mô hình landmark. 16: Key subscriptions ID và ÌoCafÏOH.e---cs-cccxsrrrerererrrrrrrrrrrrree 30 Hình 3.
1: Sơ đồ khối của đề tài. 2: Sơ đồ lắp đặt của đề tài. 3: Sơ đồ thiết kế hệ thống. 4: Sơ đồ giải thuật nhận diện giọng nói.
5: Lưu đồ giải thuật cho chức năng trả lời thời gian. 6: Lưu đồ giải thuật điều khiển âm lượng bằng giọng nói. 7: Sơ đồ giải thuật nhận nhận diện lòng bàn tay. 8: Sơ đồ giải thuật cho thao tác điều khiển chuột.
12: Sơ đồ giải thuật nhận điều khiển âm lượng bằng cử chỉ tay. 13: Sơ đồ giải thuật nhận vẽ bằng cử chỉ tay. 14: Thiết kế giao diện hình vẽ bằng website canva. 15: Giao diện của chức năng vẽ bằng cử chỉ tay.
16: Chọn màu bằng ngón giữa và ngón trỎ. 17: Vẽ bằng ngón trỎ. 1: Di chuyển chuột bằng ngón tro. 2: Click chuột bằng ngón trỏ và ngón giñữa.
3: Kéo thả bằng cử chỉ tay. 4: Điều khiển âm lượng tối đa bang cử chỉ tay. 5: Điều khiển âm lượng tối thiểu bằng cử chỉ tay. 6: Điều khiển âm lượng trung bình bằng cử chỉ tay.
7: Chon màu đỏ bằng cử chỉ tay. 8: Vẽ màu đỏ bằng ngón trỏ. 9: Chọn màu xanh da trời bằng cử chỉ tay. 10: Vẽ màu xanh da trời bằng ngón trỏ.
11: Chon màu cam bằng cử chỉ tay. 12: Vẽ màu cam bằng ngón trỏ. 13: Chọn màu vàng bằng cử chỉ tay. 14: Vẽ màu vàng bằng ngón trỏ.
15: Chọn màu xanh dương bằng cử Chi tay. 16: Vẽ màu xanh dương bằng ngón trỎ. 17: Chọn màu xanh lá bằng cử chỉ tay. 18: Vẽ màu xanh lá bằng ngón trỏ.
19: Chọn chức năng xóa bằng cử chỉ tay. 20: Xóa màu đã vẽ bằng ngón trỏ.---------52c2cvvvvvvvvvvvvrrvvrvrsersossee 62 DANH MỤC BANG Bảng 1. : Các nghiên cứu liÊn quan.----xs-xxerxrerkrirtrirtriirririiiiiiiriirre 5 NƠFnWYI Bảng 2. : Chế độ hoạt động của camera độ sÂu.
: Chế độ hoạt động của máy ảnh mààu.-----cccccc-++cccvvvcxerrrr 11 Bảng 2. : Thời gian phơi sáng của máy ảnh màu. : Thời gian thô của máy ảnh đo độ sâu. : Bảng ID của cổng giao tiếp trên thiết bị.
: Khả năng tương thích của Media Pipe với ngôn ngữ lập trình. : Bộ danh sách dữ liệu GION nÓỐI. ¬ : Danh sách các lệnh, độ chính xác và thời gian đáp ứng. : So sánh với các nghiên cứu liên quan.-------cccecerreeerrsrrrree 62 DANH MUC TU VIET TAT CPU : Central Processing Unit AI : Artificial intelligence SDK : Software Development Kit GPU : Graphics Processing Unit TPU : Tensor Processing Unit FOV : Field of View NFOV : Narrow Field of View WFOV : Wide Field of View IR : Infrared IDE : Integrated development environment TOM TAT KHÓA LUẬN Đề tài “Phát triển thiết bị tương tác với máy chiếu sử dụng Azure Kinect DK” là một đề tài nghiên cứu về Computer Vision và Machine Learning thiên về hướng nhận diện bàn tay và giọng nói của con người.
Mục tiêu hướng tới của khóa luận tốt nghiệp là xây dựng một chương trình bằng ngôn ngữ lập trình Python, ứng dụng vào đó là giải pháp Media Pipe Hands của Google, công nghệ Speech Service và thiết bị Azure Kinect DK của Microsoft. Chương trình cho phép nhận diện được yêu cầu của người dùng thông qua giọng nói, ngoài ra nó nhận diện thêm bàn tay, cử chỉ tay và mô phỏng các đốt xương ở lòng ban tay trên cơ thé con người. Dé rồi từ đó, chúng ta dựa vào kết quả được phát triển ở trên để xây dựng một chương trình cho phép lựa chọn các chức năng bằng giọng nói, những chức năng đó giúp chúng ta điều khiển các thao tác như điều khiến chuột bang cử chỉ tay, điều khiển âm lượng bằng cử chỉ, vẽ bằng cử chỉ tay. Ở khóa luận tốt nghiệp “Phát triển thiết bị tương tác với máy chiếu sử dụng Azure Kinect DK”, đề tai được thực hiện bằng ngôn ngữ lập trình Python va IDE Pycharm.
Ngoài ra, đề tài còn sử dụng các thư viện hỗ trợ cho việc xây dựng hệ thống như: OpenCV, Numpy, Time, Pyautogui, Pyttsx3, Math. Về thiết bị phần cứng, hệ thống gồm có thiết bi Azure Kinect DK dùng dé lay dit liệu đầu vào, máy chiếu, màn chiếu dùng dé hién thị kết quả. Giọng nói và cử chỉ tay sẽ là dữ liệu đầu vào của hệ thống, chúng được thu nhận thông qua các sensor của thiết bị Azure Kinect DK. Hệ thống sẽ xử lý và trả về kết quả là những thao tác như điều khiển chuột, điều khién âm lượng, vẽ bằng cử chỉ tay.
Một trong những ứng dụng thiết thực nhất của đề tài khóa luận tốt nghiệp là áp dụng vào môi trường giáo dục. Ứng dụng này giúp học sinh cũng như giáo viên tạo được cảm hứng học tập, thông qua việc tương tác với máy chiếu bằng giọng nói và cử chỉ tay. Từ đó, tăng tính hấp dẫn, lôi cuốn và đây mạnh khả năng tiếp thu của học sinh, sinh viên. Không những thé, ứng dụng còn giảm đi những tác hại về phôi, do bụi phan gây ra trong cách giảng dạy truyền thống.
Tông quan về khóa luận tốt nghiệp Trong những năm gần đây, ngành công nghệ thông tin trong nước và thế giới rất phát triển, điển hình là sự ra đời của nền công nghiệp 4. Kéo theo đó là việc ra đời cua Artificial Intelligence, Big Data, Internet of Thing, Deep Learning, Machine Learning va Computer Vision. AI — Artificial Intelligence là một trong những hướng nghiên cứu va phát triển được nhiều trung tâm khoa hoc, những trường trường đại học lớn và cũng như các học viện chú ý đến. Trong đó Computer Vision là một trong những lĩnh vực được theo đuôi nhiều nhất.
Nhờ có hệ thống xử lý ảnh và thị giác máy tính mà con người chúng ta đã giảm bớt được khối lượng lớn công việc liên quan đến xử lý ảnh trên nhiều lĩnh vực như: quân sự và quốc phòng, y tế, công nghiệp và giáo dục. Cùng với lĩnh vực xử lý ảnh như nhận dạng chữ viết, dấu vân tay, võng mạc thì bài toán nhận dạng giọng nói, nhận dạng cử chỉ tay là một trong những bài toán được nhiêu người quan tâm và mong đợi trên toàn thê giới. Lý do thực hiện đề tài Ở đề tài khóa luận tốt nghiệp này, sinh viên chúng em thực hiện đề tài khóa luận để kết thúc chương trình đào tạo kỹ sư Kỹ thuật Máy tính tại trường Đại học Công nghệ Thông tin ĐHQG — TPHCM. Thi đây cũng là một cơ hội dé bản thân em có thé tong hợp lại những kiến thức đã học về công nghệ thông tin và cũng là bước chuẩn bị hành trang cần thiết dé bước vào sự nghiệp của một kỹ sư Kỹ thuật Máy tính.
Là một sinh viên dai học Công Nghệ Thông Tin, em luôn đề cao chất lượng học tập và giáo dục ở Việt Nam. Và như chúng ta đã biết, giáo dục là một trong những yếu tố cốt lõi hình thành nên nhân cách, đạo đức và trí tuệ mỗi con người. Nelson Mandela — một nhà chính trị, lãnh đạo của Nam Phi đã từng nói “Dé pha huy bat ky quốc gia nào, không can phải sử dụng đến bom nguyên tử hoặc tên lửa tam xa. Chỉ cần hạ thấp chất lượng giáo dục và cho phép gian lận trong các kỳ thi của sinh viên”.
Chính vì thê mà vân đê vê nhận dạng giọng nói, nhận dạng cử chỉ tay của con người đê áp dụng vào giáo dục là một trong những vân dé thiệt thực nhat vào thời đại 4. Nhất là với trẻ em, chúng ta cần tạo cho chúng một cảm giác yêu thích, say mê, tăng tương tác trong việc học, để rồi từ đó nâng cao chất lượng đào tạo, đưa phương pháp giáo dục thích hợp nhất dé rèn luyện và giáo dục chúng trở thành một người có ích cho xã hội. Vì vậy mà bài toán Phát triển thiết bị tương tác với máy chiếu sử dụng Azure Kinect DK được ra đời. Mục tiêu của đề tài Mục tiêu của đề tài là xây dựng một hệ thống tương tác với máy chiếu sử dụng thiết bị Azure Kinect DK.