Bối cảnh và vấn đề nghiên cứu
Trong bối cảnh cuộc Cách mạng Công nghiệp 4.0, các lĩnh vực Trí tuệ nhân tạo (AI), Dữ liệu lớn (Big Data), Internet vạn vật (IoT), Học sâu (Deep Learning), Học máy (Machine Learning) và Thị giác máy tính (Computer Vision) đang phát triển mạnh mẽ. Thị giác máy tính và xử lý ảnh đã được ứng dụng sâu rộng nhằm giảm bớt khối lượng công việc của con người trong các lĩnh vực quân sự, y tế, công nghiệp và giáo dục. Song song với các bài toán nhận dạng chữ viết, vân tay hay võng mạc, bài toán nhận dạng giọng nói và cử chỉ tay người dùng là hướng tiếp cận tương tác người - máy (Human-Computer Interaction - HCI) nhận được sự quan tâm lớn.
Về mặt thực tiễn giáo dục, việc đổi mới phương pháp giảng dạy nhằm tăng cường tính tương tác, trực quan hóa bài giảng và thu hút người học là yêu cầu cần thiết. Đồng thời, việc ứng dụng công nghệ tương tác không chạm với máy chiếu còn hỗ trợ giảm thiểu sự phụ thuộc vào bảng viết truyền thống, qua đó hạn chế các tác hại về đường hô hấp do bụi phấn gây ra cho giáo viên và học sinh. Đề tài khóa luận tốt nghiệp kỹ sư ngành Kỹ thuật Máy tính tại Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM với tên gọi "Phát triển thiết bị tương tác với máy chiếu sử dụng Azure Kinect DK" được thực hiện nhằm giải quyết bài toán này.
Khóa luận xác định 5 mục tiêu nghiên cứu cụ thể:
- Nhận diện thành công các đốt xương tay.
- Nhận diện thành công giọng nói và chuyển thành các lựa chọn: tắt âm thanh, mở âm thanh và lựa chọn các chức năng của nhận dạng cử chỉ tay.
- Lập trình thao tác tương tác với nhận dạng cử chỉ tay.
- Vẽ bằng cử chỉ tay.
- Hệ thống chạy gần mức thời gian thực (realtime).
Đối tượng nghiên cứu của đề tài là giọng nói và cử chỉ bàn tay người tương tác, kết hợp thiết bị phần cứng Azure Kinect DK và hệ thống máy chiếu. Phạm vi nghiên cứu tập trung vào việc thu thập, xử lý tín hiệu âm thanh và hình ảnh trong không gian phòng học hoặc văn phòng, nhận diện khẩu lệnh tiếng Anh và nhận dạng 21 điểm mốc bàn tay nhằm điều khiển các thao tác chuột, âm lượng và vẽ kỹ thuật số trên bề mặt hiển thị của máy chiếu.
Cơ sở lý thuyết và công nghệ
Hệ thống được xây dựng dựa trên việc kết hợp thiết bị phần cứng cảm biến chuyên dụng của Microsoft với các giải pháp học máy và thị giác máy tính mã nguồn mở.
Thiết bị phần cứng Azure Kinect DK
Azure Kinect DK là bộ thiết bị cảm biến tích hợp phục vụ nghiên cứu thị giác máy tính và nhận dạng giọng nói. Thiết bị có kích thước $103 \times 39 \times 126\text{ mm}$, trọng lượng $440\text{ g}$, mức tiêu thụ điện năng tối đa $5{,}9\text{ W}$, hoạt động trong dải nhiệt độ $10\text{--}25^\circ\text{C}$ và độ ẩm $8\text{--}90%$. Mã định danh nhà cung cấp (Vendor ID) của thiết bị là 0x045E.
Cấu trúc cảm biến trên Azure Kinect DK bao gồm:
- Cảm biến độ sâu (Depth Camera): Sử dụng công nghệ Time-of-Flight (ToF) độ phân giải 1 Megapixel.
- Máy ảnh màu (RGB Camera): Hỗ trợ các độ phân giải lên đến 4K ($3840 \times 2160$) và 12 Megapixel ($4096 \times 3072$).
- Cảm biến chuyển động quán tính (IMU): Tích hợp chip LSM6DSMUS (gồm gia tốc kế và con quay hồi chuyển), tần số lấy mẫu $1{,}6\text{ kHz}$ và trả lời dữ liệu về máy chủ ở tần số $208\text{ Hz}$.
- Mảng micro (Microphone Array): Gồm 7 micro không gian chất lượng cao, độ nhạy $-22\text{ dBFS}$ ($94\text{ dB SPL}, 1\text{ kHz}$), tỷ lệ tín hiệu trên nhiễu $\text{SNR} > 65\text{ dB}$, điểm quá tải âm thanh $116\text{ dB}$.
| Chế độ hoạt động camera độ sâu |
Độ phân giải |
Trường nhìn (FOV) |
Tốc độ khung hình (FPS) |
Phạm vi hoạt động |
Thời gian phơi nhiễm |
| NFOV unbinned |
$640 \times 576$ |
$75^\circ \times 65^\circ$ |
0, 5, 15, 30 |
$0{,}5\text{--}3{,}86\text{ m}$ |
$12{,}8\text{ ms}$ |
| NFOV $2\times 2$ binned |
$320 \times 288$ |
$75^\circ \times 65^\circ$ |
0, 5, 15, 30 |
$0{,}5\text{--}5{,}46\text{ m}$ |
$12{,}8\text{ ms}$ |
| WFOV $2\times 2$ binned |
$512 \times 512$ |
$120^\circ \times 120^\circ$ |
0, 5, 15, 30 |
$0{,}25\text{--}2{,}88\text{ m}$ |
$12{,}8\text{ ms}$ |
| WFOV unbinned |
$1024 \times 1024$ |
$120^\circ \times 120^\circ$ |
0, 5, 15, 30 |
$0{,}25\text{--}2{,}21\text{ m}$ |
$20{,}3\text{ ms}$ |
| Passive IR |
$1024 \times 1024$ |
N/A |
0, 5, 15, 30 |
N/A |
$1{,}6\text{ ms}$ |
| Độ phân giải camera RGB |
Tỷ lệ khung hình |
Định dạng hỗ trợ |
Tốc độ khung hình (FPS) |
Trường nhìn danh định (FOV) |
| $3840 \times 2160$ |
16:9 |
MJPEG |
0, 5, 15, 30 |
$90^\circ \times 59^\circ$ |
| $2560 \times 1440$ |
16:9 |
MJPEG |
0, 5, 15, 30 |
$90^\circ \times 59^\circ$ |
| $1920 \times 1080$ |
16:9 |
MJPEG |
0, 5, 15, 30 |
$90^\circ \times 59^\circ$ |
| $1280 \times 720$ |
16:9 |
MJPEG, YUY2, NV12 |
0, 5, 15, 30 |
$90^\circ \times 59^\circ$ |
| $4096 \times 3072$ |
4:3 |
MJPEG |
0, 5, 15 |
$90^\circ \times 74{,}3^\circ$ |
Các giải pháp phần mềm và thư viện
- Google MediaPipe & MediaPipe Hands: Giải pháp mã nguồn mở ứng dụng học máy để suy luận ra 21 điểm mốc không gian 3D (Landmarks) trên bàn tay từ một khung hình video duy nhất. Mô hình Hand Landmark được huấn luyện trên tập dữ liệu hơn 30.000 ảnh bàn tay, đạt độ chính xác trung bình $95{,}7%$ sử dụng hàm mất mát Cross-Entropy.
- OpenCV (Open-Source Computer Vision Library): Thư viện xử lý ảnh phục vụ thu nhận luồng video từ camera màu, thực hiện các biến đổi không gian màu, xử lý hình học và vẽ đồ họa.
- NumPy: Thư viện tính toán đại số mảng đa chiều hiệu năng cao trong Python.
- Keras & TensorFlow: Nền tảng học máy nền tảng dùng trong việc huấn luyện và thực thi mô hình.
- Microsoft Azure Speech Service: Dịch vụ đám mây xử lý nhận diện giọng nói (Speech-to-Text) thông qua Azure Speech SDK.
- Pyttsx3 & PyAutoGUI: Thư viện
pyttsx3 thực hiện chuyển văn bản thành giọng nói (Text-to-Speech) cục bộ trên máy tính; pyautogui thực hiện gửi các sự kiện giả lập chuột và bàn phím vào hệ điều hành.
Thiết kế và triển khai hệ thống
Kiến trúc tổng thể và lắp đặt phần cứng
Hệ thống gồm 3 thành phần vật lý chính: Thiết bị Azure Kinect DK, Máy tính xử lý trung tâm (chạy Python trên môi trường PyCharm) và Máy chiếu cùng màn chiếu.
Quy trình lắp đặt:
- Kết nối Azure Kinect DK với máy tính thông qua cáp USB Type-C sang Type-C (hoặc cổng nguồn DC $4{,}5\text{ mm}$ kèm cổng dữ liệu USB 3.0 chuyên dụng).
- Thiết lập kết nối xuất hình ảnh từ máy tính sang máy chiếu.
- Định vị và tinh chỉnh góc quan sát của camera trên Azure Kinect DK nhằm bao quát trọn vẹn màn hình máy chiếu và vùng tương tác của người dùng.
Quy trình xử lý tín hiệu: Mảng 7 micro và camera màu của Azure Kinect DK thu thập âm thanh và cử chỉ tay. Tín hiệu âm thanh được đưa qua module Speech-to-Text để nhận dạng khẩu lệnh; tín hiệu hình ảnh được OpenCV và MediaPipe Hands xử lý để trích xuất 21 tọa độ đốt xương tay. Kết quả xử lý được chuyển thành các sự kiện điều khiển hệ điều hành (chuột, âm lượng, phóng to/thu nhỏ) hoặc điều khiển chức năng vẽ trên màn hình chiếu.
Xây dựng module nhận diện giọng nói
Module nhận diện giọng nói sử dụng Azure Speech SDK cấu hình tại máy chủ khu vực Đông Á (East Asia):
speech_config = speechsdk.SpeechConfig(
subscription="bb49f13e-df2d-454a-a963-626c1756f2e7", region="East Asia"
)
Dữ liệu tiếng nói tiếng Anh thu nhận từ micro được chuyển đổi thành chuỗi văn bản (result), sau đó so sánh với tập khẩu lệnh định trước. Hệ thống phản hồi lại người dùng bằng âm thanh thông qua thư viện pyttsx3. Tác giả lựa chọn pyttsx3 thay vì Azure Text-to-Speech vì việc gọi cục bộ (local) cho thời gian đáp ứng tức thì, độ trễ thấp và không phụ thuộc vào đường truyền Internet.
| Khẩu lệnh người dùng |
Chức năng hệ thống |
Câu phản hồi âm thanh |
| Không nhận diện được / khác |
Không thực hiện |
"Do you say again." |
| "What Time?" |
Trả về thời gian hiện tại từ hệ thống (datetime.now()) |
Giờ : Phút : Giây |
| "Turn off volume." |
Tắt âm thanh hệ thống qua phím nóng |
"OK, wait a seconds" |
| "Turn on volume." |
Bật âm thanh hệ thống qua phím nóng |
"OK, wait a seconds" |
| "Turn up volume." |
Tăng mức âm lượng qua phím nóng |
"OK, wait a seconds" |
| "Turn down volume." |
Giảm mức âm lượng qua phím nóng |
"OK, wait a seconds" |
| "Turn on zoom out." |
Thu nhỏ màn hình (tổ hợp phím Ctrl + -) |
"OK, wait seconds" |
| "Turn on zoom in." |
Phóng to màn hình (tổ hợp phím Ctrl + +) |
"OK, wait seconds" |
| "Finger drawing." |
Kích hoạt giao diện vẽ bằng cử chỉ ngón tay |
"OK, wait a minutes" |
| "Control mouse." |
Kích hoạt chế độ điều khiển chuột bằng cử chỉ tay |
"Ok, wait a minutes." |
| "Turn off system." |
Dừng toàn bộ chương trình (lệnh break) |
"Goodbye! See you." |
Xây dựng module nhận diện cử chỉ tay và điều khiển
Sử dụng mô hình MediaPipe Hands trích xuất 21 điểm mốc không gian bàn tay, hệ thống chuẩn hóa tọa độ $(x, y)$ sang kích thước khung hình hiển thị để thực hiện các thao tác:
- Điều khiển chuột máy tính:
- Di chuyển con trỏ: Sử dụng vị trí tọa độ đầu ngón tay trỏ (Index Finger Tip - điểm mốc số 8).
- Click chuột: Nhận diện sự kết hợp đồng thời giữa ngón tay trỏ và ngón tay giữa (Middle Finger Tip - điểm mốc số 12).
- Kéo thả (Drag and Drop): Nhận diện trạng thái giữ cử chỉ để gắp và thả đối tượng trên màn hình.
- Điều khiển âm lượng: Xác định khoảng cách tương đối giữa các ngón tay để thiết lập các mức âm lượng: Tối đa (Max), Tối thiểu (Min) và Trung bình (Medium).
- Module vẽ tương tác (Finger Drawing):
- Giao diện bảng vẽ và thanh công cụ chọn màu được thiết kế bằng công cụ Canva và tích hợp lên màn hình thông qua OpenCV.
- Chọn màu: Người dùng đưa ngón trỏ và ngón giữa vào vùng màu tương ứng trên thanh công cụ. Hệ thống hỗ trợ 6 màu sắc: Đỏ, Xanh da trời, Cam, Vàng, Xanh dương, Xanh lá cây.
- Vẽ nét: Sử dụng duy nhất ngón tay trỏ di chuyển trên vùng vẽ để tạo nét màu đã chọn.
- Xóa nét vẽ (Eraser): Chọn công cụ xóa bằng hai ngón tay và dùng ngón trỏ di chuyển qua các vùng đã vẽ để xóa màu.
Nội dung chính theo từng chương
Chương 1. Tổng quan về khóa luận tốt nghiệp
Chương này trình bày lý do chọn đề tài xuất phát từ nhu cầu ứng dụng thị giác máy tính và trí tuệ nhân tạo vào môi trường giáo dục thông minh nhằm nâng cao tính tương tác và giảm thiểu tác hại của bụi phấn. Tác giả xác định phương pháp thực hiện kết hợp giữa phần cứng Azure Kinect DK, thư viện OpenCV, giải pháp MediaPipe và dịch vụ Microsoft Speech Service. Chương 1 cũng khảo cứu 2 công trình liên quan từ Microsoft và Sheffield Hallam University để phân tích ưu, nhược điểm về phần cứng và thuật toán.
Chương 2. Cơ sở lý thuyết
Chương 2 mô tả chi tiết thông số kỹ thuật của thiết bị Azure Kinect DK, bao gồm các cấu hình của camera độ sâu ToF (NFOV, WFOV), camera màu RGB (từ 720p đến 4K), cảm biến quán tính IMU LSM6DSMUS và mảng 7 micro. Tác giả phân tích các bộ SDK đi kèm (Sensor SDK, Body Tracking SDK theo dõi 32 khớp cơ thể, Speech SDK). Tiếp đó, chương trình bày cơ chế hoạt động của giải pháp MediaPipe Hands trong việc định vị 21 điểm mốc 3D của bàn tay với độ chính xác $95{,}7%$, cùng kiến thức nền tảng về OpenCV, NumPy, Keras, TensorFlow và dịch vụ đám mây Microsoft Speech Service.
Chương 3. Phân tích và thiết kế hệ thống
Chương 3 tập trung xây dựng sơ đồ khối, sơ đồ lắp đặt phần cứng và các sơ đồ giải thuật cho toàn bộ hệ thống. Tác giả thiết kế chi tiết giải thuật module nhận diện giọng nói tiếng Anh kết hợp phản hồi Text-to-Speech qua thư viện pyttsx3; giải thuật điều khiển âm lượng và phóng to/thu nhỏ bằng pyautogui; giải thuật nhận diện 21 điểm mốc bàn tay với MediaPipe Hands để chuyển đổi tọa độ không gian sang thao tác di chuyển chuột, click chuột, kéo thả, điều chỉnh âm lượng và module vẽ kỹ thuật số 6 màu trên giao diện đồ họa.
Chương 4. Kết quả mô phỏng
Chương 4 công bố kết quả thử nghiệm thực tế của các module chức năng:
- Module giọng nói nhận diện chính xác các khẩu lệnh chức năng, phản hồi âm thanh đúng thời gian và thực hiện chuyển đổi trạng thái hệ thống.
- Module cử chỉ tay thực thi ổn định các sự kiện chuột (di chuyển trỏ chuột bằng ngón trỏ, click chuột bằng ngón trỏ kết hợp ngón giữa, thao tác kéo thả).
- Module điều khiển âm lượng nhận diện chính xác các trạng thái âm lượng tối đa, tối thiểu và trung bình.
- Module vẽ tay thực hiện nhận diện chọn màu và vẽ nét đơn ngón trỏ chính xác cho cả 6 màu sắc cùng chức năng xóa nét vẽ.
- Bảng so sánh chi tiết giữa hệ thống của đề tài với các nghiên cứu liên quan trước đó.
Chương 5. Kết luận, hướng phát triển và những khó khăn
Chương 5 tổng kết toàn bộ các kết quả đạt được đối chiếu với 5 mục tiêu đề ra ban đầu. Đồng thời, tác giả chỉ ra các khó khăn gặp phải trong quá trình triển khai liên quan đến yêu cầu phần cứng của Body Tracking SDK, độ trễ xử lý và đề xuất các hướng giải quyết, cải tiến hệ thống trong tương lai.
Kết quả và đóng góp
Kết quả thực nghiệm và so sánh
Hệ thống đã tích hợp thành công giữa thiết bị Azure Kinect DK và môi trường lập trình Python, đạt được khả năng vận hành tiệm cận thời gian thực. Mô hình nhận diện bàn tay MediaPipe Hands hoạt động ổn định trên luồng hình ảnh camera màu, nhận dạng chính xác 21 điểm mốc đốt xương tay với độ chính xác $95{,}7%$.
| Tiêu chí so sánh |
Nghiên cứu của Microsoft |
Nghiên cứu của Sheffield Hallam University (UK) |
Hệ thống của đề tài khóa luận |
| Phương pháp thực hiện |
Sử dụng camera độ sâu và các API Body Tracking của Kinect DK để nhận dạng cử chỉ tay và đo khoảng cách giữa tay và bề mặt chiếu. |
Sử dụng phương pháp phân đoạn ngưỡng màu để nhận dạng vật thể có màu sắc riêng biệt, dùng vật thể để điều khiển con trỏ chuột. |
Sử dụng camera RGB của Azure Kinect DK kết hợp MediaPipe Hands (21 điểm mốc) và dịch vụ Microsoft Speech Service + pyttsx3. |
| Phần cứng sử dụng |
Máy chiếu và Camera đo độ sâu Kinect DK. |
Máy chiếu và Camera IP. |
Thiết bị Azure Kinect DK, Máy vi tính, Máy chiếu và Màn chiếu. |
| Ưu điểm |
Nhận dạng cử chỉ tay tốt, thao tác nhạy trên bề mặt chiếu, phù hợp môi trường văn phòng và lớp học. |
Dễ sử dụng, tiện lợi, đơn giản hóa công nghệ giúp mã nguồn lập trình ngắn gọn, không phức tạp. |
Nhận dạng đa phương thức (kết hợp cả giọng nói và cử chỉ tay); không cần đeo vật thể màu; tích hợp vẽ kỹ thuật số đa màu; xử lý giọng nói phản hồi độ trễ thấp. |
| Nhược điểm |
Chi phí phần cứng cao; chỉ phù hợp không gian hẹp; độ trễ nhất định khi chạy Body Tracking. |
Độ trễ giữa thao tác và hiển thị cao; bị ảnh hưởng nhiều bởi điều kiện ánh sáng môi trường; thiếu nhận diện giọng nói. |
Nhận dạng giọng nói mới hỗ trợ tiếng Anh; phụ thuộc kết nối Internet đối với module Azure Speech-to-Text. |
Đóng góp của đề tài
- Xây dựng hoàn chỉnh mô hình tương tác đa phương thức kết hợp giữa giọng nói và cử chỉ tay không tiếp xúc dành cho máy chiếu, ứng dụng trực tiếp vào môi trường giảng dạy.
- Tối ưu hóa kiến trúc xử lý bằng cách kết hợp dịch vụ nhận dạng giọng nói đám mây (Azure Speech) với thư viện chuyển đổi giọng nói cục bộ (
pyttsx3), giải quyết triệt để bài toán độ trễ phản hồi âm thanh.
- Ứng dụng giải pháp MediaPipe Hands để theo dõi 21 điểm mốc bàn tay từ camera RGB, giúp hệ thống hoạt động ổn định mà không đòi hỏi phần cứng GPU rời cao cấp như khi chạy SDK Body Tracking toàn thân của Kinect.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế
- Ngôn ngữ nhận dạng: Module giọng nói hiện tại mới cấu hình và xây dựng tập dữ liệu so sánh cho khẩu lệnh bằng tiếng Anh, chưa hỗ trợ trực tiếp tiếng Việt.
- Phụ thuộc kết nối mạng: Chức năng Speech-to-Text sử dụng dịch vụ đám mây Azure Speech Service nên yêu cầu máy tính phải duy trì kết nối Internet liên tục trong quá trình vận hành.
- Yêu cầu phần cứng Body Tracking: Khi muốn mở rộng sang theo dõi toàn bộ cơ thể bằng Azure Kinect Body Tracking SDK, hệ thống đòi hỏi cấu hình máy tính mạnh với card đồ họa rời NVIDIA (tối thiểu GTX 1070) để đạt tốc độ 30 khung hình/giây.
Hướng nghiên cứu tiếp
- Xây dựng và bổ sung bộ dữ liệu khẩu lệnh bằng tiếng Việt vào module nhận dạng giọng nói.
- Mở rộng thêm các cử chỉ tay phức tạp phục vụ các tác vụ trình chiếu nâng cao (như lật trang slide, xoay đối tượng 3D, phóng to thu nhỏ bằng hai tay).
- Tối ưu hóa thuật toán xử lý để nâng cao tốc độ khung hình trên các cấu hình máy tính phổ thông và thiết bị nhúng.
Giá trị tham khảo
Đề tài là tài liệu kỹ thuật có giá trị tham khảo cho sinh viên, học viên và kỹ sư thuộc các ngành Kỹ thuật Máy tính, Công nghệ Thông tin, Khoa học Máy tính và Kỹ thuật Điều khiển - Tự động hóa đang nghiên cứu về Giao tiếp Người - Máy (HCI) và Thị giác máy tính.
Các nội dung có giá trị tham khảo cao trong khóa luận bao gồm:
- Toàn bộ thông số cấu hình, chế độ hoạt động và phương pháp truy xuất dữ liệu từ các cảm biến trên thiết bị Azure Kinect DK (Sensor SDK, Depth/RGB Camera, IMU, 7-Microphone Array).
- Phương pháp kết nối và khai thác mô hình 21 điểm mốc bàn tay của Google MediaPipe Hands trên ngôn ngữ lập trình Python.
- Kỹ thuật xây dựng ứng dụng tương tác giao diện hệ điều hành thông qua việc ánh xạ tọa độ bàn tay với thư viện
pyautogui và xử lý âm thanh thời gian thực với pyttsx3.
Câu hỏi thường gặp
1. Khóa luận sử dụng những cảm biến nào tích hợp trên thiết bị Azure Kinect DK?
Khóa luận sử dụng cảm biến độ sâu Time-of-Flight (ToF) 1 Megapixel, máy ảnh màu RGB hỗ trợ độ phân giải lên đến 4K ($3840 \times 2160$), cảm biến chuyển động quán tính IMU (chip LSM6DSMUS) và mảng 7 micro đa hướng.
2. Tại sao tác giả lại sử dụng thư viện pyttsx3 thay vì Text-to-Speech của Microsoft Azure Speech Service?
Dịch vụ Text-to-Speech của Azure hoạt động thông qua việc gọi API từ máy chủ đám mây nên có độ trễ lớn và yêu cầu kết nối mạng. Thư viện pyttsx3 thực hiện chuyển đổi văn bản thành giọng nói cục bộ (local) trên máy tính, mang lại thời gian đáp ứng tức thì và giảm thiểu độ trễ cho hệ thống.
3. Mô hình MediaPipe Hands trích xuất bao nhiêu điểm mốc trên bàn tay và độ chính xác đạt được là bao nhiêu?
Mô hình Hand Landmark của MediaPipe Hands trích xuất 21 điểm tọa độ không gian 3D của các đốt ngón tay và lòng bàn tay, đạt độ chính xác trung bình $95{,}7%$ trên tập dữ liệu hơn 30.000 ảnh với hàm mất mát Cross-Entropy.
4. Module vẽ bằng cử chỉ tay (Finger Drawing) hỗ trợ những màu sắc nào và người dùng thực hiện thao tác vẽ như thế nào?
Module hỗ trợ 6 màu sắc: Đỏ, Xanh da trời, Cam, Vàng, Xanh dương, Xanh lá cây cùng chức năng tẩy/xóa. Người dùng sử dụng kết hợp ngón trỏ và ngón giữa để chọn màu trên thanh công cụ, sau đó dùng đầu ngón trỏ để vẽ nét màu hoặc xóa trên màn hình.
5. Điểm khác biệt chính giữa hệ thống của đề tài với nghiên cứu của Sheffield Hallam University là gì?
Nghiên cứu của Sheffield Hallam University sử dụng camera IP và thuật toán phân đoạn ngưỡng màu nên phụ thuộc vào việc cầm vật thể màu và nhạy cảm với ánh sáng môi trường. Hệ thống của đề tài sử dụng camera Azure Kinect DK kết hợp mô hình MediaPipe Hands nhận diện trực tiếp 21 điểm mốc bàn tay tự nhiên không cần vật thể phụ trợ, đồng thời tích hợp thêm khả năng điều khiển đa phương thức qua giọng nói.
Kết luận
Khóa luận tốt nghiệp "Phát triển thiết bị tương tác với máy chiếu sử dụng Azure Kinect DK" đã xây dựng thành công hệ thống tương tác không chạm thông minh kết hợp giữa cử chỉ bàn tay và giọng nói tiếng Anh. Bằng việc tích hợp phần cứng Azure Kinect DK với giải pháp MediaPipe Hands và dịch vụ Microsoft Speech Service trên nền tảng Python, hệ thống đã thực thi ổn định các tác vụ điều khiển chuột, quản lý âm lượng và vẽ kỹ thuật số tiệm cận thời gian thực. Đề tài đóng góp giải pháp kỹ thuật có tính ứng dụng thực tiễn cao cho lớp học thông minh và là tài liệu tham khảo chi tiết cho các nghiên cứu thuộc lĩnh vực thị giác máy tính và giao tiếp người - máy.
