Luận Văn Thạc Sĩ: Thiết Kế Hệ Thống Điều Khiển Thiết Bị Điện Bằng Nhận Diện Cử Chỉ

Luận văn thạc sĩ kỹ thuật phân tích thiết kế hệ thống điều khiển thiết bị điện bằng nhận diện cử chỉ, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Nguyễn Thắng Phong
• Người hướng dẫn: PGS. Phan Văn Ca
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Máy Tính
• Đề tài: Thiết Kế Hệ Thống Điều Khiển Thiết Bị Điện Qua Nhận Diện Cử Chỉ
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• TÓM TẮT
• ABSTRACT
• MỤC LỤC
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• CÁC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. GIỚI THIỆU
• 1.2. MỤC TIÊU ĐỀ TÀI
• 1.3. GIỚI HẠN ĐỀ TÀI
• 1.4. PHƯƠNG PHÁP NGHIÊN CỨU
• 1.5. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 1.6. BỐ CỤC QUYỂN BÁO CÁO
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. GIỚI THIỆU MÔ HÌNH NHẬN DIỆN CỬ CHỈ
• 2.1.1. Thư viện mê-đi-a-pai (MediaPipe)
• 2.1.2. Thư viện Kê-rát (Keras)
• 2.1.3. Huấn luyện mô hình nhận diện cử chỉ cho hệ thống
• 2.1.3.1. Tải tập dữ liệu
• 2.1.3.2. Xây dựng mô hình
• 2.1.3.3. Biên dịch mô hình
• 2.1.3.4. Huấn luyện mô hình
• 2.1.3.5. Đánh giá mô hình
• 2.2. THƯ VIỆN THIẾT KẾ GIAO DIỆN: QT
• 2.3. MÔ HÌNH MẠNG TCP/IP
• 3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG
• 3.1. TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG PHẦN CỨNG
• 3.1.1. Chức năng của phần cứng
• 3.1.2. Thiết kế sơ đồ khối hệ thống
• 3.1.2.1. Thiết kế khối xử lý (máy chủ)
• 3.1.2.2. Thiết kế chi tiết khối xử lý (máy khách)
• 3.2. TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG PHẦN MỀM
• 3.2.1. Thiết kế nhận diện cử chỉ cho hệ thống
• 3.2.2. Thiết kế giao diện điều khiển cho hệ thống
• 3.2.2.1. Bố trí giao diện
• 3.2.2.2. Thiết kế giao diện
• 3.2.2.3. Thiết kế máy khách cho hệ thống
• 4. CHƯƠNG 4: KẾT QUẢ
• 4.1. KẾT QUẢ THỰC HIỆN MÔ HÌNH
• 4.2. ĐÁNH GIÁ MÔ HÌNH
• 4.2.1. Đánh giá phần cứng
• 4.2.2. Đánh giá phần mềm
• 4.2.3. Đánh giá hoạt động tổng quan
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. KẾT LUẬN
• 5.2. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Đề tài 'Thiết kế hệ thống điều khiển thiết bị điện qua nhận diện cử chỉ' tập trung vào việc phát triển một hệ thống điều khiển thiết bị điện trong hộ gia đình thông qua cử chỉ tay. Hệ thống này không chỉ giúp người dùng dễ dàng điều khiển các thiết bị điện mà còn mang lại sự tiện lợi và hiện đại trong cuộc sống hàng ngày. Việc sử dụng công nghệ nhận diện cử chỉ giúp giảm thiểu sự phụ thuộc vào các thiết bị điều khiển truyền thống như remote hay smartphone. Hệ thống được thiết kế với hai khối chính: máy chủ và máy khách, trong đó máy chủ sẽ nhận diện cử chỉ và máy khách sẽ thực hiện điều khiển thiết bị. Điều này cho phép người dùng có thể tương tác một cách tự nhiên và linh hoạt.

1.1 Mục tiêu đề tài

Mục tiêu chính của đề tài là thiết kế và triển khai một hệ thống điều khiển thiết bị điện bằng nhận diện cử chỉ. Hệ thống sẽ cho phép người dùng tùy chỉnh các cử chỉ để điều khiển các thiết bị điện khác nhau. Ngoài ra, hệ thống cũng hỗ trợ điều khiển bằng nút nhấn vật lý và giao diện điều khiển trên màn hình. Việc nghiên cứu và phát triển mô hình nhận diện cử chỉ sẽ giúp nâng cao khả năng tương tác giữa người dùng và thiết bị, đồng thời tạo ra một trải nghiệm sử dụng thân thiện và hiệu quả.

II. Cơ sở lý thuyết

Chương này trình bày các khái niệm cơ bản liên quan đến nhận diện cử chỉ và các công nghệ hỗ trợ. Đề tài sử dụng thư viện MediaPipe để nhận diện các điểm mốc trên bàn tay, từ đó xác định các cử chỉ khác nhau. Thư viện này cho phép phát hiện 21 điểm mốc trên bàn tay, giúp mô hình có thể nhận diện chính xác các cử chỉ. Bên cạnh đó, thư viện Keras được sử dụng để huấn luyện mô hình học sâu, giúp cải thiện độ chính xác trong việc nhận diện cử chỉ. Việc kết hợp giữa hai thư viện này tạo ra một nền tảng vững chắc cho hệ thống điều khiển thiết bị điện.

2.1 Mô hình nhận diện cử chỉ

Mô hình nhận diện cử chỉ được xây dựng dựa trên các điểm mốc bàn tay được phát hiện bởi MediaPipe. Mỗi cử chỉ sẽ tương ứng với một bộ tọa độ khác nhau của các điểm mốc, từ đó tạo thành tập dữ liệu huấn luyện cho mô hình. Quá trình huấn luyện sử dụng Keras để xây dựng kiến trúc mạng nơ-ron, bao gồm các lớp đầu vào, lớp ẩn và lớp đầu ra. Lớp đầu ra sử dụng hàm Softmax để phân loại các cử chỉ, giúp mô hình có thể nhận diện và phản hồi chính xác các lệnh điều khiển từ người dùng.

III. Thiết kế hệ thống

Hệ thống được thiết kế với hai khối chính: khối xử lý (máy chủ) và khối điều khiển (máy khách). Khối xử lý sẽ nhận diện cử chỉ và gửi tín hiệu điều khiển đến khối máy khách thông qua giao thức TCP/IP. Khối máy khách sẽ nhận tín hiệu và thực hiện điều khiển các thiết bị điện như đèn, quạt, tivi, v.v. Thiết kế này không chỉ đảm bảo tính linh hoạt trong việc điều khiển mà còn giúp người dùng có thể tương tác một cách tự nhiên với hệ thống. Hệ thống cũng được trang bị giao diện điều khiển thân thiện, giúp người dùng dễ dàng tùy chỉnh và điều khiển thiết bị.

3.1 Tính toán và thiết kế phần cứng

Phần cứng của hệ thống bao gồm các linh kiện như Raspberry Pi 4 và ESP32. Raspberry Pi 4 được sử dụng làm máy chủ để xử lý tín hiệu và nhận diện cử chỉ, trong khi ESP32 đóng vai trò là máy khách để điều khiển thiết bị điện. Thiết kế sơ đồ khối cho hệ thống giúp xác định rõ ràng các kết nối và chức năng của từng linh kiện. Việc tính toán công suất tiêu thụ của các linh kiện cũng được thực hiện để đảm bảo hệ thống hoạt động ổn định và hiệu quả.

IV. Kết quả

Kết quả của đề tài cho thấy hệ thống có khả năng nhận diện cử chỉ và điều khiển thiết bị điện một cách hiệu quả. Qua quá trình thử nghiệm, độ chính xác của mô hình nhận diện cử chỉ đạt được tỷ lệ cao, cho phép người dùng thực hiện các thao tác bật/tắt thiết bị một cách dễ dàng. Hệ thống cũng cho phép điều khiển trực tiếp thông qua giao diện, mang lại sự linh hoạt cho người dùng. Đánh giá tổng quan cho thấy hệ thống hoạt động ổn định và đáp ứng được các yêu cầu đề ra trong mục tiêu nghiên cứu.

4.1 Đánh giá mô hình

Mô hình nhận diện cử chỉ được đánh giá dựa trên các tiêu chí như độ chính xác, tốc độ nhận diện và khả năng tương tác. Kết quả cho thấy mô hình hoạt động hiệu quả trong các điều kiện ánh sáng khác nhau và có thể nhận diện chính xác các cử chỉ trong khoảng cách nhất định. Việc sử dụng các công nghệ hiện đại như MediaPipe và Keras đã giúp nâng cao hiệu suất của mô hình, đồng thời tạo ra một trải nghiệm người dùng tốt hơn.

V. Kết luận và hướng phát triển

Đề tài 'Thiết kế hệ thống điều khiển thiết bị điện qua nhận diện cử chỉ' đã đạt được các mục tiêu đề ra, tạo ra một hệ thống điều khiển thiết bị điện thông minh và tiện lợi. Hệ thống không chỉ giúp người dùng dễ dàng điều khiển các thiết bị mà còn mở ra hướng phát triển mới cho các ứng dụng trong lĩnh vực Internet of Things (IoT). Trong tương lai, hệ thống có thể được mở rộng để tích hợp thêm nhiều tính năng như điều khiển từ xa qua internet, hoặc kết nối với các thiết bị thông minh khác trong gia đình.

5.1 Hướng phát triển

Hệ thống có thể được phát triển thêm với các tính năng như điều khiển từ xa qua ứng dụng di động, tích hợp với các thiết bị IoT khác, hoặc mở rộng khả năng nhận diện cử chỉ để hỗ trợ nhiều loại cử chỉ hơn. Việc nghiên cứu và phát triển thêm các mô hình học sâu mới cũng có thể giúp cải thiện độ chính xác và tốc độ nhận diện của hệ thống, từ đó nâng cao trải nghiệm người dùng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong xu thế tự động hóa và phát triển các thiết bị gia dụng hiện đại, các thiết bị điện như đèn chiếu sáng, quạt, tivi, tủ lạnh hay máy lạnh đã trở thành thành phần thiết yếu trong mọi sinh hoạt gia đình. Nhằm nâng cao tiện ích sinh hoạt, các giải pháp điều khiển thiết bị từ xa qua Internet bằng ứng dụng di động đã xuất hiện phổ biến. Tuy nhiên, phương thức này vẫn phụ thuộc vào việc thao tác bấm phím trên màn hình điện thoại cầm tay. Để tối ưu hóa tương tác người - máy trực tiếp trong không gian sống, đồ án tốt nghiệp ngành Công nghệ Kỹ thuật Máy tính tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh (do sinh viên Nguyễn Thắng Phong và Nguyễn Hải Hưng thực hiện dưới sự hướng dẫn của PGS. Phan Văn Ca) đã đề xuất đề tài: "Thiết kế hệ thống điều khiển thiết bị điện bằng nhận diện cử chỉ".

Vấn đề nghiên cứu trọng tâm là thiết kế một hệ thống cho phép người dùng điều khiển bật/tắt thiết bị điện thông qua các cử chỉ bàn tay thu nhận từ camera giám sát trong nhà, đồng thời duy trì khả năng điều khiển dự phòng linh hoạt qua giao diện đồ họa màn hình cảm ứng và cụm nút nhấn phần cứng vật lý.

Mục tiêu nghiên cứu của đề tài bao gồm 3 nội dung chính:

1. Thiết kế và hoàn thiện một hệ thống điều khiển thiết bị điện kết hợp ba phương thức: nhận diện cử chỉ bàn tay, phím bấm phần cứng vật lý và tương tác trực tiếp trên giao diện đồ họa của Raspberry Pi 4. Cung cấp bộ cử chỉ cho phép người dùng tùy chỉnh thiết lập độc lập cho từng thiết bị.
2. Nghiên cứu mô hình học sâu nhận diện cử chỉ bàn tay dựa trên dữ liệu tọa độ không gian từ ảnh thu nhận.
3. Nghiên cứu và xây dựng phần mềm giao diện điều khiển tương tác người dùng trên nền tảng máy tính nhúng.

Đối tượng và phạm vi nghiên cứu của đồ án được phân định cụ thể:

• Đối tượng nghiên cứu: Mô hình học sâu nhận diện cử chỉ tay (Hand Gesture Recognition), thư viện thị giác máy tính MediaPipe, thư viện học máy Keras, thư viện thiết kế giao diện PyQt5, vi điều khiển ESP32, máy tính nhúng Raspberry Pi 4 Model B, giao thức truyền thông mạng TCP/IP và mạch công suất điều khiển tải qua rơ-le.
• Phạm vi không gian và công nghệ: Hệ thống triển khai trong mạng cục bộ nội bộ (Local Network) sử dụng kết nối không dây Wi-Fi băng tần 2.4 GHz; thiết bị điện được mô phỏng thử nghiệm thông qua hệ thống đèn báo công nghiệp 12V DC.
• Phạm vi thời gian: Đề tài được giao thực hiện từ ngày 29/02/2022 và hoàn thành nộp báo cáo vào ngày 31/07/2022.
• Giới hạn kỹ thuật: Hệ thống điều khiển thiết bị ở mức độ mô phỏng tải bật/tắt; hoạt động dựa trên môi trường mạng không dây nên nếu xảy ra sự cố gián đoạn kết nối mạng TCP/IP, quá trình truyền lệnh giữa khối xử lý trung tâm và khối điều khiển chấp hành sẽ không thể thực thi.

Cơ sở lý thuyết và phương pháp

Đồ án ứng dụng phương pháp nghiên cứu thực nghiệm kỹ thuật, kết hợp giữa việc xây dựng mô hình mạng nơ-ron nhân tạo cho bài toán thị giác máy tính và thiết kế thi công phần cứng nhúng phân tán.

Hệ thống lý thuyết và công nghệ nền tảng bao gồm:

• Giải pháp nhận diện bàn tay MediaPipe Hands: Thư viện mã nguồn mở của Google hỗ trợ phát hiện bàn tay trong khung hình và trích xuất tọa độ không gian của 21 điểm mốc (landmarks) đặc trưng trên bàn tay. Mỗi điểm mốc mang thông tin tọa độ không gian x, y, z tương ứng với chiều rộng, chiều cao và độ sâu tương đối.
• Thư viện Keras và mạng nơ-ron phân loại đa lớp: Được sử dụng để xây dựng và huấn luyện mô hình phân loại cử chỉ tay dựa trên tập dữ liệu tọa độ mốc. Mô hình sử dụng hàm kích hoạt Softmax tại lớp ngõ ra để chuyển đổi véc-tơ điểm số thành phân phối xác suất trên 16 lớp cử chỉ.
• Thư viện PyQt5 và mô-đun QtNetwork: Được sử dụng để lập trình giao diện người dùng đồ họa (GUI) trên ngôn ngữ Python, đồng thời khởi tạo hạ tầng máy chủ Socket TCP để lắng nghe và duy trì kết nối mạng với thiết bị ngoại vi.
• Mô hình truyền thông TCP/IP: Tổ chức truyền thông theo 4 tầng (Application, Transport, Network, Physical) thay thế giao tiếp có dây UART truyền thống, cho phép khối xử lý trung tâm và khối điều khiển thiết bị trao đổi dữ liệu không dây qua mạng Wi-Fi mà không bị giới hạn bởi khoảng cách vật lý hay kiến trúc nhà tầng.

Phương pháp tiền xử lý và nguồn dữ liệu:

• Nguồn dữ liệu huấn luyện gồm gần 70.000 mẫu dữ liệu tọa độ cử chỉ tay do nhóm tác giả thu thập trực tiếp thông qua webcam Logitech C270 HD. Dữ liệu được lưu trữ dưới định dạng tệp CSV gồm 43 cột (42 cột tương ứng với tọa độ chuẩn hóa x, y của 21 điểm mốc bàn tay và 1 cột lưu nhãn cử chỉ từ 1 đến 16).
• Quy trình chuẩn hóa dữ liệu 4 bước:
  1. Nhân tọa độ mảng 2 chiều x, y với độ phân giải khung hình camera (1280x720).
  2. Lấy tọa độ của 20 điểm mốc trừ đi tọa độ của điểm mốc gốc ID: 0 (vị trí cổ tay) nhằm triệt tiêu sự dịch chuyển vị trí bàn tay trên khung hình, giữ tính bất biến tịnh tiến.
  3. Duỗi ma trận 2 chiều thành mảng 1 chiều 42 phần tử.
  4. Chuẩn hóa giá trị các phần tử về khoảng không gian đối xứng [-1, 1].
• Phương pháp phân chia dữ liệu: 75% dữ liệu dùng cho tập huấn luyện (training set) và 25% dùng cho tập kiểm tra (testing set).
• Thuật toán biên dịch và huấn luyện: Hàm mất mát Sparse Categorical Crossentropy, thuật toán tối ưu hóa Adam, kích thước lô xử lý (Batch size) là 128 mẫu, tích hợp kỹ thuật lưu trữ mô hình dự phòng (callbacks) khi gặp lỗi.
• Đánh giá mô hình: Sử dụng ma trận lỗi (Confusion Matrix), độ chính xác tổng thể (Accuracy), độ nhạy (Recall/TPR), độ chuẩn xác (Precision) và điểm F1-score.

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc phân tán gồm hai khối phần cứng độc lập: Khối xử lý trung tâm (Máy chủ - Server) và Khối điều khiển thiết bị (Máy khách - Client), liên kết với nhau qua giao thức Socket TCP trên nền tảng mạng Wi-Fi 2.4 GHz.

Khối chức năng	Phần cứng và linh kiện cấu thành	Thông số kỹ thuật và vai trò
Khối xử lý (Máy chủ)	- Raspberry Pi 4 Model B - Webcam Logitech C270 HD - Màn hình Waveshare 7-inch HDMI - Ổ cứng ngoài SSD Intel Pro 1500 180GB - Bộ nguồn DC 5V - 3A	- Bộ vi xử lý Broadcom BCM2711, 4 nhân Cortex-A72 1.5 GHz, RAM 4GB chạy Raspbian. - Thu thập luồng video độ phân giải 720p tốc độ 30 khung hình/giây. - Cảm ứng điện dung, độ phân giải 1024x600 hiển thị GUI PyQt5. - Kết nối USB 3.0 chứa hệ điều hành và cơ sở dữ liệu tệp CSV điều khiển.
Khối điều khiển (Máy khách)	- Kit vi điều khiển ESP32 DEVKIT V1 - DOIT - Mạch hạ áp LM2596 DC-DC - 05 nút nhấn nhả DS-227 - 01 cụm mô-đun rơ-le 4 kênh 5V - 01 cụm mô-đun rơ-le 1 kênh 5V - 04 đèn báo AD16-22D/S 22mm 12V - 01 đèn báo XD10-3 10mm 12V - Bộ nguồn chuyển đổi 12V DC	- Lập trình bằng C/C++, tích hợp Wi-Fi 2.4 GHz kết nối Socket Client tới máy chủ. - Hạ áp cấp nguồn 5V ổn định cho cuộn hút rơ-le và vi điều khiển. - 4 nút bật/tắt tải trực tiếp, 1 nút đóng/ngắt quyền nhận diện cử chỉ. - Cuộn hút 5V kích mức 3.3V từ chân GPIO của ESP32, tiếp điểm đóng cắt 12V. - 4 đèn mô phỏng thiết bị gia dụng tiêu thụ 80mA, 1 đèn hiển thị chế độ cử chỉ tiêu thụ 15mA.

Bảng tổng hợp tính toán mức dòng tiêu thụ của khối điều khiển máy khách trong trạng thái hoạt động:

STT	Tên linh kiện	Số lượng	Dòng điện tiêu thụ
1	Kit vi điều khiển ESP32	1	160 – 260 mA
2	Đèn báo thiết bị 12V	4	80 mA
3	Đèn báo trạng thái chế độ cử chỉ 12V	1	15 mA
4	Mô-đun rơ-le 1 kênh	1	70 mA
5	Mô-đun rơ-le 4 kênh	1	280 mA
Tổng	Toàn bộ khối máy khách	—	705 mA

Kiến trúc phần mềm và quy trình hoạt động phân tán:

• Cơ sở dữ liệu điều khiển: Sử dụng định dạng tệp CSV lưu trữ cục bộ trên máy chủ làm trung tâm dữ liệu chia sẻ trạng thái giữa các tiến trình. Tệp này lưu trữ trạng thái đóng/ngắt của 4 kênh thiết bị, trạng thái kích hoạt chế độ nhận diện cử chỉ và bảng ánh xạ 16 mã cử chỉ với từng kênh tương ứng.
• Kiến trúc mạng nơ-ron học sâu: Gồm 4 lớp truyền thẳng:
  • Lớp ngõ vào (Input Layer): 42 nơ-ron tiếp nhận 42 tọa độ mốc tay sau khi chuẩn hóa.
  • Lớp ẩn thứ nhất (Hidden Layer 1): 20 nơ-ron kết nối đầy đủ.
  • Lớp ẩn thứ hai (Hidden Layer 2): 10 nơ-ron kết nối đầy đủ.
  • Lớp ngõ ra (Output Layer): 16 nơ-ron sử dụng hàm kích hoạt Softmax biểu thị 16 nhãn cử chỉ phân loại.
• Tiến trình đa nhiệm trên máy chủ:
  • Luồng nhận diện cử chỉ: Đọc cờ cho phép từ tệp CSV; nếu được kích hoạt, luồng sẽ khởi chạy webcam, trích xuất 21 điểm mốc qua MediaPipe Hands, chuẩn hóa dữ liệu, đưa qua mô hình Keras để dự đoán mã cử chỉ. Khi nhận diện đúng cử chỉ đã được người dùng gán lệnh, trạng thái kênh tương ứng sẽ được ghi đè vào tệp CSV.
  • Luồng giao diện PyQt5: Hiển thị trực quan trạng thái 4 thiết bị, cung cấp các nút bấm cảm ứng điều khiển đóng/ngắt trực tiếp và trình quản lý ánh xạ cho phép người dùng tự do lựa chọn cử chỉ trong bộ 16 mẫu cử chỉ để gán cho từng thiết bị.
  • Dịch vụ Socket Server (QtNetwork): Đọc định kỳ trạng thái tệp CSV và phát tín hiệu điều khiển đóng/ngắt đến địa chỉ IP của ESP32 qua giao thức TCP; đồng thời tiếp nhận dữ liệu phản hồi từ nút bấm vật lý của ESP32 để cập nhật ngược lại tệp CSV.
• Cơ chế an toàn phần cứng trên máy khách: Nút nhấn số 5 trên máy khách được thiết lập độc lập để bật hoặc tắt chế độ nhận diện cử chỉ. Trạng thái này điều khiển trực tiếp mô-đun rơ-le 1 kênh đóng ngắt đèn báo XD10-3 và gửi gói tin TCP thông báo về máy chủ tạm dừng việc xử lý nhận diện, tránh việc hệ thống bị kích hoạt nhầm khi người dùng hoạt động tự nhiên trước camera. Cả hai khối máy chủ và máy khách đều được gia công hoàn thiện, lắp ráp gọn gàng trong các hộp mica bảo vệ.

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập các cơ sở mở đầu cho đề tài nghiên cứu. Tác giả phân tích nhu cầu tự động hóa trong sinh hoạt thường nhật, nêu bật sự phổ biến của các thiết bị điện và chỉ ra hạn chế của các phương pháp điều khiển bằng ứng dụng điện thoại từ xa vốn đòi hỏi thiết bị cầm tay liên tục. Từ đó, đề tài xác định mục tiêu thiết kế một hệ thống điều khiển kết hợp nhận diện cử chỉ tay thông qua camera cố định, màn hình cảm ứng tương tác và nút bấm vật lý. Chương này đồng thời công bố rõ các giới hạn kỹ thuật của đồ án: phạm vi dừng lại ở tải mô phỏng qua 4 đèn LED 12V, phần cứng cốt lõi gồm Raspberry Pi 4 Model B và ESP32, toàn bộ hệ thống vận hành hoàn toàn phụ thuộc vào tính sẵn sàng của mạng cục bộ không dây. Ngoài ra, chương 1 trình bày 5 nội dung nghiên cứu tương ứng với 5 phạm vi thực hiện và tóm lược kết cấu 5 chương của quyển báo cáo.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày chi tiết nền tảng công nghệ phục vụ thiết kế hệ thống. Về thị giác máy tính, tác giả đi sâu vào giải pháp MediaPipe Hands của Google, phân tích sơ đồ 21 điểm mốc bàn tay và nguyên lý trích xuất tọa độ không gian (x, y, z). Về học máy, chương báo cáo cấu trúc thư viện Keras, quy trình xây dựng mạng nơ-ron phân loại đa lớp, cơ chế toán học của hàm kích hoạt Softmax và các công thức toán học dùng trong đánh giá mô hình bao gồm: Độ chính xác (Accuracy), Độ nhạy (Recall), Độ chuẩn xác (Precision) và Điểm số F1-score. Đối với phần mềm, tác giả giới thiệu thư viện đồ họa PyQt5, công cụ chuyển đổi giao diện pyuic5 và thành phần QtNetwork. Cuối cùng, chương 2 tổng hợp nguyên lý hoạt động 4 tầng của mô hình truyền thông mạng TCP/IP nhằm chứng minh tính ưu việt của giải pháp kết nối không dây so với phương thức nối dây UART trong môi trường nhà ở.

Chương 3: Thiết kế hệ thống

Chương 3 là phần trọng tâm kỹ thuật, mô tả toàn diện các bước tính toán và thiết kế hệ thống từ sơ đồ khối tổng quát, sơ đồ nguyên lý đến các lưu đồ thuật toán chi tiết. Về phần cứng, tác giả trình bày sơ đồ kết nối chi tiết của Raspberry Pi 4 với màn hình cảm ứng 7 inch, webcam Logitech C270 HD, ổ cứng ngoài SSD Intel Pro 1500 qua cổng USB 3.0; đồng thời phân tích chi tiết sơ đồ chân GPIO của ESP32 DEVKIT V1, tính toán phụ tải dòng điện tiêu thụ toàn khối máy khách đạt 705 mA để lựa chọn nguồn cấp và mạch giảm áp LM2596. Về phần mềm, chương trình bày thuật toán chuẩn hóa dữ liệu 4 bước từ tọa độ thô sang đoạn [-1, 1], quy trình huấn luyện mô hình mạng nơ-ron 4 lớp (42-20-10-16 nơ-ron) với gần 70.000 mẫu dữ liệu, ma trận lỗi (Confusion Matrix) và bộ danh mục 16 cử chỉ điều khiển được mã hóa từ 1 đến 16. Chương cũng mô tả chi tiết giao diện người dùng thiết kế bằng Qt Designer và lưu đồ các hàm điều khiển socket TCP kết nối giữa máy chủ và máy khách.

Chương 4: Kết quả

Chương 4 ghi nhận các kết quả thực nghiệm sau khi hiện thực hóa hệ thống. Tác giả trình bày hình ảnh mô hình nhận diện cử chỉ hoạt động thực tế trên hai nền tảng phần cứng: máy tính cá nhân (laptop) và máy tính nhúng Raspberry Pi 4 Model B. Chương công bố hình ảnh thi công thực tế của khối máy chủ và khối máy khách khi được đóng hộp mica hoàn chỉnh, kết nối với dàn 4 đèn tải công nghiệp và 1 đèn báo chế độ. Các kịch bản vận hành thực tế được kiểm chứng thành công bao gồm: bật thiết bị 2 và 4 đồng thời tắt thiết bị 1 và 3; điều khiển tắt toàn bộ 4 thiết bị; điều khiển bật toàn bộ 4 thiết bị. Ngoài ra, chương 4 cung cấp hai bảng số liệu thực nghiệm: Bảng 4-1 thể hiện tỉ lệ nhận diện theo điều kiện ánh sáng và khoảng cách đo, Bảng 4-2 thể hiện tỉ lệ nhận diện chi tiết của từng cử chỉ trong điều kiện môi trường lý tưởng.

Chương 5: Kết luận và hướng phát triển

Chương 5 tổng kết mức độ hoàn thành nhiệm vụ theo mục tiêu đề ra ban đầu, đánh giá ưu điểm của việc kết hợp linh hoạt ba phương thức điều khiển (cử chỉ, màn hình cảm ứng, nút nhấn cơ học) cùng tính ổn định của giao tiếp socket TCP qua Wi-Fi. Song song đó, nhóm tác giả chỉ rõ các nhược điểm còn tồn tại của hệ thống và đề xuất các phương hướng cải tiến, mở rộng đề tài trong tương lai.

Kết quả và đóng góp

Nghiên cứu đã hiện thực hóa trọn vẹn mô hình từ lý thuyết đến sản phẩm thực nghiệm, ghi nhận các kết quả kỹ thuật cụ thể:

• Huấn luyện thành công mô hình mạng nơ-ron phân loại 16 cử chỉ bàn tay từ tập dữ liệu gần 70.000 mẫu với cấu trúc mạng 4 lớp (42 nơ-ron đầu vào, hai lớp ẩn lần lượt là 20 và 10 nơ-ron, lớp ngõ ra 16 nơ-ron với hàm Softmax). Mô hình được tối ưu hóa bằng thuật toán Adam, cập nhật trọng số theo kích thước lô 128 mẫu và kiểm định chất lượng phân loại qua ma trận lỗi cùng báo cáo phân loại (Classification Report).
• Triển khai thành công mô hình học máy nhúng lên bo mạch Raspberry Pi 4 Model B kết hợp camera Logitech C270 HD (720p/30fps) và ổ cứng SSD Intel Pro 1500 Series 180GB, đảm bảo tốc độ trích xuất mốc bàn tay và phân loại cử chỉ diễn ra theo thời gian thực.
• Thiết kế hoàn chỉnh giao diện đồ họa cảm ứng tương tác bằng PyQt5 trên màn hình Waveshare 7-inch (1024x600), cung cấp tính năng bật/tắt thiết bị độc lập và bảng cấu hình ánh xạ linh hoạt cho phép gán bất kỳ cử chỉ nào trong 16 cử chỉ cho 4 kênh thiết bị.
• Thi công hoàn thiện phần cứng khối máy khách trên vi điều khiển ESP32 và cụm 5 rơ-le cách ly, đo đạc chính xác dòng tiêu thụ thực tế đạt 705 mA, đáp ứng điều khiển mô phỏng 4 bóng đèn AD16-22D/S 12V và 1 bóng XD10-3 12V.
• Xây dựng hoàn chỉnh giao thức liên lạc Socket TCP qua Wi-Fi 2.4 GHz, cho phép đồng bộ hóa hai chiều trạng thái điều khiển giữa máy chủ Raspberry Pi 4 và máy khách ESP32 thông qua tệp cơ sở dữ liệu CSV trung gian.
• Đóng gói toàn bộ phần cứng hệ thống vào 2 cụm hộp mica chuyên dụng, kiểm thử thành công các kịch bản bật/tắt độc lập và đồng thời các thiết bị.

Đóng góp của đồ án so với các phương thức truyền thống:

• Giải quyết hạn chế lệ thuộc vào thiết bị điều khiển cầm tay (như điện thoại thông minh hay remote hồng ngoại) bằng cách cung cấp cơ chế tương tác tự nhiên không tiếp xúc qua cử chỉ thị giác máy tính.
• Khắc phục nhược điểm rườm rà của việc đi dây tín hiệu UART truyền thống trong môi trường nhiều phòng/nhiều tầng nhờ sử dụng truyền thông mạng không dây TCP/IP.
• Đảm bảo tính sẵn sàng và tính dự phòng cao trong không gian sống khi kết hợp hài hòa ba tầng tương tác: thị giác máy tính (cử chỉ tay), giao diện cảm ứng tại chỗ (GUI màn hình máy tính nhúng) và phím bấm vật lý cơ học truyền thống.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế kỹ thuật được xác định trực tiếp từ tài liệu:

• Hệ thống điều khiển thiết bị mới dừng lại ở quy mô mô hình mô phỏng phụ tải (đèn báo công nghiệp 12V DC), chưa tích hợp và thử nghiệm đóng cắt trực tiếp các thiết bị điện xoay chiều điện áp cao 220V AC công suất lớn trong gia đình.
• Hệ thống phụ thuộc hoàn toàn vào hạ tầng mạng không dây nội bộ; khi xảy ra sự cố mất sóng hoặc lỗi mạng Wi-Fi/giao thức TCP, toàn bộ hoạt động điều khiển phân tán giữa khối máy chủ và khối máy khách sẽ bị đình trệ.
• Mô hình nhận diện chỉ xử lý dựa trên khung tọa độ mốc tĩnh của một bàn tay tại một thời điểm xuất hiện trong tầm quan sát của camera.

Hướng phát triển tiếp theo được tác giả đề xuất:

• Nâng cấp khối công suất chấp hành nhằm kết nối, đóng ngắt an toàn cho các thiết bị điện dân dụng thực tế sử dụng nguồn điện 220V AC (quạt, đèn gia dụng, thiết bị công suất cao).
• Tối ưu hóa thuật toán nhận diện cử chỉ để mở rộng khả năng xử lý nhận diện nhiều bàn tay cùng lúc hoặc nhận diện các cử chỉ động (chuỗi hành động cử chỉ theo thời gian).
• Bổ sung cơ chế lưu trữ đệm, cơ chế tự động kết nối lại khi mất mạng hoặc tích hợp thêm kênh truyền thông dự phòng khi mạng Wi-Fi gặp sự cố.

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo có giá trị ứng dụng cao cho các đối tượng sau:

• Sinh viên ngành Kỹ thuật Máy tính, Điện tử - Viễn thông, Công nghệ Thông tin và Cơ điện tử: Cung cấp tài liệu mẫu mực về quy trình xây dựng đồ án kỹ thuật tích hợp hoàn chỉnh từ phần mềm (thị giác máy tính, học máy, lập trình giao diện) đến phần cứng nhúng (máy tính nhúng Raspberry Pi, vi điều khiển ESP32, mạch công suất rơ-le).
• Kỹ sư và người nghiên cứu hệ thống Nhà thông minh (Smart Home) và IoT: Tham khảo giải pháp kết hợp giao diện tương tác người - máy không tiếp xúc (cử chỉ tay) với hạ tầng điều khiển socket mạng TCP/IP phân tán.
• Các phần nội dung đáng tham khảo chuyên sâu:
  • Quy trình 4 bước chuẩn hóa dữ liệu mốc tọa độ MediaPipe (Chương 3) để loại bỏ độ trôi tịnh tiến của bàn tay trước khi đưa vào mạng Keras.
  • Phương pháp thiết kế giao diện PyQt5 kết hợp với Socket Server QtNetwork và cơ sở dữ liệu tệp CSV trung gian điều khiển đa luồng.
  • Phương pháp tính toán công suất tiêu thụ của khối điều khiển chấp hành ESP32 nhằm thiết kế nguồn điện dự phòng chính xác.

Câu hỏi thường gặp

Khối xử lý trung tâm (Máy chủ) và Khối điều khiển (Máy khách) trao đổi dữ liệu với nhau bằng phương thức nào?
Hai khối trao đổi dữ liệu không dây qua giao thức mạng TCP/IP Socket trên băng tần Wi-Fi 2.4 GHz. Raspberry Pi 4 đóng vai trò máy chủ (sử dụng thư viện QtNetwork để quản lý Socket Server), trong khi vi điều khiển ESP32 hoạt động như một máy khách (Socket Client).

Tập dữ liệu huấn luyện mô hình cử chỉ có kích thước bao nhiêu và kiến trúc mạng nơ-ron gồm những lớp nào?
Tập dữ liệu gồm gần 70.000 mẫu biểu diễn 16 cử chỉ, được chia theo tỉ lệ 75% huấn luyện và 25% kiểm tra. Kiến trúc mạng gồm 4 lớp: Lớp ngõ vào 42 nơ-ron (21 điểm mốc nhân 2 tọa độ x, y), lớp ẩn thứ nhất 20 nơ-ron, lớp ẩn thứ hai 10 nơ-ron và lớp ngõ ra 16 nơ-ron sử dụng hàm kích hoạt Softmax.

Hệ thống có cơ chế nào để ngăn chặn việc nhận diện nhầm khi người dùng vô tình cử động tay trước camera?
Hệ thống bố trí một nút nhấn vật lý chuyên dụng (nút thứ 5) trên khối máy khách kết nối với mô-đun rơ-le 1 kênh và đèn báo XD10-3 12V. Nút nhấn này cho phép người dùng bật hoặc tắt quyền nhận diện cử chỉ; khi tắt, khối máy chủ sẽ tạm dừng phân tích luồng ảnh từ camera và không kích hoạt lệnh điều khiển.

Phụ tải mô phỏng và mạch công suất của khối máy khách được cấu hình ra sao?
Khối máy khách sử dụng 01 cụm mô-đun rơ-le 4 kênh (kích mức 3.3V từ ESP32, cấp nguồn cuộn hút 5V qua mạch hạ áp LM2596) để điều khiển đóng cắt 4 đèn báo AD16-22D/S 22mm 12V đóng vai trò thiết bị mô phỏng, cùng 01 rơ-le 1 kênh điều khiển đèn báo trạng thái XD10-3 10mm 12V. Tổng dòng điện tiêu thụ toàn khối đo được là 705 mA.

Kết luận

Đồ án "Thiết kế hệ thống điều khiển thiết bị điện bằng nhận diện cử chỉ" của sinh viên Nguyễn Thắng Phong và Nguyễn Hải Hưng đã hoàn thành toàn diện các mục tiêu nghiên cứu và hiện thực hóa thành công sản phẩm phần cứng kết hợp phần mềm nhúng. Hệ thống tích hợp hiệu quả mô hình học máy phân loại 16 cử chỉ tay trên nền tảng MediaPipe và Keras, giao diện điều khiển cảm ứng PyQt5 trên Raspberry Pi 4, cùng mạng điều khiển chấp hành không dây qua ESP32 và rơ-le bằng giao thức TCP/IP. Với việc kết hợp linh hoạt ba phương thức tương tác gồm cử chỉ tay, màn hình cảm ứng và nút nhấn vật lý, đề tài cung cấp một giải pháp kỹ thuật có tính ứng dụng thực tiễn cao cho lĩnh vực nhà thông minh và điều khiển tự động hóa dân dụng.

Trích đoạn nội dung tài liệu

Chương 1 GIỚI THIỆU: các vấn đề về đề tài sẽ được khái quát ở chương này. - Các mục tiêu mà nhóm thực hiện sẽ nghiên cứu để hoàn thành hệ thống. - Những giới hạn trong quá trình thực hiện đề tài. - Các phương pháp được nhóm thực hiện sử dụng để nghiên cứu đề tài.

- Phạm vi và đối tượng mà nhóm thực sẽ tiến hành nghiên cứu trong quá trình thực hiện đề tài. Chương 2 CƠ SỞ LÝ THUYẾT: trình bày về tình hình nghiên cứu, hướng nghiên cứu, các dịch vụ đang được sử dụng. 3 Chương 3 THIẾT KẾ HỆ THỐNG: thực hiện thiết kế sơ đồ khối cho toàn hệ thống, nói chi tiết về thiết kế các khối phần cứng và quá trình thực hiện phần mềm. Các hoạt động điều khiển từ phần mềm tới phần cứng.

Chương 4 KẾT QUẢ: triển khai mô hình hoàn chỉnh về phần cứng, tiến hành hoạt động khởi chạy cho toàn hệ thống (các hoạt động điều khiều từ phần mềm tới các thiết bị phần cứng). Chương 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN: đánh giá quá trình hoạt động của mô hình sau khi hoàn thiện có đúng với mục tiêu của đề tài đặt ra hay không, các mục ưu điểm nổi bật của hệ thống cũng như một số khuyết điểm, từ đó nêu ra hướng phát triển cho hệ thống. 4 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU MÔ HÌNH NHẬN DIỆN CỬ CHỈ Đề tài nhóm thực hiện tham khảo và sử dụng mô hình nhận diện cử chỉ tay để thực hiện việc nhận diện cử chỉ tay dùng để bật tắt các thiết bị điện. Mô hình sử dụng thư viện Mê-đi-a-pai (MediaPipe) và thư viện Kê-rát (keras).1 Thư viện mê-đi-a-pai (MediaPipe) Một thư viện do Google thực hiện nghiên cứu và phát triển.

MediaPipe là tập hợp của một loạt các giải pháp máy học (Machine Learning) đa nền tảng có một số ưu điểm: có thể triển khai trên di động, máy tính, đám mây, Web, thiết bị IoT, … mã nguồn mở và hoàn toàn miễn phí (người dùng có thể sử dụng và tùy chỉnh trực tiếp theo bài toán của mình). Google Mê-đi-a-pai hỗ trợ hầu như tất cả các lĩnh vực về Thị giác máy tính (Computer Vision). Một số giải pháp như: Nhận diện khuôn mặt (Face Dectection), Lưới mặt (Face Mesh), Nhận diện bàn tay (Hands Detection), Ước tính tư thế người (Human Pose Estimation), Phát hiện đối tượng (Object Detection), … và nhiều hơn thế nữa. Đề tài nhóm thực hiện sử dụng giải pháp Nhận diện bàn tay (Hands Detection) [1].

Nhận diện các điểm mốc tọa độ trên bàn tay: giải pháp này sẽ hỗ trợ mô hình nhận diện được lòng bàn tay đang xuất hiện trên khung hình đang thu thập hình ảnh, từ lòng bàn tay này giải pháp sẽ vẽ ra 21 điểm mốc trên lòng bàn tay có tọa độ tương ứng so với khung hình đang thu thập hình ảnh. 5 Hình 2-1 21 điểm mốc bàn tay từ mê-đi-a-pai. [1] Hình 2-1 cho biết 21 điểm mốc bàn tay của con người được thư viện mê-đi- a-pai nhận diện. Với mỗi điểm mốc sẽ có thư viện đọc về giá trị tọa độ x, y, z (x, y, z lần lượt là chiều dài, chiều rộng và chiều sâu) của điểm mốc ấy trên khung hình mà máy ảnh chụp hoặc quay được.

Với mỗi cử chỉ sẽ trả về một bộ tọa độ khác nhau nên rất thích hợp cho việc huấn luyện cho mạng học sâu. Hình 2-2 Điểm mốc bàn tay được sử dụng trong thiết kế. Hình 2-2 hình tay của thành viên trong nhóm khi sử dụng thư viện Mê-đi- a-pai trong quá trình tìm hiểu và tham khảo mô hình nhận diện cử chỉ tay.2 Thư viện Kê-rát (Keras) Kê-rát là một thư viện hỗ trợ cho việc huấn luyện mô hình học sâu (Deep Learning) [2]. Keras được biết đến là một thư viện hỗ trợ xây dựng mô hình đơn giản, dễ nắm bắt nhất so với các thư viện khác, không cần hiểu quá sâu về Mạng Nơ-ron ta cũng có thể thực hiện xây dựng một mô hình tương đối hoàn chỉnh.

Lý do nhóm tham khảo và chọn mô hình này để thực hiện việc nhận diện cử chỉ này cũng một phần do mô hình này sử dụng thư viện Kê-rát dễ tiếp cận cho nhóm vì thành viên của nhóm không chuyên về lĩnh vực Trí tuệ nhân tạo (AI). Hình 2-3 Thư viện Kê-rát.3 Huấn luyện mô hình nhận diện cử chỉ cho hệ thống Nhóm thực hiện sử dụng 2 thư viện chính để hỗ trợ cho việc huấn luyện mô hình: Mê-đi-a-pai hỗ trợ việc tìm kiếm các bàn tay trên khung hình và trả về các dữ liệu mốc bàn tay, từ dữ liệu mốc bàn tay đó nhóm lưu lại thành một tập dữ liệu lớn gồm các cử chỉ mà nhóm muốn mô hình nhận diện được từ đó sử dụng thư viện Kê-rát, sử dụng tập dữ liệu đó thực hiện việc huấn luyện tạo ra một mô hình hoàn chỉnh có thể nhận diện được cử chỉ. Quy trình để huấn luyện một mô hình sử dụng thư viện của Kê-rát, đây là một quy trình chung cho hầu hết các mô hình sử dụng thư viện Kê-rát để huấn luyện. Quá trình các bước cụ thể sẽ được trình bày sau đây.

7 Hình 2-4 Quy trình huấn luyện mô hình của thư viện Kê-rát.1 Tải tập dữ liệu Đầu tiên là quá trình tải tập dữ liệu đã được lưu trữ để huấn luyện mô hình. Bộ dữ liệu ở đây là tọa độ các điểm mốc bàn tay, với mỗi cử chỉ ta sẽ có một bộ gồm 21 điểm mốc tọa độ trên lòng bàn tay. Mỗi bộ trong 21 điểm mốc bàn tay đó sẽ có 2 tọa độ là tọa độ so với chiều rộng và tọa độ so với chiều cao trên khung hình mà camera thu được dữ liệu hình ảnh bàn tay. Ngoài 42 cột biểu thị cho tọa độ của 21 điểm mốc bàn tay thì ta còn có thêm 1 cột biểu thị cho nhãn của mô hình nhận diện cử chỉ.

Vậy ta có tổng 43 cột cho mỗi dữ liệu để huấn luyện mô hình. Bộ dữ liệu này sẽ được tải lên Pycharm và thực hiện việc chia thành tập huấn luyện và tập kiểm tra theo tỉ lệ 75% huấn luyện và 25% kiểm tra.2 Xây dựng mô hình Xây dựng mô hình là vẽ kiến trúc mạng để thực hiện việc huấn luyện mô hình. Mô hình trong đề tài của nhóm được tham khảo kiến trúc mạng mô hình một đề tài hand gesture recognition mediapipe của Nikita Kiselov được chia sẻ trên gitbub. Mô hình này được xây dựng gồm có 4 lớp: lớp đầu tiên có 42 nơ-ron lần lượt là 2 thông số tọa độ của 21 điểm mốc bàn tay trên khung hình phát hiện bày tay, lớp thứ 2 là lớp ẩn gồm 20 nơ-ron và lớp thứ 3 cũng là một lớp ẩn 10 nơ-ron, cuối cùng là lớp ngõ ra có 16 ngõ ra (vì hệ thống có tổng 16 cử chỉ và cho phép người dùng có thể tùy ý điều chỉnh để điều khiển thiết bị mong muốn).

Ở lớp ngõ ra mô hình sử dụng hàm trung bình mũ (softmax) để tính xác suất của vector, hàm này thường được dùng trong các bài toàn phân loại đa lớp. Trong đề tài này hàm Softmax chia 16 ngõ ra thành xác suất tổng là 1 và giá trị của ngõ ra từ (0,1]. Hình 2-5 Hàm trung bình mũ (Softmax).3 Biên dịch mô hình Quá trình biên dịch mô hình là quá trình thực hiện lựa chọn các thông số cho quá trình huấn luyện mô hình. Hàm thất thoát, mất mát (Loss) mô hình sử dụng thông số phân loại chéo thưa thớt (sparse categorical crossentropy), hàm tối ưu hóa (optimizer) sử dụng thông số ‘adam’, hàm đánh giá mô hình (metrics) sử dụng ‘accuracy’.4 Huấn luyện mô hình Quá trình huấn luyện mô hình khi sử dụng thư viện Kê-rát hết sức đơn giản, chỉ cần gọi hàm tạo mô hình huấn luyện (fit).

Mô hình có gần 70000 dữ liệu với 16 cử chỉ để huấn luyện nên nhóm thực hiện sử dụng số lượng mẫu mỗi lần cập nhật trọng số là 128 (Batch_size = 128). Vì dữ liệu quá nhiều nên nhóm phải chia 9 nhỏ dữ liệu thành nhiều phần nhỏ để cập nhật trọng số. Ngoài ra còn có thông số gọi lại (callbacks) để mỗi lần gặp lỗi ta có thể lưu lại mô hình để chạy cho lượt tiếp theo.5 Đánh giá mô hình Để đánh giá mô hình nhóm sử dụng ma trận lỗi (confusion matrix) để đo lượng, tính toán hiệu suất cho bài toán phân loại của mô hình. Một vài thông số để đánh giá mô hình: - Số đúng thực tế (condition positive: P) - Số sai thực tế (condition negative: N) - Số dự đoán đúng mà nó đúng (True positive: TP) - Số dự đoán sai mà nó đúng (True negative: TN) - Số dự đoán đúng mà nó sai (False positive: FP) - Số dự đoán sai mà nó sai (False negative: FN) Với các thuật ngữ này ta có: Bảng 2-1 Bảng các công thức đánh giá một mô hình.

[3] Công thức Tên Độ chính xác (Accuracy: Acc) Tỷ lệ dự đoán đúng mà nó đúng (True Positive Rate: TPR) Recall Precision F1 score 10 2.2 THƯ VIỆN THIẾT KẾ GIAO DIỆN: QT Qt là một thư viện đa nền tảng để tạo nên các giao diện đồ họa người dùng, chủ yếu với các cửa sổ. Qt được viết bằng C++ và được thiết kế để sử dụng C++. Tuy nhiên hiện nay chúng ta có thể sử dụng thư viện này với nhiều ngôn ngữ khác như Java hay Python, … vì xuyên suốt quá trình thực hiện tham khảo mô hình nhận diện cử chỉ tay là ngôn ngữ Python nên nhóm quyết định sử dụng thư viện Qt dùng ngôn ngữ Python hay còn được gọi với tên khác là PyQt5 [4] thiết kế giao diện với ngôn ngữ Python đơn giản dễ nắm bắt trong quá trình thực hiện đề tài thiết kế. Hình 2-6 Thư viện Qt.

[4] Hình 2-5 logo thư viện Qt mà nhóm dùng để thực hiện thiết kết giao diện. Ngoài ra thư viện Qt còn có hỗ trợ QtNetwork gọi các hàm làm máy chủ, nhóm sử dụng để làm máy chủ cho hệ thống từ đó liên kết với máy khách.3 MÔ HÌNH MẠNG TCP/IP Thời đại hiện đại hóa ngày nay, bất kỳ nhà nào cũng có mạng internet thế nên việc sử dụng mạng để tương tác giữa các thiết bị điều khiển là điều hết sức phổ biến. Trong một ngôi nhà có thể có nhiều tầng do đó nếu dùng kết nối UART có dây thì việc thiết lập cho hệ thống nếu nhiều tầng sẽ rất rườm ra. Việc sử dụng mạng để tương tác giữa khối xử lý nhận diện cử chỉ rồi điều khiển thiết bị từ xa 11 bằng mạng thì có thể giải quyết được hạn chế mà kết nối UART là dùng dây kết nối.

Tầng ứng dụng (Application): đề cập đến các chương trình cần TCP/IP để giúp các thiết bị giao tiếp với nhau.