Hệ Thống Trợ Lý Thông Minh: Dự Án Tốt Nghiệp Kỹ Thuật Điện và Điện Tử

Hệ thống trợ lý thông minh trong ngôi nhà thông minh đang trở thành xu hướng phổ… 114 trang · Ho Chi Minh City University of Technology and Education · 2022.

• Tác giả: Trinh Minh Duc
• Người hướng dẫn: PhD. Vu Van Phong
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Electrical and Electronic Engineering Technology
• Đề tài: Smart Home Assistant System
• Loại tài liệu: Graduation Project
• Năm xuất bản: 2022
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• Acknowledgements
• 1. CHƯƠNG 1: INTRODUCTION
• 1.1. Problem
• 1.2. Objective
• 1.3. Constraints
• 1.4. Research Method
• 1.5. Outline
• 2. CHƯƠNG 2: LITERATURE REVIEW
• 2.1. Smart Home System Overview
• 2.2. AI Introduction
• 2.3. Voice Recognition Relevant Theory
• 2.3.1. Introduction
• 2.3.2. Voice Recognition Method
• 2.4. Face Recognition Relevant Theory
• 2.4.1. Introduction
• 2.4.2. Face Recognition Method
• 2.4.3. Human identification at a distance (HID)
• 2.4.4. 3-dimensional recognition
• 2.4.5. Thermal cameras
• 3. CHƯƠNG 3: HARDWARE DESIGN
• 3.1. Logitech Webcam C270 HD
• 3.2. Main AI System
• 3.3. Face Recognition System
• 3.3.1. Create data set
• 3.3.2. Locate faces and encoding
• 3.3.3. Locate faces and compare in real time
• 3.4. Python HTTP Server
• 4. CHƯƠNG 4: METHODOLOGY
• 5. CHƯƠNG 5: RESULT AND EXPERIENCE
• 6. CHƯƠNG 6: CONCLUSION AND RECOMMENDATION
• Main AI code
• Face Recognition code

Tóm tắt

I. Tổng quan về Hệ Thống Trợ Lý Thông Minh Trong Ngôi Nhà Thông Minh

Hệ thống trợ lý thông minh trong ngôi nhà thông minh đang trở thành xu hướng phổ biến trong cuộc sống hiện đại. Với sự phát triển của công nghệ IoT, các thiết bị trong nhà có thể kết nối và tương tác với nhau, mang lại sự tiện lợi và an toàn cho người sử dụng. Hệ thống này không chỉ giúp quản lý năng lượng hiệu quả mà còn nâng cao trải nghiệm sống cho cư dân.

1.1. Định nghĩa và lợi ích của ngôi nhà thông minh

Ngôi nhà thông minh là nơi mà các thiết bị được kết nối và điều khiển từ xa. Lợi ích của nó bao gồm tiết kiệm năng lượng, tăng cường an ninh và cải thiện chất lượng cuộc sống.

1.2. Công nghệ IoT trong hệ thống trợ lý thông minh

Công nghệ IoT cho phép các thiết bị trong ngôi nhà giao tiếp với nhau. Điều này giúp người dùng dễ dàng điều khiển và giám sát các thiết bị từ xa thông qua ứng dụng di động.

II. Vấn đề và thách thức trong việc triển khai hệ thống trợ lý thông minh

Mặc dù hệ thống trợ lý thông minh mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức trong việc triển khai. Các vấn đề như an ninh mạng, khả năng tương thích giữa các thiết bị và chi phí đầu tư ban đầu là những yếu tố cần được xem xét kỹ lưỡng.

2.1. An ninh mạng trong ngôi nhà thông minh

An ninh mạng là một trong những vấn đề lớn nhất khi triển khai hệ thống trợ lý thông minh. Các thiết bị kết nối có thể trở thành mục tiêu của các cuộc tấn công mạng, đe dọa đến an toàn thông tin cá nhân.

2.2. Chi phí và khả năng tương thích của thiết bị

Chi phí đầu tư cho hệ thống trợ lý thông minh có thể cao, đặc biệt là khi cần mua nhiều thiết bị khác nhau. Hơn nữa, không phải tất cả các thiết bị đều tương thích với nhau, gây khó khăn trong việc thiết lập hệ thống.

III. Phương pháp triển khai hệ thống trợ lý thông minh hiệu quả

Để triển khai hệ thống trợ lý thông minh một cách hiệu quả, cần có kế hoạch rõ ràng và lựa chọn thiết bị phù hợp. Việc sử dụng các công nghệ mới nhất và đảm bảo tính tương thích giữa các thiết bị là rất quan trọng.

3.1. Lựa chọn thiết bị và công nghệ phù hợp

Việc lựa chọn thiết bị phù hợp với nhu cầu sử dụng và khả năng tài chính là rất quan trọng. Các thiết bị nên có khả năng tương thích với nhau để tạo thành một hệ thống đồng bộ.

3.2. Tối ưu hóa hệ thống điều khiển thông minh

Hệ thống điều khiển thông minh cần được tối ưu hóa để đảm bảo hoạt động hiệu quả. Việc sử dụng các ứng dụng di động và giao diện thân thiện sẽ giúp người dùng dễ dàng quản lý hệ thống.

IV. Ứng dụng thực tiễn của hệ thống trợ lý thông minh trong ngôi nhà

Hệ thống trợ lý thông minh đã được ứng dụng rộng rãi trong nhiều lĩnh vực, từ quản lý năng lượng đến an ninh nhà ở. Các ứng dụng này không chỉ giúp tiết kiệm chi phí mà còn nâng cao chất lượng cuộc sống cho người sử dụng.

4.1. Quản lý năng lượng hiệu quả

Hệ thống trợ lý thông minh giúp người dùng theo dõi và điều chỉnh mức tiêu thụ năng lượng trong nhà, từ đó tiết kiệm chi phí điện năng.

4.2. Tăng cường an ninh cho ngôi nhà

Các thiết bị an ninh thông minh như camera và cảm biến chuyển động giúp người dùng giám sát và bảo vệ ngôi nhà của mình một cách hiệu quả.

V. Kết luận và tương lai của hệ thống trợ lý thông minh

Hệ thống trợ lý thông minh đang ngày càng trở nên phổ biến và được cải tiến liên tục. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều tiện ích hơn nữa cho người sử dụng, từ việc tự động hóa đến cải thiện an ninh và quản lý năng lượng.

5.1. Xu hướng phát triển công nghệ trong tương lai

Công nghệ AI và IoT sẽ tiếp tục phát triển, mang lại nhiều tính năng mới cho hệ thống trợ lý thông minh, giúp người dùng có trải nghiệm tốt hơn.

5.2. Tác động của hệ thống trợ lý thông minh đến cuộc sống

Hệ thống trợ lý thông minh không chỉ thay đổi cách thức sinh hoạt mà còn ảnh hưởng đến cách mà con người tương tác với công nghệ trong cuộc sống hàng ngày.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ hiện đại phát triển nhanh chóng, nhu cầu nâng cao chất lượng cuộc sống và sự tiện nghi của con người ngày càng gia tăng. Sự hình thành và phát triển liên tục của các công nghệ tự động hóa đã đem lại sự thoải mái, tiện ích lớn cho người sử dụng, thúc đẩy xu hướng nghiên cứu và ứng dụng hệ thống nhà thông minh (Smart Home) vào đời sống thực tiễn.

Đề tài "Hệ Thống Trợ Lý Thông Minh Trong Ngôi Nhà Thông Minh" (Smart Home Assistant System) được thực hiện bởi nhóm sinh viên Trịnh Minh Đức và Phạm Minh Nhật, dưới sự hướng dẫn của TS. Vũ Văn Phong tại Khoa Đào tạo Chất lượng cao, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh (tháng 8/2022).

Mục tiêu nghiên cứu

Mục tiêu trọng tâm của đề tài là thiết kế và chế tạo một mô hình mẫu thử nghiệm (prototype) đại diện cho ngôi nhà thông minh với các chức năng chính:

1. Xây dựng trợ lý ảo sử dụng đầu vào là giọng nói của người dùng để thực hiện hỏi/đáp thông tin (ngày, giờ, thời tiết, lịch nhắc nhở).
2. Điều khiển các thiết bị trong nhà (hệ thống chiếu sáng, quạt làm mát) thông qua giọng nói.
3. Phát triển ứng dụng di động (GerPan) và giao diện web để giám sát, điều khiển thiết bị từ xa qua giao thức HTTP.
4. Xây dựng hệ thống thị giác máy tính nhận diện khuôn mặt nhằm phân biệt chủ nhà và người lạ, tự động kích hoạt đóng/mở cửa bằng động cơ servo và lưu trữ dữ liệu an ninh.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Hệ thống trợ lý thông minh nhúng trên máy tính đơn bo (Single-board computer), các giải thuật xử lý tiếng nói (Speech-to-Text, Text-to-Speech), giải thuật nhận diện khuôn mặt và cơ chế điều khiển thiết bị ngoại vi qua rơ-le.
• Phạm vi không gian và thời gian: Nghiên cứu được triển khai tại Trường Đại học Sư phạm Kỹ thuật TP.HCM, hoàn thành vào tháng 8 năm 2022.
• Giới hạn kỹ thuật: Hệ thống được thiết kế dưới dạng mô hình mẫu mô phỏng, sử dụng các linh kiện tải công suất nhỏ có sẵn trên thị trường (đèn LED tượng trưng cho hệ thống chiếu sáng, động cơ DC 130 tượng trưng cho quạt, động cơ Servo SG90 tượng trưng cho cửa tự động). Hệ thống AI xử lý lệnh thoại hoạt động dựa trên các từ khóa (keywords) và chức năng đã được định nghĩa trước.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình ứng dụng

Đồ án tổng hợp và ứng dụng các nền tảng lý thuyết kỹ thuật bao gồm:

• Khái niệm Nhà thông minh (Smart Home): Hệ thống kết nối các thiết bị gia dụng nhằm tự động hóa các tác vụ quản lý, giám sát an ninh và tối ưu hóa việc quản lý tiêu thụ năng lượng.
• Tổng quan Trí tuệ Nhân tạo (AI): Định nghĩa theo John McCarthy về khoa học và kỹ thuật tạo ra máy móc thông minh. Nghiên cứu tập trung vào các nhánh ứng dụng: Xử lý ngôn ngữ tự nhiên (NLP), Hệ thống thị giác máy tính (Vision Systems) và Nhận dạng giọng nói (Speech Recognition).
• Lý thuyết nhận dạng giọng nói: Cơ chế chuyển đổi tín hiệu tương tự sang số (A/D conversion), xử lý tín hiệu âm thanh và so khớp mẫu (pattern recognition) dựa trên tập từ vựng định sẵn.
• Lý thuyết và phương pháp nhận dạng khuôn mặt:
  • Nhận dạng truyền thống: Phân tích hình học vị trí tương đối của mắt, mũi, xương gò má, cằm.
  • Kỹ thuật nhận dạng ở khoảng cách xa (HID - Human Identification at a Distance): Nâng cao độ phân giải ảnh trong môi trường có tỷ lệ tín hiệu trên nhiễu cao.
  • Nhận dạng khuôn mặt 3D và camera nhiệt: Sử dụng cảm biến hình học hoặc phổ nhiệt để khắc phục sự biến đổi ánh sáng và góc chụp.
• Môi trường phần mềm: Hệ điều hành Raspberry Pi OS (nền tảng Debian, môi trường desktop LXDE tối ưu hóa cho vi xử lý ARM) và ngôn ngữ lập trình Python (sử dụng cấu trúc hướng đối tượng, thư viện phong phú và tính khả chuyển cao).

Phương pháp nghiên cứu

• Phương pháp thực nghiệm thiết kế hệ thống: Lựa chọn phần cứng, thiết kế sơ đồ nguyên lý mạch đấu nối ngoại vi, tích hợp cảm biến, webcam và cơ cấu chấp hành vào bo mạch điều khiển trung tâm.
• Phương pháp thu thập và tiền xử lý dữ liệu: Thu thập tập dữ liệu ảnh khuôn mặt người dùng chuẩn, chuyển đổi không gian màu từ BGR (OpenCV) sang RGB (Pillow) và trích xuất vector đặc trưng khuôn mặt (face encodings).
• Phương pháp kiểm thử thực tế: Đo lường độ chính xác phản hồi lệnh thoại song ngữ (Anh - Việt) và kiểm tra tỷ lệ nhận diện khuôn mặt thời gian thực qua camera ở các góc nhìn và điều kiện khác nhau.

---

Thiết kế và triển khai hệ thống

Kiến trúc phần cứng

Trung tâm của hệ thống là máy tính nhúng Raspberry Pi 4 Model B kết nối với các mô-đun chức năng thông qua cổng giao tiếp GPIO, USB và Bluetooth.

Thiết bị / Linh kiện	Thông số kỹ thuật chính	Vai trò trong hệ thống
Raspberry Pi 4 Model B	Broadcom BCM2711 Quad-core Cortex-A72 @ 1.5GHz; RAM LPDDR4; Bluetooth 5.0, Wi-Fi 2.4/5.0 GHz; 40 chân GPIO	Bộ xử lý trung tâm, chạy hệ thống AI, nhận diện hình ảnh và máy chủ HTTP
Logitech Webcam C270 HD	Độ phân giải 720p/30fps; cảm biến ảnh 3MP; ống kính tiêu cự cố định; tự động điều chỉnh ánh sáng	Thu nhận luồng hình ảnh thời gian thực phục vụ nhận diện khuôn mặt
Mô-đun 4 Rơ-le (4 Relay Module)	Tải tối đa: AC 250V/10A hoặc DC 30V/10A; dòng kích hoạt: 5mA; điện áp điều khiển: 5V; kích thước 75 x 55 mm	Đóng/cắt dòng điện điều khiển đèn LED và động cơ quạt
Động cơ DC 130	Điện áp hoạt động: 4.5V - 9V (định mức 6V); dòng không tải: 70mA (9000 rpm); tải định mức: 10g*cm	Mô phỏng quạt làm mát trong nhà
Đèn LED 5mm	Dòng thuận: 30mA; điện áp thuận: 1.4V; cường độ sáng: 20mcd	Mô phỏng hệ thống 6 bóng đèn chiếu sáng
Động cơ Servo SG90	Trọng lượng: 9g; kích thước: 22.2 x 11.8 x 31 mm; lực kéo: 1.8 kg/cm	Cơ cấu điều khiển đóng/mở cửa tự động
Loa Fenda W5 Plus	Công suất: 5W; tỷ số S/N: 75 dB; dải tần: 50Hz - 20KHz; pin 1500mAh; kết nối Bluetooth	Phát âm thanh phản hồi từ trợ lý ảo

Thiết kế phần mềm và giải thuật xử lý

1. Hệ thống AI xử lý giọng nói (Main AI System)

Chương trình chính được cấu trúc theo lưu đồ thuật toán kích hoạt bằng từ khóa đánh thức "GerPan". Khi phát hiện lệnh, hệ thống thực hiện phân nhánh ngôn ngữ và ý định:

• Nhánh tiếng Việt: Nhận diện các cấu trúc lệnh: "Thời gian", "Ngày tháng", "Thời tiết", "Bật/Tắt [thiết bị]", "Nhắc tôi [nội dung]", "Tắt hệ thống".
• Nhánh tiếng Anh: Nhận diện các cấu trúc lệnh: "Time", "Date", "Weather", "Turn on/off [device]", "Remind me [content]", "Turn off system".
• Hệ thống hỗ trợ chuyển đổi linh hoạt giữa hai ngôn ngữ thông qua khẩu lệnh "Vietnamese" hoặc "English".

2. Hệ thống thị giác máy tính nhận diện khuôn mặt (Face Recognition System)

Hệ thống sử dụng kết hợp thư viện OpenCV và Dlib (thông qua thư viện bao bọc face_recognition của Adam Geitgey):

• Phát hiện khuôn mặt: Sử dụng giải thuật phân tầng (Cascade classifier) trong OpenCV chia quá trình quét ảnh thành 30 - 50 giai đoạn nhanh để định vị vùng chứa khuôn mặt trên từng khung hình video.
• Trích xuất đặc trưng (Deep Metric Learning): Ảnh khuôn mặt người dùng đã đăng ký được đưa về định dạng RGB và tạo ra vector mã hóa (encoding vector).
• So khớp thời gian thực: Ảnh từ webcam được giảm kích thước (resize) để tối ưu tốc độ xử lý của Raspberry Pi 4. Sau khi định vị khuôn mặt trên khung hình hiện tại, hàm face_recognition.compare_faces và face_recognition.face_distance sẽ tính toán khoảng cách vector để tìm khuôn mặt có độ tương đồng cao nhất.
• Xử lý an ninh:
  • Nếu khoảng cách khuôn mặt khớp với dữ liệu đăng ký: Hệ thống vẽ khung chữ nhật màu xanh lá (green box), hiển thị tên người dùng, mở chốt cửa bằng Servo SG90 và ghi nhận thời gian đăng nhập vào tệp nhật ký .csv (Data log).
  • Nếu là người lạ (Stranger): Hệ thống chụp lại hình ảnh khuôn mặt lưu vào thư mục ảnh khách lạ (Stranger images file) và ghi lại thời gian xuất hiện để phục vụ kiểm tra an ninh.

3. Hệ thống máy chủ HTTP và ứng dụng điều khiển GerPan

• Triển khai một máy chủ HTTP bằng Python (Python HTTP Server) trực tiếp trên bo mạch Raspberry Pi 4.
• Giao diện ứng dụng di động GerPan và trình duyệt web gửi các yêu cầu HTTP Request đến máy chủ để đọc trạng thái và điều khiển đóng/ngắt các chân GPIO kết nối với mô-đun rơ-le.

---

Nội dung chính theo từng chương

Chương 1: Introduction (Giới thiệu)

Trình bày tổng quan vấn đề nghiên cứu, sự cần thiết của hệ sinh thái nhà thông minh trong kỷ nguyên tự động hóa. Xác định mục tiêu xây dựng mô hình mẫu thu nhỏ tích hợp bo mạch Raspberry Pi 4, điều khiển bằng giọng nói và giám sát an ninh bằng thị giác máy tính. Đưa ra các ràng buộc thiết kế về chi phí, tính sẵn có của linh kiện và cấu trúc tổng thể của báo cáo tốt nghiệp.

Chương 2: Literature Review (Tổng quan tài liệu)

Phân tích cơ sở lý luận và các nghiên cứu liên quan về nhà thông minh và tối ưu hóa năng lượng. Trình bày các khái niệm nền tảng về AI của John McCarthy và các lĩnh vực ứng dụng (Xử lý ngôn ngữ tự nhiên, Nhận dạng chữ viết tay, Robot thông minh, Hệ thống thị giác). Phân tích chi tiết các kỹ thuật nhận dạng giọng nói (A/D converter, so khớp mẫu) và các phương pháp nhận dạng khuôn mặt (nhận dạng đặc trưng truyền thống, nhận dạng từ xa HID, công nghệ 3D, camera nhiệt). Giới thiệu đặc tính kỹ thuật của hệ điều hành Raspberry Pi OS và các ưu điểm lập trình của ngôn ngữ Python.

Chương 3: Hardware Design (Thiết kế phần cứng)

Mô tả chi tiết các yêu cầu kỹ thuật của hệ thống và giải pháp thiết kế mạch. Trình bày lý do lựa chọn bo mạch Raspberry Pi 4 thay vì Nvidia Jetson Nano (do tính thân thiện với hệ điều hành, phổ biến và phù hợp cho tác vụ suy luận không cần huấn luyện lại). Cung cấp đầy đủ bảng thông số kỹ thuật, sơ đồ bố trí chân kết nối và sơ đồ nối dây tổng thể (System wiring diagram) cho các linh kiện: Raspberry Pi 4, Webcam Logitech C270 HD, Mô-đun 4 Rơ-le, LED, Động cơ DC 130, Loa Bluetooth Fenda W5 Plus và Động cơ Servo SG90.

Chương 4: Methodology (Phương pháp xây dựng hệ thống)

Trình bày kiến trúc phần mềm và giải thuật chi tiết của ba phân hệ:

1. Lưu đồ thuật toán AI nhận diện và xử lý lệnh thoại song ngữ Anh - Việt.
2. Quy trình xử lý ảnh với OpenCV và thư viện Dlib: Khởi tạo tập dữ liệu mẫu (dataset), chuyển đổi không gian màu BGR sang RGB, mã hóa đặc trưng khuôn mặt (face_encodings), thuật toán so sánh thời gian thực kết hợp hàm khoảng cách (face_distance), cơ chế lưu trữ tệp .csv và lưu ảnh người lạ.
3. Cơ chế giao tiếp mạng: Xây dựng máy chủ Python HTTP Server, giao thức truyền nhận lệnh giữa giao diện ứng dụng GerPan / trình duyệt web và phần cứng điều khiển thiết bị qua GPIO.

Chương 5: Result and Experience (Kết quả và trải nghiệm)

Trình bày kết quả hiện thực hóa mô hình vật lý hoàn chỉnh (mặt trước, mặt bên của sa bàn nhà thông minh). Công bố kết quả kiểm thử thực nghiệm:

• Kiểm tra tính năng phản hồi giọng nói: Hiển thị kết quả trả lời thời gian, ngày tháng, thời tiết, lịch nhắc nhở và lệnh điều khiển bật/tắt 6 đèn, 2 quạt bằng cả tiếng Anh và tiếng Việt.
• Kiểm tra tính năng nhận diện khuôn mặt: Xác thực người dùng đã đăng ký thành công, kích hoạt mở cửa, hiển thị giao diện khung xanh, kết xuất tệp nhật ký đăng nhập .csv và lưu trữ danh sách ảnh người lạ.

Chương 6: Conclusion and Recommendation (Kết luận và kiến nghị)

Đánh giá toàn diện các ưu điểm và nhược điểm của mô hình hệ thống trợ lý nhà thông minh đã chế tạo. Đề xuất các giải pháp kỹ thuật nhằm nâng cấp và hoàn thiện hệ thống trong các giai đoạn phát triển tiếp theo.

---

Kết quả và đóng góp

Kết quả thực nghiệm chính

• Mô hình phần cứng hoàn chỉnh: Xây dựng thành công sa bàn mô hình nhà thông minh tích hợp đầy đủ hệ thống máy tính nhúng Raspberry Pi 4, webcam, loa Bluetooth, mô-đun rơ-le, 6 bóng đèn chiếu sáng (LED), 2 quạt làm mát (động cơ DC 130) và cửa đóng mở tự động (Servo SG90).
• Tính năng trợ lý giọng nói song ngữ: Hệ thống nhận diện chính xác các câu lệnh theo từ khóa bằng cả tiếng Anh và tiếng Việt; trả lời chính xác thông tin ngày, giờ, thời tiết hiện tại; ghi nhớ và thông báo lịch trình nhắc nhở; thực thi bật/tắt thiết bị đèn và quạt theo đúng yêu cầu.
• Tính năng an ninh và nhận diện khuôn mặt: Nhận dạng thành công người dùng trong tập dữ liệu mẫu theo thời gian thực; kích hoạt mở cửa tự động; ghi lại lịch sử truy cập (tên, thời gian) vào tệp log định dạng .csv; tự động chụp và lưu trữ ảnh các đối tượng không xác định trong cơ sở dữ liệu.
• Hệ thống điều khiển qua mạng: Vận hành ổn định máy chủ Python HTTP Server, cho phép người dùng điều khiển thiết bị thông qua ứng dụng di động GerPan hoặc trình duyệt web.

Đóng góp của đề tài

1. Tích hợp thành công các thuật toán xử lý trí tuệ nhân tạo (nhận diện giọng nói, nhận diện khuôn mặt dựa trên Deep Metric Learning của Dlib/OpenCV) lên nền tảng phần cứng nhúng chi phí thấp Raspberry Pi 4.
2. Cung cấp giải pháp tương tác đa phương thức (Multi-modal interaction) trong nhà thông minh: kết hợp đồng thời giữa giọng nói (Voice), thị giác máy tính (Vision) và giao diện đồ họa di động/web (App/Web interface).
3. Cung cấp mã nguồn hoàn chỉnh cho hệ thống AI chính và mô-đun nhận diện khuôn mặt (phụ lục từ trang 52 đến trang 96 của tài liệu), tạo tài liệu thực nghiệm rõ ràng cho các nghiên cứu tiếp theo.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của hệ thống

• Hệ thống chỉ hoạt động dưới dạng mô hình thử nghiệm (prototype), các thiết bị ngoại vi mới dừng lại ở mức mô phỏng tải nhỏ (LED, động cơ DC 130), chưa kết nối trực tiếp với lưới điện sinh hoạt và thiết bị gia dụng công suất lớn.
• Khả năng xử lý ngôn ngữ tự nhiên còn ở mức cơ bản, chủ yếu nhận dạng dựa trên các cấu trúc câu lệnh và từ khóa đã được lập trình sẵn, chưa hỗ trợ đàm thoại ngữ cảnh phức tạp.
• Hiệu năng nhận dạng khuôn mặt và xử lý giọng nói phụ thuộc vào điều kiện ngoại cảnh như cường độ ánh sáng môi trường, góc nghiêng của khuôn mặt và độ nhiễu âm thanh xung quanh webcam/micro.

Hướng nghiên cứu tiếp

• Mở rộng tập lệnh và tích hợp các mô hình xử lý ngôn ngữ tự nhiên (NLP) chuyên sâu hơn để trợ lý ảo có thể hiểu được ngôn ngữ tự nhiên linh hoạt thay vì từ khóa cố định.
• Nâng cấp phần cứng công suất để kết nối và điều khiển an toàn các thiết bị điện 220V thực tế trong gia đình.
• Tối ưu hóa thuật toán nhận diện khuôn mặt trong các điều kiện môi trường bất lợi (ánh sáng yếu, góc nhìn nghiêng lớn) và tích hợp thêm các cảm biến môi trường (nhiệt độ, độ ẩm, khí gas) vào hệ thống giám sát chung.

---

Giá trị tham khảo

Tài liệu đồ án tốt nghiệp này mang lại giá trị tham khảo thực tiễn cao cho:

• Sinh viên các ngành Kỹ thuật: Đặc biệt là sinh viên chuyên ngành Công nghệ Kỹ thuật Điện - Điện tử, Kỹ thuật Máy tính, Tự động hóa và Công nghệ Thông tin đang thực hiện đồ án môn học hoặc khóa luận tốt nghiệp liên quan đến hệ thống nhúng và IoT.
• Nội dung kỹ thuật tham khảo nổi bật:
  • Quy trình cấu hình và triển khai thư viện OpenCV, Dlib và face_recognition trên hệ điều hành Raspberry Pi OS.
  • Kỹ thuật tính toán khoảng cách vector đặc trưng (face_distance) để phân loại đối tượng thời gian thực và quản lý nhật ký ra vào bằng tệp .csv.
  • Phương pháp xây dựng máy chủ điều khiển nhúng bằng Python HTTP Server kết hợp điều khiển GPIO qua rơ-le.

---

Câu hỏi thường gặp

1. Bo mạch xử lý trung tâm được sử dụng trong đồ án là gì và vì sao nhóm tác giả lựa chọn bo mạch này?

Bo mạch xử lý trung tâm được sử dụng là Raspberry Pi 4 Model B (vi xử lý Broadcom BCM2711 Quad-core Cortex-A72 @ 1.5GHz). Nhóm tác giả lựa chọn Raspberry Pi 4 thay vì Nvidia Jetson Nano do Raspberry Pi phù hợp tối ưu cho các tác vụ suy luận AI không cần huấn luyện lại (non-training AI process), tương thích tốt với nhiều hệ điều hành (đặc biệt là Raspberry Pi OS nền Debian), chi phí hợp lý và độ phổ biến cao.

2. Hệ thống trợ lý giọng nói hỗ trợ những ngôn ngữ nào và thực hiện được những tác vụ gì?

Hệ thống hỗ trợ song ngữ tiếng Anh và tiếng Việt, cho phép người dùng chuyển đổi ngôn ngữ linh hoạt bằng lệnh thoại. Trợ lý ảo có thể:

• Trả lời các câu hỏi về thời gian (Time/Thời gian), ngày tháng (Date/Ngày tháng), thời tiết (Weather/Thời tiết).
• Ghi nhớ và nhắc nhở lịch trình (Remind me/Nhắc tôi).
• Bật hoặc tắt 6 đèn chiếu sáng và 2 quạt làm mát trong nhà.
• Tắt hệ thống (Turn off system/Tắt hệ thống).

3. Hệ thống xử lý hình ảnh sử dụng những thư viện nào để nhận diện khuôn mặt?

Hệ thống sử dụng thư viện OpenCV để bắt khung hình từ webcam, áp dụng các bộ phân tầng (Cascade) để định vị nhanh khuôn mặt và chuyển đổi hệ màu BGR sang RGB. Sau đó, hệ thống sử dụng thư viện Dlib (thông qua thư viện bao bọc face_recognition) để trích xuất 128 vector đặc trưng khuôn mặt và so sánh độ tương đồng bằng các hàm compare_faces và face_distance.

4. Khi phát hiện người lạ trước camera, hệ thống an ninh sẽ xử lý như thế nào?

Khi một người không có trong tập dữ liệu đăng ký xuất hiện trước camera, hệ thống sẽ tự động chụp lại hình ảnh của người đó, lưu vào thư mục chứa ảnh người lạ (Stranger images file) đồng thời ghi lại mốc thời gian xuất hiện vào tệp dữ liệu nhật ký .csv để phục vụ công tác giám sát an ninh.

5. Ứng dụng điều khiển từ xa của hệ thống có tên là gì và giao tiếp với phần cứng qua phương thức nào?

Ứng dụng điều khiển từ xa có tên là GerPan. Ứng dụng này giao tiếp với bo mạch Raspberry Pi 4 thông qua máy chủ Python HTTP Server được cài đặt trực tiếp trên Pi, gửi các yêu cầu HTTP để điều khiển trạng thái bật/tắt của các chân GPIO điều khiển rơ-le.

---

Kết luận

Đồ án tốt nghiệp "Hệ Thống Trợ Lý Thông Minh Trong Ngôi Nhà Thông Minh" của sinh viên Trịnh Minh Đức và Phạm Minh Nhật đã thiết kế và chế tạo thành công một mô hình nhà thông minh mẫu hoạt động ổn định trên nền tảng Raspberry Pi 4. Đề tài đã tích hợp hiệu quả ba phương thức điều khiển: nhận dạng giọng nói song ngữ Anh - Việt, nhận dạng khuôn mặt an ninh bằng thị giác máy tính và giám sát từ xa qua ứng dụng GerPan nền tảng HTTP. Mặc dù còn mang tính chất thử nghiệm trên các tải mô phỏng nhỏ, công trình đã thể hiện rõ tính khả thi của việc ứng dụng các giải thuật trí tuệ nhân tạo nhúng vào các giải pháp tự động hóa gia đình thực tiễn.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION GRADUATION PROJECT ELECTRICAL AND ELECTRONIC ENGINEERING TECHNOLOGY SMART HOME ASSISTANT SYSTEM LECTURER: PhD. VU VAN PHONG STUDENT: TRINH MINH DUC PHAM MINH NHAT SKL 009337 Ho Chi Minh City, August 2022 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING  GRADUATION PROJECT SMART HOME ASSISTANT SYSTEM Done by: TRINH MINH DUC - 17151011 PHAM MINH NHAT - 17151022 Major: ELECTRICAL AND ELECTRONIC ENGINEERING TECHNOLOGY Advisor: VU VAN PHONG, PhD. Ho Chi Minh City, August 2022 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING  GRADUATION PROJECT SMART HOME ASSISTANT SYSTEM Done by: TRINH MINH DUC - 17151011 PHAM MINH NHAT - 17151022 Major: ELECTRICAL AND ELECTRONIC ENGINEERING TECHNOLOGY Advisor: VU VAN PHONG, PhD. Ho Chi Minh City, August 2022 THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, August 15, 2022 GRADUATION PROJECT ASSIGNMENT Student name: _________________________ Student ID: ___________________ Student name: __________________________ Student ID: ___________________ Student name: __________________________ Student ID: ___________________ Major: ________________________________ Class: ________________________ Advisor: ____________________________ Phone number: _________________ Date of assignment: _____________________ Date of submission: _____________ 1.

Initial materials provided by the advisor: ___________________________________ 3. Content of the project: _________________________________________________ 4. Final product: ________________________________________________________ CHAIR OF THE PROGRAM ADVISOR (Sign with full name) (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, August 15, 2022 ADVISOR’S EVALUATION SHEET Student name:. Content of the project:.

Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, August 15, 2022 ADVISOR (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, August 15, 2022 PRE-DEFENSE EVALUATION SHEET Student name:. Name of Reviewer:. Content and workload of the project. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, August 15, 2022 REVIEWER (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- EVALUATION SHEET OF DEFENSE COMMITTEE MEMBER Student name:.

Name of Defense Committee Member:. Content and workload of the project .) Ho Chi Minh City, month day, year COMMITTEE MEMBER (Sign with full name) Acknowledgements First of all, we would like to offer our deepest gratitude and respect toward Ph. Vu Van Phong, the one who give us many valuable viewpoints in the time we carry out our project. We truly thank you for working together and guiding us throughout the time of researching and completing this project.

Although there are many hardships and errors, we still manage to overcome them thanks to Ph. Vu Van Phong vast experience and accurate instructions so that our team can improve and complete the project in time. We also would like to express our sincere appreciation to the Board of Directors of Ho Chi Minh City University of Technology and Education and the teachers in the faculty of Electrical - Electronic Engineering and Faculty for High Quality Training, those who have taught and created all favorable conditions and environment to help us during the process of learning and executing our project. Student Table of contents Chapter 1: INTRODUCTION.

2 Chapter 2: LITERATURE REVIEW.1 Smart Home System Overview .3 Voice Recognition Relevant Theory.2 Voice Recognition Method .4 Face Recognition Relevant Theory.5 Face Recognition Method .2 Human identification at a distance (HID) .1 Raspberry Pi OS. 12 Chapter 3: HARDWARE DESIGN .2 Logitech Webcam C270 HD .2 Main AI System .3 Face Recognition System .3 Create data set .4 Locate faces and encoding .5 Locate faces and compare in real time .5 Python HTTP Server. 38 Chapter 5: RESULT AND EXPERIENCE. 42 Chapter 6: CONCLUSION AND RECOMMENDATION.

52 Main AI code:. 52 Face Recognition code:. 96 List of Figures Figure 1.1: Smart home illustration .1: Smart home system .6: Raspberry Pi OS .2: Raspberry Pi 4 diagram .3: Logitech Webcam C270 HD .7: Bluetooth Speaker Fenda W5 Plus .9: System wiring diagram .1: AI system flowchart .4: Registered users data.5: Code to read the data.6: Code to encoding data .