Thiết Kế và Triển Khai Robot Tiếp Tân Dựa Trên Thị Giác Máy và Xử Lý Ngôn Ngữ Tự Nhiên

Thiết kế và triển khai robot tiếp tân dành cho sinh viên dựa trên thị giác máy tính và xử lý ngôn ngữ tự nhiên, ứng dụng công nghệ AI hiện đại.

• Tác giả: Tran Thanh Hung
• Người hướng dẫn: Assoc. Le My Ha
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Automation and Control Engineering Technology
• Đề tài: Design and Implement Reception Robot for Student Base on Computer Vision and Natural Language Processing
• Loại tài liệu: Graduation project
• Năm xuất bản: 2022
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGEMENT
• ABSTRACT
• ABBREVIATIONS
• Table of Contents
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Define a problem
• 1.2. Objectives
• 1.3. Project scopes
• 1.4. Research methods
• 1.5. Content
• 2. CHAPTER 2: LITERATURE REVIEW
• 3. CHAPTER 3: HARDWARE DESIGN AND IMPLEMENTATION
• 4. CHAPTER 4: SOFTWARE DESIGN AND ALGORITHMS
• 5. CHAPTER 5: EXPERIMENT RESULTS, FINDINGS AND ANALYSIS
• 6. CHAPTER 6: CONCLUSION AND FUTURE WORKS
• List of figures
• List of Tables

Tóm tắt

I. Robot tiếp tân

Robot tiếp tân là một sản phẩm công nghệ được thiết kế để hỗ trợ sinh viên trong các hoạt động hành chính và giao tiếp. Dự án này tập trung vào việc thiết kế và triển khai một robot tiếp tân sử dụng thị giác máy và xử lý ngôn ngữ tự nhiên để nhận diện khuôn mặt và giao tiếp với con người. Robot tiếp tân này được kỳ vọng sẽ thay thế nhân viên tiếp tân truyền thống, đặc biệt trong bối cảnh đại dịch COVID-19, giúp giảm thiểu nguy cơ lây nhiễm.

1.1. Mục tiêu của robot tiếp tân

Mục tiêu chính của robot tiếp tân là hỗ trợ sinh viên trong các công việc như cung cấp thông tin về bài giảng, đăng ký khóa học, hướng dẫn phòng học và thông báo quan trọng. Robot tiếp tân cũng có khả năng nhận diện sinh viên và giảng viên với độ chính xác cao, giúp tối ưu hóa quy trình làm việc.

1.2. Phạm vi ứng dụng

Robot tiếp tân được thiết kế để hoạt động trong môi trường trong nhà, nơi có điều kiện ánh sáng và tiếng ồn được kiểm soát. Đầu vào của hệ thống nhận diện khuôn mặt là hình ảnh chính diện, với điều kiện ánh sáng bình thường và không bị che khuất quá một nửa khuôn mặt.

II. Thị giác máy

Thị giác máy là công nghệ cốt lõi trong việc nhận diện khuôn mặt của robot tiếp tân. Dự án sử dụng các thuật toán như HOG descriptors và SVM classification để xây dựng hệ thống nhận diện khuôn mặt. Thị giác máy không chỉ giúp robot nhận diện khuôn mặt mà còn hỗ trợ trong việc phát hiện khẩu trang, một tính năng quan trọng trong bối cảnh đại dịch.

2.1. Thuật toán nhận diện khuôn mặt

Hệ thống nhận diện khuôn mặt sử dụng HOG descriptors để trích xuất đặc trưng từ hình ảnh và SVM classification để phân loại khuôn mặt. Quá trình này bao gồm các bước tiền xử lý hình ảnh, tính toán gradient và tạo histogram, giúp tăng độ chính xác của hệ thống.

2.2. Phát hiện khẩu trang

Một phần quan trọng của thị giác máy trong dự án là khả năng phát hiện khẩu trang. Hệ thống sử dụng các đặc trưng khuôn mặt để xác định xem người dùng có đeo khẩu trang hay không, giúp đảm bảo an toàn trong môi trường công cộng.

III. Xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên (NLP) là công nghệ giúp robot tiếp tân giao tiếp với con người thông qua giọng nói. Dự án sử dụng các kỹ thuật nhận dạng giọng nói và chuyển đổi văn bản thành giọng nói để tạo ra một trợ lý ảo thông minh. NLP giúp robot hiểu và trả lời các câu hỏi của sinh viên một cách tự nhiên và hiệu quả.

3.1. Nhận dạng giọng nói

Hệ thống nhận dạng giọng nói sử dụng các kỹ thuật xử lý tín hiệu âm thanh để chuyển đổi giọng nói thành văn bản. Quá trình này bao gồm việc trích xuất đặc trưng từ tín hiệu âm thanh và sử dụng các mô hình máy học để nhận dạng từ ngữ.

3.2. Trợ lý ảo thông minh

Trợ lý ảo được xây dựng dựa trên cơ sở dữ liệu kiến thức, giúp robot có khả năng trả lời các câu hỏi liên quan đến thông tin khóa học, lịch học và các thông báo quan trọng. NLP giúp tăng cường khả năng giao tiếp của robot, làm cho quá trình tương tác trở nên tự nhiên hơn.

IV. Ứng dụng AI trong giáo dục

Robot tiếp tân là một ví dụ điển hình của việc ứng dụng trí tuệ nhân tạo (AI) trong lĩnh vực giáo dục. AI không chỉ giúp tự động hóa các quy trình hành chính mà còn cải thiện trải nghiệm của sinh viên thông qua việc cung cấp thông tin nhanh chóng và chính xác. Robot tiếp tân có thể trở thành một công cụ hỗ trợ đắc lực cho các trường đại học trong tương lai.

4.1. Tự động hóa quy trình

Robot tiếp tân giúp tự động hóa các quy trình hành chính như đăng ký khóa học, cung cấp thông tin bài giảng và hướng dẫn phòng học. Điều này giúp giảm thiểu thời gian chờ đợi và tăng hiệu quả làm việc.

4.2. Cải thiện trải nghiệm sinh viên

Với khả năng giao tiếp thông minh và nhận diện khuôn mặt, robot tiếp tân giúp cải thiện trải nghiệm của sinh viên bằng cách cung cấp thông tin nhanh chóng và chính xác. Điều này giúp sinh viên tập trung hơn vào việc học tập mà không bị phân tâm bởi các vấn đề hành chính.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Cuộc Cách mạng Công nghiệp 4.0 thúc đẩy mạnh mẽ tiến trình tự động hóa trên toàn cầu, trong đó robot phục vụ ngày càng đóng vai trò quan trọng nhằm thay thế hoặc hỗ trợ con người thực hiện các tác vụ lặp đi lặp lại với độ chính xác và hiệu suất cao. Trong bối cảnh đại dịch COVID-19 bùng phát trên diện rộng với hơn 140 triệu ca nhiễm toàn cầu tại thời điểm nghiên cứu, nhu cầu hạn chế tiếp xúc trực tiếp tại các địa điểm công cộng như trường học, bệnh viện, sân bay trở nên cấp thiết. Tại các cơ sở giáo dục đại học, nhiều hoạt động giải đáp thắc mắc và hướng dẫn thủ tục hành chính cho sinh viên có thể được tự động hóa hoàn toàn thông qua máy móc thông minh.

Đề tài "Thiết kế và thi công robot tiếp tân hỗ trợ sinh viên dựa trên thị giác máy tính và xử lý ngôn ngữ tự nhiên" (Design and Implement Reception Robot for Student base on Computer Vision and Natural Language Processing) được thực hiện bởi nhóm sinh viên Trần Thanh Hùng và Huỳnh Xuân Tấn (ngành Công nghệ Kỹ thuật Điều khiển và Tự động hóa, Khoa Đào tạo Chất lượng cao, Trường Đại học Sư phạm Kỹ thuật TP.HCM), dưới sự hướng dẫn của PGS. Lê Mỹ Hà và phản biện của TS. Vũ Văn Phong.

Nhiệm vụ và mục tiêu nghiên cứu cụ thể của đề tài bao gồm:

1. Nghiên cứu tổng quan các mô hình robot tiếp tân hiện có trên thị trường, phân tích yêu cầu phần cứng và công nghệ liên quan.
2. Thiết kế và chế tạo khung vỏ robot tiếp tân bằng công nghệ in 3D, tối ưu hóa kích thước và đảm bảo an toàn cách điện.
3. Nghiên cứu và xây dựng hệ thống nhận diện khuôn mặt dựa trên bộ mô tả HOG (Histogram of Oriented Gradients) kết hợp bộ phân loại SVM (Support Vector Machine).
4. Xây dựng trợ lý ảo giao tiếp bằng tiếng Việt ứng dụng công nghệ nhận dạng giọng nói (Speech Recognition) và tổng hợp tiếng nói.
5. Thu thập dữ liệu mẫu khuôn mặt, huấn luyện mô hình nhận diện và xây dựng cơ sở dữ liệu tri thức (Knowledge Database) phục vụ hỏi đáp các thông tin học đường (thông tin giảng viên, đăng ký môn học, điều hướng phòng ban, thông báo chung).
6. Tích hợp phần cứng, phần mềm lên mô hình thực tế, vận hành thử nghiệm, phân tích lỗi và tối ưu hóa hệ thống.

Phạm vi nghiên cứu của đề tài được xác định trong môi trường trong nhà (indoor), điều kiện ánh sáng bình thường, hạn chế hiện tượng ngược sáng mạnh và độ ồn môi trường ở mức kiểm soát. Dữ liệu khuôn mặt đầu vào là ảnh trực diện, góc nghiêng không khuất quá 50% khuôn mặt.

Cơ sở lý thuyết và phương pháp

Đề tài tích hợp các nền tảng lý thuyết và giải thuật chuyên sâu thuộc lĩnh vực xử lý ảnh, thị giác máy tính và xử lý tiếng nói:

Khung lý thuyết và mô hình giải thuật

• Không gian màu trong xử lý ảnh: Sử dụng không gian màu RGB (Red-Green-Blue) 24-bit tiêu chuẩn và không gian màu HSV (Hue-Saturation-Value) để phân tích sắc độ, độ bão hòa và cường độ sáng, phục vụ bài toán tiền xử lý ảnh và phát hiện vùng khuôn mặt mang khẩu trang.
• Thuật toán Viola-Jones và đặc trưng Haar-like: Ứng dụng nguyên lý chọn lọc đặc trưng Haar hình chữ nhật kết hợp biểu diễn ảnh tích hợp (Integral Image) để tính toán nhanh tổng giá trị điểm ảnh, giúp định vị vùng khuôn mặt ở bước tiền xử lý.
• Bộ mô tả HOG (Histogram of Oriented Gradients): Tính toán đạo hàm gradient theo hai trục ngang và dọc ($G_x, G_y$) bằng mặt nạ Sobel kernel $3 \times 3$, xác định độ lớn gradient $G = \sqrt{G_x^2 + G_y^2}$ và hướng gradient $\theta = \arctan(G_y / G_x)$. Hình ảnh được chia thành các ô cục bộ $8 \times 8$ điểm ảnh để lập biểu đồ 9-bin (các góc từ $0^\circ$ đến $160^\circ$), sau đó chuẩn hóa theo khối $16 \times 16$ điểm ảnh (gồm 4 ô $8 \times 8$) trượt bước 8 pixel. Toàn bộ mảng $7 \times 15 = 105$ vị trí khối tạo thành vector đặc trưng HOG có số chiều $36 \times 105 = 3780$ chiều cho mỗi mẫu ảnh $64 \times 128$.
• Mô hình máy vector hỗ trợ (Support Vector Machine - SVM): Thiết lập bài toán tối ưu tìm siêu phẳng (hyperplane) phân chia dữ liệu với lề (margin) cực đại: $$\max_{w,b} \frac{1}{|w|_2} \quad \text{với điều kiện} \quad y_n(w^T x_n + b) \ge 1, \quad \forall n = 1, \dots, N$$ SVM được áp dụng để phân loại danh tính sinh viên/giảng viên dựa trên vector đặc trưng trích xuất từ khuôn mặt.
• Xử lý tín hiệu âm thanh và nhận dạng giọng nói: Dựa trên mô hình nguồn - kênh (Source-Channel Model), biến đổi Fourier thời gian ngắn (STFT) để tạo biểu đồ phổ (Spectrogram) biểu diễn tín hiệu âm thanh theo thời gian và tần số. Hệ thống tích hợp công nghệ Google Speech-to-Text API hỗ trợ nhận dạng tiếng Việt trực tuyến.

Phương pháp nghiên cứu

• Phương pháp nghiên cứu tài liệu: Thu thập, phân tích tài liệu lý thuyết về mô hình robot thương mại (điển hình là robot Pepper của SoftBank Robotics), lý thuyết thị giác máy tính và xử lý ngôn ngữ tự nhiên.
• Phương pháp thiết kế và mô hình hóa: Sử dụng phần mềm CAD SolidWorks để thiết kế kết cấu 3D các khớp, thân, đầu robot; tính toán bố trí linh kiện điện tử.
• Phương pháp thực nghiệm: Chế tạo mẫu cơ khí bằng máy in 3D; cấu hình hệ điều hành Linux Ubuntu trên máy tính nhúng NVIDIA Jetson Nano; thu thập tập dữ liệu khuôn mặt và tiến hành kiểm thử thực tế độ chính xác nhận diện, độ trễ xử lý và khả năng nhận diện giọng nói trong các điều kiện khoảng cách và độ ồn khác nhau.

Thiết kế và triển khai hệ thống

Hệ thống robot tiếp tân được thiết kế hoàn chỉnh từ phần cứng cơ khí, mạch điện tử đến kiến trúc phần mềm tích hợp.

Thiết kế phần cứng

Cấu trúc phần cứng tổng thể của robot được bố trí trong giới hạn khung kích thước tiêu chuẩn $60 \times 60 \times 100\text{ cm}$ (Dài $\times$ Rộng $\times$ Cao), đảm bảo cách điện an toàn cho người dùng:

Thành phần phần cứng	Thiết bị lựa chọn	Thông số kỹ thuật chính	Vai trò chức năng
Bộ xử lý trung tâm	NVIDIA Jetson Nano Developer Kit	CPU Quad-core ARM A57 @ 1.43 GHz, GPU 128-core Maxwell, RAM 4 GB 64-bit LPDDR4 25.6 GB/s, JetPack SDK, Ubuntu OS	Xử lý thuật toán nhận diện khuôn mặt HOG-SVM, điều phối hội thoại, điều khiển hiển thị và âm thanh
Cảm biến hình ảnh & mic	Webcam Logitech B525	Độ phân giải Full HD 1080p @ 30fps, góc xoay linh hoạt, micro đơn hướng tích hợp thu âm bán kính đến 3 mét	Thu nhận luồng video thời gian thực và tín hiệu giọng nói của người giao tiếp
Màn hình hiển thị	Waveshare 7-inch LCD	Giao tiếp HDMI, hiển thị màu sắc độ phân giải cao	Hiển thị giao diện tương tác, biểu cảm cảm xúc của robot và nội dung phản hồi văn bản
Thiết bị phát âm thanh	Loa mini Logitech Z121	Công suất nhỏ gọn, nguồn cấp USB, giắc âm thanh 3.5mm	Phát phản hồi âm thanh từ hệ thống chuyển đổi văn bản thành giọng nói (TTS)
Kết cấu khung vỏ	Khung in 3D lắp ghép	Vật liệu nhựa in 3D chuyên dụng, thiết kế từng phần trên SolidWorks	Cố định thiết bị, tạo hình nhân vật tiếp tân thân thiện, đảm bảo thẩm mỹ và cách điện

Thiết kế phần mềm và luồng điều khiển

Phần mềm hệ thống được lập trình trên nền tảng ngôn ngữ Python, môi trường phát triển Visual Studio Code trên hệ điều hành Ubuntu Linux, tích hợp thư viện OpenCV và Dlib:

• Phân hệ thị giác: Camera liên tục ghi nhận luồng khung hình $\rightarrow$ Định vị khuôn mặt $\rightarrow$ Trích xuất 68 điểm mốc đặc trưng (facial landmarks) bằng thư viện Dlib $\rightarrow$ Kiểm tra khẩu trang qua phân tích độ bão hòa (Saturation) vùng miệng $\rightarrow$ Trích xuất vector đặc trưng HOG $\rightarrow$ Đưa qua bộ phân loại SVM để xác định danh tính (ID sinh viên, giảng viên hoặc người lạ).
• Phân hệ trợ lý ảo: Khi phát hiện người dùng tiếp cận $\rightarrow$ Chuyển trạng thái hoạt động $\rightarrow$ Thu âm câu hỏi $\rightarrow$ Chuyển âm thanh thành văn bản thông qua Google Speech-to-Text $\rightarrow$ Khớp mẫu câu hỏi với cơ sở dữ liệu tri thức học đường $\rightarrow$ Tạo câu trả lời dạng văn bản $\rightarrow$ Chuyển đổi thành giọng nói phản hồi qua loa và hiển thị văn bản/biểu cảm lên màn hình 7-inch.

Nội dung chính theo từng chương

Chương 1: Introduction (Giới thiệu tổng quan)

Chương 1 trình bày tính cấp thiết của đề tài trong xu thế tự động hóa và phòng chống dịch bệnh. Tác giả xác định rõ 2 mục tiêu cốt lõi: hỗ trợ giải đáp thông tin học đường cho sinh viên (lịch giảng dạy, đăng ký học phần, tìm phòng ban) và nhận diện chính xác danh tính người tương tác. Xác lập phạm vi vận hành trong nhà với ánh sáng ổn định và đưa ra lộ trình nghiên cứu gồm 6 bước rõ ràng.

Chương 2: Literature Review (Tổng quan tài liệu nghiên cứu)

Chương 2 tổng hợp cơ sở lý thuyết toàn diện về robot dịch vụ và các thuật toán nền tảng:

• Phân tích thông số kỹ thuật và nguyên lý hoạt động của robot thương mại Pepper (chiều cao 1.20m, nặng 28kg, trang bị camera 3D, hệ thống microphone, màn hình 10.1-inch).
• Trình bày quy trình 4 giai đoạn nhận diện khuôn mặt tiêu chuẩn: phát hiện khuôn mặt (Face Detection), căn chỉnh hình học (Face Alignment), trích xuất đặc trưng (Feature Extraction) và so khớp nhận diện (Feature Matching).
• Chi tiết toán học của bộ lọc Haar-like, cấu trúc ảnh tích hợp (Integral Image), các bước tính toán HOG (Sobel kernel, 9-bin histogram, chuẩn hóa khối 36 chiều) và phương pháp tối ưu hóa siêu phẳng cực đại hóa lề của SVM.
• Nguyên lý nhận dạng giọng nói dựa trên biểu đồ phổ tần số (Spectrogram), so sánh ưu - nhược điểm của các công cụ nhận dạng phổ biến (Windows Speech Recognition, Facebook Messenger Voice-to-Text, Google Speech to Text).

Chương 3: Hardware Design and Implementation (Thiết kế và thi công phần cứng)

Chương 3 trình bày chi tiết bảng phân tích yêu cầu kỹ thuật cho từng linh kiện. Tác giả phân tích lợi thế của máy tính nhúng NVIDIA Jetson Nano so với các dòng máy tính để bàn thông thường nhờ kích thước nhỏ gọn, tiêu thụ ít điện năng, tích hợp 128 lõi GPU kiến trúc Maxwell hỗ trợ xử lý song song các tác vụ AI. Chương này trình bày chi tiết sơ đồ chân (pinout), các cổng kết nối giao tiếp (J2, J6, J13, J25, J28, J32, J41), bản vẽ kết cấu 3D các bộ phận đầu, thân robot trên phần mềm SolidWorks và quá trình in 3D, lắp ráp hoàn thiện khung vỏ.

Chương 4: Software Design and Algorithms (Thiết kế phần mềm và thuật toán)

Chương 4 thiết lập cấu trúc mã nguồn và sơ đồ trạng thái hoạt động của robot:

• Xây dựng quy trình nhận diện khuôn mặt từng bước bằng OpenCV và Dlib kết hợp bộ phân loại SVM.
• Thiết kế lưu đồ thuật toán trợ lý ảo tiếp tân, biểu đồ chuyển đổi trạng thái (State Diagram) từ chế độ chờ (Idle State), phát hiện người (Detection State), nhận dạng khuôn mặt và khẩu trang, đến phiên hội thoại hỏi đáp (Interaction State).
• Xây dựng cấu trúc cơ sở dữ liệu câu hỏi - đáp phục vụ thông tin sinh viên.

Chương 5: Experiment Results, Findings and Analysis (Kết quả thực nghiệm, phát hiện và phân tích)

Chương 5 cung cấp các dữ liệu thực nghiệm chi tiết thu được trên mô hình thực tế:

• Thực nghiệm phát hiện khẩu trang: Sử dụng Dlib xác định vùng miệng, phân tích giá trị độ bão hòa màu trung bình ($S$) và độ chói ($L$) theo Bảng 5-1 và Bảng 5-2 để phân biệt trạng thái có đeo khẩu trang hay không.
• Thực nghiệm nhận diện khuôn mặt: Đánh giá tương quan giữa khoảng cách đặc trưng khuôn mặt (Face Distance) và điểm số tin cậy (Confidence Score) tại ngưỡng khớp Face Match Threshold = 0.4.
• Thực nghiệm nhận dạng tiếng nói: Đo lường độ chính xác của hệ thống chuyển giọng nói thành văn bản (Speech-to-Text) dựa trên hai biến số: khoảng cách giao tiếp ($0.5\text{ m}, 1.0\text{ m}, 1.5\text{ m}, 2.0\text{ m}$) và mức độ ồn môi trường (Bảng 5-3).
• Thực nghiệm cơ sở dữ liệu tri thức: Đánh giá khả năng hiểu câu hỏi và phản hồi thông tin học tập, thông báo, dẫn đường (Bảng 5-4) cùng khả năng hiển thị biểu cảm cảm xúc trên màn hình LCD.

Chương 6: Conclusion and Future Works (Kết luận và hướng phát triển)

Chương 6 tóm tắt các kết quả đạt được về mặt chế tạo phần cứng và triển khai phần mềm; đồng thời đề xuất các giải pháp nâng cấp trong tương lai như mở rộng tập dữ liệu huấn luyện, tích hợp cơ cấu chuyển động di chuyển tự hành và cải thiện khả năng chống nhiễu âm thanh.

Kết quả và đóng góp

Kết quả thực nghiệm chính

• Chế tạo thành công mô hình robot tiếp tân hoàn chỉnh có kích thước gọn gàng, khung vỏ in 3D vững chắc, tích hợp vi xử lý NVIDIA Jetson Nano, camera Logitech B525, màn hình LCD 7-inch và hệ thống loa mini.
• Xây dựng thành công thuật toán nhận diện khuôn mặt dựa trên bộ mô tả đặc trưng HOG và SVM, cho phép nhận diện nhanh sinh viên và giảng viên đã đăng ký trong cơ sở dữ liệu mẫu với ngưỡng so khớp 0.4.
• Ứng dụng thành công nhận dạng giọng nói tiếng Việt thời gian thực qua Google Speech-to-Text API, cho phép tiếp nhận câu hỏi của sinh viên ở cự ly lên đến 2-3 mét trong điều kiện phòng học thông thường.
• Thiết lập cơ sở dữ liệu tri thức hỗ trợ sinh viên giải đáp các thủ tục hành chính, tra cứu thông tin học phần và sơ đồ phòng học chức năng.

Đóng góp của đề tài

• Tích hợp thành công hai nhánh công nghệ thị giác máy tính (Computer Vision) và xử lý ngôn ngữ tự nhiên (NLP) trên một nền tảng máy tính nhúng công suất thấp (NVIDIA Jetson Nano) phục vụ môi trường giáo dục đại học.
• Đưa ra giải pháp kết hợp thuật toán HOG-SVM với kỹ thuật phân tích không gian màu HSV trên vùng miệng (dựa trên 68 điểm mốc Dlib) để kiểm tra khẩu trang trong bối cảnh phòng chống dịch bệnh.
• Đồ án được Hội đồng chấm bảo vệ tốt nghiệp đánh giá xuất sắc với điểm số 9.5 từ Giảng viên hướng dẫn (PGS. Lê Mỹ Hà) và 9.0 từ Giảng viên phản biện (TS. Vũ Văn Phong).

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nhận xét của giảng viên phản biện (TS. Vũ Văn Phong) và nội dung báo cáo:

• Hạn chế:
  • Phần thử nghiệm nhận diện khẩu trang ở Mục 5.1 cần bổ sung thêm số liệu kiểm nghiệm trên cỡ mẫu lớn hơn để có căn cứ định lượng chính xác về độ nhạy và độ đặc hiệu.
  • Robot sử dụng nút bấm vật lý để chuyển đổi chế độ xử lý, điều này có nguy cơ lây nhiễm tiếp xúc trong điều kiện phòng dịch COVID-19.
  • Khả năng nhận dạng tiếng nói bị suy giảm trong môi trường có độ ồn cao hoặc khi người nói phát âm với âm lượng quá nhỏ/khoảng cách xa trên 2 mét.
• Hướng mở rộng:
  • Nghiên cứu cơ chế kích hoạt bằng giọng nói (Voice Activation/Wake-word) hoặc nhận diện cử chỉ để chuyển đổi trạng thái hoàn toàn không chạm (touchless).
  • Tích hợp thêm hệ thống bánh xe và thuật toán định vị, lập bản đồ di chuyển tự hành (SLAM) giúp robot có thể dẫn đường trực tiếp cho sinh viên đến các phòng chức năng.
  • Mở rộng tập dữ liệu tri thức hỏi đáp bằng các mô hình ngôn ngữ lớn (LLM) và cải tiến mô hình phân loại khuôn mặt với các tập dữ liệu đa dạng góc chụp.

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho:

• Sinh viên các ngành Kỹ thuật Điều khiển & Tự động hóa, Cơ điện tử, Kỹ thuật Robot, Khoa học Máy tính và Công nghệ Thông tin đang thực hiện đồ án tốt nghiệp hoặc dự án nghiên cứu về robot dịch vụ.
• Kỹ sư phát triển hệ thống nhúng quan tâm đến cách cấu hình, triển khai các mô hình AI/Computer Vision (OpenCV, Dlib, HOG, SVM) trên dòng máy tính nhúng NVIDIA Jetson Nano.
• Người nghiên cứu bài toán tích hợp trợ lý ảo tiếng Việt, giao tiếp ngoại vi (Camera, Mic, Màn hình LCD HDMI) và phương pháp gia công khung vỏ robot bằng công nghệ in 3D.

Câu hỏi thường gặp

1. Đồ án sử dụng thuật toán nào để nhận diện khuôn mặt và tại sao lại chọn thuật toán đó?
Tác giả sử dụng phương pháp trích xuất đặc trưng HOG (Histogram of Oriented Gradients) kết hợp bộ phân loại máy vector hỗ trợ SVM (Support Vector Machine). Thuật toán này trích xuất vector đặc trưng 3780 chiều từ các khối $16 \times 16$ pixel, cho phép phân loại nhanh, chính xác cao và tối ưu hóa hiệu năng tính toán tốt trên phần cứng nhúng như NVIDIA Jetson Nano.

2. Cấu hình phần cứng chính của robot tiếp tân gồm những thiết bị gì?
Hệ thống sử dụng máy tính nhúng NVIDIA Jetson Nano Developer Kit (CPU Quad-core ARM A57, GPU 128 nhân Maxwell, RAM 4GB), Webcam Logitech B525 (Full HD, tích hợp micro), màn hình Waveshare 7-inch LCD giao tiếp HDMI, loa mini Logitech Z121 và khung vỏ nhựa in 3D thiết kế trên SolidWorks.

3. Robot giải quyết bài toán phát hiện người dùng đeo khẩu trang bằng kỹ thuật nào?
Robot sử dụng bộ phát hiện điểm mốc khuôn mặt của thư viện Dlib để định vị chính xác vùng miệng, sau đó trích xuất thông tin độ bão hòa màu ($S$ - Saturation) và độ chói trong không gian màu HSV tại vùng miệng để so sánh với ngưỡng trung bình nhằm kết luận trạng thái đeo khẩu trang.

4. Giảng viên phản biện đã chỉ ra điểm hạn chế nào cần khắc phục trong đồ án?
TS. Vũ Văn Phong nhận xét nhóm cần bổ sung số liệu kiểm nghiệm độ chính xác cho phần phát hiện khẩu trang ở Mục 5.1, đồng thời khuyến nghị chuyển đổi chế độ hoạt động bằng nhận dạng giọng nói thay vì sử dụng nút bấm vật lý để tránh tiếp xúc tay trong điều kiện phòng dịch COVID-19.

Kết luận

Đồ án tốt nghiệp "Thiết kế và thi công robot tiếp tân hỗ trợ sinh viên dựa trên thị giác máy tính và xử lý ngôn ngữ tự nhiên" của nhóm sinh viên Trần Thanh Hùng và Huỳnh Xuân Tấn đã giải quyết trọn vẹn bài toán tích hợp hệ thống robot dịch vụ học đường. Bằng việc kết hợp vi xử lý nhúng NVIDIA Jetson Nano, giải thuật thị giác máy tính HOG-SVM và công nghệ trợ lý ảo tiếng Việt, sản phẩm đã hoàn thiện mô hình thực nghiệm có khả năng nhận dạng danh tính sinh viên, kiểm tra khẩu trang và giao tiếp hỏi đáp thông tin hành chính. Đồ án đạt kết quả đánh giá xuất sắc và mở ra nền tảng thực nghiệm vững chắc cho các nghiên cứu phát triển robot dịch vụ tự hành trong tương lai.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION CAPSTONE PROJECT AUTOMATION AND CONTROL ENGINEERING TECHNOLOGY DESIGN AND IMPLEMENT RECEPTION ROBOT FOR STUDENT BASE ON COMPUTER VISION AND NATURAL LANGUAGE PROCESSING LECTURER: Assoc. LE MY HA STUDENT: TRAN THANH HUNG HUYNH XUAN TAN SKL 0 0 9 1 1 9 Ho Chi Minh City, January 2022 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION PROJECT DESIGN AND IMPLEMENT RECEPTION ROBOT FOR STUDENT BASE ON COMPUTER VISION AND NATURAL LANGUAGE PROCESSING TRAN THANH HUNG HUYNH XUAN TAN Student ID: 17151210 Student ID: 17151027 Major: AUTOMATION AND CONTROL ENGINEERING TECHNOLOGY Advisor: Assoc. LE MY HA Ho Chi Minh City, January 2022 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION PROJECT DESIGN AND IMPLEMENT RECEPTION ROBOT FOR STUDENT BASE ON COMPUTER VISION AND NATURAL LANGUAGE PROCESSING TRAN THANH HUNG HUYNH XUAN TAN Student ID: 17151210 Student ID: 17151027 Major: AUTOMATION AND CONTROL ENGINEERING TECHNOLOGY Advisor: Assoc. LE MY HA Ho Chi Minh City, January 2022 THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, January 07, 2021 GRADUATION PROJECT ASSIGNMENT Student name: Tran Thanh Hung Student ID: 17151210 Student name: Huynh Xuan Tan Student ID: 17151027 Major: Automation and Control Engineering Class: 17151CLA Technology Advisor: Assoc.

Le My Ha Phone number: Date of assignment: Jan 07th, 2021 Date of submission: December 28th, 2021 1. Project title: Design and Implement Reception Robot for Student base on Computer Vision and Natural Language Processing 2. Initial materials provided by the advisor: References, scientific articles, reference programs, data sets, expected parameters of the Robot. Content of the project: - Design, implement a reception robot with 3D-printting technology.

- Apply computer vision to recognize human facial. - Apply natural language processing in virtual voice assistant to communicate with human. - Build knowledge database to make robot have ability to chatting with human. Final product: Finish a reception robot that have abilities to recognize human with high accuracy and communicating with human by given knowledge database.

CHAIR OF THE PROGRAM ADVISOR (Sign with full name) (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, December 28, 2021 ADVISOR’S EVALUATION SHEET Student name: Tran Thanh Hung Student ID: 17151210 Student name: Huynh Xuan Tan Student ID: 17151027 Major: Automation and Control Engineering Technology Project title: Design and Implement Reception Robot for Student base on Computer Vision and Natural Language Processing Advisor: Assoc. Le My Ha EVALUATION 1. Content of the project: - Design, implement a reception robot with 3D-printting technology. - Apply computer vision to recognize human facial.

- Apply natural language processing in virtual voice assistant to communicate with human. - Build knowledge database to make robot have ability to chatting with human. Strengths: The content of the thesis fully meets the requirements. Students have designed a Reception Robot that have abilities of recognizing objects and performing basic communications.

The results of face recognition and communication are quite good when experimenting on the Reception Robot. Weaknesses: To consider experiments on more samples to have a reference for evaluating the accuracy of the system 4. Approval for oral defense? (Approved or denied) Approved 5. Overall evaluation: (Excellent, Good, Fair, Poor) Excellent 6.5 (in words: nine point five) Ho Chi Minh City, month day, year ADVISOR (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, December 28, 2021 PRE-DEFENSE EVALUATION SHEET Student name: Tran Thanh Hung Student ID: 17151210 Student name: Huynh Xuan Tan Student ID: 17151027 Major: Automation and Control Engineering Technology Project title: Design and Implement Reception Robot for Student base on Computer Vision and Natural Language Processing Name of Reviewer: PhD.

Vu Van Phong EVALUATION 1. Content of the project: - Design, implement a reception robot with 3D-printting technology. - Apply computer vision to recognize human facial. - Apply natural language processing in virtual voice assistant to communicate with human.

- Build knowledge database to make robot have ability to chatting with human.