Báo cáo đồ án: Ước lượng tâm trạng người xem video, chơi game qua webcam

Tài liệu báo cáo đồ án ứng dụng AI xử lý hình ảnh webcam để ước lượng cảm xúc người chơi game. Phân tích cơ sở lý thuyết và kết quả chương trình.

• Tác giả: Nguyễn Quang Anh
• Người hướng dẫn: Th.s Phạm Quang Thái
• Trường học: Trường Đại Học Bách Khoa, Đại Học Quốc Gia Tp. Hồ Chí Minh
• Chuyên ngành: Điện Tử - Viễn Thông
• Đề tài: Ước Lượng Cảm Xúc Người Chơi Game Qua Webcam: Nhận Diện Cảm Xúc Thông Qua Xử Lý Hình Ảnh Video Đầu Vào Từ Webcam
• Loại tài liệu: Đồ Án
• Năm xuất bản: 2023
• Địa điểm: Tp. Hồ Chí Minh

Tóm tắt

I. Giới thiệu về Ước lượng Cảm xúc Người chơi Game qua Webcam

Ước lượng cảm xúc người chơi game thông qua webcam là một đồ án AI tiên tiến kết hợp giữa xử lý hình ảnh và máy học. Đây là bài toán mở rộng từ hệ thống nhận dạng khuôn mặt truyền thống, giúp phát hiện các biểu hiện cảm xúc trong quá trình người dùng tương tác với các ứng dụng giải trí. Công nghệ này có ý nghĩa quan trọng đối với các nhà phát triển game, nhà nghiên cứu tâm lý học và các nền tảng giải trí trực tuyến. Thay vì tác động trực tiếp đến đối tượng nghiên cứu, xử lí thông tin qua hình ảnh webcam cho phép thu thập dữ liệu một cách tự nhiên và hiệu quả. Phương pháp này sử dụng các thư viện mã nguồn mở để xây dựng chương trình ước lượng cảm xúc trên nền tảng Window, tạo ra một giải pháp thực tiễn và dễ triển khai cho các ứng dụng thực tế.

1.1. Tầm quan trọng của Deep Learning trong Nhận diện Cảm xúc

Deep Learning đang trở thành nền tảng chính cho các hệ thống nhận diện cảm xúc hiện đại. Công nghệ này xử lý lượng dữ liệu khổng lồ thông qua các mô hình học tập lặp, loại bỏ lỗi và tăng độ chính xác. Mạng nơ-ron tích chập (CNN) được sử dụng rộng rãi để phân tích các đặc trưng khuôn mặt và nhận diện các biểu hiện cảm xúc như vui, buồn, tức giận, bất ngờ. Sự phát triển của Deep Learning giúp tự động hóa quy trình phân tích cảm xúc, tiết kiệm thời gian và tài nguyên so với phương pháp thủ công.

1.2. Ứng dụng Thực tiễn của Công nghệ Nhận diện Cảm xúc

Ứng dụng nhận diện cảm xúc có thể được triển khai trong nhiều lĩnh vực: phát triển game thích ứng, hệ thống đánh giá trải nghiệm người dùng, và nghiên cứu tâm lý học. Trong lĩnh vực giải trí kỹ thuật số, công nghệ này cho phép các nền tảng game điều chỉnh độ khó, nội dung hoặc gợi ý dựa trên phản ứng cảm xúc thực tế của người chơi. Các ứng dụng này cải thiện trải nghiệm người dùng và tạo ra dữ liệu quý báu cho việc nghiên cứu và phát triển sản phẩm tiếp theo.

II. Cơ sở Lý thuyết của Nhận diện Cảm xúc qua Hình ảnh

Nền tảng lý thuyết của ước lượng cảm xúc qua webcam dựa trên sự kết hợp giữa xử lý hình ảnh số và machine learning. Quá trình này bao gồm nhiều bước: thu thập hình ảnh từ webcam, phát hiện khuôn mặt, trích xuất các đặc trưng khuôn mặt quan trọng, và phân loại cảm xúc. Mạng nơ-ron nhân tạo được huấn luyện trên các tập dữ liệu khổng lồ để nhận diện các mẫu cảm xúc khác nhau. Các thuật toán như Multi Task Convolutional Neural Networks (MTCNN) và FaceNet đóng vai trò quan trọng trong việc phát hiện chính xác vị trí khuôn mặt và trích xuất vector đặc trưng. Hiểu rõ các cơ chế này là bước đầu tiên để xây dựng hệ thống nhận diện cảm xúc hiệu quả và chính xác.

2.1. Kiến trúc CNN và MTCNN trong Phát hiện Khuôn mặt

Mạng nơ-ron tích chập (CNN) là kiến trúc cơ bản cho xử lý hình ảnh trong nhận diện cảm xúc. MTCNN (Multi-task Convolutional Neural Network) được thiết kế đặc biệt để phát hiện khuôn mặt với độ chính xác cao, xác định vị trí các đặc trưng khuôn mặt như mắt, mũi, miệng. Kiến trúc này có khả năng xử lý các hình ảnh có chất lượng khác nhau, góc độ khác nhau, và điều kiện ánh sáng đa dạng. Việc sử dụng MTCNN giúp cải thiện độ tin cậy của hệ thống nhận diện cảm xúc trong các ứng dụng thực tế.

2.2. Thuật toán FaceNet và Trích xuất Đặc trưng Khuôn mặt

FaceNet là một mô hình học sâu tiên tiến, nhận vào hình ảnh khuôn mặt và xuất ra vector embedding - biểu diễn toán học của các đặc trưng khuôn mặt. Các vector này chứa thông tin quan trọng về hình dạng, kích thước và các đặc điểm riêng biệt của khuôn mặt. Phương pháp này cho phép so sánh các khuôn mặt khác nhau và nhận diện các biểu hiện cảm xúc một cách chính xác. Vector embedding được sử dụng làm đầu vào cho các bộ phân loại học máy để xác định loại cảm xúc.

III. Xây dựng Ứng dụng Ước lượng Cảm xúc Trên Windows

Việc xây dựng ứng dụng ước lượng cảm xúc trên hệ điều hành Windows yêu cầu sử dụng các thư viện mã nguồn mở phổ biến như OpenCV, TensorFlow, và Keras. Quá trình phát triển ứng dụng bao gồm: thiết lập môi trường phát triển, tải các mô hình đã được huấn luyện sẵn, cấu hình webcam để thu thập video thực tế, xử lý các frame video, phát hiện khuôn mặt, và phân loại cảm xúc. Chương trình ước lượng cảm xúc được viết bằng Python, cho phép xử lý dữ liệu từ webcam real-time và hiển thị kết quả cảm xúc trên giao diện người dùng. Ứng dụng này có thể được tích hợp vào các trò chơi hoặc nền tảng giải trí để theo dõi phản ứng cảm xúc của người chơi.

3.1. Quy trình Xử lý Video từ Webcam và Phát hiện Khuôn mặt

Quy trình bắt đầu bằng cách kết nối webcam và liên tục thu thập các frame video. Mỗi frame được xử lý bằng thuật toán phát hiện khuôn mặt để xác định vị trí khuôn mặt trong ảnh. Sau khi phát hiện thành công, phần khuôn mặt được cắt ra và chuẩn hóa kích thước, chuẩn bị cho bước trích xuất đặc trưng. Quá trình này lặp đi lặp lại với tốc độ cao (thường 30 frame/giây) để đảm bảo phát hiện cảm xúc liên tục và real-time.

3.2. Phân loại Cảm xúc và Hiển thị Kết quả

Sau khi trích xuất vector đặc trưng khuôn mặt, chúng được đưa vào mô hình phân loại cảm xúc đã được huấn luyện sẵn. Mô hình này nhận dạng một trong các loại cảm xúc: vui vẻ, buồn, tức giận, bất ngờ, sợ hãi, hoặc trung lập. Kết quả được hiển thị trên màn hình cùng với mức độ tin cậy (confidence score) cho mỗi cảm xúc. Ứng dụng lưu trữ dữ liệu cảm xúc theo thời gian, cho phép phân tích xu hướng cảm xúc của người chơi trong suốt phiên chơi game.

IV. Kết luận và Hướng Phát triển Nghiên cứu

Đồ án ước lượng cảm xúc người chơi game qua webcam đã chứng minh tính khả thi của việc sử dụng công nghệ Deep Learning để nhận diện cảm xúc trong thời gian thực. Ứng dụng được phát triển trên Windows có thể xử lý video từ webcam một cách hiệu quả, cung cấp thông tin cảm xúc chính xác cho các nền tảng giải trí. Tuy nhiên, vẫn còn nhiều cơ hội để cải thiện: tăng độ chính xác của mô hình, mở rộng hỗ trợ nhiều loại cảm xúc phức tạp hơn, tối ưu hóa hiệu suất xử lý, và tích hợp với các nền tảng trò chơi phổ biến. Hướng phát triển tương lai bao gồm sử dụng mô hình AI tiên tiến hơn, xây dựng giao diện người dùng thân thiện hơn, và ứng dụng trong các lĩnh vực khác như giáo dục, y tế, và nghiên cứu tâm lý học.

4.1. Đánh giá Kết quả và Hạn chế Hiện tại

Kết quả của ứng dụng cho thấy độ chính xác cao trong nhận diện các cảm xúc cơ bản, đặc biệt là trong điều kiện ánh sáng tốt. Tuy nhiên, vẫn tồn tại một số hạn chế: độ chính xác giảm khi khuôn mặt ở các góc độ khó, chất lượng ảnh thấp, hoặc người dùng đeo kính mắt. Hiệu suất xử lý cũng phụ thuộc vào cấu hình phần cứng của máy tính. Những hạn chế này có thể được khắc phục thông qua huấn luyện lại mô hình hoặc sử dụng các kiến trúc mạng nơ-ron phức tạp hơn.

4.2. Định hướng Phát triển và Ứng dụng Mở rộng

Hướng phát triển tiếp theo bao gồm: tích hợp nhận diện cảm xúc đa phương thức kết hợp với dữ liệu âm thanh và dữ liệu sinh lý; phát triển mô hình dự đoán cảm xúc dự báo phản ứng người dùng trước; và mở rộng ứng dụng sang các nền tảng mobile và web. Công nghệ này có tiềm năng lớn trong game thích ứng, tương tác con người-máy tính, và nghiên cứu trải nghiệm người dùng trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1 GIỚI THIỆU .2 Mục tiêu của chuyên đề.3 Đối tượng nghiên cứu.4 Phạm vi nghiên cứu.2 Phương Pháp – Kết quả.1 Phương pháp.8 Chương 2 CƠ SỞ LÝ THUYẾT.1 Tổng quan về Deep Learning và bài toán nhận diện khuôn mặt trong thị giác máy tính.1 Tổng quan về Deep Learning.2 Giới thiệu Convolutional Neural Network.2 Kiến trúc CNN.3 Tổng quan về Machine Learning.1 Machine Learning là gì ?.2 Một vài ứng dụng của Machine Learning.4 Tổng quan về thư viện Keras.5 Tổng quan về thư viện Tensorflow.19 Chương 3 XÂY DỰNG ỨNG DUNG.1 Yêu cầu hệ thống.2 môi trường thực hiện.2 Các bước thực hiện.1 Chuẩn bị dữ liệu.2 Cài đặt thư viện.3 Phân chia bộ train và bộ test.4 Xây dựng mô hình.5 Chương trình chính.6 Test kết quả.23 Chương 4 KẾT LUẬN.2 Ưu điểm – Nhược điểm .3 Hướng Phát triển .26 TÀI LIỆU THAM KHẢO .27 3 dữ liệu các vector biểu diễn khuôn mặt trở thành vector 128 chiều và áp dụng các thuật toán Machine Learning để huấn luyện model sau đó lựa chọn ra model tốt nhất.  Input: Video từ Webcam.  Output: cảm xúc của người đó 1.3 Đối tượng nghiên cứu - Ngôn ngữ Python - Tìm hiểu về Machine Learning và Deep Learning - Các thuật toán nhận diện - Nghiên cứu thư viện Multi Taks Convolutional Neural Network và Tensor flow 1.4 Phạm vi nghiên cứu - Xây dựng chương trình ước lượng cảm xúc con người sử dụng Machine Learning. - Ứng dụng đề tài phục vụ cho việc nghiên cứu về nhiều lĩnh vực.2 Phương pháp – kết quả 1.1 Phương pháp *Phương pháp chủ đạo - Phương pháp nghiên cứu lý thuyết: + Tìm hiểu tổng quan về Machine Learning và bài toán nhận diện khuôn mặt trong thị giác máy tính.

- + Tìm hiểu thư viện Multi Taks Convolutional Neural Network và Tensorflow + Tìm hiểu thư viện Keras và một số thư viện khác. - Phương pháp nghiên cứu thực nghiệm: + Tiến hành phân tích và cài đặt trên Python + Tiến hành training data cho máy học. 6 dữ liệu các vector biểu diễn khuôn mặt trở thành vector 128 chiều và áp dụng các thuật toán Machine Learning để huấn luyện model sau đó lựa chọn ra model tốt nhất.  Input: Video từ Webcam.

 Output: cảm xúc của người đó 1.3 Đối tượng nghiên cứu - Ngôn ngữ Python - Tìm hiểu về Machine Learning và Deep Learning - Các thuật toán nhận diện - Nghiên cứu thư viện Multi Taks Convolutional Neural Network và Tensor flow 1.4 Phạm vi nghiên cứu - Xây dựng chương trình ước lượng cảm xúc con người sử dụng Machine Learning. - Ứng dụng đề tài phục vụ cho việc nghiên cứu về nhiều lĩnh vực.2 Phương pháp – kết quả 1.1 Phương pháp *Phương pháp chủ đạo - Phương pháp nghiên cứu lý thuyết: + Tìm hiểu tổng quan về Machine Learning và bài toán nhận diện khuôn mặt trong thị giác máy tính. - + Tìm hiểu thư viện Multi Taks Convolutional Neural Network và Tensorflow + Tìm hiểu thư viện Keras và một số thư viện khác. - Phương pháp nghiên cứu thực nghiệm: + Tiến hành phân tích và cài đặt trên Python + Tiến hành training data cho máy học.

6 dữ liệu các vector biểu diễn khuôn mặt trở thành vector 128 chiều và áp dụng các thuật toán Machine Learning để huấn luyện model sau đó lựa chọn ra model tốt nhất.  Input: Video từ Webcam.  Output: cảm xúc của người đó 1.3 Đối tượng nghiên cứu - Ngôn ngữ Python - Tìm hiểu về Machine Learning và Deep Learning - Các thuật toán nhận diện - Nghiên cứu thư viện Multi Taks Convolutional Neural Network và Tensor flow 1.4 Phạm vi nghiên cứu - Xây dựng chương trình ước lượng cảm xúc con người sử dụng Machine Learning. - Ứng dụng đề tài phục vụ cho việc nghiên cứu về nhiều lĩnh vực.2 Phương pháp – kết quả 1.1 Phương pháp *Phương pháp chủ đạo - Phương pháp nghiên cứu lý thuyết: + Tìm hiểu tổng quan về Machine Learning và bài toán nhận diện khuôn mặt trong thị giác máy tính.

- + Tìm hiểu thư viện Multi Taks Convolutional Neural Network và Tensorflow + Tìm hiểu thư viện Keras và một số thư viện khác. - Phương pháp nghiên cứu thực nghiệm: + Tiến hành phân tích và cài đặt trên Python + Tiến hành training data cho máy học. 6 Chương 2 CƠ SỞ LÝ THUYẾT 2.1 Tổng quan về Deep Learning và bài toán nhận diện khuôn mặt trong thị giác máy tính 2.1 Tổng quan về Deep Learning 2.1 Deep Learning là gì? Deep Learning là một tập hợp con của Trí tuệ nhân tạo – một kỹ thuật học máy dạy cho máy tính và các thiết bị hoạt động một cách logic. Tại sao lại đặt tên là Deep Learning? Bởi thực tế là nó liên quan đến việc đi sâu vào một số lớp của mạng, bao gồm cả một lớp ẩn.

Bạn càng học sâu, bạn càng trích xuất ra những thông tin phức tạp. Phương pháp Deep learning dựa vào các chương trình phức tạp khác nhau để bắt chước trí thông minh của con người. Phương pháp đặc biệt này dạy cho máy móc nhận biết các họa tiết để có thể phân loại chúng thành các loại khác nhau. Nhận dạng mẫu là một phần thiết yếu của Deep learning và nhờ Machine learning, máy tính thậm chí không cần phụ thuộc vào lập trình mở rộng.

Thông qua Deep learning, máy móc có thể sử dụng các tệp hình ảnh, văn bản hoặc âm thanh để xác định và thực hiện bất kỳ tác vụ nào theo cách giống như con người. 8 MỤC LỤC Chương 1 GIỚI THIỆU .2 Mục tiêu của chuyên đề.3 Đối tượng nghiên cứu.4 Phạm vi nghiên cứu.2 Phương Pháp – Kết quả.1 Phương pháp.8 Chương 2 CƠ SỞ LÝ THUYẾT.1 Tổng quan về Deep Learning và bài toán nhận diện khuôn mặt trong thị giác máy tính.1 Tổng quan về Deep Learning.2 Giới thiệu Convolutional Neural Network.2 Kiến trúc CNN.3 Tổng quan về Machine Learning.1 Machine Learning là gì ?.2 Một vài ứng dụng của Machine Learning.4 Tổng quan về thư viện Keras.5 Tổng quan về thư viện Tensorflow.19 Chương 3 XÂY DỰNG ỨNG DUNG.1 Yêu cầu hệ thống.2 môi trường thực hiện.2 Các bước thực hiện.1 Chuẩn bị dữ liệu.2 Cài đặt thư viện.3 Phân chia bộ train và bộ test.4 Xây dựng mô hình.5 Chương trình chính.6 Test kết quả.23 Chương 4 KẾT LUẬN.2 Ưu điểm – Nhược điểm .3 Hướng Phát triển .26 TÀI LIỆU THAM KHẢO .Deep Learning là gì ? 2.2 Tầm quan trọng của Deep Learning Có thể thấy rằng Deep Learning đang ngày càng phổ biến thời gian gần đây. Nó đóng góp rất nhiều vào việc làm cho cuộc sống hàng ngày của chúng ta thuận tiện hơn, và xu hướng này sẽ phát triển trong tương lai. Cho dù đó chỉ là công nghệ hỗ trợ đỗ xe tự động hoặc nhận diện khuôn mặt tại sân bay, Deep learning đang thúc đẩy rất nhiều cho tự động hóa trong thế giới ngày nay.

Tuy nhiên, sự liên quan của Deep learning có thể được liên kết hầu hết với thực tế là thế giới của chúng ta đang tạo ra lượng dữ liệu theo cấp số nhân ngày nay, điều đó đỏi hỏi nhu cầu cấu trúc trên quy mô lớn. Deep learning sử dụng khối lượng dữ liệu ngày càng tăng và tính sẵn có của dữ liệu là hợp lý nhất. Tất cả các thông tin được thu thập từ các dữ liệu này được sử dụng để đạt được kết quả chính xác thông qua các mô hình học tập lặp. Việc phân tích lặp đi lặp lại các bộ dữ liệu lớn sẽ xóa bỏ các lỗi và sự khác biệt trong quá trình tìm kiếm mà cuối cùng dẫn đến một kết luận đáng tin cậy.

Deep learning sẽ tiếp tục tạo ra tác động trong cả kinh doanh và cá nhân và tạo ra rất nhiều cơ hội việc làm trong thời gian tới. 9 Chương 1 GIỚI THIỆU 1.1 Mở đầu Hiện nay, cùng với sự phát triển của khoa học, công nghệ trí tuệ nhân tạo đang ngày càng được ứng dụng rộng rãi vào đời sống của nhân loại, có thể dễ dàng thực hiện những công việc thông minh tưởng chừng như không thể thay thế trí tuệ con người. Nổi bật trong các hệ thống trí tuệ nhân tạo đó chính là các hệ thống nhận dạng con người được ra đời với độ tin cậy ngày càng cao. Bên cạnh các hệ thống nhận dạng những đặc điểm sinh trắc học của con người như: nhận dạng vân tay, nhận dạng giọng nói, chữ viết, võng mạc,v.

Có một bài toán được mở rộng dựa trên khuôn khổ của hệ thống nhận dạng khuôn mặt mà em rất quan tâm đó chính là ước lượng cảm xúc của đối tượng thông qua một hoạt động cụ thể như chơi game hoặc xem video. Vì nhận dạng cảm xúc là cách mà con người sử dụng để giao tiếp và đưa ra những hành vi ứng xử phù hợp, đây được coi là một nghệ thuật cơ bản của giao tiếp. Nhưng đối với những nhà phát triển các phương tiện giải trí, cũng như là các nhà nghiên cứu tâm lí học con người, đôi khi việc tiếp cận đối tượng đê nghiên cứu các biểu hiện thể hiện cảm xúc gặp rất nhiều khó khăn, phức tạp. Với phương pháp thu thập, xử lí thông tin qua hình ảnh của đối tượng, chúng ta sẽ nhận được lượng thông tin đáng kể từ đối tượng mà không cần tác động quá nhiều đến đối tượng nghiên cứu.

Trong khuôn khổ đồ án này, em sẽ tiếp tục giải quyết bài toán nhận dạng offline. Trong đó đối tượng được thu thập thành các file dữ liệu và được chuyển về trung tâm. Tại đó, các số liệu sẽ được phân tích xử lý. Trong phần đầu, em sẽ giải quyết bài toán nhận dạng thông thường, phần hai sẽ là phần ước lượng cảm xúc 1.2 Mục tiêu của đồ án Sử dụng thư viện Multi Task Convolutional Neural Network để trích xuất khuôn mặt từ video đầu vào của Webcam sau đó sử dụng pre-trained model FaceNet để giảm chiều 5 Hình 1.Deep Learning là gì ? 2.2 Tầm quan trọng của Deep Learning Có thể thấy rằng Deep Learning đang ngày càng phổ biến thời gian gần đây.

Nó đóng góp rất nhiều vào việc làm cho cuộc sống hàng ngày của chúng ta thuận tiện hơn, và xu hướng này sẽ phát triển trong tương lai. Cho dù đó chỉ là công nghệ hỗ trợ đỗ xe tự động hoặc nhận diện khuôn mặt tại sân bay, Deep learning đang thúc đẩy rất nhiều cho tự động hóa trong thế giới ngày nay. Tuy nhiên, sự liên quan của Deep learning có thể được liên kết hầu hết với thực tế là thế giới của chúng ta đang tạo ra lượng dữ liệu theo cấp số nhân ngày nay, điều đó đỏi hỏi nhu cầu cấu trúc trên quy mô lớn. Deep learning sử dụng khối lượng dữ liệu ngày càng tăng và tính sẵn có của dữ liệu là hợp lý nhất.

Tất cả các thông tin được thu thập từ các dữ liệu này được sử dụng để đạt được kết quả chính xác thông qua các mô hình học tập lặp.