CHƯƠNG 1 : TỔNG QUAN 1.1 TÌNH HÌNH NGHIÊN CỨU Hiện nay trên thế giới nói chung và tại Việt Nam nói riêng, trí tuệ nhân tạo được xem là một trong những công nghệ cốt lõi của cuộc cách mạng công nghiệp 4. Nhiều quốc gia bắt đầu ghi nhận xu thế phát triển tất yếu và tác động chuyển đổi to lớn của trí tuệ nhân tạo trong mọi mặt đời sống xã hội, từ thay đổi cán cân quyền lực kinh tế, đến cả quân sự và chính trị. Để đảm bảo tiếp tục phát triển kinh tế - xã hội, đem lại thịnh vượng cho quốc gia, bên cạnh việc tận dụng hiệu quả những thành tựu phát triển của trí tuệ nhân tạo và tự động hóa, nhiều nước đã đưa ra nhiều giải pháp phù hợp cho tiến trình chuyển đổi nhanh chóng và mạnh mẽ của cuộc cách mạng công nghiệp 4. Nhắc đến trí tuệ nhân tạo, chúng ta sẽ nghĩ ngay đến công nghệ sinh trắc học.
Đây là một trong những hướng phát triển mũi nhọn trong nền công nghiệp thuộc lĩnh vực thị giác máy tính hiện nay. Công nghệ sinh trắc học là công nghệ sử dụng những đặc tính vật lý, đặc điểm sinh học riêng của mỗi cá nhân như cảm xúc, võng mạc, khuôn mặt, vân tay… để nhận dạng. Trong đó nhận dạng khuôn mặt và cảm xúc là hai loại nhận dạng đặc trưng tiêu biểu cho công nghệ sinh trắc học đóng vai trò quan trọng và là nền tảng trong việc chế tạo các loại rô bốt có thể tương tác trực tiếp với con người Các nghiên cứu về nhận dạng khuôn mặt và cảm xúc đã được xây dựng và phát triển theo nhiều hướng khác nhau dựa trên đặc điểm và yêu cầu riêng của từng hệ thống. Đối với hệ thống nhận dạng khuôn mặt, các thử nghiệm về tỉ lệ nhận dạng chính xác của các phương pháp đề xuất thường được tiến hành trên các tập dữ liệu được thu thập trong điều kiện hạn chế về ánh sáng, hướng nhìn của khuôn mặt, tuổi tác,… Do đó khi áp dụng vào thực tế thì kết quả thu được thường kém xa so với môi trường thử nghiệm.
Để khắc phục điều đó, các hướng tiếp cận sau này được đề xuất dựa trên ý tưởng sử dụng các mô hình học máy thống kê có khả năng học để lựa chọn các đặc trưng khuôn mặt từ một tập mẫu cho trước điển hình như phương pháp PCA, trong đó mỗi khuôn mặt được biểu diễn dưới 1 do an dạng tổ hợp các eigenvectors, eigenfaces và fisherfaces, phương pháp sử dụng các mô hình mạng nơ-ron tích chập. Hiện tại, hiệu quả của các mô hình nhận dạng khuôn mặt đã được cải thiện đáng kể dựa trên việc kết hợp sử dụng các mô hình học sâu để tự động phát hiện các đặc trưng trên khuôn mặt và các kỹ thuật phân lớp thống kê [4], [5], [6]. Đối với hệ thống nhận dạng cảm xúc của khuôn mặt, để xác định được cảm xúc trên khuôn mặt của con người không phải là công việc dễ dàng. Rất nhiều công trình nghiên cứu, bài báo đưa ra các phương pháp nhằm xác định cảm xúc trên khuôn mặt.
Trong một nghiên cứu của tác giả Young Hoon Jo vào năm 2015 [5], tác giả đã xác định cảm xúc của mỗi cá nhân dựa trên đặc điểm, khoảng cách của các thành phần trên khuôn mặt. Sau khi chia ra thành từng vùng trên khuôn mặt, tác giả đã đi phân tích đặc điểm của từng phần, thông qua đặc điểm của từng phần để xác định từng lớp cảm xúc trên khuôn mặt người. Tuy nhiên, việc xác định trên chỉ đúng khi các đặc điểm trên khuôn mặt được coi là tiêu chuẩn. Ngày nay, bằng việc sử dụng một phương pháp mới đó là mạng nơ-ron xoắn tích chập đã mở ra những bước tiến mới trong việc xác định và nhận dạng cảm xúc trên khuôn mặt con người.
Vì những lý do trên, cá nhận thực hiện lựa chọn đề tài “ Xây dựng hệ thống nhận dạng khuôn mặt và cảm xúc dùng mạng nơ-ron tích chập ” để nghiên cứu. Đề tài hướng đến việc giúp cho máy tính và kit Raspberry Pi 4 có thể nhận dạng được khuôn mặt và cảm xúc của con người thông qua khuôn mặt bằng việc sử dụng mạng nơ-ron tích chập.2 MỤC TIÊU ĐỀ TÀI Đề tài tập trung nghiên cứu mạng nơ-ron tích chập, tìm hiểu về kiến trúc, mô hình đào tạo, trích xuất đặc trưng của mạng, thuật toán phân loại nhận dạng. Ngoài ra đề tài còn nghiên cứu về kit Raspberry Pi 4, ngôn ngữ Python và thư viện OpenCV, cách xây dựng cơ sở dữ liệu, tìm hiểu về việc sử dụng thuật toán trong việc phát hiện khuôn mặt từ camera hoặc ảnh, các bước xử lý ảnh. Mô hình sử dụng các phương pháp đặc trưng HOG [3] hay bộ phận phân lớp Haar-Cascade để phát hiện khuôn mặt, mô hình nhận dạng 2 do an được sử dụng dựa trên cơ sở mô hình mạng nơ-ron tích chập có khả năng tự động trích chọn đặc trưng của khuôn mặt từ đó xây dựng một hệ thống nhận dạng khuôn mặt.
Đối với hệ thống nhận dạng khuôn mặt, hệ thống sẽ nhận dạng được ảnh và luồng video có sẵn được lưu trong máy tính, kit Raspberry Pi hoặc luồng video trực tiếp được thu từ camera. Đối với hệ thống nhận dạng cảm xúc, cá nhân thực hiện đề tài sẽ xây dựng và huấn luyện mô hình mạng nơ-ron tích chập riêng để kiểm tra tính hiệu quả trong việc nhận dạng cảm xúc. Với kết quả đạt được, cá nhân thực hiện đề tài sẽ xây dựng một hệ thống nhận dạng 7 loại cảm xúc thông qua khuôn mặt gồm có: “ vui vẻ ”, “ buồn ”, “ sợ hãi ”, “ giận dữ ”, “ ngạc nhiên ”, “ khó chịu ”, “ bình thường ”. Hệ thống sẽ được cài đặt trên máy tính nhúng Raspberry Pi.3 GIỚI HẠN ĐỀ TÀI Đối với hệ thống nhận dạng khuôn mặt, hệ thống nhận dạng được thực nghiệm tại căn phòng trọ với khoảng 4 người trong phòng, dữ liệu được lấy trực tiếp từ camera.
Hệ thống sẽ nhận dạng được ảnh và luồng video có sẵn được lưu trong máy tính, kit Raspberry Pi hoặc luồng video trực tiếp được thu từ camera. Đối với hệ thống nhận dạng cảm xúc, chỉ xem xét đến thuật toán nhận dạng cảm xúc cho luồng video trực tuyến được thực hiện trong điều kiện đầy đủ ánh sáng, gương mặt chính diện và khoảng cách nhận dạng biểu cảm của khuôn mặt trong khoảng 1m.4 ĐỐI TƯỢNG NGHIÊN CỨU Đề tài nghiên cứu những đối tượng sau: - Mô hình mạng nơ-ron tích chập trong việc xây dựng hệ thống nhận dạng cảm xúc. Đồng thời ứng dụng mô hình mạng nơ-ron tích chập để tạo ra véc-tơ đặc trưng 128 chiều cho mỗi khuôn mặt để nhận dạng khuôn mặt. - Các biểu cảm cảm xúc thông qua khuôn mặt.
3 do an - Kit Raspberry Pi 4 xử lý nhận dạng khuôn mặt và cảm xúc. - Thuật toán trong việc phát hiện khuôn mặt từ ảnh hoặc video đã lưu sẵn trong máy tính hoặc kit Raspberry Pi và luồng video trực tuyến thông qua camera. - Các tập cơ sở dữ liệu có sẵn dùng để huấn luyện cho mạng nơ-ron tích chập.5 PHẠM VI NGHIÊN CỨU Phạm vi nghiên cứu của đề tài là tập trung nghiên cứu về mạng nơ-ron tích chập, tìm hiểu về kiến trúc, mô hình đào tạo, trích xuất đặc trưng của mạng, thuật toán phân loại và nhận dạng đối với hệ thống nhận dạng khuôn mặt và cảm xúc. Ngoài ra đề tài còn tìm hiểu về kit Raspberry Pi 4, ngôn ngữ Python và thư viện OpenCV[24].
Các thuật toán trong việc phát hiện khuôn mặt từ ảnh, video được lưu sẵn trong phần cứng máy tính hoặc kit Raspberry Pi và luồng video trực tuyến thông qua camera.6 BỐ CỤC ĐỀ TÀI Dựa trên mục tiêu cụ thể đã trình bày trong phần trước, đề tài được phân thành năm chương với các nội dung cụ thể như sau: Chương 1: Tổng quan: Giới thiệu về đề tài nghiên cứu, cho thấy được tình hình nghiên cứu của các đề tài liên quan, các giới hạn của đề tài và các phương hướng nghiên cứu, từ đó đưa ra phương hướng cụ thể cho đề tài nghiên cứu. Chương 2: Cơ sở lý thuyết: Tổng quát các lý thuyết của hệ thống bao gồm: quá trình xử lý ảnh, phát hiện khuôn mặt, đặc trưng HOG và bộ phân lớp Haar-Cascade, nhận dạng khuôn mặt, mạng nơ-ron nhân tạo , tìm hiểu về cấu trúc và hoạt động của mạng nơ-ron tích chập. Trình bày các đặc trưng của mặt người, các phương pháp tiếp cận đặc trưng khuôn mặt và biểu cảm của khuôn mặt khi bày tỏ cảm xúc, thư viện xử lý ảnh mã nguồn mở OpenCV với ngôn ngữ Python trong xử lý ảnh. Chương 3: Xây dựng hệ thống nhận dạng khuôn mặt và cảm xúc dùng mạng nơ-ron tích chập trên kit Raspberry Pi 4: Trong chương này trình bày về sơ đồ khối của hệ 4 do an thống, hoạt động của từng khối, thiết kế chi tiết từng khối của hệ thống như khối camera, khối xử lý Raspberry Pi, khối màn hình hiển thị.
Bên cạnh đó trong chương này còn trình bày thiết kế của hai hệ thống bao gồm hệ thống nhận dạng khuôn mặt và hệ thống nhận dạng cảm xúc được xử lý trong kit Raspberry Pi. Đối với hệ thống nhận dạng khuôn mặt, trình bày cách xây dựng hệ thống và lưu đồ thuật toán cho từng quá trình của hệ thống nhận dạng khuôn mặt sử dụng mạng nơ-ron tích chập như quá trình tiền xử lý, trích chọn đặc trưng,…. Đối với hệ thống nhận dạng cảm xúc tìm kiếm tập dữ liệu mẫu, diễn giải các thông số của mô hình, quá trình huấn luyện, quá trình kiểm tra và thiết kế hệ thống nhận dạng cảm xúc thông qua khuôn mặt dùng mạng nơ-ron tích chập. Chương 4: Kết quả: Đưa ra kết quả hình ảnh thực tế về cơ sở dữ liệu, kết quả nhận dạng so với yêu cầu và mục tiêu đã đề ra đối với từng hệ thống trong đề tài.
Chương 5: Kết luận và hướng phát triển: Trình bày các kết quả đạt được của từng hệ thống và hướng phát triển trong đề tài. 5 do an CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT 2.1 TỔNG QUAN VỀ QUÁ TRÌNH XỬ LÝ ẢNH 2.1 Xử lý ảnh Xử lý ảnh là một hình thức xử lý tín hiệu mà ảnh đầu vào là một hình ảnh và đầu ra của xử lý hình ảnh có thể là một hình ảnh hoặc một tập hợp các đặc tính hoặc tham số liên quan đến hình ảnh [11]. Đây là một phân ngành khoa học mới, rất phát triển trong những năm gần đây.