Mở đầu: Chương 2 sẽ đi vào giới thiệu cơ sở lý thuyết của phương pháp nghiên cứu trong khóa luận. Sẽ bắt đầu từ việc giới thiệu về thị giác máy tính, ứng dụng của thị giác máy tính. Sau đó tiếp tục đi vào tìm hiểu về nhận diện khuôn mặt, các thành phần cơ bản của hệ thống nhận diện khuôn mặt. Tiếp đó sẽ đi sâu chi tiết vào các thành phần của hệ thống nhận diện khuôn mặt để hiểu rõ hơn về cách thức hoạt động.
Giới thiệu thị giác máy tính 2. Computer Vision có khái niệm dựa trên hai nhận định chính: Theo quan điểm về lĩnh vực khoa học nghiên cứu về sinh trắc học, thị giác máy tính nhằm mục đích đưa ra các mô hình tính toán của hệ thống thị giác con người. Từ quan điểm kỹ thuật, thị giác máy tính nhằm mục đích xây dựng các hệ thống tự trị có thể thực hiện một số nhiệm vụ mà hệ thống thị giác của con người có thể thực hiện (và thậm chí vượt qua con người trong nhiều trường hợp). Nhiều nhiệm vụ thị giác liên quan đến việc trích xuất thông tin 3D và thông tin thời gian từ dữ liệu 2D thay đổi theo thời gian, chẳng hạn như thu được bởi một hoặc nhiều máy quay truyền hình và nói chung là sự hiểu biết về các cảnh động như vậy [2].
Tất nhiên, hai nhận định có liên quan mật thiết với nhau. Các thuộc tính và đặc điểm của hệ thống thị giác con người thường mang lại cảm hứng cho các kỹ sư đang thiết kế hệ thống thị giác máy tính. Ngược lại, các thuật toán thị giác máy tính có thể cung cấp thông tin chi tiết về cách thức hoạt động của hệ thống thị giác của con người. Trong bài báo này, chúng tôi sẽ áp dụng quan điểm kỹ thuật [2].
15 Hình 8: Hình minh họa Computer Vision [3] 2. Phân loại hình ảnh xem một hình ảnh và có thể phân loại hình ảnh đó (một con chó, một quả táo, khuôn mặt của một người). Chính xác hơn, nó có thể dự đoán chính xác rằng một hình ảnh nhất định thuộc về một lớp nào đó. Ví dụ: một công ty truyền thông xã hội có thể muốn sử dụng nó để tự động xác định và tách biệt các hình ảnh phản cảm do người dùng tải lên [4].
Phát hiện đối tượng có thể sử dụng phân loại hình ảnh để xác định một loại hình ảnh nhất định, sau đó phát hiện và lập bảng biểu cho sự xuất hiện của chúng trong một hình ảnh hoặc video. Ví dụ như phát hiện hư hỏng trên dây chuyền lắp ráp hoặc xác định máy móc cần bảo trì. Theo dõi đối tượng theo dõi hoặc theo dõi một đối tượng sau khi nó được phát hiện. Tác vụ này thường được thực hiện với các hình ảnh được chụp theo trình tự hoặc nguồn cấp dữ liệu video thời gian thực.
Ví dụ, các phương tiện tự hoạt động không chỉ cần phân 16 loại và phát hiện các đối tượng như người đi bộ, ô tô khác và cơ sở hạ tầng đường bộ mà còn cần theo dõi chuyển động của chúng để tránh va chạm và tuân thủ luật giao thông. Tính năng truy xuất hình ảnh dựa trên nội dung sử dụng tầm nhìn máy tính để duyệt, tìm kiếm và truy xuất hình ảnh từ các kho dữ liệu lớn, dựa trên nội dung của hình ảnh chứ không phải các thẻ siêu dữ liệu được liên kết với chúng. Tác vụ này có thể kết hợp chú thích hình ảnh tự động thay thế việc gắn thẻ hình ảnh thủ công. Các tác vụ này có thể được sử dụng cho các hệ thống quản lý tài sản kỹ thuật số và có thể tăng độ chính xác của việc tìm kiếm và truy xuất.
Giới thiệu chung về nhận diện khuôn mặt. Nhận dạng khuôn mặt là một phần của thị giác máy tính. Nhận dạng khuôn mặt được sử dụng để xác định một người bằng phương pháp sinh trắc học dựa trên hình ảnh trên khuôn mặt của họ. Một người được xác định thông qua các đặc điểm sinh trắc học.
Mắt người có thể dễ dàng nhận ra người bằng cách nhìn đơn giản nhưng khả năng tập trung của mắt người có giới hạn. Do đó, một phương pháp máy tính được phát minh để thực hiện nhận dạng khuôn mặt. Nhận dạng khuôn mặt bao gồm các hoạt động phát hiện tự động, sau đó xác minh một người từ hình ảnh hoặc video [5]. Hệ thống nhận diện khuôn mặt.
Quy trình nhận dạng khuôn mặt đơn giản chỉ yêu cầu bất kỳ thiết bị nào có công nghệ chụp ảnh kỹ thuật số để tạo và thu được hình ảnh và dữ liệu cần thiết để tạo và ghi lại mẫu khuôn mặt sinh trắc học của người cần được nhận dạng. Không giống như các giải pháp nhận dạng khác như mật khẩu, xác minh qua email, ảnh tự chụp hoặc hình ảnh hoặc nhận dạng vân tay , nhận dạng khuôn mặt sinh trắc học sử dụng các mô hình toán học và động học độc đáo giúp hệ thống này trở thành một trong những hệ thống an toàn và hiệu quả nhất. Mục tiêu của nhận dạng khuôn mặt, từ hình ảnh đến, tìm một chuỗi dữ liệu của cùng một khuôn mặt trong một tập hợp các hình ảnh huấn luyện trong cơ sở dữ liệu. Khó 17 khăn lớn là đảm bảo rằng quá trình này được thực hiện trong thời gian thực, điều mà không phải nhà cung cấp phần mềm nhận dạng khuôn mặt sinh trắc học nào cũng có.
Hệ thống nhận diện khuôn mặt thường bao gồm các bước sau: Căn Nhận Phát hiện Trích chỉnh diện khuôn xuất đặc khuôn khuôn mặt trưng mặt mặt Hình 9: Quy trình nhận diện khuôn mặt trong bài nghiên cứu Bước 1 (Face Detection): Phát hiện ra khuôn mặt trên khung chữ nhật chứa đầy đủ các đặc trưng chính trong khuôn mặt. Bước 2 (Face Alignment): Căn chỉnh khuôn mặt, trực diện hóa khuôn mặt sau đó mới chuyển qua bước sau. Bước 3 (Features extraction): Trích xuất các đặc trưng trên khuôn mặt. Bước 4 (Face Recognition): Phân loại, nhận diện khuôn mặt.
Sau đây sẽ đi chi tiết hơn để hiểu được quy trình hoạt động của hệ thống nhận diện khuôn mặt. 18 Hình 10: Quá trình phát hiện và căn chỉnh khuôn mặt [7] Đây là hình ảnh thể hiện quy trình nhận diện khuôn mặt phổ biến hiện nay. Quy trình phát hiện sẽ được mô tả như sau: Về 3 hình đầu tiên, sau khi phát hiện được vùng chứa khuôn mặt, chúng ta sẽ bắt đầu quá trình căn chỉnh của mình bằng cách phát hiện 6 điểm tròn bên trong vùng cắt gọn khuôn mặt được phát hiện, tập trung ở tâm của 2 con mắt, các vị trí đầu mũi và miệng là các mốc chính hay điểm cong vênh gốc. Chúng được sử dụng để chia tỷ lệ xấp xỉ, xoay và dịch hình ảnh thành sáu vị trí gốc và lặp lại trên các vị trí hình ảnh bị cong vênh mới cho đến khi không có thay đổi đáng kể, cuối cùng tạo ra phép biến đổi tương tự 2D cuối cùng [7].
Đầu tiên hình a thông qua thuật toán phát hiện khuôn mặt sẽ quét trên hình ảnh nhận được, tính toán và đo đạc vị trí vùng đầu chứa khuôn mặt của người trong hình ảnh. Khuôn mặt được phát hiện với 6 điểm chính trên khuôn mặt như: Mắt, chóp mũi, khóe miệng, môi. Khung hình chữ nhật được sinh ra chứa được toàn bộ các đặc trưng cần lấy trên khuôn mặt. 19 Bước tiếp theo hình b sau khi phát hiện được khung chứa khuôn mặt hình ảnh 2D được cắt từ khung hình chữ nhật.
Vì là nhận diện khuôn mặt nên hình cắt được lấy ra để phục vụ các bước phân tích phía sau. Sau đó, trên hình cắt 2D được lấy ra, tiếp tục xác định thêm các điểm mốc trên khuôn mặt (Các điểm gồ ghề, nổi nên trên khuôn mặt) thường có 67 điểm mốc chính. 67 điểm điểm trên hình cắt 2D được căn chỉnh với tam giác tương ứng với các điểm tọa độ của chúng. Ngoài ra cần phải thêm các tam giác trên đường bao xung quanh khuôn mặt để tránh sự gián đoạn, phục vụ tốt hơn cho việc thể hiện mô hình khuôn mặt dạng 3D.
Ở hình d, hình dạng 3D tham chiếu với hình ảnh 2D phía trước để phục vụ căn chỉnh. Ở hình ảnh tiếp theo, hình e, biểu diễn khả năng hiển thị các tam giác đến máy ảnh có thể chuyển đổi 3D-2D được trang bị vào quá trình phát hiện và căn chỉnh. Sau khi được thể hiện trên máy ảnh chuyển đổi 3D-2D, 67 điểm do mô hình 3D tạo ra được sử dụng để định hướng sự cong vênh trên khuôn mặt được đã được biểu diễn. Mô hình khuôn mặt ở bước này được biểu diễn lại bằng cách dóng thẳng tránh sự nghiêng góc, cong vênh trên khuôn mặt.
Tiếp theo, trên hình g là hình ảnh cắt khuôn mặt được phát hiện cuối cùng, có sự khác biệt lớn so với hình cắt b do mô hình 3D đã tránh được sự cong vênh trên khuôn mặt. Hình i thể hiện được chế độ xem mới của mô hình 3D trên khuôn mặt, tức là có thể nhận diện được khuôn mặt qua các hướng. Không nhất thiết phải là khuôn mặt tĩnh, đây là điểm mới, tiên tiến so với các mô hình trước. Nhận xét: Ở trên đã mô tả một hệ thống bao gồm mô hình 3D phát hiện khuôn mặt dựa trên các điểm mốc trên khuôn mặt, được sử dụng để làm cong một vùng cắt trên khuôn mặt được phát hiện sang chế độ chính diện 3D (frontalization).
Hiểu cơ bản ở đây là phương pháp căn chỉnh này giúp chúng ta dễ dàng hơn trong việc căn chỉnh khuôn 20 mặt dù khuôn mặt chúng ta có bị nghiêng trái, nghiêng phải, hơi cúi xuống thì phương pháp giúp căn chỉnh khuôn mặt về trạng thái khuôn mặt cân giữa hai bên trái phải. Hình 1 đã cho thấy rõ hơn về việc phát hiên, và căn chỉnh khuôn mặt, sau đây chúng ta sẽ đi tiếp về phần trích xuất đặc trưng phục vụ cho việc phân loại và nhận diện danh tính. Hình 11: Quy trình trích xuất đặc trưng, tổng hợp [7] Sau bước căn chỉnh khuôn mặt và bước biểu diễn khuôn mặt theo dạng 3D một cách tường minh, rõ ràng. Tiếp theo, sẽ đi tới bước trích xuất đặc trưng và tổng hợp lại để thành một chiếc chìa khóa cho việc xác định danh tính.
Về việc trích xuất đặc trưng khuôn mặt, mạng nơ-ron sâu nhiều lớp được sử dụng, cụ thể là phân loại danh tính của hình ảnh khuôn mặt. Khuôn mặt sau khi được phát hiện và căn chỉnh như phần mô tả sẽ được dóng thẳng và phân thành 3 kênh màu RGB. Kiến trúc tổng thể được thể hiện trong Hình 2.