Chương 1 TỔNG QUAN VỀ TRÍCH CHỌN ĐẶC TRƯNG VÀ BIỂU DIỄN BIỂU CẢM KHUÔN MẶT 1. Tổng quan về một hệ thống biểu cảm khuôn mặt Hệ thống biểu cảm khuôn mặt người là một lĩnh vực nghiên cứu của ngành thị giác máy tính và đang nhận được nhiều sự quan tâm của các nhà khoa học trong và ngoài nước. Các nghiên cứu trong lĩnh vực này được chia thành hai hướng chính: Một là, hướng liên quan đến phát hiện nhận dạng mặt người và các trạng thái biểu cảm của mặt người. Hai là, hướng liên quan đến biểu diễn mô hình mặt người cùng với các trạng thái khác nhau.1 Minh hoạ phương pháp sử dụng điểm đánh dấu trong phim Avatar Để giải quyết bài toán trích chọn các đặc trưng biểu cảm hoặc cử chỉ trên khuôn mặt có 2 hướng tiếp cận chính: - Hướng thứ nhất là trích chọn các đặc trưng biểu cảm khuôn mặt dựa trên các điểm đánh dấu.
Với hướng này người ta cũng chia thành nhiều hướng con khác tùy vào cách lựa chọn loại điểm đánh dấu, hay số lượng camera quan sát một hoặc nhiều camera. - Hướng nghiên cứu thứ hai đang được tập trung nghiên cứu nhiều trong thời gian gần đây là trích chọn đặc trưng mà không sử dụng các điểm đánh dấu. Với hướng nghiên cứu này có thể có một số cách tiếp cận như sử dụng các bộ học để đoán nhận biểu cảm khuôn mặt trên ảnh từ đó 8 tính được các đặc trưng biểu cảm, hoặc sử dụng mô hình AAM (Active Appearance Model) để nội suy hình dạng của khuôn mặt từ đó trích rút được các đặc trưng biểu cảm của khuôn mặt. Bài toán biểu diễn biểu cảm cho mô hình ảo 3D có đầu vào là trạng thái biểu cảm liên tục, đầu ra là biểu cảm của nhân vật ảo thể hiện trạng thái biểu cảm đó.
Việc mô phỏng lại biểu cảm khuôn mặt dựa vào các đặc trưng đã rút trích được thực chất là việc nội suy nhằm tính lại bề mặt 3D của khuôn mặt dựa theo các đặc trưng biểu cảm. Hiện nay có rất nhiều phương pháp nội suy khác nhau như NURBS, RBF, Affine, nội suy dựa vào mạng neural, v. Tuy nhiên việc lựa chọn phương pháp nội suy nào cho phù hợp nhất với bài toán mô phỏng biểu cảm khuôn mặt là một vấn đề cần nghiên cứu. Ekman và Friesen đã mô tả 6 loại biểu hiện tiêu biểu riêng biệt cùng với những nội dung của khuôn mặt người, bao gồm: hạnh phúc, buồn bã, sợ hãi, ghê tởm, ngạc nhiên và tức giận.
Những biểu hiện này là phổ biến và độc lập với những điều kiện như dân tộc hay nền văn hóa; Thời gian qua có rất nhiều các nỗ lực nghiên cứu đã được hướng vào mô hình trên khuôn mặt thực tế và biểu hiện trên khuôn mặt hoạt hình: Bickel và các cộng sự [19] trình bày một phương pháp mới để tạo hoạt ảnh thời gian thực cho các biểu hiện trên khuôn mặt có độ chi tiết cao dựa trên sự phân hủy nhiều tỷ lệ của hình học trên khuôn mặt thành chuyển động quy mô lớn và các chi tiết tỷ lệ nhỏ, chẳng hạn như nếp nhăn biểu cảm. Hoạt ảnh kết hợp của Bickel được điều chỉnh để phù hợp với các đặc điểm cụ thể của biến dạng khuôn mặt quy mô lớn và quy mô nhỏ; Ma Thị Châu và cộng sự [3] đã nghiên cứu tái tạo khuôn mặt 3 chiều từ hộp sọ; Phạm Thế Bảo và cộng sự [2] đã trình bày nghiên cứu tổng quan các phương pháp xác định khuôn mặt người; Đỗ Năng Toàn và cộng sự [7] đã đề xuất 02 kỹ thuật liên quan đến mô hình hóa 3D, nâng cao chất lượng mô hình hóa và điều khiển mô hình. Đó là xây dựng mô hình 3D cho các hệ xương, hô hấp và tiêu hóa của cơ thể người; Đỗ Năng Toàn và Nguyễn Văn Huân [5] trình bày nghiên cứu một số kỹ thuật mô phỏng tóc ứng dụng trong thực tại ảo; Trịnh Hiền Anh, Đỗ Năng Toàn cùng cộng sự [1] [57] [6] đã nghiên cứu công nghệ thực tại ảo và chèn đối tượng ảo trong quảng cáo trực tuyến. Khái niệm biểu cảm mặt người Biểu cảm là biểu hiện trạng thái hoạt động, tính cách, tình cảm, và tâm lý của một người, tương ứng với một trạng thái của hệ cơ nét mặt nằm dưới vùng da mặt.
9 Biểu cảm của người nói có tác động lớn đối với người nghe và hiểu đúng biểu cảm có ý nghĩa rất quan trọng, đôi khi mang tính quyết định trong giao tiếp xã hội. Chúng ta thường quan sát biểu cảm của người khác bởi vì đó là dấu hiệu cho thấy hiện tại người đó đang trong tình trạng như thế nào, họ sẽ làm gì. Hiểu được biểu cảm không giúp chúng ta đọc được suy nghĩ nhưng nó có thể giúp chúng ta khẳng định thêm ý nghĩa của lời nói lúc đó [36]. Từ những nhận định trên, biểu cảm khuôn mặt con người trở nên có tính giao tiếp nhất trên cơ thể, cung cấp thêm nhiều thông tin trong quá trình giao tiếp.
Các nhà nghiên cứu tâm lý thì nhìn nhận biểu cảm dựa trên những trạng thái tâm lý của con người và cho rằng nó có cường độ nhất định, tồn tại trong một khoảng thời gian tương đối. Trạng thái tâm lý của một người tại một thời điểm nào đó sẽ có tác động mạnh vào các quyết định hành vi, thao tác, hoạt động của họ. Trạng thái biểu cảm là cách mà con người chia sẻ cảm xúc của mình. Những nghiên cứu trước đây đã cho thấy cử động khuôn mặt đóng vai trò quan trọng trong thể hiện biểu cảm.
Các nghiên cứu đã cho thấy sự liên hệ giữa cử động khuôn mặt và trạng thái biểu cảm, điều này được khẳng định trong các công trình nghiên cứu của Darwin năm 1972.2 Trạng thái biểu cảm khuôn mặt cơ bản [82] Nhiều nghiên cứu đã thống kê, biểu cảm khuôn mặt có một số loại phổ biến, có tính chất tương đồng. Phương pháp mô phỏng biểu cảm được chia thành hai loại: Phương pháp tĩnh và phương pháp động. 10 - Phương pháp thể hiện biểu cảm tĩnh [10] [92] là thể hiện trạng thái biểu cảm không liên tục và không tạo ra một quy trình, cơ chế theo thời gian cho việc tạo biểu cảm. - Phương pháp thể hiện biểu cảm động [79] [132] lưu lại sự thay đổi cường độ biểu cảm theo thời gian và cung cấp một phương thức đồng nhất cho việc tạo biểu cảm trên khuôn mặt, và giải quyết được hạn chế của phương pháp thể hiện biểu cảm tĩnh.
Phương pháp này tạo ra biểu cảm liên tục theo cơ chế ánh xạ trực tiếp từ trạng thái biểu cảm, sau đó được mô phỏng trên khuôn mặt. Nhược điểm của nó là sẽ tạo ra biểu cảm không tự nhiên khi có một trạng thái biểu cảm xảy ra với cường độ cao và thời gian dài. Định nghĩa điểm điều khiển Một đối tượng ảnh nói chung có thể có nhiều sự biến dạng về mặt hình dạng. Để có thể mô hình hóa được những sự biến dạng này có một cách tiếp cận là sử dụng những điểm điều khiển.
Đây là những điểm mốc đặc trưng cho sự biến đổi về hình dạng của đối tượng. Ví dụ, khi con người di chuyển và hành động, những điểm mốc đặc trưng cho sự biến dạng của tư thế người đó là những vị trí khớp; khi ta cử động tay thì những điểm điều khiển có thể được chọn là điểm khuỷu tay, cổ tay… Ta có thể hiểu, đối với một đối tượng ảnh, các điểm điều khiển là những điểm đặc trưng cho sự biến đổi về hình dạng của đối tượng đó. Một đối tượng có bao nhiêu điểm điều khiển, điểm điều khiển có những thông tin gì (chẳng hạn 2D hay 3D) và điểm điều khiển tác động như thế nào đến hình ảnh kết quả phụ thuộc vào bản thân đối tượng và yêu cầu của bài toán. Một số vấn đề trong một hệ thống mô phỏng biểu cảm Nếu chúng ta muốn máy tính thực sự thông minh và tương tác với chúng ta một cách tự nhiên thì chúng cần phải có khả năng mô hình hóa, nhận dạng, và thể hiện biểu cảm.
Trong lĩnh vực nghiên cứu về nhân vật ảo, biểu cảm nhận được nhiều sự quan tâm bởi ảnh hưởng của nó trong việc tạo các nhân vật ảo tin cậy [23]. Câu hỏi đặt ra là làm thế nào để cung cấp biểu cảm cho nhân vật ảo? Như vậy có hai vấn đề cần quan tâm khi giải quyết bài toán cung cấp biểu cảm cho nhân vật ảo: thứ nhất là cung cấp trạng thái biểu cảm cho nhân vật ảo, thứ hai là cung cấp cơ chế thể hiện biểu cảm cho nhân vật ảo. Nhằm cải tiến sự tương tác giữa người và máy tính, một nhân vật ảo trong máy tính có thể thể hiện biểu cảm khi mà biểu cảm không thực sự tồn tại 11 bên trong nó. Tuy nhiên, việc này không cung cấp một cơ chế nhất quán cho việc thể hiện biểu cảm, khiến cho nhân vật ảo trở nên khó hiểu và kém thuyết phục.
Ngược lại, khi nhân vật ảo đã được cung cấp trạng thái biểu cảm nhưng cơ chế thể hiện biểu cảm không tốt cũng sẽ khiến nhân vật ảo kém tự nhiên. Vì vậy, cách thức hiệu quả nhất đó là sử dụng các kỹ thuật mô hình hóa cho việc cung cấp trạng thái biểu cảm cũng như việc thể hiện biểu cảm cho nhân vật ảo. Có nhiều hình thức mô phỏng biểu cảm khuôn mặt khác nhau tùy vào cách tiếp cận. Có hướng tiếp cận dựa trên việc nhận dạng một tập giới hạn các biểu cảm rồi mô phỏng tương ứng loại biểu cảm và cường độ, có hướng tiếp cận bằng cách rút trích một số đặc trưng khuôn mặt và ánh xạ qua mô hình khuôn mặt trên máy tính mà không cần quan tâm ý nghĩa của những biểu cảm đó.
Ngay trong những hướng tiếp cận trên cũng đã có nhiều mô hình mô phỏng biểu cảm khuôn mặt được đề xuất như: hệ thống phân tán [113], hệ thống liên kết [73], hệ thống dựa trên kế hoạch (plan based system) [46], hệ thống dựa trên luật mờ [38]. Tuy nhiên, có rất ít mô hình giải quyết được một cách đầy đủ và tối ưu các bài toán cài đặt biểu cảm trên máy tính, đó là: sự linh động, độc lập với ứng dụng, biểu cảm cần phải gắn liền với cá tính và trạng thái tâm lý, biểu cảm phải có cường độ và cơ chế phân rã theo thời gian. Bui và cộng sự [23] đã đề xuất ParleE – là một hệ thống các trạng thái biểu cảm.