Mở đầu Để hiểu rõ bài toán nhận diện chống giả mạo khuôn mặt trong hình ảnh, ta cần làm rõ các khái niệm liên quan, đồng thời tìm hiểu một số phương pháp tiếp cận hiện nay. Vì vậy, trong chương này, sinh viên thực hiện sẽ giới thiệu một số khái niệm cơ bản đồng thời khảo sát một số phương pháp nghiên cứu đã từng được áp dụng từ trước đến nay, đồng thời nêu ra những thành công và thất bại trong từng phương pháp.2 Giới thiệu bài toán chống giả mạo khuôn mặt Do sự tiện lợi, chính xác và nhanh chóng các phương pháp nhận diện khuôn mặt là một trong những lĩnh vực quan trọng đang được đẩy mạnh nghiên cứu và phát triển, với các ứng dụng thiết thực giúp nâng cao trải nghiệm người dùng và tối ưu hoạt động sản xuất kinh doanh. Tuy nhiên, trong bối cảnh tội phạm kỹ thuật số ngày càng gia tăng và tinh vi, chúng thường xuyên tìm cách giả mạo khuôn mặt để thâm nhập vào nhiều hệ thống, đánh cắp thông tin hay sử dụng thông tin giả để làm nhiễu loạn cơ sở dữ liệu với các mục đích xấu. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan giải quyết vấn đề đó những phương pháp chống giả mạo khuôn mặt được ra đời.
# Publications in FAS 160 140 120 100 80 60 20 D—m=mmihn 2010 2011 2012 2013 2014 2015 \ 2016 i 2017 2018 2019 2020 Hình 2.1: Số lượng các bài nghiên cứu khoa trong những năm gần đây Bài toán chống giả mạo khuôn mặt được xem như một bài toán phân lớp nhị phân, từ một ảnh màu mặt của một người bài toán chống giả mạo sẽ trả lời cho câu hỏi mặt người đó là mặt thật hay mặt giả.2: Bài toán chống giả mạo khuôn mặt 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan Mặt thật được định nghĩa là mặt người đối diện trực tiếp với máy ảnh. Mặt giả mạo sẽ bao gồm nhiều phương thức chụp và cách giả mạo khác nhau, nhưng cụ thể sẽ được chia ra làm 3 phương thức: s Print Attack (2D) là kiểu tan công sử dụng giấy hoặc bìa in mặt người với đ lệ 1:1 để giả mạo. * Replay Attack (2D) là kiểu tấn công sử dụng màn hình laptop, điện thoại để in mặt người cần giả mạo.
* 3D Attack (3D) bằng cách sử dụng mặt na giả, hình in 3D, tượng mặt người, makeup,. để cô gắng làm sao cho giống người cần giả mạo nhất có + thể. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan 2. Các phương pháp cổ điển Các hướng tiếp cận để trích xuất đặc trưng là các phương pháp được dùng trong bước trích xuất đặc trưng của mô hình.
Trong phần này sẽ thống kê lại các phương pháp trích xuất đặc trưng đã được sử dụng trước đến nay đối với hai bài toán chống giả mạo trong ảnh.1 Local binary pattern (LBP) Local binary pattern nó là phương pháp rút trích đặc trưng trong ảnh. Y tưởng cơ bản để phát triển LBP là kết cấu bề mặt hai chiều được mô tả bằng hai phương pháp bổ sung là: các mẫu không gian cục bộ và độ tương phản thang xám. Phương pháp được công bố và trở nên nổi tiếng từ năm 2002 trong bai báo "Multiresolution Grayscale and Rotation Invariant Texture Classification with Local Binary Patterns" [8] mặc dù ý tưởng của phương pháp LBP đã xuất hiện từ năm 1993. Trong bài toán chống giả mạo khuôn mặt Chingovska, Ivana, André Anjos và Sébastien Marcel đã cho ra mắt nghiên cứu [9] bằng cách sử dụng LBP, đây là bước đầu tiên mở ra các ý tưởng về bài toán.
Bước đầu tiên trong việc xây dựng bộ mô tả kết cấu LBP là chuyển đổi hình ảnh sang thang độ xám. Đối với mỗi pixel trong hình ảnh thang độ xám, chọn một vùng lân cận có kích thước r bao quanh pixel trung tâm. Giá trị LBP sau đó được tính cho pixel trung tâm này và được lưu trữ trong mảng 2D đầu ra có cùng chiều rộng và chiều cao với hình ảnh đầu vào. Nếu pixel trung tâm lớn hơn hoặc bằng pixel lân cận thì nó sẽ trả về giá trị 1, ngược lại nếu các pixel lân cận nhỏ hơn sẽ trả về giá trị 0.
Với 8 pixel xung quanh, chúng ta có tổng cộng 2° = 256 tổ hợp mã LBP có thể có. Từ đó, chúng ta cần tính toán giá trị LBP cho pixel trung tâm. Có thể bắt đầu từ bất kỳ pixel lân cận nào và làm việc theo chiều kim đồng hồ hoặc ngược chiều 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan HH3 DHNNMLJ]EZM 3x3 pixels Threshold Binary Decimal 90 10001101 141 Hình 2.5: Cách thức hoạt động của LBP kim đồng hồ, nhưng thứ tự của phải được duy trì nhất quán cho tất cả các pixel trong tất cả các hình ảnh trong tập dữ liệu.
Kết quả sau khi chạy LBP: Hình 2.6: Kết quả của LBP 2.2 Histogram of Oriented Gradient (HOG) Ý tưởng chính của phương pháp HOG [10] là hình dang và trang thái xuất hiện của vật thể có thể được đặc trưng bằng sự phân bố về cường độ và hướng của cạnh. Phương pháp này được thực hiện theo trình tự như sau: ¢ Chuẩn hóa hình ảnh trước khi xử lý. Mục đích là làm giảm bớt ảnh hưởng 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan của sự thay đổi ánh sáng va của bóng mờ (shadowing).
Hai phương pháp chuẩn hóa được sử dụng ở bước này là chuẩn hóa log (lấy log của từng giá trị pixel) và chuẩn hóa căn bậc hai (tính giá trị căn bậc hai của từng giá trị pIxel). s Tính toán Gradient cho hình ảnh theo chiều x và y bằng cách tích chập với ma trận trích xuất cạnh x và y. Ta được hai ma trận | G, | và | Ớy | từ đó xác định được cường độ của chúng bằng | G |= ,/G? + G7. Bên cạnh đó, G hướng cũng được xác định là Ø = arctan ¢ Gom nhóm và tính đặc trưng tại mỗi cell: Trong phương pháp nay, mỗi hình ảnh định nghĩa cho cell là các nhóm chứa các giá tri cường độ gradient của pixel, va block là các nhóm chứa các cell.
Tại bước này, các giá tri cường độ gradient của pixel sẽ được chuẩn hóa và đặt vào trong cell. » Tính chuẩn hóa và đặc trưng cho khối (block): các block sẽ là tập hợp các cell nằm chồng lấp một phần trong lên nhau. Chuẩn hóa các block bằng cách ghép các chuẩn hóa histogram của từng cell thuộc block đó lại với nhau. Sš koM +? [Em y%s7 9 3 4 + yn11ap%s 27 22 17 4 6 70 14 1 77 for 165 133 136 144 182 57 28 120 Z| S8 86 119 98 100 101 133 113 27771 oe |s8 49676 _ 38 26 60 1701ø 5 30 65 157 7! 146 184 | 2 a 2 # i 165 60 60 & 2717 773 85 43 : 136 “ H0 91 4 110 17 199316) + 1/71 18 34 23 108 27 48 110 Gradient Directiow 7“ 1 Gradient Magnitude „.
# ! Pee 1 Pod “ t z7 # ? 20 40 s0 8D 100 120 140 160 Hình 2.7: Cách thức HOG hoạt động Ưu điểm: 10 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan * Quá trình tính toán ra các đặc trưng trong hình ảnh nhanh chóng. Khuyét điểm: * Bi giảm hiệu năng với các hình ảnh bị xoay chuyển và thay đổi kích thước. « Thông số so sánh của các đặc trưng rút từ hình ảnh lớn, hiệu năng so sánh thấp.4 Các mô hình học sâu Trong phần này, em sẽ trình bày tổng quan các kiến thức liên quan đến học sâu (Deep Learning).
Từ những kiến thức nền tang này, nhóm thực hiện sẽ trình bày chỉ tiết về mô hình mạng tích chập (Convolutional Neural Networks), mô hình mạng nơron hồi quy (Recurrent Neural Networks) được áp dụng chính trong các bài toán thị giác máy tính hiện nay và đặc biệt được áp dụng trong bài toán nhận diện chữ viết trong hình ảnh ở đề tài khoá luận này.1 Mạng nơ-ron tích chập Convolutional Neural Network Mạng nơ-ron tích chập (convolution neural network, gọi tắt là CNN) lấy cảm hứng từ não người được nghiên cứu trong những thập niên 50-60 của thé kỷ 20, do D.N Wiesel tiến hành trên não của động vật và sau đo đã đề xuất một mô hình mới cho cách mà động vật nhìn nhận thế giới. Vào năm 1998, mô hình CNN đầu tiên được giới thiệu bởi Bengio, Le-Cun, Bottou và Haffner. Mô hình này có tên là LeNet-5 và sử dụng để nhận diện chữ số viết tay. CNN có kiến trúc khác với Neural network thông thường.
Đối với mạng no- ron bình thường, chúng sẽ chuyển đổi đầu vào thông qua các tầng ẩn. Với mỗi tầng ẩn đó, các nơ-ron giữa các tầng cận kể được liên kết đầy đủ với nhau va 11 2. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan C3: f. maps 16@10x10 INPUT C1: feature maps S4: f.
maps C8: layer Fg. BO 14x14 120 Bilayer QUTEUT | | Full connection Gaussian connections Convolutions Subsampling Convolutions | Subsampling Full connection Hình 2.8: Kiến trúc mạng LetNet-5 tầng cuối cùng sẽ trả về kết quả đại diện cho dự đoán của mạng. Tuy nhiên, nếu mạng càng nhiều lớp thì số lượng tham số tăng lên quá nhanh. Vậy nên cần có giải pháp tốt hơn, đó là CNN 2 > a > ar 20 DO» ¢ OOO0O0ON) — _— QQQ00 H) HH“ „ CC]? OOO Hình 2.9: mạng nơ-ron tích chập Một mô hình CNN gồm 2 phần: ¢ Phan tầng ẩn (phan rút trích đặc trưng): Mạng sẽ tiến hành tính toán các phép convolution (tích chập) và pooling (hợp nhất) để phát hiện ra các đặc trưng trong hình ảnh.
« Phan phân lớp: La một vài tầng với kết nối đầy đủ co vai trò như một bộ phân lớp các đặc trưng đã được rút trích từ phẩn tử trước đó. Sau đo đưa ra xác suất đồi tượng trong hình ảnh thuộc lớp nào. Bài toán nhận diện chữ viết trong hình ảnh và các kiến thức liên quan 2.2 ResNet ResNet (Residual Network) là một mang CNN được thiết kế để làm việc với hàng trăm hoặc hàng nghìn lớp tích chập nhưng lại co kích thước chỉ khoảng 23 triệu tham số. Mạng được giới thiệu với công chúng vào năm 2015 và giành vị trí thứ 1 trong cuộc thi ILSVRC-2015[11] với tỉ lệ lỗi top 5 là 3.
Với CNN, các mạng càng sâu sẽ đạt hiệu suất tốt hơn. Tuy nhiên, trên thực tế, nếu độ sâu của mạng quá lớn (>50 layers) sẽ dẫn đến tình trạng Vanishing gradient (mất mát đạo hàm) hoặc Exploding gradient (bùng nổ đạo hàm) và khiến độ chính xác của mạng bị giảm đi.