Chương 1: Tổng quan đề tài và nội dung. Chương 2: Giới thiệu các cơ sở lý thuyết về xử lý ảnh số, Machine learning và deep learning và các giải pháp nhận dạng phát hiện đối tượng trên ảnh. Chương 3: Giải pháp điểm danh học sinh sử dụng kỷ thuật nhận dạng kết hợp. Chương 4: Kết quả thực nghiệm và ứng dụng trong thực tiễn hệ thống nhận dạng điểm danh học sinh trong tiết học bằng cách sử dụng thuật toán Facenet.
Ứng dụng mô hình vào bài toán nhận diện điểm danh học sinh dựa vào hình ảnh camera trên lớp học. CƠ SỞ LÝ THUYẾT VỀ XỬ LÝ ẢNH SỐ, MACHINE LEARNING - DEEP LEARNING VÀ CÁC PHƯƠNG PHÁP GIÚP PHÁT HIỆN KHUÔN MẶT VÀ NHẬN DIỆN GƯƠNG MẶT NGƯỜI TRÊN ẢNH 1. Cở sở lý thuyết về xử lý ảnh số, xử lý các vấn đề trong xử lý ảnh [1][4][15][33] 1. Cơ sở lý thuyết xử lý ảnh Trong thời đại công nghệ 4.0 hiện nay, hệ thống camera được lặp đặt khắp nơi, do đó nhu cầu nhận dạng ảnh và xử lý ảnh rất cần thiết.
Trong đó xử lý ảnh là việc xử lý từ ảnh đầu vào để cho ra ảnh tốt hơn như mong muốn. Sao cho kết quả có được là một ảnh “tốt hơn” hoặc là một kết luận theo yêu cầu như trong hình ảnh dưới đây: Hình ảnh 1.1 Quy trình xử lý ảnh Định nghĩa của một ảnh là một hàm hai chiều 𝑓 (𝑥, 𝑦) , trong đó (𝑥, 𝑦) là tọa độ không gian (mặt phẳng). độ sáng của ảnh tại điểm đó là Giá trị của hàm f tại điểm (x y). Tương tự với ảnh màu thì mỗi thành phần của nó sẽ thể hiện độ sáng của ảnh tại điểm đó tương ứng với dải màu và f là một vector.
Ta xác định được cách để xử lý một ảnh đầu vào như đã phân tích ở trên. Mô hình một hệ thống xử lý ảnh như sau: tiền xử lý ➔ Trích chọn điểm đặc trưng ➔ Hậu xử lý ➔ Tiến hành lưu trữ ảnh hoặc hệ quyết định ➔ Rút ra kết luận từ việc.2 Mô hình quá trình xử lý ảnh 4 1. Các Khía cạnh Cơ bản của Xử lý Hình ảnh 1. Hình ảnh Số và Điểm ảnh - Mỗi điểm ảnh (pixel) được định vị tại (x,y) và chứa thông tin về mức độ xám I(x,y).
+ Đối với hình ảnh trắng đen: Với hàm hai chiều 𝑓(𝑥, 𝑦), tương ứng với (𝑥, 𝑦) là tọa độ không gian (mặt phẳng 𝑂𝑥𝑦) được định nghĩa là ảnh. Mức độ sáng trên ảnh tại một điểm (𝑥, 𝑦) chính là giá trị của hàm f tại điểm (𝑥, 𝑦). Tương tự với ảnh màu, tại mỗi điểm (𝑥, 𝑦) mang giá trị thể hiện mức độ sáng của ảnh tại điểm tương ứng với dải màu.3 Bảng thông số màu ảnh xám + Đối với màu ảnh, ta xác định được bộ ba giá trị ứng với cường độ sáng của các màu đỏ, xanh lục, xanh dương (RGB).4 Bảng thông số ảnh màu - Ảnh số hóa là hàm 𝑓 (𝑥, 𝑦)(với x, y là tọa độ và biên độ của hàm 𝑓 (𝑥, 𝑦). Ta có với cặp tọa độ (𝑥, 𝑦) bất kỳ là để chỉ độ xám tại điểm đó của hình ảnh.
Các giá trị mô tả mức độ của hàm 𝑓 thì gọi là ảnh kỹ thuật số và các cặp (𝑥, 𝑦) là đại lượng hữu hạn, rời rạc.5 Ảnh số hóa - Một số lượng các hàng và cột tạo hữu hạn ra các phần tử gọi là điểm ảnh, hình ảnh kỹ thuật số chứa các điểm ảnh đó. Giao của hàng cột tạo thành phần tử được gọi là pixel". - số điểm (pixel) mà ảnh chứa trên một đơn vị khoảng cách (dpi) chính là độ phân giải của ảnh và đó là thước đo được dùng trong xử lý ảnh".6 Độ phân giải của ảnh - Từ hình vẽ trên, chúng ta có thể suy ra độ phân giải của các hình ảnh khác nhau. Độ phân giải càng cao, hình ảnh sẽ càng chi tiết và rõ nét; ngược lại, độ phân giải thấp sẽ dẫn đến hình ảnh mờ và ít chi tiết hơn.
Từ độ phân giải hình đầu tiên bên trái ở trên ta sẽ xác định được ảnh đã cho có chiều rộng với 175 điểm ảnh (pixel) và chiều cao với 256 điểm ảnh (pixel). Nắn chỉnh biến dạng Ảnh thu nhận thường bị biến dạng nhiều yếu tố khách quan và chủ quan.7 Ảnh thực tế và ảnh mong muốn Ta sử dụng các phép chiếu Để khắc phục vấn đề trên. Dựa trên các tập điều khiển người ta xác định các phép chiếu. Ta có ( Pi , Pi ’) i = 1, n với n tập.
Cho hàm f : Pi → f ( Pi ) thỏa mãn n || f ( P ) − P || → min i =1 i i ' 2 (1) 7 hàm f được xác định: f ( x, y ) = ( a1x + b1 y + c1, a2 x + b2 y + c2 ) (2) Suy ra n n = ( f ( Pi ) − Pi ' ) 2 = (a1 xi + b1 yi + c1 − xi' ) 2 + (a2 xi + b2 yi + c2 − yi' ) 2 (3) i =1 i =1 Xét điều kiện → min ta có hệ: n n n n a =0 a1 x 2 i + b1 x i yi + c1 xi = xi xi ' 1 i =1 i =1 i =1 i =1 n n n n = 0 a1 xi yi + b1 yi + c1 yi = yi xi' 2 b1 i =1 i =1 i =1 i =1 n n n =0 a1 xi + b1 yi + nc1 = xi' c1 i =1 i =1 i =1 và n n n n =0 a2 xi + b2 xi yi + c2 xi = xi xi' 2 a2 i =1 i =1 i =1 i =1 n n n n = 0 a2 xi yi + b2 yi + c2 yi = yi xi' 2 b2 i =1 i =1 i =1 i =1 n n n =0 a2 xi + b2 yi + nc2 = xi' c2 i =1 i =1 i =1 Giải hệ trên ta được a1 , b1 , c1 và a2 , b2 , c2 Từ a1 , b1 , c1 và a2 , b2 , c2 f 8 1. Phương pháp khử nhiễu ảnh Hình ảnh 1.8 Mẫu ảnh được khử nhiễu Do nhiều yếu tố khách quan và chủ quan, hình ảnh có thể bị nhiễu ngẫu nhiên trong quá trình lấy ảnh. Do đó ta có thể thực hiện khử nhiễu ảnh bằng các mô hình hóa vấn đề được thể hiện ở dạng công thức như sau: Một ảnh nhiễu v( x) được tạo ra bao gồm ảnh gốc không chứa nhiễu u( x) và hàm lỗi gây nhiễu n( x). Cho bởi công thức v( x) = u ( x) + n( x) , Vậy để khử nhiễu ta áp dụng 2 phương pháp chính là khử nhiễu cổ điển và thông qua các mô hình học sâu, cụ thể là mạng thần kinh tích hợp chập.
Phương pháp điều chỉnh mức xám của ảnh Mức xám là một dải liên tục như sau: 9 Mức xám được điều chỉnh bằng phương pháp biến đổi Gamma • Điều chỉnh giảm cường độ mức xám: Thực hiện kiểm tra các mức xám gần nhau và tiến hành nhóm chúng thành một nhóm. Ta thực hiện việc chuyển về ảnh đen trắng đối với trường hợp chỉ có 2 mức xám. Ứng dụng phép xử lý để in ra ảnh từ máy in đen trắng với ảnh đầu vào là ảnh màu. • Điều chỉnh tăng cường độ mức xám: Ta tiến hành nội suy ra các mức xám sung quanh.
Phương pháp này giúp tăng cường độ mịn cho ảnh.9 Kết quả chỉnh xám ảnh 1. Biên Để có thể phân tích được ảnh ta đều dựa phải vào biên của các đối tượng trong ảnh. Đường biên là đường bao quanh các đối tượng trong ảnh. Để xác định được chính xác biên của điểm ảnh ta phải tiến hành điều chỉnh xám ảnh.
Sau đó thông qua sự thay đổi đột ngột về mức xám ta có thể dễ dàng xác định được biên. Các loại mô hình xác định đường biên gồm: đường biên lý tưởng, đường biên bậc thang và đường biên thực 10 Hình ảnh 1.10 Mô hình các đường biên 1. Phương pháp nhận dạng [14]. Trong lĩnh vực nghiên cứu về thị giác máy tính thì việc phân loại, phân nhóm các mẫu, mô tả đối tượng, nhận dạng tự động là nhiệm vụ quan trọng.
Cùng lúc, ứng dụng này đã được áp dụng trong nhiều lĩnh vực khoa học khác nhau. Vậy để nhận dạng được đối tượng trước hết ta phải xác định được mẫu. Ta có thể hiểu mẫu chính là tất cả các dữ liệu mình thu thập được như ảnh của một đối tượng được chụp, ảnh của vân tay, gương mặt người v. Khi cần xác định một mẫu, ta có thể nhận dạng hoặc phân loại mẫu.
- Để tiến hành nhận dạng ta thực hiện 3 bước cơ bản sau đây: Bước 1: ta thu thập dữ liệu và tiến hành xử lý thô. Bước 2: Xây dựng mô hình hóa cho dữ liệu đã được xử lý. Bước 3: Nhận dạng dữ liệu với mẫu có sẵn và đưa ra kết luận. - Các kỹ thuật tiếp cận trong lý thuyết nhận dạng 11 - Lưu ý sẽ không có phương pháp nào được gọi là tối ưu để đạt được hiệu quả nhận dạng tốt nhất mà phải cùng lúc sử dụng các phương pháp khác nhau và phương thức tiếp cận khác nhau thì mới đạt được hiệu quả tối ưu.
- Trong thực tế, có vô số bài toán liên quan đến nhận dạng phát sinh mà chúng ta cần phải giải quyết. Song những vấn đề đó đã tạo ra những yêu cầu cao về thuật toán để giải quyết, mà còn có cả những yêu cầu về tốc độ xử lý. Nén ảnh Mục tiêu cả nén ảnh không chỉ nhằm mục đích giảm bớt không gian lưu trữ. Mà còn yêu cầu về việc bảo toàn cấu trúc dữ liệu khi nén và không bảo toàn thông tin thường được tiến hành cùng lúc.
Mục đích chính là loại bỏ dữ liệu không cần thiết và vẫn duy trì tính toàn vẹn của cấu trúc dữ liệu. Trong đó, nếu xảy ra trường hợp kỹ thuật nén cao trong khi kỹ thuật phục hồi thì kém, người gọi đó là phương pháp nén không bảo toàn. Dựa vào cơ sở trên, có nhiều phương pháp đã được áp dụng để nén ảnh, như: nén ảnh theo khu vực, mã hóa thay đổi độ dài, phép biến đổi v.
