Chương 1, với hy vọng cải thiện hiệu quả phân loại và dap ứng nhu cau thực tế trong việc phân biệt ảnh thực và ảnh giả. Đồ án xem xét các ưu và nhược điểm của phương pháp đề xuất, cũng như thách thức và tiềm năng ứng dụng của nó trong thực tế. 19 Đồ án tốt nghiệp Đại học CHƯƠNG 2: PHƯƠNG PHÁP DE XUẤT Chương 2 sẽ giới thiệu về phương pháp đề xuất cũng như mô tả chỉ tiết về cau trúc mô hình và cụ thể các thực hiện bài toán. Chương 2 được trình bày thông qua các mục sau: e Dé xuất phương pháp e Công thức cho bai toán e Kiến trúc mô hình e® Quy trình huấn luyện e Kết luận chương Đô án tôt nghiệp Đại học 2.
Đề xuất phương pháp Trong chương này, em xin trình bày một phương pháp mới được đề xuất nhằm phân loại ảnh thật và ảnh tổng hợp. Phương pháp này dựa trên ba giai đoạn chính: trích xuất nhiễu thặng dư, trích xuất dấu vân tay của ảnh, và phân loại ảnh dựa trên những dau vân tay này. Dưới đây là bản tóm tắt chỉ tiết về mỗi giai đoạn: Bước I: Trích Xuất Nhiễu Thặng Dư Ở bước đầu tiên, mục tiêu là trích xuất ra những thông tin nhiễu không được biểu diễn trong ảnh thật. Sử dụng một mô hình Autoencoder (bộ mã hóa tự động) được huấn luyện trên một bộ dữ liệu ảnh thật, phương pháp phát hiện ra nhiễu thặng dư thông qua việc so sánh giữa ảnh gốc và ảnh tái tạo từ mô hình.
Nhiễu thặng dư này mang thông tin quan trong có thé sử dụng dé phân biệt giữa ảnh tổng hợp và ảnh thật. Bưóc 2: Trích Xuất Dấu Vân Tay Ảnh Trích xuất dấu vân tay ảnh bao gồm việc sử dụng bộ lọc giảm nhiễu dé thu thập nhiễu thang dư. Sau đó, áp dụng biến đổi Fourier lên nhiễu thang dư dé chuyên anh từ miền không gian sang miền tần số và phân tích phô năng lượng của nhiễu thang dư. Qua phân tích này, xác định các đặc trưng phản ánh dấu vân tay của quá trình tạo ảnh, như đỉnh đặc biệt trong phổ năng lượng hoặc mau lặp lại, dé xác định nguồn gốc của ảnh và liệu nó có phải là ảnh tổng hợp.
Bước 3: Phân Loại Anh Cuối cùng, dựa trên những dấu vân tay đã được trích xuất, một mô hình phân loại được thiết kế nhằm xác định liệu ảnh đầu vào là thật hay tổng hợp. Mô hình này sẽ được huấn luyện dé có kha năng phân biệt giữa anh that và anh tổng hợp dựa trên đặc trưng nhiễu thặng dư và dấu vân tay đã trích xuất. Ảnh giả 4 xi đẻ: tne? ame Trich xuat | Gnigy thang,. THchxuất ae 2 >| hiểu hãng ae a TH van ty "au van tay Phan loai du Ñ ———— 4 | ¬_ i mua BE Ảnh ' >3 Hình 4: Luong hoạt động của phương pháp dé xuất 21 Đồ án tốt nghiệp Đại học Mỗi bước trong phương pháp đề xuất đều có vai trò quan trọng trong việc đạt được mục tiêu cuối cùng, đó là việc phân loại chính xác và đáng tin cậy.
Ở các mục tiếp theo, đồ án sẽ đi vào chi tiết từng bước và mô tả cách thức triển khai, cũng như cách thức các công nghệ và kỹ thuật liên quan được áp dụng trong việc giải quyết bài toán này. Trong đồ án này, em xin giới thiệu một quy trình mới trong việc phân biệt ảnh thật và ảnh tổng hợp thông qua bốn ý chính sau: e Phát triển phương pháp phát hiện mới: em xây dựng một hệ thống phân loại sử dụng mạng tự mã hóa dé nam bắt và tái tạo đặc trưng của ảnh thực, giúp lộ ra những sai lệch mà ảnh tổng hợp chứa. e_ Trích xuất dấu vân tay ảnh: quy trình đề xuất bao gồm việc tinh lọc nhiễu thang dư và sử dụng biến đổi Fourier dé tăng độ rõ nét của dấu vân tay anh, từ đó cải thiện khả năng phát hiện ảnh tong hop. e Phát triển mô hình phân loại tổng quát: mô hình được thiết kế để không chỉ nhận diện các ảnh từ mô hình tổng hợp đã biết mà còn có khả năng phân loại hiệu quả đối với những mô hình mới, chưa từng được học trước đó.
e Thực nghiệm và xác thực: trong phần này em thực hiện các thí nghiệm dé xác nhận hiệu quả của quy trình và mô hình đã phát triển, qua đó chứng minh tính khả thi và độ chính xác trong việc phân loại ảnh. Phương pháp này không chỉ nâng cao khả năng phát hiện ảnh tổng hợp mà còn mở rộng phạm vi ứng dụng dé nhận diện các dạng ảnh mới, góp phần vào công cuộc đảm bảo thông tin ảnh chính xác và an toàn trong kỷ nguyên số. Công thức cho bài toán Trong phần nay, em sẽ mô tả chi tiết cho bài toán phân loại ảnh thật bang viéc công thức hóa bai toán. Xác Định Nhiéu Thang Dư (Residual Noise Extraction) Mục tiêu: Định lượng nhiễu thing dư có trong ảnh dé phục vụ cho việc phân tích và phân loại.
Quy trình: e Mô Hình AutoencoderA: Được xây dựng dựa trên mạng nơ-ron sâu với mục đích nén và tái tạo ảnh. e Encoder: Biến đôi anh I thành một biéu diễn nénz thông qua hàm mã hóaf enc. e Decoder: Tái tạo ảnh từ z thông qua hàm giải mã f„., tạo ra ảnh tái tạo]. e Tính Toán Nhiễu Thang Dư R{I): Nhiễu thang duR(I) được tính toán như sau: 22 Đồ án tốt nghiệp Đại học R[TI=1I—T[1] T= P sel ene H\[2] Trích Xuất Dau Vân Tay Anh (Fingerprint Extraction) Mục tiêu: Phân tích nhiễu thang du dé trích xuất đặc trưng có thé phân biệt giữa anh thật và ảnh tong hợp.
Quy trình: e Biến Đối Fourier: Biến đổi RIT] sang miền tần số dé phân tích đặc trưng: D[TI=F|RITÌ[S] Phân Loại Anh (Image Classification) Mục tiêu: Sử dung các đặc trưng đã trích xuất để xác định xem ảnh là thật hay tổng hợp. Quy trình: e Xây Dựng Mạng Phân Loại C: Thiết lập mạng CNN phân loại với kha năng nhận biết đặc trưng DÍT] từ dau vân tay ảnh. Thuật toán I - tập hợp các anh cần phân loại A - Autoencoder với ResNet50 làm backbone dé tái tạo ảnh, CN N„„;„- mạng CNN dé lọc nhiễu thang dư và trích xuất dau vân tay, C- mạng CNN phân loại để xác định tính xác thực của ảnh. R- tập hợp kết quả phân loại của các ảnh.
1 Initialize C to an empty list 3 for each I in Ido 3 I — A(I| => Tái tao anh bang Autoencoder 23 Đô án tôt nghiệp Đại học 4 R{I) —I-I => Tính nhiễu thang dư 3 DỈT) — FourierTransform|(R(I))|=>Ap dụng biến đổi Fourler q C|I) — C|D[TÌ| => Phân loại ảnh dựa trên đặc trưng tần số 7 Append C(I) to R => Thêm kết quả vào danh sách phân loại 8 return R 2. Kiến trúc mô hình 2. Xác định nhiễu thang dự 2. Giải thích về Autoencoder và Kiến trúc ResNet50 Trong mô hình Autoencoder được sử dụng dé xác định nhiễu thặng dư, có hai thành phần chính: Encoder và Decoder.
Dưới đây là chi tiết về mỗi phần và cách chúng tương tác với nhau. omaa Original nput Compressed representation Reconstructed input Hình 5: Hình ảnh mô tả quá trình Autoencoder (Nguồn: [6]) Encoder trong một Autoencoder có nhiệm vụ chính là học cách nén dữ liệu dau vào vào một dạng biéu diễn nén, thường là một vector có kích thước nhỏ hơn so với dữ liệu gốc. Điều này được thực hiện thông qua một chuỗi các phép biến đồi, thường là các lớp nơ-ron với các hàm kích hoạt phi tuyến. 24 Đồ án tốt nghiệp Đại học Biểu diễn Nén (Encoded Representation): Z=F enc\T 5 Bene |[5] Trong đó: -I là dit liệu đầu vao.
- zlà biểu diễn nén. - f nc là hàm mã hóa mà encoder học dé biến đôi đầu vào thành biểu diễn nén. là tập hợp các tham sé (trong số và độ lệch) của encoder, được tối ưu hóa trong quá trình huấn luyện. Công thức trên cho thay encoder nhận đầu vào I và chuyển đổi nó thành biểu diễn nén z thông qua các tham sô Ø„„.
Mục tiêu là giữ lại càng nhiêu thông tin có ích từ đầu vào trong biểu diễn nén. Decoder có nhiệm vụ ngược lại với Encoder. Nó cô găng tái tạo lại dữ liệu gôc từ biểu diễn nén mà không cần thông tin phụ trợ nào khác. Tái tao dữ liệu (Decoded Data): T=f„Íz;8[6] ,„ Trong đó: - Ì là dữ liệu đã được tái tạo.
là hàm giải mã ma decoder học dé tái tạo dữ liệu từ biểu diễn nén. là tập hợp các tham số của decoder. Decoder nhận biéu diễn nén z và cô gắng tái tao lại dữ liệu gốc I dựa trên các tham số 9„„ đã học. Dữ liệu tái tạo?có thể không hoàn hảo, nhưng mục tiêu là làm cho nó gần với dit liệu gốc càng nhiều càng tốt.
Hàm Mat Mat (Loss Function) đóng vai trò quan trọng trong quá trình huấn luyện Autoencoder bằng cách đo lường sự khác biệt giữa dữ liệu gốc và dữ liệu được tái tạo. Mean Squared Error: Lini=2 > \1-f/(7] Trong do: -L là ham mat mát tổng bình phương sai số (MSE). 25 Đồ án tốt nghiệp Đại học - n là số lượng mẫu dữ liệu. -I val, lần lượt là giá trị thực và giá trị dự đoán của mau dữ liệu thứ i.
Mục tiêu của quá trình huấn luyện là điều chỉnh các tham số 9. và Pee sao cho hàm mất mát L được giảm thiểu, tức là dữ liệu được tái tạo I sẽ gần với dữ liệu gốc I nhất có thê. Kết quả của quá trình này là một mô hình có khả năng hiểu và tái tạo dit liệu, và từ đó có thê được sử dụng dé phát hiện nhiễu thang du trong dữ liệu - điều quan trọng cho việc phân biệt ảnh thật và tổng hợp. ResNet50 là một mô hình mạng no-ron sâu được thiết kế dé giải quyết van dé "biến mat gradient" bằng cách sử dụng các kết nối tắt (shortcut connections).
Các kết nối này cho phép gradient được truyền trực tiếp từ các lớp sau đến các lớp trước, giúp việc huân luyện mạng hiệu quả hơn. ResNet50 Model Architecture PZaedriong Input Output CONV CBloncvk BCloncvk BCloncvk CBloncvk I B l o D c k I B l o D c k I B l oDc k I B l o D c k PAovlg Flatenig FC —=> L T~ JL, \ Ju JUD Stage 1 Stage 2 Stage 3 Stage 4 Stage 5 Hình 6: Kiến trúc mang Resnet50 ResNet50 bao gồm các "Residual Blocks", mỗi block gồm: e Identity Block: Kết nối tắt cộng trực tiếp đầu vào với đầu ra của một hoặc nhiều lớp. Xi¡=f Xi, W,+x,[8] Trong đó x; là đầu vào của block, f (xX), W,) là đầu ra của một chuỗi các lớp có trọng số W), và x,.; là đầu ra của block.