Khóa luận tốt nghiệp hệ thống thông tin tìm hiểu mạng nơron tích chập và ứng dụng chuyển đổi phong cách nghệ thuật

Khóa luận tốt nghiệp hệ thống thông tin nghiên cứu mạng nơron tích chập và ứng dụng trong chuyển đổi phong cách nghệ thuật, đem lại hiệu quả cao.

• Tác giả: Nguyen Quoc Hung
• Người hướng dẫn: Ths. Vu Minh Sang
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh - Trường Đại học Công nghệ Thông tin
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Tìm hiểu mạng nơ-ron tích chập và ứng dụng chuyển đổi phong cách nghệ thuật
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Mô tả đề tài
• 1.2. Các nghiên cứu liên quan
• 1.2.1. Phương pháp chuyển đổi phong cách nghệ thuật tối ưu trực tiếp
• 1.2.2. Phương pháp chuyển đổi phong cách nghệ thuật tối ưu gián tiếp
• 1.2.3. Phương pháp chuyển đổi nhiều phong cách nghệ thuật trong một mô hình
• 1.2.4. Phương pháp chuyển đổi phong cách nghệ thuật bất kỳ trong một mô hình
• 1.3. Thách thức, mục tiêu và phạm vi
• 1.3.1. Thách thức
• 1.3.2. Mục tiêu
• 1.3.3. Phạm vi đề tài
• 1.4. Đóng góp khóa luận
• 1.5. Cấu trúc khóa luận
• 2. CHƯƠNG 2: TỔNG QUAN HỆ THỐNG
• 2.1. Tổng quan về CNN
• 2.1.1. Lớp kết nối đầy đủ (Fully Connected Layer)
• 2.1.2. Các bước tính tích chập trong CNN
• 2.1.3. Chuyển giao học tập
• 2.1.4. Mô hình đã đào tạo VGG16 và VGG19
• 2.1.5. Hàm mất mát tri giác
• 2.2. Mạng chuyển đổi phong cách nghệ thuật
• 2.2.1. Hình ảnh đầu vào và đầu ra
• 2.2.2. Hạ mẫu và tăng mẫu (Downsampling and Upsampling)
• 2.2.3. Chuẩn hóa phiên bản
• 2.2.4. Các hàm kích hoạt
• 2.2.5. Thuật toán tối ưu hóa hàm mất mát Adam
• 3. CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Siêu tham số
• 3.2. Môi trường huấn luyện
• 3.3. Hệ thống chương trình
• 3.4. Kết quả thực nghiệm
• 3.5. Kết quả chuyển đổi phong cách nghệ thuật
• 3.6. So sánh hình ảnh kết quả
• 3.7. So sánh thời gian chuyển đổi phong cách nghệ thuật
• 3.8. So sánh thời gian huấn luyện mô hình
• 3.9. Ứng dụng chuyển đổi phong cách nghệ thuật trong video
• 4. CHƯƠNG 4: ỨNG DỤNG MINH HỌA
• 4.1. Kiến trúc hệ thống
• 4.2. Chi tiết chức năng hệ thống
• 4.2.1. Các API sử dụng
• 4.2.2. Một số hình ảnh từ chương trình minh họa
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO TIẾNG VIỆT
• TÀI LIỆU THAM KHẢO TIẾNG ANH

Tóm tắt

I. Giới thiệu

Khóa luận tốt nghiệp này tập trung vào việc tìm hiểu và ứng dụng mạng nơron tích chập (CNN) trong lĩnh vực chuyển đổi phong cách nghệ thuật. Mục tiêu chính là xây dựng một ứng dụng minh họa trên điện thoại, cho phép chuyển đổi phong cách nghệ thuật của hình ảnh một cách nhanh chóng và hiệu quả. Deep learning và học sâu là những công nghệ nền tảng được sử dụng để giải quyết bài toán này. Khóa luận cũng đề cập đến các thách thức trong việc tối ưu hóa thuật toán và xây dựng ứng dụng thực tế.

1.1. Mô tả đề tài

Chuyển đổi phong cách nghệ thuật là một kỹ thuật trong xử lý hình ảnh, cho phép tái tạo nội dung của một hình ảnh theo phong cách nghệ thuật của một hình ảnh khác. Khóa luận này sử dụng mạng nơron tích chập để giải quyết bài toán này. Các thuật toán được nghiên cứu và áp dụng bao gồm phương pháp của Gatys và Johnson. Ứng dụng minh họa được xây dựng trên nền tảng Android, kết nối với máy chủ để thực hiện chuyển đổi phong cách nghệ thuật.

1.2. Các nghiên cứu liên quan

Các nghiên cứu liên quan đến chuyển đổi phong cách nghệ thuật đã được thực hiện từ nhiều thập kỷ trước. Gatys và cộng sự là những người tiên phong trong việc sử dụng CNN để tái tạo phong cách hội họa nổi tiếng trên hình ảnh tự nhiên. Phương pháp của họ dựa trên việc tối ưu hóa hàm mất mát, bao gồm mất mát nội dung và mất mát phong cách. Các nghiên cứu sau này như của Johnson và cộng sự đã cải tiến phương pháp này bằng cách đào tạo mạng nơron độc lập để chuyển đổi phong cách trong một lần chuyển tiếp.

II. Cơ sở lý thuyết

Mạng nơron tích chập (CNN) là công cụ chính được sử dụng trong khóa luận này. CNN được thiết kế để xử lý dữ liệu hình ảnh thông qua các lớp tích chập và lớp pooling. Khóa luận cũng đề cập đến các mô hình VGG16 và VGG19, được sử dụng để trích xuất đặc trưng từ hình ảnh. Các hàm mất mát như mất mát nội dung và mất mát phong cách được tính toán dựa trên các đặc trưng này. Thuật toán tối ưu hóa Adam được sử dụng để cải thiện hiệu suất của mô hình.

2.1. Tổng quan về CNN

CNN là một loại mạng nơron sâu được thiết kế đặc biệt để xử lý dữ liệu hình ảnh. Các lớp tích chập trong CNN giúp trích xuất các đặc trưng từ hình ảnh, trong khi các lớp pooling giúp giảm kích thước của dữ liệu. CNN được sử dụng rộng rãi trong các bài toán phân loại hình ảnh và tạo hình ảnh. Trong khóa luận này, CNN được sử dụng để trích xuất đặc trưng từ hình ảnh nội dung và hình ảnh phong cách.

2.2. Mô hình VGG

Mô hình VGG là một trong những mô hình CNN phổ biến nhất, được sử dụng để trích xuất đặc trưng từ hình ảnh. Khóa luận sử dụng VGG16 và VGG19 để tính toán các hàm mất mát. Các đặc trưng được trích xuất từ các lớp khác nhau của mô hình VGG, giúp tái tạo nội dung và phong cách của hình ảnh. Mô hình VGG cũng được sử dụng để huấn luyện các mạng chuyển đổi phong cách nghệ thuật.

III. Kết quả thực nghiệm

Khóa luận đã thực hiện nhiều thí nghiệm để đánh giá hiệu quả của các thuật toán chuyển đổi phong cách nghệ thuật. Các kết quả cho thấy rằng việc sử dụng hàm mất mát TV loss giúp cải thiện chất lượng hình ảnh đầu ra, giảm nhiễu và tăng độ mượt. Các mô hình được huấn luyện thành công, cho phép chuyển đổi phong cách nghệ thuật một cách nhanh chóng. Ứng dụng minh họa trên điện thoại cũng được xây dựng và thử nghiệm, cho kết quả khả quan.

3.1. Quá trình huấn luyện

Quá trình huấn luyện các mô hình chuyển đổi phong cách nghệ thuật được thực hiện trên bộ dữ liệu MS COCO 2014. Các thuật toán của Gatys và Johnson được áp dụng để huấn luyện mô hình. Kết quả cho thấy rằng việc sử dụng VGG19 giúp cải thiện chất lượng hình ảnh đầu ra so với VGG16. Thời gian huấn luyện mô hình cũng được ghi nhận và đánh giá.

3.2. Ứng dụng minh họa

Ứng dụng minh họa được xây dựng trên nền tảng Android, sử dụng Flutter framework và kết nối với máy chủ API. Ứng dụng cho phép người dùng chọn hình ảnh nội dung và hình ảnh phong cách, sau đó thực hiện chuyển đổi phong cách nghệ thuật. Kết quả chuyển đổi được hiển thị trên giao diện ứng dụng, cho thấy tính khả thi và hiệu quả của phương pháp được đề xuất.

IV. Kết luận

Khóa luận đã thành công trong việc tìm hiểu và ứng dụng mạng nơron tích chập để giải quyết bài toán chuyển đổi phong cách nghệ thuật. Các kết quả thực nghiệm cho thấy rằng việc sử dụng hàm mất mát TV loss và mô hình VGG19 giúp cải thiện chất lượng hình ảnh đầu ra. Ứng dụng minh họa trên điện thoại cũng được xây dựng thành công, cho phép người dùng thực hiện chuyển đổi phong cách nghệ thuật một cách nhanh chóng và dễ dàng. Khóa luận mở ra hướng phát triển mới trong lĩnh vực nghệ thuật số và xử lý hình ảnh.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUÓC GIA TP. HÒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA HỆ THÓNG THÔNG TIN NGUYEN QUOC HUNG NGUYEN TRAN NGOC ANH KHOA LUAN TOT NGHIEP TIM HIEU MANG NO-RON TICH CHAP APPLYING CONVOLUTIONAL NEURAL NETWORKS FOR BUILDING THE STYLE TRANSFER APPLICATION KY SU NGANH HE THONG THONG TIN TP. HO CHÍ MINH, 2021 ĐẠI HOC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA HE THONG THONG TIN NGUYEN QUOC HUNG- 16520483 NGUYEN TRAN NGOC ANH- 16521490 KHOA LUAN TOT NGHIEP TIM HIEU MANG NO-RON TICH CHAP VÀ UNG DỤNG CHUYEN DOI PHONG CACH NGHE THUAT APPLYING CONVOLUTIONAL NEURAL NETWORKS FOR BUILDING THE STYLE TRANSFER APPLICATION KY SU NGANH HE THONG THONG TIN GIANG VIEN HUONG DAN THS.

VU MINH SANG THS. NGUYEN HO DUY TRI TP. HO CHÍ MINH, 2021 DANH SÁCH HỘI ĐÒNG BẢO VỆ KHÓA LUẬN Hội đồng cham khóa luận tốt nghiệp, thành lập theo Quyết định số. của Hiệu trưởng Trường Dai học Công nghệ Thông tin.

Qe cece cece ec. Boece cece teen cnet teen enact ene ee —Uy viên. ee — Uy viên. LỜI CẢM ƠN Lời đầu tiên, nhóm tác giả cảm ơn Phòng thí nghiệm Khoa Hệ thống Thông tin đã tạo điều kiện tốt nhất để nhóm có thể thực hiện đề tài khóa luận tốt nghiệp này.

Thứ hai, nhóm tác giả cảm ơn Thầy Cô trong trường đã hết lòng diu dắt suốt chặng đường kéo dai 4 năm qua. Đặc biệt là thay Vũ Minh Sang, thay Nguyễn Hồ Duy Tri đã tận tình hướng dẫn nhóm thực hiện hoàn tat đề tài khóa luận tốt nghiệp, giúp nhóm tự tin tìm tòi dé học tập những điều mới với mục tiêu quan trọng nhất là phát triển ban thân. Nhờ công lao của tất cả các Thầy Cô đã tận tình truyền đạt tri thức, tạo dựng nên tảng, mở ra nhiều cơ hội phát triển, thử thách,. cho nên nhóm tác giả có thé tự tin khởi hành một hành trình mới sau này.

Trong quá trình báo cáo khóa luận sẽ có nhiều sai sót không thể tránh khỏi hết, nhóm tác giả rất mong quý Thầy Cô có thê thông cảm, xem xét, góp ý, giúp đỡ. Nhóm tác giả cảm ơn những ý kiến đóng góp của các quý Thầy Cô đề hoàn tất khóa luận một cách tốt nhất. Một lần nữa nhóm tác giả xin chân thành cảm ơn quý Thay Cô. Sinh viên thực hiện đề tài: Nguyễn Quốc Hưng - 16520483 Nguyễn Trần Ngọc Anh - 16521490 MỤC LỤC TOM TAT KHOA LUAN0011057.----- 2 2 E£+E£+E££EE£EE£EEEEEEEEEEEEerErrrrrkerkee 2 1.

Mô tả để tài. _ Giới thiệu bài toán.- G- Ăn ng HH ng nưệt 3 1. Cac nghiên cứu liÊn Quan. Phương pháp chuyền đổi phong cách nghệ thuật tối ưu trực tiếp.

Phương pháp chuyền đổi phong cách nghệ thuật tối ưu gián tiếp. Thách thức, mục tiêu và phạm VI. — Thách thức.-SĂLS SH SH HH HH HH nưệt 9 1. Ăn HH HH HH TH ng HH HH rưy 10 13.

Dong góp khóa luận.1 2n SH ng ng re, 10 1. Cau trúc khóa luận.--cccccc+kerrrrkrtrtrkrrrtrrirrrrrirerrriee 11 CHUONG 2. _ Tổng quan hệ thống. Mạng tính toán mat mát VGG.- -- ¿2 ©k+Ek+EE+E£EE2EEEEEEeEEEEkerkrrkee 14 2.

Tổng quan về CNN. sàng ng nh như 15 2.- ch HH TH HH Hà HH nh ngư 15 2. Lớp kết nối đầy đủ (Fully Connected Layer). Các bước tính tích chập trong CNN.

Chuyển giao học tẬp. Mô hình đã đào tạo VŒGIÓ. Mô hình đã đảo tạo VGG19. Ham mất mát tri giác .--- ¿- 2 2S +k‡EEeEESEEEEEEEE2EE2EEEEEEEEkrrkrree 22 2.

Mạng chuyền đổi phong cách nghệ thuật. Hinh ảnh đầu vào và đầu ra. Hạ mau và tăng mẫu (Downsampling and Upsampling). Chuân hóa phiên bản.

Các hàm kích boat. Thuật toán toi ưu hóa hàm mat mát Adam. KET QUA THỰC NGHIỆM VÀ ĐÁNH GIÁ. Quá trình huấn luyện mô hình.-- 2 ¿+2++++x++zx++x++zx++zx++zxeex 38 3.

— Siêu tham sỐ. Môi trường huấn luyện. Hệ thống chương trình. Kết quả thực nghiệm.

Kết quả chuyền đổi phong cách nghệ thuật. So sánh hình ảnh kết quả.- -- 2 2£ + 22 £+EE+EE+£E£zEEzEEerxerxeres 59 3. So sánh thời gian chuyên đổi phong cách nghệ thuật. So sánh thời gian huấn luyện mô hình.

Ứng dụng chuyền đổi phong cách nghệ thuật trong video. St HH TT HE T1 E51 1111111111111 Etrke 66 CHƯƠNG 4. UNG DUNG MINH HỌA. _ Kiến trúc hệ thong e.

_ Chỉ tiết chức năng hệ thống .----- 2 2 E+EE+EE+EE2E£+EeEEerEerxerxrree 68 4. — Các APT sử dụng. SH HH HH HH ng ke 69 4. __ Một số hình ảnh từ chương trình minh họa.

KET LUAN 0oeecssccssssssssessssssssssecssesssessesssessssssecssesssessusesesssecseeess 77 5. Kết quả dat AUC. _ Hướng phát triỂn.- ¿5< ©EÉ2k+EESEEEEEEEEEEEEEEEEEEEEEkerkrrrrex 78 TÀI LIEU THAM KHẢO TIENG VIỆTT. 2 2-2 2E£2££+£E+£E+£E£zE+rxerxezez 82 TÀI LIEU THAM KHẢO TIENG ANH.ốốốốốốố 85 DANH MỤC HÌNH VE Hình 1.1: Sản phẩm tivi khung tranh của Samsung .-- ¿5 25s s+cs+£z+sz 2 Hình 1.2: Mô hình chuyền đổi phong cách nghệ thuật cho hình anh .3: Tổng quan sơ đồ dao tạo mạng theo phương pháp của Gatys và cộng sự Hình 1.6: Kết quả hình ảnh cách điệu theo phong cách Head of a Clown theo phương pháp của Dumoulin và cộng sự [4].7: Tổng quan sơ đồ đào tạo mạng theo phương pháp của Huang và cộng sự [9].8: Tổng quan sơ đồ đào tạo mạng theo phương pháp của Golnaz và cộng sự [7].9: Hình ảnh cách điệu đầu ra từ chuyên đôi phong cách nghệ thuật bất kỳ với AdalIN [9] và sử dụng mạng dự đoán kiểu [7] .--c- 5c kvEt‡ESEEEeEkeErkerxekerxererxeex 9 Hình 2.1: Tổng quan sơ đồ chuyền đổi phong cách nghệ thuật với VGGI9.2: Tổng quan các loại lớp thường sử dụng trong CNN .3: Bộ lọc trong kiến trúc CNN với kích thước F x Fx CC xK.4: Sải bước trong kiến trúc CNN (sai bước là 2) Ì.-- ccs+xsxexszesrererez 15 Hình 2.5: Quá trình tong hợp tối đa (max pooling)_.6: Quá trình tong hợp trung bình (avg pooling) Ì.7: Lớp kết nối đầy đủ trong kiến trúc CNN.--------©5z+cs+cssrxccsz 17 Hình 2.8: Bộ lọc tính tổng các tích theo thứ tự các 6 ma trận dé tính tích chập .9: Dịch ngang bộ lọc rồi tính tích chập cho đến khi hết hàng .10: Bộ lọc dịch xuống dưới rồi tính tích chập rồi tiếp tục như bước 2! .11: Kết quả trả về là một bản đồ đặc trưng Ì.12: Kiến trúc của mạng VGG]Ø.--- 2: 2©52+E£+EE+£EtEEzEssrxerxezex 20 Hình 2.13: Kiến trúc của mạng VGG109.14: Cấu trúc tổng quát mang chuyền đồi phong cách nghệ thuat .15: Cấu trúc chi tiết mạng chuyền đổi phong cách nghệ thuật.16: Mạng tự động mã hóa sử dụng khối dư trong không gian an dé mã hóa Aor ISU occ eee .18: Hình ảnh so sánh kết quả định tính của 2 phương pháp chuẩn hóa [15] 31 Hình 2.19: Đồ thị hàm ReLLU .-¿--2-22©5¿22E£2EE‡2E+2EEt2EEtEEEEEEEerkrrrkerresree 33 Hình 2.20: Đồ thị hàm tanh va sigmoid.21: Momentum của Adam như quả cầu nặng có ma sát .1: Bộ dữ liệu ảnh nội dung MS COCO 2014.2: Bộ dữ liệu hình anh mang phong cách nghệ thuật.3: Hình ảnh nội dung và phong cách nghệ thuật cho các bước chạy thực Hình 3.4: Tổng quan sơ đồ huấn luyện của Gatys sử dụng mang mat mát VGG19.5: Sự thay đổi giá trị của các hàm mắt mát trong quá trình chạy thực nghiệm với thuật toán GatyS.

c2 SH TH HH HH kh 44 Hình 3.6: Quá trình huấn luyện thuật toán của Gatys qua mỗi 1000 vòng lặp.7: Hình ảnh kết quả thuật toán của Gatys với VWGGI9.8: Quá trình huấn luyện thuật toán của Gatys thêm hàm TV_Loss qua mỗi 1000 0.9: Sự thay đổi giá trị của các hàm mất mát trong quá trình chạy thực nghiệm với thuật toán Gatys thêm hàm TV_LoSS .10: Hình ảnh kết quả thuật toán của Gatys thêm hàm TV_Loss .11: Tổng quan sơ đồ huấn luyện sử dụng mạng mat mát VGG-16.12: Sự thay đổi giá trị của các hàm mat mát khi sử dụng VGG16 .13: Hình ảnh kết quả thuật toán của Johnson với VWGG16.14: Tổng quan so đồ huấn luyện sử dụng mang mat mát VGG-19.15: Sự thay đôi giá trị của các hàm mắt mát khi sử dụng VGGI9.16: Hình ảnh kết quả thuật toán của Johnson với WGG19.17: Tổng quan so đồ huấn luyện sử dung mạng mat mát VGG-1619.18: Sự thay đổi giá tri của các hàm mat mát khi sử dụng VGG1619.19: Hình ảnh kết quả thuật toán của Johnson với WGG1619.20: Hình ảnh kết quả thuật toán của Golnaz.------- 5+ ©¿©2s+cx+zx+>s+ 58 Hình 3.21: So sánh hình ảnh kết qua của các thuật toán.22: Khung hình A thứ ÌN. sàn HH9 HT HT Hư62 Hình 3.23: Khung hình A thứ N + Í.- G122 HT ghe 63 Hình 3.24: Khung hình A thứ N + 2. Ghi ngườn 63 Hình 3.25: Khung hình B thứ ÌN. SH HH HH ngư 64 Hình 3.26: Khung hình B thứ N + .- G5 Sàn HH HH tệp 64 Hình 3.27: Khung hình B thứ N + 2.

Q SH HH TH HH HH ng rt 65 Hình 4.1: Tổng quan sơ đồ kiến trúc hệ thống của ứng dụng minh họa.2: Lược đỗ cơ sở dit HOU os.3: Màn hình khởi tạo chương trình .4: Màn hình cai đặt máy chủ API,.5: Màn hình chính.-- ó5 11111219 9 ng ng nh 72 tn MAY 09 0171.7: Chọn hình ảnh phong cách có sẵn từ máy chủ.8: Màn hình quy trình chuyền đổi phong cách nghệ thuật.9: Màn hình giao diện danh sách hình ảnh đã được chuyên đổi phong cách I4 580101177.10: Màn hình thông tin tac g1ả.- --- 5 5 SH HH HH ưệt 76 Hình 4.11: Kết quả chuyền đổi phong cách nghệ thuật tranh sơn dau .1: Hình ảnh cách điệu đầu ra của perceptual losses và depth-aware [13].2: Minh họa hình ảnh cách điệu chân thực [ 1 I].3: Minh họa chuyên đổi video trong ba khung hình nhưng vẫn giữ được sự nhất quán qua mỗi khung hình [5] .-- 2-2 2 ¿+ E£EE£EE2EEE£+E+£E£EerEerxerxerszxez 81 DANH MỤC BANG Bảng 3.1: Bang so sánh thời gian chuyển đổi phong cách nghệ thuật giữa các thuật toán sử dung trong quá trình thực nghiệm (g1Ây).2: Bảng so sánh thời gian huấn luyện các mô hình thuật toán trong quá trình In iei140119008027)200070707. 61 DANH MỤC TỪ VIET TAT Từ viết tắt Diễn giải AdaIN Adaptive Instance Normalization CNN Convolutional Neural Network GPU Graphics Processing Unit NST Neural Style Transfer PCA Principal Components Analysis ReLU Rectified Linear Units VGG Visual Geometry Group TOM TAT KHÓA LUẬN Trong khóa luận, nhóm tác giả tập trung tìm hiểu và mô phỏng các thuật toán sử dụng mạng nơ-ron tích chập để chuyên đổi phong cách nghệ thuật cho ảnh. Đồng thời, xây dựng ứng dụng minh họa trên điện thoại. Chuyên đổi phong cách nghệ thuật là một kỹ thuật xử lý ảnh trong ngành thị giác máy tính cho phép tái tạo lại nội dung của một hình ảnh theo phong cách nghệ thuật của một hình ảnh khác.

Hướng tiếp cận của khóa luận là dùng thuật toán sử dụng mạng nơ-ron tích chập dé chuyên đổi phong cách nghệ thuật cho hình ảnh bat kỳ. Một số kết quả đạt được: Tìm hiểu các thuật toán chuyển đôi phong cách nghệ thuật cho bài toán tạo ảnh nghệ thuật. Áp dụng hàm mat mát (TV loss) vào bài toán của Gatys dé hình ảnh đầu ra ít nhiễu và mượt hơn.