Chương 1. Giới thiệu: Trình bay tổng quan về bài toán Tạo sinh, chuyển đổi ảnh đầu vào qua những phong cách tranh dân gian Việt Nam bằng mô hình Latent Diffusion. Bao gồm động cơ nghiên cứu, các định nghĩa, thách thức và những đóng góp chính trong đề tài. Các nghiên cứu liên quan: Trinh bày, khảo sát, tìm hiểu các công trình nghiên cứu, các mô hình có liên quan trực tiếp hoặc gián tiếp đến việc giải quyết các vấn đề trong bài toán của đề tài.
Phương pháp đề xuất: Trinh bày mô hình sử dung để giải quyết bài toán - Latent Diffusion Model; Giới thiệu phương pháp fine- tuning bằng kỹ thuật Textual Inversion. Thực nghiệm: Giới thiệu bộ dữ tranh dân gian Việt Nam. Tiến hành fine-tuning mô hình. Thực nghiệm, trình bày và giải thích một số thử nghiệm để so sánh các phương pháp mới, các tỉnh chỉnh mới với các mô hình khác.
So sánh, đánh giá kết quả của mô hình trước và sau khi fine-tuning. Triển khai khảo sát, đánh giá định tính các kết quả. Xây dựng Website Tạo sinh ảnh. Thảo luận: Tóm tắt những phần công việc, đóng góp chính, kết quả đạt được trong đề tài khóa luận.
Thảo luận về công việc nghiên cứu, hướng phát triển trong tương lai. 11 Chương 2 Nghiên Cứu Liên Quan Trong chương này, em sẽ giới thiệu một số cách tiếp của bài toán Tạo sinh ảnh. Đầu tiên là thảo luận ngắn gọn về một số phương pháp xử lý hình ảnh truyền thống như: Non-Photorealistic Rendering [12]; Image Analogies [16]. Tiếp đến là tìm hiểu, khảo sát các mô hình Tạo sinh như Generative Adver- sarial Networks [13]; Variational AutoEncoders (VAEs) [25].
Day đều là những mô hình Tao sinh đã đạt được những kết qua đáng ghi nhận. Và cũng là nguồn cảm hứng để những mô hình Tạo sinh sau được phát triển và kế thừa. Cuối cùng, em sẽ tập trung vào nhóm các mô hình Tạo sinh Difusion Models [28]. Nghiên cứu, tìm hiểu ý nghĩa lý thuyết, ý nghĩa toán học, nguyên lý hoạt động, cơ chế khuếch tán của mô hình.
Các mô hình Khuếch Tán ít nhiều được kế thừa từ các khái niệm, ý nghĩa toán học từ mô hình VAEs. Tìm hiểu một số mô hình khuếch tán như: Cascade diffusion models [18] và mô hình chính là Latent Difusion Model.1 Phương pháp xử lý ảnh truyền thống Trong các tác vụ liên quan đến lĩnh vực đồ hoạ máy tính, phương pháp Non- Photorealistic Rendering là cách tiếp cận sơ khai đầu tiên trong bài toán biến đổi, chuyển phong cách ảnh. Cụ thể, việc áp dụng NPR cho các bài toán này tập trung vào tac phẩm nghệ thuật 2D hoặc tạo ra các tác phẩm nghệ thuật dựa trên hình ảnh (IB-AR) [24]. Việc dựa trên nét vẽ IB-AR (SBR) [15] là một quá trình thay thế các nét vẽ cho đến khi có được phong cách hình ảnh mới như 12 mong muốn.
Dau tiên, quá trình kết xuất dựa trên vùng IB-AR (RBR) sẽ phân đoạn hình ảnh thành các phần khác nhau, sau đó tỉnh chỉnh nội dung trong từng phần để hoàn thành tác vụ chuyển kiểu. Trong hai bài hướng dẫn [11] và [23] đã kết hợp hai phương pháp SRB và RBR để tạo ra một hình ảnh với các nét vẽ phù hợp trong các phần ngữ nghĩa. NPR không yêu cầu nhiều tài nguyên như những phương pháp học sâu và mang lại kết quả đẹp mắt, đặc biệt là với phong cách sơn mau, sơn dầu. Nhưng các phương pháp dựa trên NPR lại không hoạt động tốt cho những tác vụ Tạo sinh ảnh.
Dể hoạt động tốt, các phương pháp này đòi hỏi ảnh đầu vào với các cạnh rõ ràng, kết cau đơn giản. Hơn nữa, mỗi lần thiết kế thuật toán NPR, nó chỉ phù hợp cho một phong cách ảnh cụ thể nên khó mở rộng sang các phong cách tranh khác. Trong cộng đồng Thị giác Máy tính, ý tưởng cơ bản cho bài toán chuyển đổi phong cách là thiết kế một tap hợp các bộ loc (filter) để mô phỏng tương tự từng phong cách ảnh mong muốn. Điều này đòi hỏi kỹ năng chuyên nghiệp, phải có kiến thức về mỹ thuật, thẩm mỹ và nghệ thuật của nhà phát triển để lựa chọn các bộ lọc phù hợp.
Để giải quyết những bài toán này theo một cách tự động hoá, một phương pháp Image Analogies được đề xuất. Đây là một loại xử lý ảnh bằng kỹ thuật lay mẫu. Có hai giai đoạn trong phương pháp này: thiết kế và ứng dụng. e Trong giai đoạn thiết kế, đầu vào cho kỹ thuật này cần một hình ảnh và phiên bản của nó với phong cách mong muốn làm dữ liệu huấn luyện.
Thông qua tính năng multi-scale autoregression, Image Analogies sẽ học chức năng ánh xạ của dữ liệu huấn luyện. e Sau đó, trong giai đoạn ứng dụng, chức năng ánh xạ được áp dụng để truyền cho một hình ảnh mới. Cốt lõi của kỹ thuật này là thuật toán BestMatch, thuật toán này trả về các pixel hợp lý trong hình ảnh được tổng hợp bằng cách nearest neighbor search. Vào thời điểm đó, hầu hết các kỹ thuật nearest neighbor search đều dựa trên phương pháp xác suất thống kê.
Nhìn chung, phương pháp Image Analogies đã giải quyết phần nào về yêu cầu tự động hoá, nhưng còn nhiều khó khăn trong việc Tạo sinh, biến đổi phong cách ảnh. Bởi những phương pháp này không thể tự học cách tìm hiểu dựa trên 15 các cau trúc của dữ liệu, còn cần sự can thiệp nhiều của người phát triển, chưa có sự tong quất trong các bài toán Tao sinh ảnh.2 Mô hình Tao sinh 2.1 Mô hình Phân lớp va Tao sinh Trong thế giới Máy Học có rất nhiều loại mô hình và được phân loại theo nhiều tiêu chí khác nhau. Nhưng tổng thể chung được phân thành hai loại mô hình: Mô hình Phân lớp (Discriminative Models) và Mô hình Tạo sinh (Generative Models) [14]. Một cách tổng quát hơn, mô hình phân lớp đưa ra một dự đoán về dữ liệu chưa nhìn thấy dựa trên xác suất có điều kiện và có thể được dùng trong bài toán phân loại hoặc hồi quy.
Ngược lại, một mô hình Tạo sinh tập trung vào việc phân phối dữ liệu để trả về xác suất cho một ví dụ nhất định. Mô hình Phân lớp Tổng quan: Mô hình phân lóp là các loại mô hình được sử dung trong Phan loại thống kê, chủ yếu được sử dụng trong học máy có giám sát. Các loại mô hình này còn được gọi là mô hình có điều kiện vì chúng cố gắng để tìm ra ranh giới giữa các lớp hoặc nhãn trong tập dữ liệu. Có khả năng phân biệt sự sai khác trong các nhóm dit liệu.
Nó sẽ cho biết xác suất mà nhãn sẽ phù hợp với mỗi mẫu. Các mô hình phân lớp phân tách các lớp riêng biệt thay vì mô hình hóa xác suất có điều kiện và không đưa ra bất kỳ giả định nào về các điểm dữ liệu. Ý nghĩa toán học: Với bộ dữ liệu gồm tập các mẫu X và tập các nhãn Y, mô hình phân lớp sẽ xác định xác suất có điều kiện P(X|Y). Huấn luyện các mô hình phân lớp liên quan đến việc ước tính một ham f(x > y) hoặc xác suất P(Y |X): e Giả sử một hàm nào đó cho xác suất chẳng han như P(Y|X).
e Ước tính các tham số của hàm thông qua việc huấn luyện mô hình. Đặc điểm: Xử lý các bài toán phân lớp trên bộ dữ liệu huấn luyện. Mô hình phân lớp cố gắng vẽ đường ranh giới trong không gian dit liệu. Do đó, mục tiêu cuối cùng của các mô hình là cố gắng tách biệt lớp này khỏi lớp khác.
14 e Mô hình phân lớp xử lý mạnh mẽ hơn, tốt hơn đối với các đại diện dữ liệu ngoại lai (dữ liệu bất thường). e Nếu bị thiếu dữ liệu trong bộ dữ liệu, thì các mô hình Phân lớp sẽ không thể hoạt động, bởi đối với những mô hình này yêu cầu tất cả các tính năng X được quan sát. Mô hình Tao sinh Tổng quan: Các mô hình Tạo sinh được coi là một lớp của mô hình Thống kê. Các mô hình này được sử dụng trong Máy học không giám sát như một phương tiện để thực hiện các nhiệm vụ: e Ước tính xác suất và khả năng xảy ra.
e Mô hình hóa các điểm dữ liệu. e Mô tả hiện tượng trong đữ liệu. Co khả năng sinh ra dữ liệu mới. Bao gồm phân phối dữ liệu và xác suất đưa ra mẫu.
Các mô hình này tập trung vào việc phân phối các lớp riêng lẻ trong bộ dữ liệu và các thuật toán có xu hướng mô hình hóa các mẫu cơ bản hoặc phân phối các điểm dữ liệu. Ý nghĩa toán học: Xác định xác suất kết hợp P(X|Y), hoặc P(X) (trong trường hợp bộ dữ liệu huấn luyện không có nhãn Y). e Giả sử một số dạng ham cho các xác suất như P(Y), P(X|Y). e Huấn luyện mô hình trên bộ dữ liệu, ước tính các tham số của P(X|Y), P(Y).
e Sử dung định ly Bayes để tính xác suất hậu nghiệm (posterior probability) P(Y|X). Đặc điểm: Vì các loại mô hình này thường dua vào định ly Bayes để tim xác suất kết hợp, nên các mô hình Tạo sinh có thể giải quyết một nhiệm vụ phức tạp hơn. Mô hình Tạo sinh sẽ c6 gắng mô hình hóa cách dữ liệu được nằm trong không gian. e Nếu có sự hiện diện của các điểm dit liệu ngoại lai trong bộ dữ liệu, thì các mô hình này sẽ bị ảnh hưởng đáng kể.
15 e Nếu bị thiếu dữ liệu trong bộ dữ liệu, thì các mô hình Tạo sinh có thể hoạt động với các dữ liệu bị thiếu này. Các mô hình cho phép ước tính phần xác suất hậu nghiệm bằng cách bỏ qua các biến không nhìn thấy.2 Tổng quan mô hình Tạo sinh Mô hình Tạo sinh là việc sử dụng Trí tuệ Nhân tạo (AT), số liệu thống kê và xác suất trong các ứng dụng để tạo ra một biểu diễn hoặc trừu tượng hóa các hiện tượng quan sát được hoặc các biến mục tiêu có thể tính toán được từ các quan sát đó. Các mô hình Tạo sinh là một cách mạnh mẽ để học bất kỳ loại phân phối dữ liệu nào. Bằng cách sử dụng trong Học máy không giám sát như một phương tiện để mô tả các hiện tượng trong dữ liệu, cho phép máy tính hiểu được thé giới thực.
Các mô hình này đã đạt được những thành công nhất định trong những năm trở lại đây. Sự hiểu biết của Trí Tuệ Nhân Tạo này có thể được sử dụng để dự đoán tất cả các xác suất trên một chủ đề từ dữ liệu được mô hình hóa. Tất cả các loại mô hình Tạo sinh đều nhằm mục đích tìm hiểu phân phối dữ liệu thực sự của tập huấn luyện để tạo ra các điểm dit liệu mới với một số biến thể [35].