Chương 1: Trình bay tông quan bối cảnh và giới thiệu về đề tài mong muốn thực hiện e Chương 2: Trình bày cơ sở lý thuyết và phương pháp ứng dung đã được sử dụng trong luận văn. e_ Chương 3: Trình bày phương pháp nghiên cứu đề xuất e_ Chương 4: Trinh bày về thiết kế ứng dụng và kiểm thử trong thực tế e_ Chương 5: Trình bày về kết luận và hướng phát triển CHƯƠNG 2. CƠ SỞ LÝ THUYÉT CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Chương này giới thiệu về cơ sở lý thuyết phát triển luận văn và những kết qua nôi bật của những nghiên cứu gần đây trong lĩnh vực chỉnh sưả ảnh bằng ngôn ngữ tự nhiên và những lĩnh vuẹc liên quan.
Cũng như nêu chỉ tiết về cơ sở lý thuyết của những phương pháp được ứng dụng vào phương pháp nghiên cứu đề xuất ở chương sau. Các nghiên cứu liên quan Khi thực hiện đề tài luận văn này đâu tiên là đã tìm hiểu các phương pháp hiện có và các kỹ thuật từ các công bố khoa học có liên quan. Trong luận văn có tông hợp lại những đóng góp khoa học, và kết quả nồi bat tại thời điểm công bồ của từng bài báo đã tham khảo. Lĩnh vực chính sửa ảnh bằng ngôn ngữ tự nhiên Dưới đây là một số bài báo gần đây liên quan đến việc chỉnh sửa ảnh bằng ngôn ngữ tự nhiên: e PhraseGAN: Phrase-Boost Generative Adversarial Network for Text-to- Image Generation [11]: Bài bao này đã trình bày các vi dụ va thử nghiệm thực tế về việc sử dụng mô hình PhraseGAN[I I] trong chỉnh sửa ảnh.
Điều này giúp chứng minh tính khả thi khi ứng dụng vào thực tiễn. Từ đó cho thấy hiệu quả của phương pháp trong việc tạo ra các mô tả ngôn ngữ tự nhiên cho các hoạt động chỉnh sửa ảnh. e CLIPstyler: Image Style Transfer with a Single Text Condition [12]: Bai bao nay đã đóng góp phương pháp tạo hình anh mà phong cách anh được biến đổi dựa theo câu mô tả đầu vào. Điều này đã giúp cho việc tạo ra hình ảnh theo phong cách mong muốn dễ dàng hơn.
Bên cạnh đó, kết quả thực nghiệm đa dạng đã cho thấy sự thành công của phương pháp tiếp cận này. e AnimeGAN: A Novel Lightweight GAN for Photo Animation [13]: AnimeGAN[13] là một mô hình GAN nhẹ được thiết kế dé chuyền đổi anh chân dung thành hình ảnh hoạt hình phong cách anime. Mô hình này sử dụng mạng GAN với mạng sinh dựa trên kiến trúc U-Net và mạng phân biệt dé tạo ra các hình ảnh hoạt hình độc đáo. Bài báo đã đạt được một số kết quả nồi bật trong lĩnh vực tạo hiệu ứng hoạt hình từ ảnh về hiệu suất và tốc độ xử lý, cũng như là đa dạng phong cách Anime và cho ra kết quả chân thực.
CƠ SỞ LÝ THUYÉT e CLIP: Connecting Text and Image [14]: Bài báo này đã thành công trong việc xây dựng một không gian biểu diễn chung cho văn bản và hình ảnh. Điều này cho phép mô hình hiểu và liên kết thông tin giữa hai loại di liệu. Từ đó mở ra những tiềm năng lớn trong việc kết hợp và tương tác giữa ngôn ngữ và thị giác. Từ việc hiểu và liên kết thông tin giữa ngôn ngữ và hình ảnh cho đến việc phân loại, tìm kiếm và sáng tạo nội dung hình ảnh.
CLIP[14] đã mở ra nhiều cánh cửa cho việc ứng dụng trong lĩnh vực trí tuệ nhân tạo, e Text2ImageGAN: A Conditional Generative Adversarial Network for Text- to-Image Synthesis [15]: Kết qua nỗi bật của Text2ImageGAN[ 15] là kha năng tạo ra hình ảnh chất lượng từ mô tả văn bản và cung cấp sự linh hoạt cũng như kiểm soát phong cách trong quá trình tạo hình ảnh. Mô hình này có tiềm năng được ứng dụng rộng rãi trong nhiều lĩnh vực như thiết kế, quảng cáo, và truyền thông đa phương tiện. e Semantic and Geometric Unfolding of StyleGAN Latent Space [16]: Bài viết dé cập đến hiệu quả của GANs trong việc chỉnh sửa anh bằng cách đảo ngược và điều chỉnh mã nguồn ân tương ứng với một hình ảnh tự nhiên. Trong bài báo này, tác giả nêu hai hạn chế của không gian ân như và họ đề xuất một phương pháp mới dé học một biéu điễn ân thay thé bằng cách sử dụng luồng chuẩn hóa dé khắc phục những hạn ché này, và chỉ ra rằng điều này dẫn đến một không gian hiệu quả hơn cho việc chỉnh sửa hình ảnh khuôn mặt.
e Controllable Generative Adversarial Network [17]: Bài báo giới thiệu mô hình GAN có khả năng kiểm soát (Controllable GAN - CGAN). CGAN được mô tả là có khả năng kiểm soát mạnh mẽ về mặt hiệu suất dé điều khiển các mẫu được tạo ra và có thé kiểm soát bộ tao dé tập trung vào hiện thực hoặc sự khác biệt. Bài báo đã thực thiện thực nghiệm CGAN trên bộ dữ liệu CelebA và tin rằng CGAN có thê đóng góp vào nghiên cứu về mô hình mạng nơ-ron tạo sinh. e Text2Human: text-driven controllable human image generation [18]: Bài báo nay đã đóng góp phương pháp mới trong lĩnh vực tong hop hình ảnh con người.
Một số điểm nỗi bật trong bài báo có thé kế đến như: Tạo hình anh con người dựa trên văn bản, tuỳ chỉnh hình anh theo ý muốn và có thé ứng dụng trong nhiêu lĩnh vực. CƠ SỞ LÝ THUYÉT ¢ DALL-E: Creating Images from Text [19]: Bài báo này đã đạt kết quả nồi bật trong lĩnh vực tạo hình ảnh từ văn bản như: Tạo hình ảnh từ mô tả, tạo hình ảnh theo phong cách được yêu cầu và đặc biệt nó có thê đáp ứng những câu mô tả dài và chỉ tiết. e Bài báo này đã chứng tỏ tiềm năng của hệ thống như DALL-E trong việc phát triển công nghệ tạo hình ảnh sáng tạo dựa trên văn bản. Và có thể ứng dụng hệ thống này trong nhiều lĩnh vực như nghệ thuật, thiết kế, quảng cáo, và giáo dục.
e MirrorGAN: Learning Text-to-image Generation by Redescription [20]: Bài báo trình bày một phương pháp mới dé tạo hình ảnh từ văn ban bằng cách sử dụng khái niệm “tái miêu tả”. Mô hình này có khả năng tạo ra nhiều phiên bản hình ảnh từ cùng một mô tả, đem lại sự đa dạng và chất lượng trong quá trình tạo hình ảnh từ văn bản. e Talk-to-Edit: Fine-Grained Facial Editing via Dialog [21]: Bài báo đề xuất mô hình "Talk-to-Edit" dé thực hiện việc chỉnh sửa khuôn mặt thông qua việc hội thoại với hệ thống. Người dùng tương tác với hệ thống thông qua việc nói chuyện để đưa ra các yêu cầu chỉnh sửa.
Bài báo này có thể đóng góp vào phát triển của các ứng dụng trong lĩnh vực chỉnh sửa hình ảnh khuôn mặt thông qua giao tiếp ngôn ngữ tự nhiên. e©_ Image Transformer|22]: Mô hình sử dụng kiến trúc Transformer dé tạo ra hình ảnh từ mô tả văn bản và đã cải thiện kết quả trên tập đữ liệu ImageNet. Chứng minh rằng cơ chế tự chú ý (self-attention) là một phương pháp hiệu quả để mô hình hóa chuỗi văn bản. Tổng hợp một kiến trúc mô hình dựa trên tự chú ý, cụ thể là Transformer, cho việc mô hình hóa chuỗi trong tạo ảnh với khả năng ước lượng xác suất có thé quản lý được.
Mô hình sinh ra có hiệu suất đáng kê hơn so với tất cả các mô hình tiên tiến hiện tại trong việc tạo ảnh trên tập dữ liệu ImageNet, giảm negative log-likelihood xuống từ 3. Bài báo cũng trình bày kết quả về siêu phân giải ảnh với tỷ lệ phóng to lớn, sử dụng một cấu hình mã hóa-giải mã của kiến trúc. Trong một nghiên cứu đánh giá của con người, phát hiện rằng ảnh được tạo ra bởi mô hình siêu phân giải của họ đánh lừa người quan sát ba lần nhiều hơn so với trạng thái nghệ thuật trước đó. Các bai báo trên cung cap ví dụ về cách sử dụng ngôn ngữ tự nhiên trong việc chỉnh CHƯƠNG 2.
CƠ SỞ LÝ THUYÉT sửa ảnh và cho thấy tiềm năng và đa dạng của phương pháp này trong lĩnh vực xử lý ảnh. Lĩnh vực đo lường chất lượng ảnh IQA là một lĩnh vực nghiên cứu trong khoa học máy tính va thị giác máy tinh, tap trung vào việc phát triển các phương pháp để đo lường chất lượng của hình ảnh. "IQA" là viết tat của "Image Quality Assessment," có nghĩa là "Đánh giá chất lượng ảnh" trong tiếng Anh. Mục tiêu là phát triển các độ đo hoặc mô hình đề đánh giá mức độ tương tự giữa hình ảnh gốc và hình ảnh được xử lý hay biến đổi.
Các phương pháp IQA có thể dựa trên so sánh với ảnh tham chiếu (Reference-based IQA) hoặc đánh giá chất lượng mà không cần ảnh tham chiếu (No-Reference IQA). Các ứng dụng của IQA rất đa dạng, từ đảm bảo chất lượng của hình ảnh trước và sau quá trình xử lý, đến việc tối ưu hóa thuật toán nén ảnh và nhiều ứng dụng khác liên quan đến xử lý ảnh và thị giác máy tính. Một số bài báo nổi bật có liên quan đến lĩnh vực đánh giá chất lượng ảnh đã được tham khảo và liệt kê dưới đây: e Perceptual Image Quality Assessment with Transformers[23]: Trong bai báo này, tác gia giới thiệu một mô hình được gọi là Image Quality Transformer (IQT) mà thành công áp dụng kiến trúc transformer vào một nhiệm vụ đánh giá chất lượng hình ảnh toản diện dựa trên cảm nhận (perceptual full-reference image quality assessment - IQA). Kết quả thử nghiệm cho thấy mô hình đề xuất có hiệu suất xuất sắc trên các bộ dữ liệu thường sử dụng trong lĩnh vực IQA.Đối với một bộ đữ liệu lớn IQA chứa các hình ảnh được tạo ra bởi mô hình sinh, mô hình cũng cho thấy kết quả đáng ké.M6 hình IQT đề xuất đã đứng dau trong cuộc thi NTIRE 2021 về thách thức đánh giá chất lượng hình ảnh cảm nhận.
e DeepSim: Deep Similarity for Image Quality Assessment[24]: bài báo này giới thiệu về một phương pháp mới sử dung hoc sâu dé đánh giá chất lượng ảnh va cung cấp thông tin về hiệu suất của phương pháp trong nhiều điều kiện và tình huống khác nhau gọi là DeepSim. Kết qua cho thay DeepSim được đánh giá thông qua các thử nghiệm và so sánh hiệu suất với các phương pháp khác. Và nó có khả năng ước lượng chất lượng ảnh hiệu quả và có thể vượt qua nhiều phương pháp khác trong các tình huỗng khác nhau. e No-Reference Image Quality Assessment with the Use of Wasserstein 10 CHƯƠNG 2.
CƠ SỞ LÝ THUYÉT GANs[25]: tập trung vào việc phát triển một phương pháp đánh giá chất lượng ảnh không cần tham chiếu (No-Reference Image Quality Assessment - NR-IQA) bằng cách sử dung Wasserstein Generative Adversarial Networks (WGANS). Trong bài báo đã thực hiện so sánh hiệu suất của phương pháp với các phương pháp khác trong lĩnh vực NR-IQA. Và thực hiện thử nghiệm và đánh giá trên các tập dữ liệu chất lượng ảnh khác nhau.