Chuyển Đổi Phong Cách Ảnh Dựa Trên Câu Miêu Tả Tự Nhiên

Khóa luận trình bày phương pháp chuyển đổi phong cách ảnh dựa trên câu mô tả tự nhiên, khai thác lớp ngữ nghĩa cục bộ trong khoa học máy tính.

• Tác giả: Nguyen Ngoc Lan Phuong
• Người hướng dẫn: TS. Nguyen Vinh Tiep
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Chuyển Đổi Phong Cách Ảnh Dựa Trên Câu Miêu Tả Tự Nhiên
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI MỞ ĐẦU
• 1. GIỚI THIỆU
• 1.1. ĐẶT VẤN ĐỀ
• 1.2. THÁCH THỨC, MỤC TIÊU, PHẠM VI
• 1.3. ĐÓNG GÓP CỦA KHÓA LUẬN
• 1.4. CẤU TRÚC KHÓA LUẬN
• 2. CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. KIẾN THỨC TỔNG QUAN VỀ MẠNG CNN
• 2.1.1. TỔNG QUAN VỀ DEEP LEARNING
• 2.1.2. TỔNG QUAN VỀ CONVOLUTIONAL NEURAL NETWORK
• 2.2. BÀI TOÁN CHUYỂN HÓA PHONG CÁCH ẢNH
• 2.2.1. GIỚI THIỆU VỀ BÀI TOÁN
• 2.2.2. HƯỚNG TIẾP CẬN SỬ DỤNG ĐẶC TRƯNG ẢNH CẤP THẤP
• 2.2.3. HƯỚNG TIẾP CẬN SỬ DỤNG ĐẶC TRƯNG ẢNH CẤP CAO
• 2.3. BÀI TOÁN PHÂN ĐOẠN NGỮ NGHĨA HÌNH ẢNH
• 2.3.1. GIỚI THIỆU BÀI TOÁN
• 2.3.2. CÁC MÔ HÌNH MẠNG TIÊU BIỂU
• 2.4. BÀI TOÁN TẠO SINH VÀ PHÂN LOẠI HÌNH ẢNH DỰA TRÊN CÂU MÔ TẢ NGÔN NGỮ TỰ NHIÊN
• 2.4.1. GIỚI THIỆU VỀ BÀI TOÁN
• 2.4.2. PHƯƠNG PHÁP TẠO SINH ẢNH TRUYỀN THỐNG
• 2.4.3. TỔNG QUAN VỀ HỌC VỚI KHÔNG MẪU DỮ LIỆU
• 2.4.4. PHƯƠNG PHÁP TẠO SINH ẢNH DỰA TRÊN CÂU MÔ TẢ NGÔN NGỮ TỰ NHIÊN
• 3. PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. TỔNG QUAN VỀ PHƯƠNG PHÁP ĐỀ XUẤT
• 3.2. GIAI ĐOẠN TÌM VÙNG ẢNH
• 3.3. GIAI ĐOẠN CÁCH ĐIỆU VÙNG ẢNH
• 3.3.1. TRÍCH XUẤT ĐẶC TRƯNG CÂU VĂN MÔ TẢ PHONG CÁCH
• 3.3.2. MÔ HÌNH KIẾN TRÚC ĐỀ XUẤT
• 3.4. GIAI ĐOẠN PHA TRỘN CÁC LỚP ẢNH
• 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. TỔNG QUAN
• 4.2. BỘ DỮ LIỆU THỰC NGHIỆM
• 4.3. KHẢO SÁT NGƯỜI DÙNG
• 4.4. KẾT QUẢ THỰC NGHIỆM
• 4.4.1. ĐÁNH GIÁ THÀNH PHẦN
• 5. XÂY DỰNG ỨNG DỤNG MINH HỌA THỰC NGHIỆM
• 5.1. DANH SÁCH TÁC NHÂN
• 5.2. DANH SÁCH CÁC CHỨC NĂNG
• 5.3. ĐẶC TẢ CHỨC NĂNG
• 5.4. MÔ TẢ GIAO DIỆN HỆ THỐNG
• 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. KẾT LUẬN
• 6.2. HƯỚNG PHÁT TRIỂN
• REFERENCES

Tóm tắt

I. Giới thiệu về Chuyển Đổi Phong Cách Ảnh Dựa Trên Câu Miêu Tả Tự Nhiên

Chuyển đổi phong cách ảnh là một lĩnh vực quan trọng trong Thị giác Máy tính. Nó cho phép tạo ra những bức ảnh nghệ thuật từ ảnh nội dung thông qua việc áp dụng phong cách từ một bức ảnh khác. Đặc biệt, phương pháp này đã được cải tiến để cho phép người dùng mô tả phong cách mong muốn bằng ngôn ngữ tự nhiên, giúp tiết kiệm thời gian và công sức trong việc tìm kiếm hình ảnh phong cách tham chiếu.

1.1. Đặt Vấn Đề Trong Chuyển Đổi Phong Cách Ảnh

Bài toán chuyển đổi phong cách ảnh thường yêu cầu người dùng cung cấp một bức ảnh phong cách cụ thể. Điều này có thể gây khó khăn cho những người không có sẵn hình ảnh tham khảo. Việc sử dụng câu miêu tả tự nhiên giúp giải quyết vấn đề này.

1.2. Tầm Quan Trọng Của Công Nghệ AI Trong Chuyển Đổi Phong Cách

Công nghệ AI, đặc biệt là deep learning, đã đóng vai trò quan trọng trong việc cải thiện chất lượng và tốc độ của các thuật toán chuyển đổi phong cách ảnh. Các mô hình như CNN đã được áp dụng để tối ưu hóa quy trình này.

II. Thách Thức Trong Chuyển Đổi Phong Cách Ảnh

Mặc dù có nhiều tiến bộ trong lĩnh vực này, nhưng vẫn tồn tại nhiều thách thức. Việc cân bằng giữa nội dung và phong cách là một trong những vấn đề lớn nhất. Ngoài ra, thiếu các chỉ số đánh giá đáng tin cậy cũng gây khó khăn cho việc xác định chất lượng của ảnh cách điệu.

2.1. Cân Bằng Giữa Nội Dung Và Phong Cách

Việc tạo ra một bức ảnh vừa giữ được nội dung ngữ nghĩa vừa thể hiện phong cách nghệ thuật rõ ràng là một thách thức lớn. Người dùng cần phải quyết định mức độ quan trọng của từng yếu tố.

2.2. Thiếu Chỉ Số Đánh Giá Đáng Tin Cậy

Khác với các bài toán khác trong Thị giác Máy tính, việc đánh giá ảnh nghệ thuật thường dựa trên cảm quan con người, điều này làm cho việc xác định chất lượng trở nên khó khăn.

III. Phương Pháp Đề Xuất Trong Chuyển Đổi Phong Cách Ảnh

Để giải quyết các thách thức nêu trên, một phương pháp mới đã được đề xuất, cho phép người dùng nhập câu miêu tả phong cách. Phương pháp này không chỉ giúp tiết kiệm thời gian mà còn mở rộng khả năng sáng tạo cho người dùng.

3.1. Hệ Thống Chuyển Đổi Phong Cách Ảnh

Hệ thống này sử dụng mô hình học sâu để phân tích câu miêu tả và áp dụng phong cách vào ảnh nội dung. Điều này giúp tạo ra những bức ảnh nghệ thuật độc đáo.

3.2. Ứng Dụng Của Phương Pháp Mới

Phương pháp này có thể được áp dụng trong nhiều lĩnh vực như nghệ thuật, quảng cáo và truyền thông, giúp người dùng dễ dàng tạo ra nội dung sáng tạo.

IV. Ứng Dụng Thực Tiễn Của Chuyển Đổi Phong Cách Ảnh

Chuyển đổi phong cách ảnh đã được ứng dụng rộng rãi trong các ứng dụng di động và mạng xã hội. Người dùng có thể dễ dàng tạo ra những bức ảnh nghệ thuật chỉ với một câu miêu tả đơn giản.

4.1. Ứng Dụng Trong Các Nền Tảng Mạng Xã Hội

Nhiều ứng dụng như Instagram và Snapchat đã tích hợp tính năng chuyển đổi phong cách ảnh, cho phép người dùng sáng tạo nội dung một cách nhanh chóng và dễ dàng.

4.2. Kết Quả Nghiên Cứu Về Chất Lượng Ảnh

Các nghiên cứu cho thấy rằng phương pháp mới này không chỉ cải thiện chất lượng ảnh mà còn giảm thời gian xử lý, mang lại trải nghiệm tốt hơn cho người dùng.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Chuyển đổi phong cách ảnh dựa trên câu miêu tả tự nhiên là một bước tiến lớn trong lĩnh vực Thị giác Máy tính. Nó không chỉ giúp người dùng dễ dàng tạo ra nội dung nghệ thuật mà còn mở ra nhiều cơ hội nghiên cứu mới.

5.1. Tóm Tắt Các Đóng Góp Của Nghiên Cứu

Nghiên cứu đã xây dựng một bộ dữ liệu lớn và phát triển một mô hình hiệu quả, giúp nâng cao khả năng chuyển đổi phong cách ảnh.

5.2. Hướng Phát Triển Trong Tương Lai

Trong tương lai, có thể mở rộng phương pháp này để áp dụng cho nhiều loại hình ảnh khác nhau, từ phong cảnh đến chân dung, nhằm đáp ứng nhu cầu ngày càng cao của người dùng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Chuyển đổi phong cách ảnh (Style Transfer) là một bài toán nền tảng thuộc lĩnh vực Thị giác Máy tính (Computer Vision). Mục tiêu của bài toán là tiếp nhận đầu vào gồm một ảnh nội dung (content image) cùng một ảnh phong cách (style image), từ đó tạo ra ảnh đầu ra mang các đặc trưng nghệ thuật (hoa văn, chất liệu, màu sắc) của ảnh phong cách nhưng vẫn bảo tồn trọn vẹn cấu trúc thông tin ngữ nghĩa cốt lõi của ảnh nội dung ban đầu. Trong thực tế, công nghệ này được ứng dụng rộng rãi trên các nền tảng mạng xã hội và ứng dụng di động như TikTok, Snapchat hay PicsArt.

Tuy nhiên, các phương pháp chuyển đổi phong cách ảnh truyền thống đòi hỏi người dùng bắt buộc phải cung cấp một hình ảnh phong cách tham chiếu cụ thể. Trong nhiều trường hợp thực tiễn, người dùng gặp trở ngại lớn khi không thể tìm kiếm hoặc chuẩn bị được hình ảnh phản ánh chính xác kết cấu nghệ thuật theo trí tưởng tượng của mình. Nhằm khắc phục hạn chế này, khóa luận đề xuất phương pháp chuyển đổi phong cách ảnh dựa trên câu mô tả bằng ngôn ngữ tự nhiên, cho phép người dùng chỉ cần cung cấp ảnh nội dung và một đoạn văn bản miêu tả phong cách mong muốn. Hệ thống được nhóm tác giả đặt tên là ISTCS (Image Style Transfer with CLIP and Segmentation).

Văn bản khóa luận xác định 4 thách thức kỹ thuật trọng tâm:

• Sự cân bằng giữa nội dung và phong cách: Khó khăn trong việc dung hòa giữa yêu cầu bảo toàn ngữ nghĩa nguyên bản của ảnh nội dung và mức độ biểu đạt phong cách nghệ thuật tham chiếu.
• Thiếu hụt chỉ số đánh giá khách quan: Khác với các bài toán phân loại hay phân đoạn có nhãn chuẩn (ground-truth), ảnh nghệ thuật phụ thuộc vào cảm nhận thị giác chủ quan của con người, khiến việc lượng hóa chất lượng gặp nhiều rào cản.
• Sự thiếu sót của bộ dữ liệu quy mô lớn mang tính bao quát: Không gian dữ liệu mở quá lớn gây khó khăn cho việc kiểm soát huấn luyện, buộc nghiên cứu phải khoanh vùng dữ liệu đặc thù.
• Yêu cầu tài nguyên phần cứng lớn: Các mô hình học sâu sinh ảnh đòi hỏi năng lực tính toán cao cho cả quá trình huấn luyện lẫn vận hành thực tế.

Mục tiêu nghiên cứu của đề tài gồm 3 nội dung chính:

1. Khảo sát và hệ thống hóa các kiến thức nền tảng, nghiên cứu liên quan đến mạng nơ-ron học sâu phục vụ bài toán chuyển đổi phong cách ảnh.
2. Xây dựng mô hình học sâu chuyển hóa phong cách ảnh dựa trên câu mô tả tự nhiên kết hợp khai thác lớp ngữ nghĩa cục bộ (mô hình ISTCS).
3. Thiết kế và hiện thực hóa hệ thống ứng dụng minh họa nhằm phục vụ việc kiểm thử, tương tác trực quan với mô hình đề xuất.

Về đối tượng và phạm vi nghiên cứu, đề tài giới hạn tập trung vào miền dữ liệu ảnh chân dung người. Đây là đối tượng xuất hiện phổ biến trong đời sống, có cấu trúc ngữ nghĩa rõ ràng, tạo điều kiện thuận lợi cho việc kiểm soát chất lượng tạo sinh và đánh giá hiệu quả cục bộ trên từng thành phần khuôn mặt.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng nghiên cứu dựa trên các nhóm lý thuyết và mô hình chuyên ngành:

• Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Cơ chế trích xuất đặc trưng không gian thông qua các lớp tích chập (Convolutional Layers) với các tham số kích thước cửa sổ (kernel size) và bước nhảy (stride); các lớp kích hoạt phi tuyến (Sigmoid, ReLU, Tanh, LeakyReLU); các lớp chuẩn hóa (Normalization Layers); các lớp chiết xuất (Pooling Layers gồm Max Pooling, Average Pooling); và các lớp kết nối đầy đủ (Fully Connected Layers).
• Các hướng tiếp cận chuyển đổi phong cách ảnh:
  • Phương pháp sử dụng đặc trưng cấp thấp: Giải thuật Non-Photorealistic Rendering (NPR), kết xuất dựa trên nét vẽ (Stroke-Based Rendering - SBR), kết xuất theo vùng chọn (Region-Based), kỹ thuật ánh xạ mẫu Image Analogies, và các bộ lọc xử lý ảnh (bộ lọc song phương Bilateral, bộ lọc Gaussian).
  • Phương pháp sử dụng đặc trưng cấp cao với tối ưu hóa trực tuyến: Mô hình Neural Style Transfer (NST) của Gatys và cộng sự (2016), khai thác mạng VGG-19 tiền huấn luyện trên ImageNet để trích xuất ma trận đặc trưng nội dung và ma trận Gram cho phong cách; hàm mất mát kết hợp độ lỗi nội dung ($L_{content}$) và độ lỗi phong cách ($L_{style}$) thông qua các hệ số cân bằng $\alpha, \beta$; các biến thể cải tiến như Maximum Mean Discrepancy (MMD) của Li và cộng sự (2017), hàm mất mát histogram của Risser và khoảng cách Euclide với bộ lọc Laplacian của Sanakoyeu.
  • Phương pháp tối ưu hóa ngoại tuyến (mạng truyền thẳng): Kiến trúc AdaIN (Adaptive Instance Normalization) của Huang và cộng sự (2017), căn chỉnh giá trị trung bình và độ lệch chuẩn của đặc trưng nội dung theo đặc trưng phong cách trên kiến trúc Encoder-Decoder; phương pháp làm trắng và tô màu WCT (Whitening and Coloring Transform) của Li và cộng sự.
• Phân đoạn ngữ nghĩa hình ảnh (Semantic Image Segmentation): Mạng tích chập toàn phần FCNs của Long và cộng sự (2015) sử dụng tích chập $1 \times 1$; kiến trúc U-net của Ronneberger và cộng sự (2015) kết hợp mạng Encoder-Decoder với các đường nối tắt (skip-connections) để bảo toàn chi tiết không gian.
• Tạo sinh và biểu diễn đa phương thức: Mạng đối kháng tạo sinh GAN của Goodfellow và cộng sự (2014) với cấu trúc cạnh tranh giữa Generator và Discriminator theo hàm mục tiêu Minimax; kỹ thuật học không mẫu (Zero-shot Learning) thông qua không gian nhúng thuộc tính; mô hình CLIP (Contrastive Language-Image Pre-training) của OpenAI và mô hình DALL-E.

Phương pháp nghiên cứu thực nghiệm của đề tài là xây dựng mô hình quy trình ISTCS gồm 3 giai đoạn xử lý kế tiếp nhau:

1. Giai đoạn trích xuất vùng ảnh quan tâm: Sử dụng mô hình phân đoạn ngữ nghĩa để bóc tách các vùng cục bộ trên khuôn mặt (tóc, mắt, mũi, miệng, da) từ ảnh chân dung đầu vào.
2. Giai đoạn cách điệu vùng ảnh: Trích xuất vector ngữ nghĩa từ câu văn mô tả phong cách thông qua mô hình tiền huấn luyện CLIP text encoder; đưa ảnh phân đoạn vào mạng Generator (Encoder-Decoder tích hợp các khối ResBlock) để sinh đặc trưng cách điệu cục bộ theo định hướng của vector văn bản.
3. Giai đoạn hòa trộn: Sử dụng giải thuật hòa trộn Alpha Blending để tích hợp vùng ảnh đã được cách điệu trở lại ảnh chân dung gốc một cách liền mạch.

Nguồn dữ liệu thực nghiệm được nhóm nghiên cứu tự thu thập và tiền xử lý chuyên biệt cho bài toán, bao gồm hơn 70.000 ảnh chân dung người.

Thiết kế và triển khai hệ thống

Nhằm hiện thực hóa kết quả nghiên cứu, khóa luận tiến hành thiết kế kiến trúc kỹ thuật và xây dựng ứng dụng web tương tác hoàn chỉnh.

Về mặt kiến trúc thuật toán, hệ thống vận hành theo chuỗi liên kết giữa các khối xử lý:

• Mô-đun trích xuất ngữ nghĩa văn bản: Sử dụng mô hình tiền huấn luyện CLIP (OpenAI) để mã hóa câu mô tả phong cách từ ngôn ngữ tự nhiên thành vector nhúng trong không gian đa phương thức.
• Mô-đun phân đoạn ngữ nghĩa: Vận dụng cấu trúc mạng U-net nhằm tạo ra mặt nạ phân đoạn (segmentation mask), xác định chính xác tọa độ các vùng giải phẫu trên khuôn mặt phục vụ chuyển đổi cục bộ.
• Mô-đun tạo sinh (Generator): Thiết kế theo dạng Encoder-Decoder, bổ sung các khối số dư (ResBlock) ở tầng giữa nhằm duy trì độ ổn định gradient và tái tạo chi tiết hình ảnh chất lượng cao.
• Mô-đun ghép ảnh (Alpha Blending): Thực hiện phép toán nội suy tuyến tính giữa các điểm ảnh của vùng cách điệu mới và ảnh nội dung gốc dựa trên kênh độ mờ alpha của mặt nạ.

Về ứng dụng thực nghiệm, nhóm tác giả xây dựng giao diện tương tác trên nền tảng web với các thông số kỹ thuật được đặc tả:

• Tác nhân (Actor): Người dùng cuối (User).
• Các chức năng hệ thống: Tải lên ảnh chân dung nội dung; nhập chuỗi văn bản mô tả phong cách nghệ thuật; chọn lựa vùng tác động ngữ nghĩa (toàn phần hoặc cục bộ theo từng bộ phận); kích hoạt tiến trình xử lý tạo sinh; xem trước và tải xuống ảnh kết quả.
• Kịch bản vận hành: Hệ thống định nghĩa các luồng sự kiện chính (nhận dữ liệu hợp lệ, đưa vào hàng đợi tính toán, phản hồi hình ảnh sinh ra) và các luồng sự kiện phụ (xử lý ngoại lệ dữ liệu đầu vào không đúng định dạng, câu mô tả rỗng hoặc lỗi kết nối xử lý).

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương mở đầu phân tích bối cảnh phát triển của các phương thức truyền tải đa phương tiện, nêu bật giá trị văn hóa - nghệ thuật của hình ảnh và đặt vấn đề về sự khan hiếm của tài năng hội họa trong lịch sử. Tác giả dẫn chứng nhận định của Hofstadter về các yếu tố tạo nên phong cách danh họa (Picasso, Van Gogh) như kết cấu, màu sắc, hoa văn, từ đó làm rõ sự cần thiết của bài toán Style Transfer. Chương 1 chỉ rõ điểm nghẽn của các nghiên cứu tiền nhiệm khi phụ thuộc vào ảnh phong cách tham chiếu, xác định mục tiêu xây dựng giải pháp ISTCS dựa trên câu mô tả tự nhiên, giới hạn phạm vi nghiên cứu ở miền ảnh chân dung và tóm lược 3 đóng góp chính của đề tài.

Chương 2: Các nghiên cứu liên quan

Chương 2 cung cấp hệ thống cơ sở lý thuyết toàn diện phục vụ đề tài, chia thành 4 mảng kiến thức lớn:

• Mạng nơ-ron tích chập (CNN): Bản chất toán học của các lớp tích chập, các hàm phi tuyến, lớp chuẩn hóa, cơ chế giảm kích thước của lớp Pooling và lớp phân loại Fully Connected.
• Bài toán chuyển hóa phong cách ảnh: Khảo sát hai nhánh tiếp cận chính gồm nhánh đặc trưng cấp thấp (NPR, SBR, Region-Based, Image Analogies, bộ lọc ảnh) và nhánh đặc trưng cấp cao qua mạng nơ-ron sâu. Tại nhánh cấp cao, tác giả phân tích chi tiết cơ chế ma trận Gram và hàm mất mát của NST (Gatys et al.), kỹ thuật thích ứng miền qua độ đo MMD, cùng giải thuật AdaIN của Huang et al. và kỹ thuật làm trắng - tô màu WCT của Li et al.
• Bài toán phân đoạn ngữ nghĩa ảnh: Phân biệt Semantic Segmentation và Instance Segmentation; trình bày nguyên lý hoạt động của kiến trúc FCNs (Long et al.) và U-net (Ronneberger et al.) với các đường nối tắt skip-connections.
• Tạo sinh và phân loại ảnh từ văn bản: Nguyên lý trò chơi Minimax trong mạng GAN (Goodfellow et al.) cùng các biến thể LSGAN, CycleGAN, cGAN; bản chất kỹ thuật Zero-shot Learning qua mô hình nhúng và GAN; cùng các công trình đa phương thức tiêu biểu như CLIP và DALL-E của OpenAI.

Chương 3: Phương pháp đề xuất

Chương 3 trình bày chi tiết cấu trúc kỹ thuật của giải pháp ISTCS qua 3 giai đoạn xử lý chính:

• Giai đoạn tìm vùng ảnh: Vận dụng mô hình phân đoạn ngữ nghĩa ảnh nhằm xác định chính xác ranh giới các vùng thành phần quan tâm trên ảnh chân dung ban đầu (mắt, mũi, miệng, tóc...).
• Giai đoạn cách điệu vùng ảnh: Sử dụng mô hình pretrained CLIP để chuyển đổi câu văn mô tả phong cách thành vector thuộc tính ngữ nghĩa; thiết kế mạng Generator theo mô hình Encoder-Decoder tích hợp các khối ResBlock nhằm tiếp nhận ảnh phân đoạn và vector CLIP để sinh ảnh được cách điệu cục bộ.
• Giai đoạn pha trộn các lớp ảnh: Sử dụng giải thuật hòa trộn Alpha Blending để tích hợp ảnh vùng được cách điệu vào ảnh nội dung gốc thông qua mặt nạ phân đoạn, đảm bảo sự chuyển tiếp tự nhiên giữa các vùng biên.

Chương 4: Thực nghiệm và Đánh giá

Chương 4 thiết lập môi trường kiểm thử cho mô hình ISTCS:

• Bộ dữ liệu thực nghiệm: Xây dựng và xử lý tập dữ liệu chân dung người riêng biệt với quy mô hơn 70.000 hình ảnh.
• Mô hình đối chuẩn: Thực hiện so sánh hiệu năng trực tiếp với hai mô hình tiên tiến cùng hướng tiếp cận dựa trên mô tả văn bản là CLIPStyler và Text2Live.
• Hệ thống chỉ số đánh giá: Đo lường định lượng thông qua chỉ số khoảng cách Fréchet Inception Distance (FID), chỉ số tương đồng cấu trúc (SSIM), tỷ số tín hiệu cực đại trên nhiễu (PSNR) và tốc độ thực thi (thời gian tính toán).
• Khảo sát người dùng (User Study): Thu thập ý kiến đánh giá cảm quan thực tế từ người dùng nhằm lượng hóa chất lượng thẩm mỹ và mức độ bám sát nội dung mô tả của ảnh sinh ra.
• Đánh giá thành phần (Ablation Study): Thực nghiệm bóc tách để kiểm chứng vai trò của từng thành phần cấu trúc mạng trong việc duy trì ngữ nghĩa và áp dụng phong cách.

Chương 5: Xây dựng ứng dụng minh hoạ thực nghiệm

Chương 5 mô tả quy trình phát triển hệ thống phần mềm minh họa phục vụ tương tác:

• Danh sách tác nhân: Xác định người dùng cuối (User) là tác nhân tương tác trực tiếp với giao diện.
• Danh mục chức năng: Hệ thống hóa các chức năng tải ảnh chân dung đầu vào, nhập câu văn mô tả phong cách, tùy chọn vùng ngữ nghĩa tác động, khởi chạy mô hình xử lý và hiển thị/tải về ảnh kết quả.
• Đặc tả chức năng: Chi tiết hóa luồng sự kiện chính (Main Flow) và luồng sự kiện phụ (Alternative Flow) cho từng thao tác của người dùng.
• Mô tả giao diện hệ thống: Trực quan hóa cấu trúc bố cục trang web, các bảng điều khiển tham số và khung hiển thị so sánh giữa ảnh gốc cùng ảnh kết quả chuyển đổi phong cách.

Chương 6: Kết luận và Hướng phát triển

Chương tổng kết toàn bộ các kết quả đạt được của đề tài, đánh giá mức độ hoàn thành so với mục tiêu ban đầu và chỉ ra các hạn chế cố hữu liên quan đến tài nguyên cũng như phạm vi dữ liệu, từ đó đề ra các hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Khóa luận hoàn thành việc nghiên cứu, triển khai và đánh giá mô hình ISTCS với các kết quả cụ thể:

• Xây dựng thành công quy trình ISTCS: Tích hợp hiệu quả giữa kỹ thuật phân đoạn ngữ nghĩa ảnh cục bộ, mô hình trích xuất ngôn ngữ CLIP và mạng Generator cấu trúc Encoder-Decoder kết hợp ResBlock, giải quyết bài toán chuyển phong cách ảnh chân dung dựa hoàn toàn vào câu mô tả văn bản tự nhiên.
• Tạo lập bộ dữ liệu chuyên biệt: Xây dựng hoàn chỉnh tập dữ liệu ảnh chân dung người với quy mô hơn 70.000 mẫu phục vụ huấn luyện và kiểm thử mô hình.
• Đánh giá thực nghiệm toàn diện: Thực hiện đo kiểm so sánh đa chiều giữa mô hình đề xuất ISTCS với hai mô hình đối sánh CLIPStyler và Text2Live.

Bảng tổng hợp các tiêu chí và phương pháp đánh giá được thiết lập trong khóa luận:

Nhóm đánh giá	Chỉ số / Phương pháp	Mục đích đánh giá	Đối tượng so sánh
Đo lường định lượng	FID (Fréchet Inception Distance)	Đo lường khoảng cách phân phối giữa tập ảnh sinh ra và tập ảnh thật	ISTCS so với CLIPStyler, Text2Live
Đo lường định lượng	SSIM (Structural Similarity Index)	Đánh giá mức độ bảo toàn cấu trúc nội dung không gian của ảnh gốc	ISTCS so với CLIPStyler, Text2Live
Đo lường định lượng	PSNR (Peak Signal-to-Noise Ratio)	Đo lường tỷ số tín hiệu cực đại trên nhiễu giữa ảnh gốc và ảnh kết quả	ISTCS so với CLIPStyler, Text2Live
Đo lường hiệu năng	Tốc độ thực thi (thời gian tính toán)	So sánh thời gian xử lý trung bình để sinh ra một hình ảnh hoàn chỉnh	ISTCS so với CLIPStyler, Text2Live
Đo lường định tính	Khảo sát người dùng (User Study)	Lượng hóa mức độ hài lòng về tính thẩm mỹ và độ tương đồng ngữ nghĩa văn bản	Thu thập ý kiến đánh giá trực tiếp
Đánh giá nội tại	Đánh giá thành phần (Ablation Study)	Phân tích đóng góp độc lập của mạng phân đoạn, CLIP và khối ResBlock	Các biến thể cấu trúc của ISTCS

• Đóng góp khoa học và thực tiễn tự nêu:
  1. Loại bỏ hoàn toàn sự phụ thuộc vào hình ảnh phong cách mẫu, giúp người dùng tiết kiệm thời gian chuẩn bị dữ liệu bằng cách điều khiển chuyển đổi phong cách trực tiếp qua câu mô tả tự nhiên.
  2. Khai thác lớp ngữ nghĩa cục bộ thông qua bài toán phân đoạn, cho phép kiểm soát việc áp dụng phong cách nghệ thuật lên từng vùng thành phần cụ thể trên khuôn mặt mà không làm ảnh hưởng đến các vùng lân cận.
  3. Hiện thực hóa mô hình thành ứng dụng web trực quan, có đầy đủ đặc tả tác nhân, chức năng và giao diện tương tác, chứng minh tính khả thi trong triển khai thực tế.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận nêu rõ các hạn chế còn tồn đọng trong quá trình nghiên cứu:

• Phạm vi dữ liệu hẹp: Mô hình mới chỉ tập trung và vận hành ổn định trên tập dữ liệu ảnh chân dung người, chưa mở rộng kiểm chứng trên các miền dữ liệu tổng quát khác như phong cảnh, động vật hay kiến trúc đô thị.
• Sự phụ thuộc vào chất lượng phân đoạn: Độ chính xác của ảnh kết quả cục bộ phụ thuộc chặt chẽ vào mặt nạ do mạng phân đoạn tạo ra; nếu bước phân đoạn bị nhòe hoặc sai lệch biên, kết quả hòa trộn Alpha Blending sẽ xuất hiện lỗi thị giác.
• Gánh nặng tài nguyên phần cứng: Việc tích hợp nhiều mô hình học sâu (U-net, pre-trained CLIP, mạng Generator) đòi hỏi năng lực tính toán và dung lượng bộ nhớ lớn trong cả pha huấn luyện lẫn suy luận.

Các hướng phát triển tiếp theo được tác giả vạch ra:

• Mở rộng phạm vi thử nghiệm của mô hình sang nhiều chủ đề hình ảnh đa dạng ngoài chân dung người.
• Nghiên cứu tối ưu hóa kiến trúc mạng nhằm giảm bớt độ phức tạp tính toán, hướng tới khả năng xử lý thời gian thực trên các thiết bị cấu hình thông thường hoặc thiết bị di động.
• Cải tiến thuật toán pha trộn và khám phá các hàm mất mát mới nhằm tăng cường độ sắc nét và tính hài hòa tự nhiên tại các đường biên phân đoạn cục bộ.

Giá trị tham khảo

Công trình khóa luận mang lại giá trị tham khảo học thuật và kỹ thuật thực tế cho các nhóm đối tượng:

• Sinh viên và học viên chuyên ngành: Phù hợp cho sinh viên ngành Khoa học Máy tính, Công nghệ Thông tin, Trí tuệ Nhân tạo đang thực hiện các đề tài tốt nghiệp hoặc nghiên cứu chuyên sâu về Thị giác Máy tính (Computer Vision), Xử lý Ngôn ngữ Tự nhiên (NLP) và các hệ thống học sâu đa phương thức (Multimodal Deep Learning).
• Người làm nghiên cứu về Style Transfer: Cung cấp tài liệu tổng quan hệ thống hóa lịch sử phát triển của bài toán chuyển đổi phong cách ảnh từ các phương pháp xử lý ảnh truyền thống (NPR, SBR, ma trận Gram, AdaIN) đến các kỹ thuật hiện đại điều khiển bằng văn bản (CLIP, Zero-shot Learning).
• Các phần nội dung đáng tham khảo nhất:
  • Chương 2: Cung cấp hệ thống lý thuyết chuẩn mực và công thức toán học chặt chẽ về mạng tích chập, các hàm mất mát ngữ nghĩa - phong cách của Gatys, cùng cơ chế hoạt động của AdaIN và U-net.
  • Chương 3 & 4: Cung cấp quy trình kết hợp kiến trúc mô hình giữa mạng phân đoạn ngữ nghĩa và mô hình ngôn ngữ thị giác CLIP; phương pháp thiết kế bộ dữ liệu quy mô lớn (>70.000 mẫu) và khung đánh giá phối hợp đa chỉ số định lượng (FID, SSIM, PSNR) với đánh giá thành phần và khảo sát người dùng.
  • Chương 5: Tài liệu tham khảo hữu ích về kỹ thuật công nghệ phần mềm trong việc đặc tả chức năng, luồng sự kiện và thiết kế giao diện chuyển giao mô hình AI thành ứng dụng web người dùng cuối.

Câu hỏi thường gặp

Khóa luận giải quyết bất cập căn bản nào của các phương pháp chuyển đổi phong cách ảnh truyền thống như NST hay AdaIN? Các phương pháp truyền thống như NST (Gatys et al.) hay AdaIN (Huang et al.) bắt buộc người dùng phải cung cấp một cặp ảnh đầu vào gồm ảnh nội dung và ảnh phong cách tham chiếu. Khóa luận giải quyết trở ngại này bằng cách cho phép người dùng mô tả phong cách bằng một câu ngôn ngữ tự nhiên, loại bỏ hoàn toàn việc phải tìm kiếm ảnh mẫu có sẵn vốn mất nhiều thời gian và khó khớp với trí tưởng tượng.

Mô hình CLIP và kiến trúc U-net đóng vai trò gì trong phương pháp ISTCS? Mô hình U-net đóng vai trò phân đoạn ngữ nghĩa hình ảnh nhằm xác định chính xác vị trí và tạo mặt nạ cho các vùng giải phẫu cục bộ trên ảnh chân dung (như tóc, mắt, mũi, miệng). Trong khi đó, mô hình tiền huấn luyện CLIP của OpenAI đóng vai trò trích xuất vector đặc trưng ngữ nghĩa từ câu văn mô tả phong cách, định hướng cho mạng Generator thực hiện cách điệu hóa vùng ảnh mục tiêu theo đúng nội dung văn bản.

Bộ dữ liệu thực nghiệm trong đề tài được xây dựng như thế nào và có quy mô ra sao? Nhóm tác giả đã tự xây dựng một bộ dữ liệu riêng biệt phục vụ đề tài với quy mô hơn 70.000 ảnh chân dung người. Dữ liệu tập trung hoàn toàn vào khuôn mặt người nhằm kiểm soát tốt không gian đặc trưng và hỗ trợ đánh giá chi tiết quá trình chuyển đổi phong cách trên từng vùng cục bộ.

Hiệu năng của mô hình ISTCS được đối sánh với các công trình nào và qua những chỉ số kỹ thuật nào? Mô hình ISTCS được so sánh trực tiếp với hai phương pháp tiên tiến cùng phân khúc là CLIPStyler và Text2Live. Các tiêu chí đánh giá bao gồm 3 chỉ số định lượng hình ảnh là khoảng cách FID, độ tương đồng cấu trúc SSIM, tỷ số tín hiệu cực đại trên nhiễu PSNR; chỉ số đo lường hiệu năng tốc độ thực thi; cùng kết quả khảo sát cảm quan người dùng (User Study).

Ứng dụng web xây dựng ở Chương 5 hỗ trợ những tương tác cụ thể nào cho người dùng? Hệ thống cho phép người dùng tải ảnh chân dung lên giao diện, nhập câu văn mô tả phong cách mong muốn, lựa chọn vùng ngữ nghĩa cần tác động (cục bộ hoặc toàn phần), thực thi mô hình sinh ảnh và xem trước cũng như tải ảnh kết quả về thiết bị thông qua các kịch bản sự kiện chính và phụ được kiểm soát lỗi đầy đủ.

Kết luận

Khóa luận của hai sinh viên Nguyễn Ngọc Lan Phương và Cao Hưng Phú đã giải quyết thành công bài toán chuyển đổi phong cách ảnh chân dung dựa trên câu mô tả tự nhiên thông qua mô hình đề xuất ISTCS. Bằng việc kết hợp hài hòa giữa kỹ thuật phân đoạn ngữ nghĩa U-net, mô hình đa phương thức CLIP và giải thuật hòa trộn Alpha Blending, nghiên cứu đã khắc phục triệt để sự phụ thuộc vào hình ảnh phong cách mẫu của các phương pháp truyền thống. Với bộ dữ liệu hơn 70.000 ảnh chân dung tự xây dựng, quy trình thực nghiệm đa tiêu chí (FID, SSIM, PSNR) cùng ứng dụng web minh họa hoàn chỉnh, công trình cung cấp nguồn tài liệu kỹ thuật có giá trị thực tiễn cao cho lĩnh vực xử lý ảnh và thị giác máy tính.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu. Phần này giải thích về các thông tin chung của đề tài như động lực, bối cảnh, cũng như thách thức,. của bài toán chủ đề e Chương 2: Các kiến thức, nghiên cứu liên quan đến đề tài. Chương này sẽ trình bày tổng quan các kiến thức cũng như các nghiên cứu liên quan đến khoá luận e Chương 3: Phương pháp đề xuất.

Chương này sẽ mô tả chi tiết về cách thức của mô hình của chúng tôi hoạt động để sinh ảnh dựa trên câu mô tả e Chương 4: Thực nghiệm và Đánh giá. Trình bày các kết quả thí nghiệm, kết quả đánh giá mô hình dựa trên khảo sát, làm thí nghiệm và cuối cùng là minh hoạ các ảnh cách điệu vốn là kết quả của mô hình đề xuất e Chương 5: Xây dựng ứng dụng minh hoa và thực nghiệm. Chương nay trình bày tổng quát quá trình chúng tôi xây dựng hệ thống giúp hệ thống dễ dàng tương tác với mô hình đề xuất e Kết luận và Hướng phát triển. Phan này tổng kết các công việc của chúng tôi đối với đề tài cũng như những kế hoạch trong tương lai mà chúng tôi hướng đến để cải thiện phương pháp đề xuất Chương 2 Các nghiên cứu liên quan 2.1 Kiến thức tong quan về mạng CNN Trong phần này, chúng tôi sẽ trình bày tổng quan các kiến thức nền tảng cần phải có để tiến hành công việv nghiên cứu về bài toán chuyển hoá phong cách anh dưa trên câu mô ta tự nhiên như mạng tích chập, mô hình mang học sâu,.1 Tổng quan về Deep Learning Deep Learning hay còn gọi là kỹ thuật Học sâu, là một nhánh kỹ thuật trong lĩnh vực máy học rộng lón.

Sỡ dĩ được gọi là học "sâu" vì deep leaning ám chỉ việc sử dụng mạng lưới thần kinh gồm nhiều lớp để phân tích dữ liệu mô phỏng lại cách hoạt động não bộ của con người khi đối diện với một vấn đề cần phải giải quyết. Càng nhiều dữ liệu, con người chúng ta càng xử lý thông tin tốt hơn, tương tự vậy, các mô hình deep learning sẽ cải thiện được hiệu suất nếu có thể tiếp cận được với nhiều dữ liệu liên quan tới bài toán. Cho đến hiện nay, Deep Learning đã chứng tỏ được sự hiệu quả của mình thông qua loạt các thành tựu trong cuộc sống, từ các lĩnh vực như xử lý hình 9 ảnh, ứng dụng trong các hệ thống kiểm soát phương tiện giao thông và thậm chí cả y học và môi trường giáo dục hàng ngày.2 Tổng quan về Convolutional Neural Network Convolutional Neural Network (CNN) hay Mang no-ron tích chập là một kiến trúc mang hoc sâu. Về cơ ban, CNN sẽ gồm các lớp (layers) được sắp xếp theo kiến trúc phân tầng, tương ứng với mỗi lớp sẽ có các đơn vị nơ-ron thần kinh (nodes).

Các nodes trên mỗi layer sẽ được kết nối với các nodes ở layer trước đó. Chính vì kiến trúc được cấu tạo nhằm để xử lý thông tin theo từng lớp có kiên kết chặt chẽ với nhau (minh hoạ Hình 2.1), CNN được ứng dụng rat nhiều trong việc phân tích thong tin. Ứng dụng phổ biến nhất của CNN chủ yếu là ở các toán liên quan đến hình ảnh như nhận dạng khuôn mặt, vật thể từ hình ảnh, video clips,. Phần tiếp theo sẽ trình bay chi tiết cu thể về các thành phần cấu tạo của một mạng CNN cơ bản.

y Input Convolutional+ Activation Layers Pooling Layers Convolutional+ Activation Layers Pvt Pooling Layers Convolutional+ Activation Layers Pooling Layers Fully Connected Output Layers Hình 2.1: Minh hoa kiến trúc của một mang CNN cơ bản. 10 Các lớp tích chập - Convolutional Layers Một thành phần quan trọng không thể thiếu của một mạng CNN đó chính là các lớp tích chập (convolutional layers). Các lớp này có nhiệm vụ thực hiện trích xuất các đặc điểm đặc trưng của dữ liệu đầu vào và biểu diễn dưới dạng ma trận gọi feature maps. Để tìm ra các features maps, convolution layers sử dung một khung kênh cửa số (kernel) để trượt trên toàn bộ dữ liệu đầu vào, tại mỗi vùng được cửa số kernel trượt tới, một phép nhân tích chập sẽ được thực hiện để tìm ra ma trận biểu diễn thông tin dữ liệu gốc (Hình 2.

Ta có thể điều chỉnh kích thuớc (kernel_ size) và bước nhảy của kênh cửa số nay (stride). Cần lưu ý rằng, kích thước của cửa số càng nhỏ thì thông tin nội dung của đặc điểm được trích xuất càng chỉ tiết và cụ thể, tuy nhiên cũng có thể làm giảm bớt dữ kiện về không gian của đữ liệu gốc đầu vào, vì lẽ đó, việc lựa chọn kernel_ size và stride phụ thuộc nhiều vào yêu cầu của bài toán ta đang hướng đến. Các lớp kích hoạt phi tuyến - Activation Non-linear Layers Về bản chất, các lớp tích chập thực chất là các phép biến đổi tuyến tính. Việc chỉ sử dụng một loạt các lớp biết đổi tuyến tính không thực sự có tác dụng đối với các bài toán đặc biệt yêu cầu chúng ta cần khám phá được những điểm phức tạp của dữ liệu, như các bài toán mà dữ liệu không có dạng tuyến tính như dự đoán cổ phiếu, phân loại hình ảnh đầu vào.

Vì lí do đó, sử dụng kết nối phi tuyến vào các mạng học sâu sau mỗi lớp tích chập là cần thiết. Một số loại hàm kích hoạt phi tuyến tiêu biểu nhất hiện nay như là hàm Sigmoid (hàm này nhận dữ liệu đầu vào là số thực và trả về kết quả nằm trong khoảng từ 0 đến 1 nên thường được dùng để biểu trưng cho xác suất trong một số bài toán), hàm ReLu (hàm này đơn giản chi lọc các giá trị âm, do phép tính toán đơn giản 11 và nhanh, độ chính xác cao nên hàm ReLu được sử dụng rộng rãi trong những nằm gần đây) và còn một số hàm kích hoạt khác nữa như Tanh, LeakyReLu, MMaxout,. Các lớp chuẩn hoá - Normalization Layers Lớp chuẩn hoá có tác dụng chuẩn hoá giá trị pixels về một khoảng nhất định nào đó. Tác dụng của lớp chuẩn hoá được thể hiện rõ trong việc làm ổn định, tránh trường hợp có sự biến thiên mạnh mẽ trong quá trình huấn luyện mạng học sâu, giúp tối ưu hoá được đầu ra của mạng.

Các lớp chiết xuất - Pooling Layers Các lớp chiết xuất cũng đóng một vai trò vô cùng quan trọng không thể thiếu trong một mang CNN cơ bản, tác dụng của các lớp này chính là làm giảm chi phí tính toán của mạng. Các lớp chiết xuất sẽ xét trên một vùng kênh cục bộ nó tự quy định trước đó để tính toán, tổng hợp và làm giản lược các thông tin của ma trận dau ra của lớp trước. Có thể kế đến các cách chiến xuất thông tin ma trận tiêu biểu sau đây: max pooling (tổng hợp thông tin ma trận bằng cách lấy giá trị lớn nhất trong vùng lân cận đang xét), average pooling (tổng hợp thông tin ma trận bằng cách lấy giá trị trung bình trong vùng lân cận đang xét),. Vùng đang được xét có kích thích càng lớn và bước nhảy càng lớn thì phạm vi ảnh hưởng càng lớn và ngược lại.

Các lớp kết nối đầy đủ - Fully Connected Layers Đây là các lớp ở vị trí cuối cùng nhưng không thể thiếu trong một mạng học sâu. Các bản đồ sau khi được trích xuất ở các lớp tích chập trước đó sẽ được 12 làm duõi (flatten) trước khi được đưa vào các lớp kết nối đầy đủ để thực hiện việc phân loại lớp, gán nhãn. Các lớp kết nối đầy đủ có hàm softmax ở cuối để trả về kết quả là một vector có kích thước bằng số lớp trong tập dữ liệu gốc ban đầu, chứa xác suất biểu thị khả năng đối tượng đang xét thuộc lớp nhãn nào là cao nhất.2 Bài toán Chuyển hoá phong cách ảnh 2.1 Giới thiệu về bài toán Trong những năm gần đây, trí tuệ nhân tạo đã có cho mình những bước tiến nhảy vọt nhờ vào sự ra đời của loạt công nghệ tiên tiến. Giờ đây, máy móc không những có thể mô phỏng lại những kỹ năng cơ bản của con người như nhận diện và phân loại đối tượng, đọc và hiểu văn ban,.

mà còn có khả năng đặc biệt như sáng tạo ra các sản phẩm, đòi hỏi trí tưởng tượng, tính chuyên môn cao như các tác phẩm hội hoạ, sáng tác ra các bài nhac,. Điển hình phải kể đến lĩnh vực Thị giác Máy tính (Computer Vision), các nghiên cứu trong lĩnh vực này đã tái hiện lại thành công các chức năng phức tạp của hệ thống cũng như tư duy thị giác của con người. Chúng tôi sẽ tập trung vào khả năng sáng tạo ra nội dung của máy móc thông qua bài toán Như đã đề cập ở trên, chúng tôi sẽ tập trung vào khả năng sáng tạo ra nội dung của máy móc thông qua việc trình bày chi tiết về các công trình nghiên cứu đã có các đóng góp chính cho bài toán chuyển hoá phong cách ảnh. Để có cái nhìn tổng quan, các nghiên cứu sẽ được chia thành hai phần riêng biệt dựa vào phương pháp đề xuất cũng như các đóng góp chính.2 Hướng tiếp cận sử dụng đặc trưng ảnh cấp thấp Dựa trên hiểu biết của chúng tôi, mặc dù được áp dụng rộng rãi thành các các ứng dụng trong cuộc sống, chuyển hoá đặc trưng ảnh với đa dạng phong cách khác nhau vẫn là một đề tài vô cùng thách thức và có nhiều khó khăn.

Trong khoảng 20 năm, kể từ khi bài toán được phát biểu lần đầu tiên, hàng loại các đề xuất tiêu biểu ra đời, trong đó các nghiên cứu tiên phong giải quyết bài toán chuyển hoá phong cách ảnh phải kể đến nghiên cứu sử dụng giải thuật Numerous Non-Photorealistic Rendering (NPR) để tạo nên các hình ảnh thi giác mang tính nghệ thuật. Kỹ thuật này chủ yếu được vận dụng nên các hình ảnh đầu vào trong không gian hai chiều 2D với tên gọi là Image-based Artistic Rendering (IB-AR). Dựa trên cùng ý tưởng với IB-AR của Kyprianidis và cộng sự, hàng loại các nghiên cứu ra đời tiếp theo, chúng tôi xin chia thành bốn nhóm đóng góp chính như sau: Phương pháp kết xuất hình ảnh dựa trên đường viền Stroke-based redering hay còn gọi là SBR đề xuất quá trình thay thế dần các đặc trưng thị giác cơ bản của bức ảnh nội dung kỹ thuật số ban đầu bằng các đặc trưng nổi bật của bức ảnh với phong cách cụ thể (ví dụ như đường viền, nét vẽ màu, nét vẽ gạch nối, sọc ca-ro,.) cho đến khi tạo ra một hình ảnh kết quả có nội dung của ban đầu nhưng thừa hưởng phong cách kết cấu, hoa văn của phong cách tham chiếu. Để làm đợc điều đó, một hàm mục tiêu được thiết kế để hướng dẫn vị trí các nét được phong cách được áp dụng bằng thuật toán tham lam hoặc đơn giản là một vòng lặp.