Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Trí tuệ nhân tạo (AI) và Thị giác máy tính (Computer Vision), bài toán Tạo sinh ảnh (Image Generation) và Chuyển đổi phong cách (Style Transfer) đã đạt được nhiều bước tiến đáng kể với sự xuất hiện của các kiến trúc như Mạng đối nghịch tạo sinh (Generative Adversarial Networks - GANs), Mạng nơ-ron truyền phong cách (Neural Style Transfer), Bộ tự mã hóa biến phân (Variational Autoencoders - VAEs) và Mô hình xác suất khuếch tán (Diffusion Models). Tuy nhiên, phần lớn các mô hình tạo sinh truyền thống vận hành trực tiếp trên không gian điểm ảnh (pixel space), dẫn đến khối lượng tính toán khổng lồ, thời gian huấn luyện kéo dài và đòi hỏi hạ tầng tài nguyên phần cứng vượt quá khả năng tiếp cận của các nghiên cứu quy mô vừa và nhỏ. Để giải quyết nút thắt này, mô hình Khuếch tán trên không gian tiềm ẩn (Latent Diffusion Models - LDMs) được giới thiệu nhằm chuyển đổi quá trình khuếch tán sang không gian tiềm ẩn có số chiều thấp hơn, giúp giảm thiểu đáng kể chi phí tính toán mà vẫn đảm bảo độ phân giải và chất lượng hình ảnh tổng hợp.

Song song với bước tiến kỹ thuật, việc bảo tồn và lan tỏa các giá trị văn hóa truyền thống của Việt Nam đang đối mặt với nguy cơ mai một trong kỷ nguyên số. Tranh dân gian Việt Nam, tiêu biểu là tranh Đông Hồ và tranh Sơn Mài, mang đậm bản sắc dân tộc qua đường nét, chất liệu và đề tài sinh hoạt làng quê. Xuất phát từ bối cảnh đó, khóa luận đặt vấn đề: Ứng dụng mô hình tạo sinh hình ảnh tiên tiến để tái tạo và biến đổi các hình ảnh đời thực sang phong cách nghệ thuật tranh dân gian Việt Nam, hỗ trợ cộng đồng sáng tạo nghệ thuật và đưa di sản truyền thống tiếp cận gần hơn với công chúng.

Về mục tiêu và nhiệm vụ nghiên cứu, tác giả xác định ba nhiệm vụ cốt lõi:

  1. Nghiên cứu cơ sở lý thuyết, ý nghĩa toán học và cơ chế khuếch tán trong không gian tiềm ẩn của Latent Diffusion Models; khảo sát quá trình tạo sinh dựa trên sự kết hợp giữa hình ảnh mẫu và văn bản mô tả (text prompt).
  2. Xây dựng bộ dữ liệu đặc thù cho hai dòng tranh dân gian Đông Hồ và Sơn Mài; áp dụng kỹ thuật tinh chỉnh (fine-tuning) bằng phương pháp Đảo ngược văn bản (Textual Inversion) để mô hình tiếp nhận các khái niệm nghệ thuật mới.
  3. Kiểm chứng hiệu năng của mô hình qua ba tiêu chí cụ thể: (1) Khả năng vận hành với tài nguyên tính toán giới hạn; (2) Khả năng học thành công các khái niệm mới từ tập dữ liệu nhỏ; (3) Năng lực tạo sinh và biến đổi hình ảnh đạt chuẩn phong cách tranh dân gian Việt Nam.

Đối tượng nghiên cứu của đề tài là kiến trúc Latent Diffusion Models (phiên bản mã nguồn mở Stable Diffusion với bộ trọng số gốc sd-v1-4), kỹ thuật Textual Inversion, cùng hai dòng tranh dân gian Việt Nam gồm tranh Đông Hồ và tranh Sơn Mài. Về phạm vi nghiên cứu, hình ảnh đầu vào yêu cầu định dạng ảnh màu (RGB), tỷ lệ xấp xỉ 1:1 và tối ưu ở độ phân giải 512 x 512 pixel. Về ngữ nghĩa, tranh Đông Hồ tập trung vào các đối tượng dân dã nổi bật trên nền giấy điệp; tranh Sơn Mài tập trung vào cảnh vật thiên nhiên, làng quê và phố cổ. Phần văn bản điều hướng (prompt) sử dụng ngôn ngữ tiếng Anh để tương thích với bộ mã hóa ngôn ngữ tiền huấn luyện CLIP.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng nền tảng trên hệ thống lý thuyết từ các phương pháp xử lý đồ họa cổ điển đến các mô hình học sâu hiện đại:

  • Phương pháp xử lý ảnh truyền thống: Tác giả khảo sát phương pháp Kết xuất phi tả thực (Non-Photorealistic Rendering - NPR) bao gồm kỹ thuật nét vẽ (Stroke-based Rendering - SBR), kỹ thuật vùng (Region-based Rendering - RBR), và phương pháp Tương tự hình ảnh (Image Analogies) dựa trên thuật toán BestMatch để ánh xạ điểm ảnh. Các phương pháp này đòi hỏi sự can thiệp thủ công và khó tổng quát hóa sang phong cách mới.
  • Mô hình học máy tạo sinh: Tác giả phân tích lý thuyết xác suất của mô hình phân lớp $P(Y|X)$ và mô hình tạo sinh $P(X|Y)$ hoặc $P(X)$ dựa trên định lý Bayes. Khóa luận đi sâu vào cấu trúc Minimax của GANs với bộ tạo (Generator) và bộ phân biệt (Discriminator); cấu trúc VAEs với việc tối ưu hóa biên dưới bằng chứng (Evidence Lower Bound - ELBO), độ phân kỳ Kullback-Leibler (KL-Divergence) và thủ thuật tái tham số hóa (Reparameterization Trick) để giải quyết việc lan truyền ngược qua các biến ngẫu nhiên.
  • Mô hình xác suất khuếch tán khử nhiễu (DDPM): Cơ chế chuỗi Markov gồm quá trình khuếch tán thuận (Forward Process) làm suy biến dữ liệu bằng nhiễu Gaussian qua $T$ bước thời gian, và quá trình khuếch tán ngược (Reverse/Reconstruction Process) huấn luyện mạng U-Net dự đoán thành phần nhiễu $\epsilon_\theta(x_t, t)$ thông qua hàm mất mát sai số bình phương trung bình (MSE).
  • Mô hình Khuếch tán trên không gian tiềm ẩn (LDMs): Khung kiến trúc tách biệt quá trình nén cảm nhận (Perceptual Compression) thông qua bộ tự mã hóa (Autoencoder) và quá trình khuếch tán ngữ nghĩa (Semantic Diffusion). Dữ liệu điểm ảnh được nén về không gian tiềm ẩn có chiều thấp trước khi đưa vào mạng U-Net kết hợp cơ chế chú ý chéo (Cross-Attention) để tích hợp điều kiện nhúng từ bộ mã hóa CLIP.
Mô hình Cơ chế hoạt động Ưu điểm Nhược điểm chính
GANs Trò chơi đối kháng Minimax giữa Generator và Discriminator Tốc độ lấy mẫu nhanh, ảnh sắc nét Khó hội tụ, dễ sụp đổ phân phối (Mode Collapse)
VAEs Tối ưu hóa hàm ELBO thông qua bộ mã hóa và giải mã Cơ sở toán học vững chắc, học được phân phối tiềm ẩn Ảnh sinh ra có xu hướng bị mờ, không tối ưu
DDPM Chuỗi Markov khử nhiễu lặp qua nhiều bước thời gian Chất lượng ảnh cao, phân phối đa dạng Chi phí tính toán lớn, lấy mẫu chậm do chạy trên không gian pixel
LDMs Khuếch tán trong không gian tiềm ẩn kết hợp Cross-Attention Tiết kiệm tài nguyên, thời gian huấn luyện giảm, chất lượng cao Phụ thuộc vào các khối tiền huấn luyện sẵn (như CLIP)

Phương pháp nghiên cứu thực nghiệm được triển khai theo quy trình:

  1. Thu thập dữ liệu: Thu thập từ các nguồn Internet công khai bộ dữ liệu gồm 80 đến 100 hình ảnh cho mỗi dòng tranh Đông Hồ và tranh Sơn Mài.
  2. Tiền xử lý dữ liệu: Ứng dụng kỹ thuật Inpainting để chuẩn hóa kích thước các mẫu ảnh về độ phân giải chuẩn 512 x 512 pixel nhằm hạn chế méo hình. Sử dụng kỹ thuật Phát hiện đối tượng nổi bật (Salient Object Detection) để hỗ trợ tách nền.
  3. Tinh chỉnh mô hình: Áp dụng kỹ thuật Textual Inversion nhằm tối ưu hóa các vector biểu diễn khái niệm phong cách tranh mới trên không gian nhúng của CLIP mà không làm thay đổi các trọng số gốc của mô hình Stable Diffusion sd-v1-4.
  4. Phương pháp đánh giá: Do các bài toán tạo sinh nghệ thuật thiếu thước đo định lượng khách quan tuyệt đối, tác giả thiết lập bảng khảo sát định tính để người dùng trực tiếp đánh giá mức độ tương đồng về màu sắc, đường nét và phong cách tranh dân gian trên các kết quả tạo ra.

Thiết kế và triển khai

Hệ thống được thiết kế dựa trên đường ống (pipeline) xử lý của Latent Diffusion Model kết hợp các khối tiền xử lý và hậu xử lý chuyên biệt:

Kiến trúc kỹ thuật bao gồm ba phân hệ chính:

  • Bộ nén hình ảnh (Autoencoder - Perceptual Compression): Bao gồm bộ mã hóa $\mathcal{E}$ ánh xạ ảnh đầu vào $x \in \mathbb{R}^{H \times W \times 3}$ thành biểu diễn tiềm ẩn $z = \mathcal{E}(x) \in \mathbb{R}^{h \times w \times c}$ với hệ số suy giảm không gian, và bộ giải mã $\mathcal{D}$ có nhiệm vụ tái cấu trúc ảnh từ không gian tiềm ẩn $\tilde{x} = \mathcal{D}(z)$.
  • Mạng khuếch tán U-Net và Cơ chế chú ý chéo (Cross-Attention): Mạng U-Net đóng vai trò dự đoán nhiễu tại mỗi bước thời gian $t$. Các điều kiện bổ sung từ văn bản mô tả $y$ được xử lý thông qua bộ mã hóa văn bản của mô hình CLIP để tạo ra vector nhúng $\tau_\theta(y)$. Vector này được kết hợp trực tiếp vào các lớp trung gian của U-Net thông qua các khối Cross-Attention theo công thức: $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right)V$$ trong đó $Q$ là phép chiếu từ biểu diễn tiềm ẩn của mạng U-Net, còn $K$ và $V$ là các phép chiếu từ vector nhúng văn bản $\tau_\theta(y)$.
  • Phương pháp Textual Inversion: Thay vì cập nhật toàn bộ hàng triệu tham số của mạng nơ-ron, kỹ thuật này đóng băng (freeze) toàn bộ trọng số của U-Net và Autoencoder. Quá trình huấn luyện chỉ tối ưu hóa một vector nhúng từ vựng mới $v_*$ đại diện cho phong cách tranh Đông Hồ hoặc Sơn Mài trong không gian từ điển của bộ mã hóa văn bản CLIP.

Đường ống xử lý hoàn chỉnh gồm các công đoạn:

  1. Tiền xử lý ảnh mẫu: Ảnh được kiểm tra kích thước; các ảnh không đúng chuẩn 512 x 512 pixel được đưa qua mô-đun Inpainting để bù đắp các vùng viền nhằm đạt tỷ lệ chuẩn mà không làm biến dạng cấu trúc đối tượng bên trong.
  2. Xử lý phông nền và phân giải cao: Kết hợp kỹ thuật Salient Object Detection để nhận diện đối tượng chính, phục vụ các trường hợp cần biến đổi phong cách cục bộ hoặc làm nổi bật đặc tính của tranh Đông Hồ. Đối với ảnh đầu ra, kỹ thuật High-Resolution được tích hợp để tái tạo chi tiết sắc nét.
  3. Triển khai Website Tạo Sinh Ảnh: Tác giả xây dựng ứng dụng web cho phép người dùng tải lên ảnh mẫu, nhập câu mô tả (tiếng Anh) chứa từ khóa phong cách đã được tinh chỉnh, sau đó gọi mô hình để thực thi quá trình chuyển đổi và tải ảnh kết quả về máy.

Nội dung chính theo từng chương

Chương 1: Giới Thiệu

Chương mở đầu phân tích bối cảnh phát triển của các công nghệ AI tạo sinh ảnh trên thế giới và xu hướng tích hợp trên các nền tảng mạng xã hội như Facebook, Instagram, TikTok. Tác giả chỉ ra nghịch lý: các mô hình tiên tiến đòi hỏi năng lực phần cứng quá lớn khiến việc tiếp cận nghiên cứu gặp rào cản. Khóa luận đặt mục tiêu nghiên cứu Latent Diffusion Models và ứng dụng vào bài toán bảo tồn văn hóa tranh dân gian Đông Hồ, Sơn Mài. Chương này cũng phân định rõ ràng các phạm vi đầu vào, cấu trúc ảnh màu RGB, tỷ lệ 1:1 (512 x 512), ngôn ngữ prompt tiếng Anh và nêu bật 5 thách thức kỹ thuật lớn trong việc kiểm soát mô hình, hiện tượng thiên lệch (bias) và hạn chế dữ liệu.

Chương 2: Nghiên Cứu Liên Quan

Chương 2 cung cấp bức tranh tổng quan và chi tiết về mặt toán học của các dòng mô hình tạo sinh:

  • Phương pháp truyền thống: Trình bày NPR với các kỹ thuật vẽ dựa trên nét (SBR), vùng (RBR) và thuật toán Image Analogies dùng cơ chế tìm kiếm láng giềng gần nhất BestMatch.
  • Mô hình học máy: So sánh ranh giới toán học giữa bài toán phân lớp và tạo sinh; phân tích cấu trúc GANs, DCGAN cùng hàm mất mát nhị phân cross-entropy; mô tả cơ chế VAEs, giới hạn ELBO và thủ thuật biến đổi tham số.
  • Mô hình khuếch tán: Trình bày chi tiết toán học quá trình khuếch tán thuận của DDPM dựa trên tham số phương sai $\beta_t$, công thức lấy mẫu đóng tại bước $t$ bất kỳ thông qua hệ số $\alpha_t = 1 - \beta_t$ và $\bar{\alpha}t = \prod{i=1}^t \alpha_i$: $$q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}t}x_0, (1 - \bar{\alpha}t)\mathbf{I})$$ Phân tích quá trình khuếch tán ngược tái tạo phân phối $p\theta(x{t-1}|x_t)$, hàm mất mát rút gọn $L_{\text{simple}}$, kiến trúc mạng đối xứng U-Net với các khối ResNet và cơ chế khuếch tán có điều kiện (Guided Diffusion) thông qua quy tắc Bayes.

Chương 3: Phương Pháp Đề Xuất

Chương 3 trình bày chi tiết giải pháp ứng dụng Latent Diffusion Models (Stable Diffusion phiên bản sd-v1-4 được huấn luyện trên bộ dữ liệu LAION-5B):

  • Trình bày cơ chế nén nhận thức hình ảnh của bộ Autoencoder nhằm giảm độ phức tạp không gian điểm ảnh sang không gian tiềm ẩn.
  • Trình bày cơ chế liên kết nhúng điều kiện giữa văn bản mô tả và không gian tiềm ẩn thông qua các tầng Cross-Attention trong U-Net.
  • Đi sâu vào phương pháp Textual Inversion: giải thích cách thức nắm bắt khái niệm phong cách mới bằng cách tối ưu hóa embedding của từ khóa đại diện trong bộ mã hóa CLIP mà không cần huấn luyện lại toàn bộ mạng.

Chương 4: Thực Nghiệm

Chương 4 mô tả toàn bộ quá trình thực thi thực nghiệm và đánh giá:

  • Dữ liệu: Thống kê tập dữ liệu thu thập gồm hai nhóm tranh dân gian Việt Nam (khoảng 80 - 100 hình ảnh cho mỗi thể loại Đông Hồ và Sơn Mài).
  • Quy trình tiền xử lý: Mô tả việc áp dụng kỹ thuật Inpainting để chuẩn hóa kích thước dữ liệu huấn luyện về 512 x 512 pixel.
  • Quá trình Fine-tuning: Chi tiết quá trình huấn luyện vector nhúng khái niệm mới bằng Textual Inversion trên bộ dữ liệu đã thu thập.
  • Khảo sát định tính: Thiết lập tiêu chí và bảng câu hỏi khảo sát người dùng về chất lượng hình ảnh sinh ra, mức độ giữ lại cấu trúc của ảnh gốc và độ tương đồng với đặc trưng nghệ thuật của tranh Đông Hồ và Sơn Mài.
  • Website thực nghiệm: Trình bày kết quả xây dựng hệ thống Website Tạo Sinh Ảnh cho phép người dùng thao tác trực quan.

Chương 5: Kết Luận

Chương cuối tóm tắt các kết quả đã đạt được của đề tài, đối chiếu với các mục tiêu ban đầu về tài nguyên, khả năng thích ứng của mô hình và tính thực tiễn của sản phẩm website. Đồng thời, chương thảo luận về các hạn chế kỹ thuật chưa được xử lý triệt để và vạch ra định hướng nghiên cứu tiếp theo.

Kết quả và đóng góp

Về kết quả thực nghiệm, khóa luận đã đạt được các nội dung sau:

  • Xây dựng thành công bộ dữ liệu gồm các mẫu tranh đặc thù cho hai dòng tranh dân gian Đông Hồ và Sơn Mài với số lượng từ 80 đến 100 ảnh mỗi loại.
  • Hoàn thiện quy trình tiền xử lý dữ liệu kết hợp kỹ thuật Inpainting, giúp giải quyết triệt để vấn đề biến dạng hình ảnh khi ép về kích thước chuẩn 512 x 512 pixel phục vụ huấn luyện mô hình.
  • Tinh chỉnh thành công mô hình Stable Diffusion sd-v1-4 bằng phương pháp Textual Inversion. Kết quả sinh ảnh cho thấy mô hình đã học được các đặc trưng phong cách cốt lõi: tranh Đông Hồ tái hiện được nét vẽ viền đen mộc mạc và mảng màu phẳng trên chất giấy đặc thù; tranh Sơn Mài thể hiện được sắc thái bóng bẩy, trầm ấm và chiều sâu không gian của phong cảnh, phố cổ.
  • Xây dựng và triển khai thành công sản phẩm Website Tạo Sinh Ảnh hoàn chỉnh, cung cấp giao diện trực quan hỗ trợ người dùng chuyển đổi phong cách ảnh cá nhân.

Về đóng góp học thuật và thực tiễn, tác giả tự xác định các đóng góp chính:

  1. Tổng hợp và phân tích một cách có hệ thống cơ sở lý thuyết của các mô hình tạo sinh trong Thị giác máy tính, từ đồ họa truyền thống (NPR, Image Analogies) đến các mô hình học sâu tiên tiến (GANs, VAEs, Diffusion Models, Latent Diffusion Models).
  2. Chứng minh tính khả thi của việc ứng dụng mô hình Khuếch tán trên không gian tiềm ẩn (LDMs) kết hợp kỹ thuật Textual Inversion trên tập dữ liệu nhỏ (Few-shot), vận hành được trong điều kiện tài nguyên tính toán giới hạn mà không cần đào tạo lại toàn bộ mô hình lớn.
  3. Đóng góp bước đầu trong việc ứng dụng công nghệ Trí tuệ nhân tạo vào nhiệm vụ bảo tồn, tái hiện và phát triển các giá trị văn hóa nghệ thuật truyền thống của Việt Nam.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra các hạn chế kỹ thuật cụ thể phát sinh trong quá trình thực hiện:

  • Phụ thuộc vào mô hình tiền huấn luyện lớn: Kiến trúc LDM tích hợp sẵn bộ mã hóa văn bản của mô hình CLIP (do OpenAI phát triển). Đây là mô hình quy mô lớn, đòi hỏi tài nguyên huấn luyện đồ sộ nên tác giả không thể can thiệp sâu để tinh chỉnh hoặc thay thế hoàn toàn bộ nhúng này cho phù hợp với ngữ cảnh tiếng Việt.
  • Khó kiểm soát quá trình tinh chỉnh: Cấu trúc mô hình kết hợp từ nhiều mô-đun phức tạp khiến việc kiểm soát trạng thái học của mạng trong quá trình tối ưu hóa không gian tiềm ẩn gặp nhiều khó khăn, thiếu các chỉ dấu giám sát trực tiếp.
  • Hiện tượng thiên lệch (Bias): Kỹ thuật Textual Inversion khi học từ một số lượng mẫu nhỏ đôi khi dẫn đến tình trạng mô hình bị thiên lệch kết quả sinh ra về một đối tượng cụ thể nào đó xuất hiện nhiều trong tập dữ liệu huấn luyện.
  • Quy mô tập dữ liệu còn nhỏ: Số lượng ảnh tranh dân gian thu thập được còn hạn chế (chỉ đạt khoảng 80 - 100 ảnh mỗi dòng), ảnh hưởng đến độ phong phú của không gian phong cách được học.
  • Thiếu thước đo định lượng khách quan: Việc đánh giá chất lượng ảnh tạo sinh nghệ thuật phụ thuộc phần lớn vào cảm thụ thẩm mỹ cá nhân của người tham gia khảo sát, chưa có thước đo định lượng toán học chuẩn mực để đánh giá độ chính xác của phong cách nghệ thuật.

Về hướng nghiên cứu tiếp theo trong tương lai, khóa luận định hướng:

  • Mở rộng quy mô và số lượng ảnh trong bộ dữ liệu; nghiên cứu mở rộng sang các dòng tranh dân gian truyền thống khác của Việt Nam như tranh Hàng Trống, tranh Kim Hoàng.
  • Nghiên cứu các phương pháp kiểm soát và giảm thiểu hiện tượng bias trong quá trình tinh chỉnh mô hình.
  • Tối ưu hóa tốc độ suy luận (inference time) và cải thiện độ phân giải của hình ảnh kết quả.
  • Nâng cấp các tính năng và giao diện của Website Tạo Sinh Ảnh nhằm phục vụ tốt hơn cho nhu cầu ứng dụng thực tế.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo phù hợp cho sinh viên, học viên cao học và các nhà nghiên cứu thuộc các chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Công nghệ Thông tin và Thị giác Máy tính đang tìm hiểu về mô hình tạo sinh (Generative AI).

Về mặt học thuật, tài liệu có giá trị đặc thù ở các nội dung:

  • Phần diễn giải toán học chi tiết về quá trình khuếch tán thuận, khuếch tán ngược, cơ chế tối ưu ELBO và cấu trúc mạng U-Net trong Chương 2, phù hợp làm tài liệu nghiên cứu cơ sở lý thuyết cho các đề tài về Diffusion Models.
  • Quy trình ứng dụng kỹ thuật Textual Inversion để học phong cách mới trên tập dữ liệu nhỏ (Few-shot learning) mà không làm thay đổi trọng số gốc của mô hình Stable Diffusion trong Chương 3 và Chương 4.

Về mặt ứng dụng thực tiễn, đề tài là nguồn tài liệu hữu ích cho các kỹ sư phần mềm, nhà thiết kế đồ họa và các nhóm phát triển quan tâm đến việc ứng dụng AI vào lĩnh vực bảo tồn văn hóa, số hóa di sản nghệ thuật truyền thống và xây dựng giao diện ứng dụng web tương tác với các mô hình học sâu.

Câu hỏi thường gặp

1. Khóa luận giải quyết bài toán tạo sinh ảnh trên những dòng tranh dân gian cụ thể nào của Việt Nam?
Khóa luận tập trung giải quyết bài toán tạo sinh và chuyển đổi phong cách cho hai dòng tranh dân gian truyền thống của Việt Nam là tranh Đông Hồ và tranh Sơn Mài.

2. Tại sao tác giả lựa chọn Latent Diffusion Models thay vì tiếp tục sử dụng các mô hình khuếch tán trên không gian điểm ảnh truyền thống (như DDPM) hay GANs?
Các mô hình khuếch tán truyền thống vận hành trực tiếp trên không gian điểm ảnh nên đòi hỏi tài nguyên tính toán khổng lồ và thời gian huấn luyện rất dài, trong khi GANs thường gặp các sự cố như khó hội tụ hoặc sụp đổ phân phối (Mode Collapse). Latent Diffusion Models giải quyết được vấn đề này bằng cách đưa quá trình khuếch tán vào không gian tiềm ẩn có số chiều thấp thông qua bộ nén hình ảnh (Autoencoder), giúp giảm chi phí tính toán và thời gian huấn luyện mà vẫn giữ được chất lượng ảnh cao.

3. Kỹ thuật nào được sử dụng để tinh chỉnh mô hình Stable Diffusion và khó khăn kỹ thuật phát sinh là gì?
Tác giả sử dụng kỹ thuật Đảo ngược văn bản (Textual Inversion) để tinh chỉnh mô hình. Kỹ thuật này đóng băng các trọng số của mô hình gốc và chỉ tối ưu hóa vector biểu diễn cho từ khóa mới trong không gian nhúng của CLIP. Khó khăn kỹ thuật phát sinh là hiện tượng thiên lệch (Bias), khi kết quả sinh ra có xu hướng bị lệch hẳn về một đối tượng cụ thể xuất hiện nhiều trong tập dữ liệu huấn luyện.

4. Dữ liệu tranh dân gian được thu thập có quy mô bao nhiêu và tác giả đã dùng kỹ thuật gì để tiền xử lý kích thước ảnh?
Dữ liệu được thu thập từ các nguồn Internet với quy mô giới hạn, khoảng 80 đến 100 hình ảnh cho mỗi dòng tranh. Tác giả áp dụng kỹ thuật Inpainting để xử lý, bù đắp các mẫu dữ liệu về kích thước chuẩn 512 x 512 pixel nhằm đảm bảo tỷ lệ khung hình không bị méo và phù hợp với quá trình huấn luyện mô hình.

5. Sản phẩm ứng dụng thực tế được phát triển trong khóa luận là gì?
Tác giả đã triển khai mô hình sau khi tinh chỉnh lên một hệ thống Website Tạo Sinh Ảnh, cho phép người dùng đưa vào hình ảnh mẫu và văn bản mô tả để tạo ra các bức ảnh mang phong cách tranh dân gian Việt Nam.

Kết luận

Khóa luận tốt nghiệp của tác giả Trương Quốc Trưởng đã nghiên cứu và ứng dụng thành công mô hình Khuếch tán trên không gian tiềm ẩn (Latent Diffusion Models) cho bài toán tạo sinh và chuyển đổi phong cách tranh dân gian Đông Hồ và Sơn Mài Việt Nam. Thông qua kỹ thuật Textual Inversion kết hợp tiền xử lý Inpainting, nghiên cứu chứng minh tính khả thi của việc huấn luyện phong cách nghệ thuật mới trên tập dữ liệu giới hạn với tài nguyên tính toán tối ưu. Công trình không chỉ cung cấp hệ thống cơ sở lý thuyết toán học chặt chẽ về các mô hình tạo sinh mà còn hiện thực hóa kết quả qua một website thử nghiệm thực tế, đóng góp giải pháp kỹ thuật vào công tác bảo tồn văn hóa truyền thống trên nền tảng công nghệ số.