Bối cảnh và vấn đề nghiên cứu

Ảnh động và video kỹ thuật số là phương tiện truyền thông trực quan có vai trò quan trọng trong truyền tải thông tin, giải trí, giáo dục và tiếp thị thương mại. Tuy nhiên, quy trình sản xuất nội dung động truyền thống đòi hỏi nguồn nhân lực chuyên môn cao, nhiều trang thiết bị phức tạp và tiêu tốn nhiều thời gian cũng như chi phí tài chính. Trước sự phát triển của trí tuệ nhân tạo (AI) và học sâu (Deep Learning), bài toán tự động sinh ảnh động hoặc video từ văn bản mô tả (Text-to-Video / Text-to-Animation) nổi lên như một hướng tiếp cận tiềm năng nhằm tối ưu hóa quy trình sáng tạo nội dung.

Mặc dù có tiềm năng ứng dụng lớn, việc tạo video từ văn bản đối mặt với nhiều rào cản kỹ thuật đặc thù:

  • Chi phí tính toán và yêu cầu tài nguyên phần cứng rất lớn để xử lý dữ liệu không gian ba chiều (chiều cao, chiều rộng và trục thời gian).
  • Khó khăn trong việc duy trì tính nhất quán về mặt ngữ nghĩa và hình thái giữa các khung hình liên tiếp, tránh hiện tượng giật, biến dạng hoặc suy giảm chất lượng khi độ dài chuỗi khung hình tăng lên.
  • Yêu cầu kết hợp hiệu quả giữa xử lý ngôn ngữ tự nhiên (NLP) để hiểu kịch bản văn bản và thị giác máy tính (Computer Vision) để tái hiện chính xác các chuyển động trực quan.

Trước thực tiễn đó, đề tài khóa luận tốt nghiệp kỹ sư ngành Công nghệ Thông tin tại Trường Đại học Sư phạm Kỹ thuật TP.HCM với tên gọi "Ứng dụng học sâu tạo ảnh động từ miêu tả văn bản" được thực hiện bởi sinh viên Nguyễn Tấn Hào và Phạm Nguyễn Hải Dương, dưới sự hướng dẫn của PGS. TS. Hoàng Văn Dũng (năm 2023).

Nhiệm vụ nghiên cứu của đề tài được xác định cụ thể theo các bước:

  1. Nghiên cứu các phương pháp và cơ sở lý thuyết nền tảng liên quan đến học sâu, xử lý ngôn ngữ tự nhiên, thị giác máy tính, mạng biến phân tự mã hóa (VAE), mô hình Transformer và mô hình khuếch tán (Diffusion Models).
  2. Tìm hiểu và triển khai kiến trúc mô hình khuếch tán video tiềm ẩn (Latent Video Diffusion Model - LVDM).
  3. Thu thập, tiền xử lý tập dữ liệu quy mô lớn (WebVid-2M) và thực hiện huấn luyện mô hình sinh chuỗi hình ảnh động từ văn bản.
  4. Nghiên cứu giải pháp tinh chỉnh mô hình bằng kỹ thuật thích ứng thứ bậc thấp (LoRA - Low-Rank Adaptation) trên các tập dữ liệu phong cách chuyên biệt.
  5. Xây dựng giao diện ứng dụng trực quan phục vụ thử nghiệm và demo kết quả.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các mô hình học sâu sinh hình ảnh và video từ văn bản, trọng tâm là mô hình khuếch tán trong không gian tiềm ẩn (LVDM), mạng 3D U-Net và kỹ thuật tinh chỉnh LoRA.
  • Phạm vi dữ liệu: Tập dữ liệu video kèm mô tả WebVid-2M và các tập dữ liệu phong cách nghệ thuật (như tranh Vincent van Gogh, hoạt hình Makoto Shinkai - Your Name, phim Frozen).
  • Thời gian và không gian thực hiện: Đề tài được thực hiện từ tháng 02/2023 đến tháng 06/2023 tại Bộ môn Công nghệ Phần mềm, Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật TP.HCM.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng khoa học dựa trên sự giao thoa giữa hai lĩnh vực chính của trí tuệ nhân tạo: Thị giác máy tính và Xử lý ngôn ngữ tự nhiên.

Khái niệm / Mô hình Nội dung và cơ chế hoạt động Vai trò trong đề tài
Mạng nơ-ron học sâu (Deep Neural Networks) Kiến trúc gồm nhiều lớp ẩn (hidden layers) kết nối các tế bào thần kinh nhân tạo, học các mẫu biểu diễn dữ liệu phức tạp từ dữ liệu huấn luyện quy mô lớn. Nền tảng cấu trúc tính toán cho việc trích xuất và biến đổi đặc trưng hình ảnh và chuỗi thời gian.
Xử lý ngôn ngữ tự nhiên (NLP) Bao gồm các kỹ thuật phân tích câu, nhận dạng thực thể (NER), gán nhãn từ loại (POS tagging), xác định ý nghĩa từ vựng và mô hình hóa ngữ cảnh. Chuyển đổi và nhúng (embedding) các câu mô tả kịch bản thành vector ngữ nghĩa để định hướng quá trình sinh video.
Cơ chế chú ý (Attention Mechanism) Gồm Local attention, Global attention, Self-attention và Cross-attention; tính toán ma trận trọng số để mô hình tập trung vào các thành phần liên quan trong chuỗi đầu vào. Tích hợp trong Transformer và U-Net nhằm liên kết điều kiện văn bản với các vùng đặc trưng không gian - thời gian tương ứng.
Mạng tự mã hóa biến phân (VAE) Bộ mã hóa nén dữ liệu thành phân phối xác suất trong không gian tiềm ẩn (vector trung bình $\mu$ và vector độ lệch chuẩn $\sigma$), bộ giải mã tái tạo mẫu từ việc lấy mẫu phân phối này. Giảm số chiều dữ liệu video, cho phép mô hình khuếch tán thực hiện huấn luyện và khử nhiễu trên không gian tiềm ẩn (latent space) mượt mà và liên tục.
Mô hình khuếch tán (Diffusion Models) Mô hình sinh gồm hai quá trình: khuếch tán thuận (thêm nhiễu Gaussian từng bước vào dữ liệu) và khuếch tán ngược (huấn luyện mạng nơ-ron để khử nhiễu và phục hồi dữ liệu gốc). Cơ chế sinh dữ liệu cốt lõi giúp tái tạo các khung hình chi tiết và chất lượng cao từ vector nhiễu ngẫu nhiên.
Chỉ số Fréchet Video Distance (FVD) Phương pháp đánh giá chất lượng video dựa trên việc trích xuất đặc trưng từ mạng tích chập tiền huấn luyện (I3D/CNN), ước lượng phân phối Gaussian đa biến và tính khoảng cách Fréchet giữa tập video sinh ra và tập video chuẩn. Thước đo định lượng để đánh giá độ trung thực hình ảnh và tính nhất quán theo thời gian của chuỗi video sinh ra.

Phương pháp nghiên cứu thực nghiệm: Nhóm tác giả sử dụng phương pháp nghiên cứu thực nghiệm kết hợp phân tích định lượng và định tính:

  • Thu thập và chuẩn hóa dữ liệu: Trích xuất các khung hình từ video định dạng MP4, chuẩn hóa kích thước và cấu trúc dữ liệu phù hợp với pipeline huấn luyện.
  • Huấn luyện mô hình: Sử dụng hàm mất mát sai số bình phương trung bình (MSE) trong quá trình tối ưu hóa mạng khử nhiễu.
  • Đánh giá kết quả: So sánh định tính thông qua trực quan hóa các chuỗi khung hình được tạo ra với các câu lệnh điều kiện (prompts) khác nhau, đồng thời đối chiếu hiệu năng với các kiến trúc sinh video hiện có.

Thiết kế và triển khai

Hệ thống sinh ảnh động từ văn bản được xây dựng dựa trên kiến trúc Latent Video Diffusion Model (LVDM), bao gồm hai giai đoạn chính: nén biểu diễn không gian tiềm ẩn và quá trình khuếch tán - nội suy tạo chuỗi khung hình.

+-----------------------------------------------------------------------------------+
|                                  KIẾN TRÚC LVDM                                   |
+-----------------------------------------------------------------------------------+
|  [Đoạn văn bản mô tả]  -->  [Bộ nhúng ngữ nghĩa (Text Embedding / Cross-Attention)] |
|                                                    |                              |
|  [Nhiễu Gaussian z_T]  -->  [Denoising 3D U-Net] <--+                              |
|                                     |                                             |
|                         [Chuỗi tiềm ẩn thưa thớt]                                 |
|                                     |                                             |
|                       [Interpolation 3D U-Net]                                    |
|                                     |                                             |
|                      [Chuỗi tiềm ẩn đầy đủ z_0]                                   |
|                                     |                                             |
|                         [Video Decoder (3D U-Net)]                                |
|                                     |                                             |
|                          [Chuỗi video / ảnh động]                                 |
+-----------------------------------------------------------------------------------+

1. Nén dữ liệu với Video Autoencoder

Video đầu vào kích thước $X_0 \in \mathbb{R}^{H \times W \times L \times 3}$ (với $H, W$ là chiều cao, chiều rộng; $L$ là số khung hình; 3 kênh màu) được đưa qua bộ mã hóa $\mathcal{E}$ cấu tạo bởi các lớp tích chập không gian - thời gian 3D U-Net để nén thành biểu diễn không gian tiềm ẩn: $$Z_0 \sim \mathcal{E}(X_0) \in \mathbb{R}^{h \times w \times l \times c}$$ Trong đó $h = H/f_s$, $w = W/f_s$, $l = L/f_t$, với $f_s$ và $f_t$ là các hệ số giảm mẫu không gian và thời gian. Quá trình giải mã $\mathcal{D}(Z_0)$ tái tạo lại video thực tế từ vector tiềm ẩn, đảm bảo giảm tải tài nguyên tính toán cho mô hình khuếch tán.

2. Kiến trúc 3D U-Net nhân tố hóa (Factorized 3D U-Net)

Thay vì sử dụng tích chập 3D đầy đủ vốn đòi hỏi bộ nhớ rất lớn, mô hình nhân tố hóa kiến trúc:

  • Các lớp tích chập 2D được chuyển thành tích chập 3D chỉ xét không gian ($1 \times 3 \times 3$).
  • Sau mỗi khối chú ý không gian (Spatial Attention), mô hình bổ sung một khối chú ý theo trục thời gian (Temporal Attention) nhằm mô hình hóa mối quan hệ liên khung hình, có kết hợp nhúng vị trí tương đối (relative positional embeddings) để nhận biết thứ tự thời gian.

3. Quy trình sinh thưa và nội suy (Interpolation)

Để tránh hiện tượng tích lũy sai số và suy giảm chất lượng hình ảnh theo thời gian của các mô hình tự hồi quy:

  • Giai đoạn 1: Mô hình khuếch tán tạo ra một tập hợp các khung hình tiềm ẩn thưa thớt (sparse latents) dựa trên điều kiện văn bản.
  • Giai đoạn 2: Mạng Interpolation 3D U-Net tiếp nhận các khung tiềm ẩn biên để nội suy các khung hình trung gian, tạo ra chuyển động liên tục, mượt mà trước khi đưa qua Video Decoder.

4. Tinh chỉnh phong cách bằng LoRA (Low-Rank Adaptation)

Nhằm tạo ra các video có phong cách hội họa hoặc hoạt họa cụ thể mà không làm thay đổi trọng số gốc của mô hình nền tảng, kỹ thuật LoRA được áp dụng:

  • Đóng băng toàn bộ trọng số gốc của mô hình khuếch tán.
  • Thêm các ma trận phân rã hạng thấp vào các lớp chú ý chéo (Cross-Attention layers).
  • Huấn luyện trên các tập dữ liệu nhỏ theo chủ đề chuyên biệt để cập nhật phong cách trực quan linh hoạt.

5. Xây dựng giao diện ứng dụng Demo

Hệ thống demo được triển khai dưới dạng ứng dụng web, cung cấp các chức năng:

  • Nhập khóa truy cập xác thực (keycode).
  • Tab tạo video cơ bản từ văn bản mô tả (text prompt).
  • Tab tạo video có điều kiện phong cách (Generate with style) cho phép người dùng lựa chọn các mô hình LoRA đã huấn luyện sẵn.
  • Trình phát trực tiếp kết quả ảnh động/video được sinh ra trên giao diện.

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết

Chương 1 hệ thống hóa các kiến thức nền tảng trong học sâu, thị giác máy tính và xử lý ngôn ngữ tự nhiên:

  • Trình bày kiến trúc mạng nơ-ron nhân tạo (ANN), các lớp đầu vào, lớp ẩn, lớp đầu ra và nguyên lý học tham số qua trọng số kết nối.
  • Giới thiệu các bài toán cốt lõi trong NLP: nhận dạng giọng nói, gán thẻ từ loại, định hướng nghĩa từ, nhận dạng thực thể đặt tên (NER), giải quyết đồng tham chiếu và phân tích cảm xúc.
  • Phân tích chi tiết cơ chế hoạt động của mạng tự mã hóa biến phân (VAE), giải thích nguyên lý không gian tiềm ẩn liên tục thông qua vector giá trị trung bình $\mu$ và độ lệch chuẩn $\sigma$.
  • Trình bày phương pháp đánh giá định lượng Fréchet Video Distance (FVD), bao gồm quy trình trích xuất đặc trưng video, ước lượng phân phối chuẩn đa biến và tính khoảng cách Fréchet giữa các tập dữ liệu video.

Chương 2: Phương pháp thực hiện

Chương 2 mô tả chi tiết phương pháp luận kỹ thuật và thiết kế kiến trúc của đề tài:

  • Phân tích cơ chế Attention (Local, Global, Self, Cross-attention) và kiến trúc Transformer (các khối mã hóa - giải mã song song).
  • Trình bày nguyên lý mô hình Autoencoder sâu và mô hình khuếch tán hình ảnh (Diffusion Models).
  • Thiết lập chi tiết kiến trúc Latent Video Diffusion Model (LVDM), gồm cách thức ánh xạ video vào không gian tiềm ẩn để giảm chiều dữ liệu.
  • Phân tích cấu trúc mạng 3D U-Net phân tách không gian - thời gian, Interpolation 3D U-Net và Denoising 3D U-Net.
  • Trình bày quy trình huấn luyện với hàm mất mát MSE và đường ống (pipeline) 7 bước nội suy tạo ảnh động: Khởi tạo $\rightarrow$ Khuếch tán $\rightarrow$ Giải mã $\rightarrow$ Lấy mẫu $\rightarrow$ Tái tạo $\rightarrow$ Lặp lại $\rightarrow$ Xuất kết quả.
  • Giới thiệu giải pháp tinh chỉnh mô hình thích ứng thứ bậc thấp (LoRA) can thiệp vào các lớp Cross-Attention.

Chương 3: Thực nghiệm và phân tích kết quả

Chương 3 trình bày việc triển khai thực nghiệm và đánh giá chất lượng mô hình:

  • Tập dữ liệu WebVid-2M: Tập dữ liệu quy mô lớn gồm hơn 2 triệu cặp video - văn bản mô tả được sử dụng để huấn luyện mô hình nền tảng.
  • Các tập dữ liệu phong cách: Thu thập và tiền xử lý dữ liệu hình ảnh phong cách hội họa Vincent van Gogh, phim hoạt hình Nhật Bản Makoto Shinkai (Your Name) và phim hoạt hình 3D (Frozen) phục vụ huấn luyện các module LoRA.
  • Thực nghiệm so sánh và kiểm thử câu lệnh: Đánh giá khả năng tạo chuỗi chuyển động thông qua các câu lệnh mô tả cụ thể như: "An astronaut driving a horse", "A monkey is playing a piano", "Ironman is fighting against the enemy".
  • Kết quả giao diện người dùng: Minh họa các bước thao tác trên giao diện website, từ khâu nhập lệnh mô tả, lựa chọn phong cách đến khi nhận kết quả ảnh động hoàn chỉnh.

Kết quả và đóng góp

Kết quả nghiên cứu

  • Hoàn thành quy trình tiền xử lý và huấn luyện mô hình Latent Video Diffusion Model trên tập dữ liệu WebVid-2M, sinh được các chuỗi video/ảnh động có nội dung bám sát câu mô tả văn bản.
  • Kết hợp thành công mạng 3D U-Net với cơ chế chú ý theo trục thời gian và kỹ thuật nội suy, giúp các khung hình trong video duy trì được độ liên tục và tính logic về chuyển động.
  • Tích hợp thành công module LoRA vào kiến trúc khuếch tán, cho phép chuyển đổi và áp đặt các phong cách nghệ thuật đặc thù (tranh sơn dầu Van Gogh, phong cách anime Shinkai, phong cách 3D Frozen) lên video sinh ra mà không cần tái huấn luyện toàn bộ mô hình gốc.
  • Xây dựng hoàn chỉnh ứng dụng web demo trực quan, cho phép người dùng thao tác sinh video theo tùy chọn phong cách.

Đóng góp của đề tài

  1. Về mặt học thuật: Tổng hợp hệ thống lý thuyết về mô hình khuếch tán trong không gian tiềm ẩn dành cho dữ liệu video; phân tích rõ vai trò của việc phân tách không gian - thời gian trong kiến trúc mạng 3D U-Net.
  2. Về mặt giải pháp kỹ thuật: Hiện thực hóa giải pháp sinh video thưa kết hợp mạng nội suy để giải quyết hạn chế suy giảm chất lượng của mô hình sinh tự hồi quy; áp dụng giải pháp LoRA giúp tối ưu hóa chi phí tính toán khi tùy biến phong cách video.
  3. Về mặt ứng dụng thực tiễn: Cung cấp công cụ thử nghiệm tạo ảnh động tự động từ văn bản, mở ra tiềm năng ứng dụng trong thiết kế nội dung số, quảng cáo và giáo dục trực quan.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

  • Quá trình huấn luyện mô hình khuếch tán trên dữ liệu video quy mô lớn đòi hỏi tài nguyên tính toán cao và thời gian xử lý dài.
  • Chất lượng và độ sắc nét của chuỗi khung hình phụ thuộc nhiều vào độ chi tiết của tập dữ liệu huấn luyện; đối với các kịch bản mô tả hành động phức tạp hoặc bối cảnh chuyển động nhanh, video sinh ra đôi khi còn xuất hiện hiện tượng biến dạng cục bộ.
  • Độ dài chuỗi video sinh ra trong một lần xử lý vẫn còn giới hạn.

Hướng phát triển

  • Tối ưu hóa thuật toán lấy mẫu và cấu trúc mạng nơ-ron nhằm rút ngắn thời gian sinh video, hướng tới khả năng xử lý thời gian thực.
  • Nâng cao độ phân giải không gian của khung hình và cải thiện tính nhất quán chuyển động trên các chuỗi video có thời lượng dài hơn.
  • Mở rộng khả năng điều khiển sinh video thông qua nhiều phương thức đầu vào kết hợp (như hình ảnh tham chiếu, khung xương chuyển động, âm thanh) bên cạnh văn bản mô tả.
  • Thu thập và mở rộng các bộ dữ liệu huấn luyện chuyên sâu để đa dạng hóa các phong cách tạo hình.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo hữu ích cho:

  • Sinh viên và học viên ngành Công nghệ Thông tin, Khoa học Dữ liệu, Trí tuệ Nhân tạo: Cung cấp bức tranh toàn diện và có hệ thống về các mô hình học sâu hiện đại như VAE, Transformer, Diffusion Models và kỹ thuật tinh chỉnh LoRA.
  • Các nhóm nghiên cứu và kỹ sư phát triển giải pháp Generative AI: Tham khảo chi tiết thiết kế kỹ thuật của kiến trúc LVDM, cách chuyển đổi mạng 2D U-Net sang 3D U-Net nhân tố hóa không gian - thời gian, và cơ chế sinh thưa kết hợp mạng nội suy khung hình.
  • Phần đáng tham khảo nhất: Toàn bộ Chương 2 với sơ đồ quy trình huấn luyện, phân tích toán học về không gian tiềm ẩn và các bước trong pipeline nội suy tạo ảnh động.

Câu hỏi thường gặp

1. Khóa luận sử dụng kiến trúc chính nào để thực hiện bài toán tạo video từ văn bản?

Khóa luận sử dụng kiến trúc Latent Video Diffusion Model (LVDM) kết hợp giữa mô hình tự mã hóa biến phân (Video Autoencoder) để nén video vào không gian tiềm ẩn và mô hình khuếch tán 3D U-Net để sinh dữ liệu, sau đó giải mã trở lại thành các khung hình video.

2. Mạng 3D U-Net trong đề tài được thiết kế như thế nào để xử lý chiều thời gian của video?

Thay vì dùng tích chập 3D nguyên khối tiêu tốn nhiều bộ nhớ, mạng 3D U-Net được nhân tố hóa: các tích chập 2D được chuyển thành tích chập không gian $1 \times 3 \times 3$, sau đó kết hợp thêm các khối chú ý theo thời gian (Temporal Attention) kèm vector nhúng vị trí tương đối để nắm bắt thứ tự và mối liên kết giữa các khung hình liên tiếp.

3. Mục đích của việc kết hợp kỹ thuật LoRA (Low-Rank Adaptation) vào mô hình khuếch tán là gì?

Kỹ thuật LoRA cho phép tinh chỉnh các ma trận trọng số hạng thấp tại các lớp chú ý chéo (Cross-Attention) trên các tập dữ liệu nhỏ theo chủ đề (như phong cách Van Gogh, Makoto Shinkai, Frozen), giúp mô hình sinh video theo các phong cách nghệ thuật tùy biến mà không cần huấn luyện lại toàn bộ mô hình nền tảng.

4. Giải pháp nào được tác giả áp dụng để khắc phục hiện tượng suy giảm chất lượng khi tạo video dài?

Tác giả áp dụng quy trình sinh khung hình thưa thớt trong không gian tiềm ẩn trước, sau đó sử dụng mạng Interpolation 3D U-Net để nội suy các khung hình trung gian, giúp duy trì tính liên tục và giảm bớt hiện tượng tích lũy sai số của các mô hình tự hồi quy truyền thống.

5. Chỉ số Fréchet Video Distance (FVD) đánh giá chất lượng video dựa trên nguyên lý nào?

FVD sử dụng mạng tích chập tiền huấn luyện để trích xuất đặc trưng không gian và động học theo thời gian của video, sau đó ước lượng phân phối chuẩn Gauss đa biến (vectơ trung bình và ma trận hiệp phương sai) của tập video sinh ra so với tập video chuẩn để tính khoảng cách Fréchet; giá trị FVD càng nhỏ phản ánh độ tương đồng và chất lượng video càng cao.

Kết luận

Khóa luận tốt nghiệp "Ứng dụng học sâu tạo ảnh động từ miêu tả văn bản" của sinh viên Nguyễn Tấn Hào và Phạm Nguyễn Hải Dương đã nghiên cứu và triển khai thành công kiến trúc mô hình khuếch tán video tiềm ẩn (LVDM) kết hợp mạng 3D U-Net và kỹ thuật nội suy không gian tiềm ẩn. Công trình đã giải quyết được thách thức về tính liên tục của chuỗi khung hình khi sinh video từ văn bản trên tập dữ liệu WebVid-2M, đồng thời tích hợp giải pháp LoRA để đa dạng hóa phong cách nghệ thuật một cách hiệu quả. Kết quả thực nghiệm và ứng dụng demo web hoàn chỉnh khẳng định tính đúng đắn của phương pháp đề xuất, tạo cơ sở thực tiễn giá trị cho các nghiên cứu tiếp theo trong lĩnh vực trí tuệ nhân tạo tạo sinh (Generative AI).