Bối cảnh và vấn đề nghiên cứu

1. Lý do chọn đề tài và bối cảnh thực tiễn

Trong hơn một thập kỷ qua, học sâu (Deep Learning) và thị giác máy tính (Computer Vision) đã đạt được nhiều bước tiến quan trọng, được ứng dụng rộng rãi trong các bài toán thực tiễn như nhận dạng khuôn mặt, nhận dạng cảm xúc, phát hiện đối tượng và chẩn đoán hình ảnh y tế. Cùng với sự phát triển của phần cứng tính toán, việc ứng dụng học máy vào bài toán phát sinh dữ liệu đa phương tiện, đặc biệt là phát sinh hình ảnh từ văn bản mô tả (Text-to-Image Synthesis), đã mở ra hướng nghiên cứu mới.

Tuy nhiên, việc ứng dụng các mô hình tạo sinh vào các lĩnh vực đòi hỏi tính sáng tạo và độ thẩm mỹ cao như thiết kế thời trang vẫn còn đối mặt với nhiều rào cản kỹ thuật. Đồ án tập trung nghiên cứu và xây dựng giải pháp học máy nhằm tự động phát sinh hình ảnh thời trang từ câu mô tả ngôn ngữ tự nhiên, đáp ứng yêu cầu trực quan hóa ý tưởng thiết kế và thể hiện nhu cầu của người dùng.

2. Phát biểu bài toán và mô hình hình thức

Bài toán phát sinh ảnh thời trang từ câu mô tả được định nghĩa như sau: Từ một câu mô tả văn bản đầu vào biểu diễn các đặc trưng của trang phục, hệ thống xử lý ngữ nghĩa của câu và khởi tạo ra một hình ảnh thời trang có các thuộc tính tương ứng.

Về mặt hình thức, bài toán được mô hình hóa qua phương trình: $$\hat{y} \leftarrow f(t)$$

Trong đó:

  • $t$: Câu mô tả văn bản đầu vào.
  • $f$: Hàm biến đổi / mô hình học máy cần xây dựng.
  • $\hat{y}$: Hình ảnh thời trang phát sinh tương ứng với mô tả.

3. Mục tiêu và nhiệm vụ nghiên cứu

Đồ án xác định 4 nhiệm vụ nghiên cứu cụ thể theo văn bản giao đề tài:

  1. Tìm hiểu và nghiên cứu các tài liệu khoa học liên quan đến bài toán phát sinh ảnh từ các kiến trúc mạng nơ-ron đối nghịch tạo sinh (Generative Adversarial Networks - GAN).
  2. Nghiên cứu các mô hình phát sinh ảnh từ câu mô tả có tích hợp cơ chế tập trung (Attention mechanism), trọng tâm là mô hình AttnGAN.
  3. Hiện thực hóa mô hình AttnGAN để giải quyết bài toán phát sinh hình ảnh trang phục dựa trên câu mô tả.
  4. Thực hiện kiểm thử, đánh giá và so sánh thực nghiệm với mô hình StackGAN-v2 trên cùng tập dữ liệu thời trang.

4. Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các cấu trúc ảnh thời trang và các câu văn mô tả thuộc tính trang phục tương ứng bằng tiếng Anh.
  • Phạm vi không gian dữ liệu: Nghiên cứu thực hiện trên tập dữ liệu chuẩn Fashion-Gen. Dữ liệu thực nghiệm giới hạn trên các mẫu ảnh thời trang có phông nền trắng đơn sắc.
  • Phạm vi đối tượng phát sinh: Mô hình tập trung vào việc tạo sinh đơn đối tượng (phát sinh một loại trang phục cụ thể tại một thời điểm, chẳng hạn như áo thun, áo khoác, quần hoặc giày).
  • Thời gian thực hiện: Đề tài được triển khai từ ngày 24/02/2020 đến ngày 01/07/2020 tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh.

5. Khó khăn và thách thức kỹ thuật

Quá trình nghiên cứu và huấn luyện mô hình gặp phải các thách thức chính sau:

  • Thách thức chung của mô hình GAN: Thời gian huấn luyện kéo dài; khó khăn trong việc tối ưu hóa tham số do thiếu hàm đo phân bố xác suất hoàn hảo giữa dữ liệu thật và dữ liệu sinh; hiện tượng triệt tiêu đạo hàm (Vanishing Gradient); hiện tượng sụp đổ mốt (Mode Collapse) khiến mô hình sinh ra các ảnh tương tự nhau; chất lượng ảnh đầu ra ở độ phân giải cao thường bị nhòe hoặc thiếu chi tiết.
  • Thách thức đặc thù của miền dữ liệu thời trang: Trang phục có cấu trúc hình học, chất liệu và màu sắc rất đa dạng; sự hiện diện của các yếu tố ngoại cảnh như khuôn mặt người mẫu, màu da, kiểu tóc và nền xung quanh gây nhiễu trong quá trình trích xuất đặc trưng; ngôn ngữ mô tả thời trang có tính đa nghĩa và phức tạp, đòi hỏi mô hình phải ánh xạ chính xác mối quan hệ giữa từ ngữ và các vùng ảnh cục bộ tương ứng.

Cơ sở lý thuyết và phương pháp

1. Khung lý thuyết và các mô hình nền tảng

Đồ án sử dụng các kiến trúc mạng nơ-ron sâu và các kỹ thuật xử lý ảnh, xử lý ngôn ngữ tự nhiên bao gồm:

  • Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Đóng vai trò trích xuất các đặc trưng không gian của hình ảnh thông qua các phép toán tích chập và tổng hợp (Pooling). Phép toán tích chập hai chiều trên ảnh được biểu diễn bởi: $$g(x, y) = h(x, y) * f(x, y)$$ Trong đó $f(x, y)$ là ma trận ảnh đầu vào, $h(x, y)$ là bộ lọc (kernel/filter) và $g(x, y)$ là bản đồ đặc trưng đầu ra. Các lớp kích hoạt phi tuyến tính (ReLU, Leaky ReLU) và lớp tổng hợp cực đại (Max Pooling) được dùng để giảm số chiều và giữ lại đặc trưng bất biến.

  • Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) và LSTM (Long Short-Term Memory): RNN xử lý dữ liệu dạng chuỗi thông qua trạng thái ẩn $s_t = f(U x_t + W s_{t-1})$ và đầu ra $o_t = \text{softmax}(V s_t)$. Để khắc phục hiện tượng Vanishing Gradient và mất thông tin phụ thuộc xa (Long-term dependencies) của RNN truyền thống, kiến trúc LSTM được áp dụng với hệ thống 3 cổng: cổng quên (Forget gate $f_t$), cổng vào (Input gate $i_t$), cổng ra (Output gate $o_t$) và đường truyền trạng thái ô nhớ (Cell state $C_t$).

  • Mạng đối nghịch tạo sinh (GAN): Cấu trúc gồm hai mạng đối nghịch: Mạng sinh ($G$) học cách biến đổi vector nhiễu $z \sim p_{\text{noise}}$ thành dữ liệu giả giống dữ liệu thật, và mạng phân biệt ($D$) học cách phân loại dữ liệu đầu vào là ảnh thật từ tập dữ liệu hay ảnh giả do $G$ sinh ra.

2. Các mô hình tạo sinh tiên tiến được khảo sát và áp dụng

  • LAPGAN (2015): Mô hình kết hợp kim tự tháp Laplacian với mạng CNN để tăng dần độ phân giải qua từng cấp bậc, tuy nhiên vẫn còn hạn chế về độ nét của các chi tiết nhỏ.
  • StackGAN-v1 và StackGAN-v2 (2016-2017): StackGAN-v2 sử dụng cấu trúc cây (Tree-structured) gồm nhiều mạng sinh ($G_0, G_1, \dots, G_{m-1}$) và mạng phân biệt ($D_0, D_1, \dots, D_{m-1}$) tương ứng với các độ phân giải tăng dần, đồng thời kết hợp cả hàm mất mát có điều kiện (Conditional Loss) và không điều kiện (Unconditional Loss).
  • AttnGAN (2017): Kiến trúc tích hợp mạng sinh tập trung (Attentional Generative Network) và mô hình so khớp tương đồng đa phương thức sâu (Deep Attentional Multimodal Similarity Model - DAMSM).

3. Phương pháp nghiên cứu và nguồn dữ liệu

  • Nguồn dữ liệu: Tập dữ liệu Fashion-Gen chứa hình ảnh các sản phẩm thời trang chuyên nghiệp kèm theo đoạn văn bản mô tả chi tiết thuộc tính sản phẩm.
  • Phương pháp tiếp cận: Kết hợp phân tích lý thuyết, thiết kế kiến trúc xử lý đa phương tiện (văn bản - hình ảnh), huấn luyện mô hình học sâu và đánh giá thực nghiệm bằng độ đo định lượng Fréchet Inception Distance (FID) cùng phân tích định tính trên các nhóm sản phẩm cụ thể.

Thiết kế và kiến trúc mô hình thực nghiệm

Mô hình thực nghiệm trọng tâm của đồ án được xây dựng dựa trên kiến trúc AttnGAN và StackGAN-v2, bao gồm các thành phần kiến trúc và khối chức năng sau:

[Câu mô tả văn bản] ---> [Text Encoder (Bi-LSTM)] ---> Vector câu (e_global) & Ma trận từ (e_word)
                                                               |
                                                               v
[Vector nhiễu z] -------> [Mạng sinh đa tầng G0, G1, G2] <--- [Cơ chế Attention (F_attn)]
                                       |
                                       v
                                [Ảnh sinh đa tỉ lệ]
                                       |
                                       v
[Ảnh thật/giả] ---------> [Image Encoder (Inception-v3)] ---> Vector ảnh (v_global, v_local)
                                       |
                                       v
                            [Tính điểm DAMSM & GAN Loss]

1. Attentional Generative Network (Mạng sinh tập trung)

Mạng sinh gồm $m$ bộ khởi tạo $(G_0, G_1, \dots, G_{m-1})$ tạo ra các ảnh có kích thước từ nhỏ đến lớn $(\hat{x}_0, \hat{x}1, \dots, \hat{x}{m-1})$.

  • Tại tầng đầu tiên, đặc trưng ẩn $h_0$ được khởi tạo từ vector nhiễu $z$ và vector điều kiện câu $c$ thông qua khối Conditional Augmentation ($F_{ca}$): $h_0 = F_0(z, F_{ca}(\bar{e}))$.
  • Tại các tầng tiếp theo ($i \ge 1$), mô hình tính toán đặc trưng tập trung $F_i^{attn}(e, h_{i-1})$ bằng cách ánh xạ ma trận từ $e \in \mathbb{R}^{D \times T}$ sang không gian hình ảnh và nhân với ma trận chú ý giữa các từ và $N$ vùng con của ảnh ($h \in \mathbb{R}^{D' \times N}$), sau đó cập nhật: $h_i = F_i(h_{i-1}, F_i^{attn}(e, h_{i-1}))$.
  • Ảnh tại mỗi nhánh được sinh ra bởi: $\hat{x}_i = G_i(h_i)$.

2. Deep Attentional Multimodal Similarity Model (DAMSM)

Mô hình DAMSM tính toán độ tương đồng giữa văn bản và hình ảnh ở cấp độ từ và vùng con ảnh nhằm cung cấp hàm mất mát ngữ nghĩa cho bộ sinh:

  • Bộ mã hóa văn bản (Text Encoder): Sử dụng mạng Bi-directional LSTM. Trạng thái ẩn hai chiều được ghép lại để biểu diễn ma trận đặc trưng các từ $e \in \mathbb{R}^{D \times T}$ ($T$ là số từ, $D$ là số chiều) và vector câu toàn cục $\bar{e} \in \mathbb{R}^D$.
  • Bộ mã hóa hình ảnh (Image Encoder): Sử dụng mạng Inception-v3 được tiền huấn luyện trên tập ImageNet. Ảnh đầu vào được điều chỉnh kích thước về $299 \times 299$ pixel. Ma trận đặc trưng cục bộ $f \in \mathbb{R}^{768 \times 289}$ (tương ứng với 289 vùng con) được trích xuất từ tầng trung gian mixed_6e. Vector đặc trưng toàn cục $\bar{f} \in \mathbb{R}^{2048}$ được trích xuất từ tầng Average Pooling cuối. Sau đó, các đặc trưng này được chiếu qua lớp Perceptron để đưa về cùng không gian số chiều $D$ với văn bản: $v = W f$ và $\bar{v} = \bar{W} \bar{f}$.
  • Điểm số khớp ảnh - văn bản (Attention-Driven Matching Score): Tính toán ma trận tương đồng $s = e^T v \in \mathbb{R}^{T \times 289}$, chuẩn hóa qua Softmax để xác định trọng số chú ý, tính vector vùng nghĩa $c_i$ cho từng từ và xác định hàm mất mát tương đồng đa phương thức $\mathcal{L}_{DAMSM}$.

3. Các khối cấu trúc xử lý trong mạng

  • Khối Upsampling: Dùng để tăng kích thước và độ phân giải không gian của ảnh trong mạng sinh. Mỗi khối con gồm một tầng Upsample, hai tầng tích chập $3 \times 3$, tầng Batch Normalization, và kết thúc bằng các lớp Fully Connected cùng ReLU.
  • Khối Downsampling: Dùng để giảm số chiều không gian trong mạng phân biệt. Cấu trúc gồm chuỗi các tầng tích chập $4 \times 4$, kết hợp với Batch Normalization và hàm kích hoạt Leaky ReLU.
  • Khối Residual (Residual Block): Gồm các lớp tích chập $4 \times 4$ kết hợp với Batch Normalization và hàm ReLU xen kẽ, có đường truyền tắt (skip connection) giúp khắc phục hiện tượng triệt tiêu đạo hàm khi mạng tăng chiều sâu.

Nội dung chính theo từng chương

Chương 1: Tổng quan đề tài

Chương này giới thiệu tính cấp thiết của việc nghiên cứu bài toán sinh ảnh từ văn bản ứng dụng trong lĩnh vực thời trang. Tác giả trình bày mô tả bài toán, phát biểu hình thức $\hat{y} \leftarrow f(t)$, phân tích chi tiết các thách thức cốt lõi như Vanishing Gradient, Mode Collapse, sự phức tạp của thuộc tính thời trang và ảnh hưởng của các yếu tố ngoại cảnh. Đồng thời, chương này xác định rõ mục tiêu nghiên cứu, phạm vi dữ liệu trên ảnh nền trắng và bố cục 6 chương của toàn bộ đồ án.

Chương 2: Công trình nghiên cứu liên quan

Chương 2 tổng hợp quá trình phát triển của các mô hình sinh ảnh đối nghịch:

  • Khái quát mô hình GAN gốc (Goodfellow et al., 2014) với cơ chế cạnh tranh giữa Generator và Discriminator.
  • Phân tích ưu nhược điểm của LAPGAN (Denton et al., 2015) trên các tập dữ liệu LSUN, CIFAR10, STL10.
  • Khảo sát mô hình StackGAN (Zhang et al., 2016) trên tập dữ liệu CUB, Oxford-102, MSCOCO với quy trình sinh ảnh 2 giai đoạn.
  • Đánh giá kiến trúc AttnGAN (Xu et al., 2017) với khả năng phân tách câu thành cấp độ từ và ánh xạ vào từng vùng ảnh cục bộ.

Chương 3: Cơ sở lý thuyết

Chương 3 trình bày cơ sở toán học và cấu trúc của các khối mạng nơ-ron nền tảng:

  • Cấu trúc mạng CNN, phép toán tích chập ma trận, hàm kích hoạt phi tuyến (ReLU, Tanh), cơ chế tầng Pooling (Max Pooling) và tầng kết nối đầy đủ (Fully Connected).
  • Cấu tạo mạng RNN, cơ chế lan truyền trạng thái ẩn, 4 mô hình luồng dữ liệu (One-to-Many, Many-to-One, Many-to-Many dạng 1 và dạng 2), hiện tượng Vanishing và Exploding Gradients khi chuỗi văn bản dài.
  • Cấu trúc mạng LSTM, phân tích chi tiết nguyên lý hoạt động của đường truyền trạng thái Cell State và 3 cổng kiểm soát thông tin (Forget gate, Input gate, Output gate).
  • Thiết kế chi tiết các khối mạng con phục vụ mô hình: Khối Upsampling, khối Downsampling và khối Residual.

Chương 4: Mô hình đề xuất

Chương 4 tập trung vào phân tích chi tiết hai mô hình tạo sinh được triển khai:

  • Kiến trúc StackGAN-v2: Cấu trúc cây đa nhánh, cơ chế xấp xỉ đa phân phối (phân phối ảnh ở các tỉ lệ kích thước khác nhau, phân phối có điều kiện và không điều kiện), thiết kế hàm mất mát cho bộ sinh và bộ phân biệt.
  • Kiến trúc AttnGAN: Nguyên lý hoạt động của Attentional Generative Network, chi tiết tầng tập trung $F_i^{attn}(e, h)$, phương pháp biểu diễn ngữ nghĩa từ cho từng vùng con ảnh.
  • Cấu trúc mô hình DAMSM: Chi tiết mạng Text Encoder Bi-LSTM, Image Encoder Inception-v3 với các kích thước trích xuất ($768 \times 289$ từ mixed_6e và 2048 từ Average Pooling), công thức chuẩn hóa tương đồng và hàm mục tiêu kết hợp $\mathcal{L} = \mathcal{L}{GAN} + \lambda \mathcal{L}{DAMSM}$.

Chương 5: Kết quả thực nghiệm

Chương 5 trình bày toàn bộ quá trình thực nghiệm và kiểm thử mô hình:

  • Mô tả tập dữ liệu Fashion-Gen, cấu trúc các trường thông tin và phân bố mẫu dữ liệu theo từng nhóm trang phục giữa tập huấn luyện (train) và tập kiểm tra (test).
  • Trình bày tiêu chí đánh giá định lượng thông qua độ đo Fréchet Inception Distance (FID) để đo khoảng cách phân phối giữa ảnh thực và ảnh sinh ra.
  • Phân tích và so sánh kết quả sinh ảnh định tính giữa StackGAN-v2 và AttnGAN trên 4 nhóm trang phục: quần, giày, áo thun và áo khoác.

Chương 6: Kết luận và hướng phát triển

Chương cuối tổng kết các kết quả đạt được về mặt lý thuyết và thực hành, chỉ ra các hạn chế còn tồn tại về độ chi tiết và nền ảnh, đồng thời đề xuất các định hướng nghiên cứu tiếp theo.

Kết quả và đóng góp

1. Kết quả thực nghiệm và so sánh mô hình

Đồ án đã hiện thực hóa thành công và tiến hành so sánh thực nghiệm hai mô hình StackGAN-v2 và AttnGAN trên tập dữ liệu Fashion-Gen. Kết quả đánh giá trên các nhóm trang phục cho thấy:

Tiêu chí so sánh Mô hình StackGAN-v2 Mô hình AttnGAN
Cơ chế biểu diễn văn bản Sử dụng vector câu toàn cục ($c$) Kết hợp vector câu toàn cục ($\bar{e}$) và ma trận đặc trưng từng từ ($e$)
Mức độ kiểm soát chi tiết Khái quát hình dáng và màu sắc chủ đạo Khớp từng từ mô tả với các vùng con cục bộ của ảnh
Chất lượng tạo ảnh quần & giày Tạo được phom dáng cơ bản, biên ảnh và hoa văn còn mờ Chi tiết đường viền, dây giày, màu sắc thể hiện rõ ràng và bám sát câu mô tả
Chất lượng tạo ảnh áo thun & áo khoác Thể hiện màu sắc tổng thể, chi tiết cổ áo và họa tiết chưa sắc nét Thể hiện tốt họa tiết cục bộ, cấu trúc cổ áo và tay áo tương ứng với từ khóa mô tả
Độ ổn định huấn luyện Cải thiện so với v1 nhờ cấu trúc cây, nhưng còn hạn chế ở chi tiết nhỏ Ổn định nhờ hàm mất mát DAMSM hướng dẫn quá trình sinh ở cấp độ từ

2. Đóng góp của đề tài

  • Hệ thống hóa cơ sở lý thuyết toán học và kiến trúc chuyên sâu về các mô hình học sâu hiện đại trong bài toán sinh ảnh từ văn bản: CNN, RNN, LSTM, GAN, StackGAN-v2 và AttnGAN.
  • Xây dựng và thực thi thành công luồng xử lý hoàn chỉnh từ tiền xử lý dữ liệu đa phương thức (văn bản - hình ảnh), trích xuất đặc trưng bằng Bi-LSTM và Inception-v3, đến huấn luyện và phát sinh ảnh thời trang.
  • Đưa ra các so sánh trực quan và phân tích định tính chi tiết giữa các phương pháp tiếp cận trên tập dữ liệu thực tế Fashion-Gen.

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế của đồ án

Căn cứ theo văn bản đồ án và phiếu nhận xét của giảng viên hướng dẫn:

  • Mặc dù hình ảnh phát sinh đạt được độ phân giải tương đối tốt, song một vài chi tiết nhỏ (nếp gấp vải phức tạp, đường may tinh xảo) vẫn chưa được tái tạo hoàn toàn rõ ràng và sắc nét.
  • Mô hình chưa thể sinh ra các hình ảnh có bối cảnh nền phức tạp hoặc có sự xuất hiện đầy đủ của người mẫu trong nhiều tư thế khác nhau.
  • Không gian dữ liệu thực nghiệm mới giới hạn ở các ảnh sản phẩm trên nền trắng đơn sắc và chỉ xử lý phát sinh một loại trang phục đơn lẻ tại một thời điểm.

2. Hướng nghiên cứu mở rộng

  • Cải tiến kiến trúc mạng sinh và áp dụng các cơ chế phân giải cao hơn nhằm nâng cao độ sắc nét của các chi tiết nhỏ và họa tiết phức tạp trên trang phục.
  • Mở rộng mô hình để có thể phát sinh đồng thời nhiều loại trang phục phối hợp (phát sinh cả bộ trang phục / outfit hoàn chỉnh) từ một đoạn văn bản mô tả tổng thể.
  • Nghiên cứu khả năng sinh ảnh trang phục gắn liền với người mẫu trong các bối cảnh nền tự nhiên và tư thế thực tế phức tạp.

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo có giá trị học thuật và thực tiễn đối với:

  • Sinh viên và học viên ngành Công nghệ thông tin, Khoa học dữ liệu, Trí tuệ nhân tạo: Có thể tham khảo tài liệu để nắm vững cơ chế toán học chi tiết của mạng LSTM (với công thức từng cổng), quy trình tính toán mạng tích chập CNN, và cơ chế hoạt động của các mạng GAN tạo sinh nâng cao.
  • Người làm nghiên cứu về bài toán Text-to-Image: Bản thuyết minh cung cấp thiết kế chi tiết của mô hình DAMSM (Deep Attentional Multimodal Similarity Model), cách cấu hình tầng mixed_6e của mạng Inception-v3 để trích xuất ma trận đặc trưng không gian $768 \times 289$, cũng như phương pháp ánh xạ ma trận từ với các vùng con của ảnh.
  • Nhà phát triển hệ thống AI thời trang: Cung cấp thông tin tham khảo về quy trình thực nghiệm trên tập dữ liệu Fashion-Gen và cấu trúc các khối chức năng Upsampling, Downsampling, Residual Block phục vụ phát triển ứng dụng thiết kế tự động.

Câu hỏi thường gặp

1. Mô hình DAMSM trong AttnGAN gồm những thành phần nào và có nhiệm vụ gì?

Mô hình DAMSM (Deep Attentional Multimodal Similarity Model) gồm 2 thành phần chính:

  • Bộ mã hóa văn bản (Text Encoder): Sử dụng mạng Bi-directional LSTM để trích xuất ma trận đặc trưng từ $e \in \mathbb{R}^{D \times T}$ và vector câu toàn cục $\bar{e} \in \mathbb{R}^D$.
  • Bộ mã hóa hình ảnh (Image Encoder): Sử dụng mạng Inception-v3 (tiền huấn luyện trên ImageNet) với ảnh đầu vào $299 \times 299$ pixel, trích xuất đặc trưng cục bộ 289 vùng con $f \in \mathbb{R}^{768 \times 289}$ từ lớp mixed_6e và vector đặc trưng toàn cục $\bar{f} \in \mathbb{R}^{2048}$ từ lớp Average Pooling cuối.

Nhiệm vụ của DAMSM là ánh xạ cả từ ngữ và vùng con ảnh vào cùng không gian đặc trưng chung $D$ chiều, tính toán điểm số khớp (Attention-driven image-text matching score) để làm hàm mất mát bổ sung giúp bộ sinh tạo ảnh chính xác theo từng từ ngữ.

2. Tại sao kiến trúc LSTM được chọn thay thế cho RNN truyền thống trong đồ án?

Trong mạng RNN truyền thống, khi xử lý các câu mô tả dài có ngữ cảnh phức tạp, hiện tượng Vanishing Gradient và Exploding Gradient thường xuyên xảy ra, khiến mạng không thể học được các mối quan hệ phụ thuộc xa (Long-term dependencies). LSTM giải quyết vấn đề này nhờ thiết kế đường truyền trạng thái ô nhớ (Cell State) chạy xuyên suốt và hệ thống 3 cổng (Forget gate, Input gate, Output gate) sử dụng hàm kích hoạt Sigmoid để kiểm soát chặt chẽ lượng thông tin được giữ lại, cập nhật hoặc loại bỏ.

3. Sự khác biệt căn bản giữa StackGAN-v2 và AttnGAN trong việc sinh ảnh là gì?

  • StackGAN-v2: Sinh ảnh qua cấu trúc cây đa nhánh nhưng điều kiện văn bản đưa vào các tầng phát sinh chỉ là vector ngữ nghĩa của toàn bộ câu, do đó mô hình chỉ khái quát được hình dáng và màu sắc chung mà chưa kiểm soát được chi tiết cục bộ.
  • AttnGAN: Kết hợp cả vector câu toàn cục và ma trận đặc trưng của từng từ riêng lẻ thông qua cơ chế Attention ($F_i^{attn}$), cho phép mô hình định vị chính xác từng từ mô tả ứng với từng vùng con cụ thể trên ảnh để vẽ chi tiết màu sắc và họa tiết tương ứng.

4. Tập dữ liệu và phạm vi thử nghiệm của đồ án được giới hạn như thế nào?

Đồ án thực nghiệm trên tập dữ liệu chuẩn Fashion-Gen. Phạm vi nghiên cứu được giới hạn ở các ảnh chụp trang phục trên phông nền trắng và mô hình thực hiện phát sinh đơn đối tượng (một loại trang phục duy nhất tại một thời điểm như áo thun, áo khoác, quần hoặc giày) từ câu mô tả tiếng Anh tương ứng.

5. Cấu trúc của khối Upsampling và khối Residual trong đồ án được thiết kế ra sao?

  • Khối Upsampling: Gồm tầng Upsample để phóng to kích thước bản đồ đặc trưng, tiếp theo là 2 tầng tích chập kích thước $3 \times 3$, tầng Batch Normalization, và kết thúc bằng các lớp Fully Connected cùng ReLU.
  • Khối Residual (Residual Block): Gồm các lớp tích chập $4 \times 4$ kết hợp với Batch Normalization và một lớp ReLU xen kẽ, có nhánh tắt cộng trực tiếp đầu vào với đầu ra giúp duy trì luồng đạo hàm ổn định trong quá trình huấn luyện mạng sâu.

Kết luận

Đồ án tốt nghiệp "Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả" của sinh viên Nguyễn Bá Lê An và Nguyễn Hữu Khang đã hoàn thành việc nghiên cứu, xây dựng và đánh giá thực nghiệm các mô hình tạo sinh sâu gồm StackGAN-v2 và AttnGAN trên tập dữ liệu Fashion-Gen. Công trình đã làm rõ cơ sở toán học của các mạng nơ-ron CNN, RNN, LSTM, đồng thời phân tích chi tiết cơ chế tập trung đa phương thức DAMSM trong việc gắn kết ngữ nghĩa từ vựng với các vùng ảnh thời trang cục bộ. Mặc dù còn một số hạn chế về độ chi tiết nhỏ và phạm vi ảnh nền đơn sắc, kết quả nghiên cứu đã chứng minh tính khả thi của việc ứng dụng học sâu vào lĩnh vực thiết kế thời trang tự động và cung cấp nền tảng lý thuyết lẫn thực nghiệm vững chắc cho các nghiên cứu tiếp theo.