Giới thiệu dự án

Trong kỷ nguyên số hóa của ngành công nghiệp may mặc và thương mại điện tử (E-commerce), việc chuyển đổi ý tưởng thiết kế thành hình ảnh mẫu thử đóng vai trò quyết định đến tốc độ ra mắt sản phẩm (Time-to-Market). Theo các thống kê từ thị trường bán lẻ thời trang toàn cầu, chu kỳ thiết kế và phát triển mẫu truyền thống thường kéo dài từ vài tuần đến vài tháng, tiêu tốn đáng kể chi phí cho việc phác thảo thủ công và dựng mẫu vật lý. Sự bùng nổ của Trí tuệ nhân tạo (AI), đặc biệt là lĩnh vực Thị giác máy tính (Computer Vision) kết hợp Xử lý ngôn ngữ tự nhiên (NLP), mở ra hướng đi đột phá: tự động hóa quy trình phát sinh mẫu thiết kế thời trang từ các đoạn mô tả ngôn ngữ tự nhiên.

Đề tài tốt nghiệp "Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả" do sinh viên Nguyễn Bá Lê An và Nguyễn Hữu Khang thực hiện dưới sự hướng dẫn của TS. Nguyễn Thiên Bảo (Trường Đại học Sư phạm Kỹ thuật TP.HCM) tập trung giải quyết bài toán tổng hợp ảnh có điều kiện (Text-to-Image Synthesis) $\hat{y} \leftarrow f(t)$. Trong đó, mô hình tiếp nhận văn bản mô tả đầu vào $t$ (chứa các thuộc tính về chất liệu, kiểu dáng, màu sắc, hoa văn) để tổng hợp ra ảnh trang phục $\hat{y}$ trực quan, sắc nét và bám sát ngữ nghĩa.

[Câu mô tả văn bản: "A black crewneck short-sleeve t-shirt with floral print"]
                                  │
                                  ▼
                ┌───────────────────────────────────┐
                │ Pipeline Học sâu (AttnGAN & DAMSM)│
                └───────────────────────────────────┘
                                  │
                                  ▼
        [Ảnh thời trang chất lượng cao 256x256 pixel bám sát mô tả]

Các mục tiêu cốt lõi của đồ án:

  1. Nghiên cứu cơ sở lý thuyết chuyên sâu: Hệ thống hóa các kiến trúc mạng nơ-ron tích chập (Convolutional Neural Network - CNN), mạng nơ-ron hồi quy (Recurrent Neural Network - RNN), mạng bộ nhớ dài-ngắn (Long Short-Term Memory - LSTM) và mạng sinh đối kháng (Generative Adversarial Network - GAN).
  2. Khảo sát và thực nghiệm các kiến trúc GAN tiên tiến: Triển khai mô hình StackGAN-v2 và AttnGAN (Attentional Generative Adversarial Network) tích hợp mô hình đo độ tương đồng ngữ nghĩa đa phương thức sâu (DAMSM).
  3. Huấn luyện trên tập dữ liệu chuẩn thời trang: Tinh chỉnh và đánh giá mô hình trên tập dữ liệu chuyên biệt Fashion-Gen với các nhóm sản phẩm chính (áo thun, áo khoác, quần, giày).
  4. Đánh giá và so chuẩn định lượng: Phân tích chất lượng ảnh sinh và mức độ tương thích ngữ nghĩa thông qua các thước đo tiêu chuẩn như Fréchet Inception Distance (FID) và kiểm thử thực tế.

Phạm vi và giới hạn: Nghiên cứu tập trung vào việc tạo ảnh thời trang đơn đối tượng trên nền phông trắng (studio setting) ở độ phân giải $256 \times 256$ pixels, giảm thiểu tối đa các tác nhân gây nhiễu như bối cảnh ngoại cảnh, màu da hoặc biểu cảm khuôn mặt của người mẫu.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Quá trình phát triển các mô hình tạo ảnh từ văn bản trải qua nhiều giai đoạn với các bước tiến đáng kể về mặt kiến trúc:

Mô hình Cơ chế hoạt động chính Ưu điểm Hạn chế cốt lõi
Vanilla GAN (2014) Trò chơi minimax giữa Generator ($G$) và Discriminator ($D$). Đặt nền móng cho học sinh đối kháng. Huấn luyện kém ổn định, dễ gặp hiện tượng sụp đổ mode (Mode Collapse), phân giải thấp ($32\times32$).
LAPGAN (2015) Kết hợp kim tự tháp Laplacian với các tầng CNN đa cấp. Tạo ảnh từng bước từ thô đến mịn, tăng độ chân thực. Tồn tại hiện tượng tích lũy lỗi giữa các tầng, chi tiết biên còn mờ, chưa hỗ trợ tốt điều kiện văn bản phức tạp.
StackGAN-v1/v2 (2016-2017) Kiến trúc cây phân tầng đa giai đoạn (Stage-I và Stage-II). Tăng độ phân giải lên $256\times256$, cấu trúc hình khối rõ nét. Chỉ mã hóa văn bản ở cấp độ toàn câu (Sentence-level vector), bỏ sót các từ khóa chi tiết cụ thể.
AttnGAN (2017 - Đề xuất) Tích hợp cơ chế Attention theo cấp độ từ (Word-level) và mô hình DAMSM. Khớp từng từ khóa với từng vùng điểm ảnh cục bộ, ảnh có độ chi tiết cao, giảm thiểu Vanishing Gradient. Yêu cầu tài nguyên tính toán lớn trong quá trình huấn luyện bộ mã hóa đa phương thức.

Phân loại yêu cầu hệ thống theo mô hình MoSCoW:

  • Must Have (Bắt buộc): Khối Text Encoder sử dụng Bi-directional LSTM để trích xuất đặc trưng từ vựng $e \in \mathbb{R}^{D \times T}$ và toàn câu $\bar{e} \in \mathbb{R}^D$; Bộ sinh ảnh đa tầng ($G_0, G_1, G_2$) nâng độ phân giải từ $64\times 64 \rightarrow 128\times 128 \rightarrow 256\times 256$; Cơ chế Word-level Attention map.
  • Should Have (Nên có): Bộ Image Encoder dựa trên Inception-v3 để tính toán hàm mất mát tương đồng ngữ nghĩa đa phương thức ($\mathcal{L}_{DAMSM}$); Khối Residual Blocks kết hợp Batch Normalization nhằm ổn định dòng truyền gradient.
  • Could Have (Có thể có): Giao diện trực quan hóa ma trận trọng số Attention nhằm kiểm tra từ ngữ nào đang tác động lên vùng ảnh nào; Module Conditional Augmentation ($F_{ca}$) giúp tăng cường tính đa dạng của không gian tiềm ẩn.
  • Won't Have (Chưa thực hiện): Tạo ảnh trang phục đa lớp (layering styles) hoặc phát sinh video chuyển động của người mẫu khi mặc trang phục.

Thiết kế hệ thống

Kiến trúc AttnGAN bao gồm hai phân hệ chính: Mạng sinh chú ý (Attentional Generative Network) và Mô hình tương đồng đa phương thức sâu (DAMSM - Deep Attentional Multimodal Similarity Model).

                    ┌──────────────────────────────────────────────┐
                    │            Văn bản mô tả đầu vào             │
                    └──────────────────────┬───────────────────────┘
                                           │
                        ┌──────────────────┴──────────────────┐
                        ▼                                     ▼
             ┌─────────────────────┐               ┌─────────────────────┐
             │ Word Features (e)   │               │Sentence Feature (ē) │
             └──────────┬──────────┘               └──────────┬──────────┘
                        │                                     │
                        │      ┌───────────────────────┐      │
                        │      │ Vector nhiễu z ~ N(0,I)│      │
                        │      └───────────┬───────────┘      │
                        │                  │                  │
                        │                  ▼                  │
                        │          ┌───────────────┐          │
                        │          │  Stage 0: G0  │◄─────────┘
                        │          └───────┬───────┘
                        │                  │ h0 (Ảnh 64x64)
                        │                  ▼
                        │          ┌───────────────┐
                        ├─────────►│ Attn Block 1  │
                        │          └───────┬───────┘
                        │                  ▼
                        │          ┌───────────────┐
                        │          │  Stage 1: G1  │
                        │          └───────┬───────┘
                        │                  │ h1 (Ảnh 128x128)
                        │                  ▼
                        │          ┌───────────────┐
                        ├─────────►│ Attn Block 2  │
                        │          └───────┬───────┘
                        │                  ▼
                        │          ┌───────────────┐
                        │          │  Stage 2: G2  │
                        │          └───────┬───────┘
                        │                  │ h2 (Ảnh 256x256)
                        ▼                  ▼
┌────────────────────────────────────────────────────────────────────────┐
│         DAMSM Loss: Image Encoder (Inception-v3) vs Text Features      │
└────────────────────────────────────────────────────────────────────────┘

Ngăn xếp công nghệ (Technology Stack) và phiên bản:

  • Ngôn ngữ lập trình: Python 3.7.7
  • Thư viện Deep Learning: PyTorch 1.5.0, Torchvision 0.6.0
  • Môi trường tính toán tăng tốc: CUDA 10.2, cuDNN 7.6.5
  • Xử lý ngôn ngữ tự nhiên: NLTK 3.5 (Word Tokenization, Lemmatization)
  • Xử lý ảnh & Dữ liệu: OpenCV 4.2.0, Pillow 7.1.2, NumPy 1.18.5, H5PY 2.10.0
  • Backbone trích xuất đặc trưng: Inception-v3 (Pre-trained trên ImageNet)

Cơ sở toán học của mô hình:

  1. Mã hóa văn bản (Text Encoder): Sử dụng Bi-directional LSTM. Mỗi từ thứ $i$ được biểu diễn bởi vector đặc trưng 2 chiều: $$e_i = [\overrightarrow{h}_i^T, \overleftarrow{h}_i^T]^T \in \mathbb{R}^D$$ Ma trận đặc trưng toàn bộ $T$ từ là $e \in \mathbb{R}^{D \times T}$, và vector toàn câu là $\bar{e} \in \mathbb{R}^D$.

  2. Cơ chế Attention (Attention Mechanism): Ánh xạ đặc trưng từ sang không gian hình ảnh $e' = U e$. Trọng số chú ý $\beta_{j,i}$ giữa vùng ảnh thứ $j$ và từ thứ $i$ được tính bằng Softmax: $$s_{j,i} = h_j^T e'i \quad \Longrightarrow \quad \beta{j,i} = \frac{\exp(s_{j,i})}{\sum_{k=0}^{T-1} \exp(s_{j,k})}$$ Vector ngữ cảnh từ vựng cho vùng ảnh $j$ là: $$c_j = \sum_{i=0}^{T-1} \beta_{j,i} e'_i$$

  3. Mã hóa hình ảnh (Image Encoder của DAMSM): Rút trích đặc trưng cục bộ $f \in \mathbb{R}^{768 \times 289}$ từ tầng mixed_6e của Inception-v3 (kích thước $17 \times 17 = 289$ vùng con) và đưa qua tầng Perceptron chuyển đổi thành $v \in \mathbb{R}^{D \times 289}$.

  4. Hàm mục tiêu toàn diện (Total Objective Function): $$\mathcal{L} = \mathcal{L}{GAN} + \lambda \mathcal{L}{DAMSM}$$ Trong đó, $\mathcal{L}{GAN} = \sum{i=0}^{m-1} (\mathcal{L}{G_i} + \mathcal{L}{D_i})$ bao gồm mất mát có điều kiện (conditional loss) và không điều kiện (unconditional loss), $\lambda = 5.0$ là siêu tham số cân bằng.

Phương pháp nghiên cứu (Methodology)

Nghiên cứu áp dụng quy trình thực nghiệm khép kín gồm 4 pha chính:

[Pha 1: Tiền xử lý & Tokenize] ──► [Pha 2: Huấn luyện DAMSM] ──► [Pha 3: Huấn luyện AttnGAN] ──► [Pha 4: Đánh giá & Benchmark]
  • Pha 1: Tiền xử lý dữ liệu: Chuẩn hóa câu mô tả từ tập Fashion-Gen, chuyển đổi chữ thường, loại bỏ ký tự đặc biệt, cắt/đệm câu về độ dài cố định $T=18$ từ, thiết lập từ điển từ vựng ($|V| \approx 10,000$).
  • Pha 2: Tiền huấn luyện module DAMSM: Tách rời và huấn luyện Text Encoder và Image Encoder với hàm mất mát Cross-modal Cosine Similarity đến khi mô hình đạt độ chính xác khớp Top-1 trên 85%. Đóng băng trọng số (Freeze weights) của bộ mã hóa để phục vụ huấn luyện GAN.
  • Pha 3: Huấn luyện mạng sinh đối kháng AttnGAN: Huấn luyện đồng thời các bộ sinh $G_0, G_1, G_2$ và các bộ phân biệt $D_0, D_1, D_2$ bằng thuật toán tối ưu Adam với kỹ thuật Two Timescale Update Rule (TTUR).
  • Pha 4: Đánh giá chất lượng và so chuẩn: Đo lường phân phối khoảng cách giữa tập ảnh thật và ảnh sinh thông qua chỉ số FID trên tập kiểm thử độc lập.

Quản trị rủi ro trong quá trình huấn luyện:

  • Rủi ro Vanishing/Exploding Gradients: Khắc phục bằng việc sử dụng các khối Residual Block (kết nối tắt Skip Connections) kết hợp hàm kích hoạt LeakyReLU ($\alpha = 0.2$) ở mạng phân biệt và ReLU ở mạng sinh.
  • Rủi ro sụp đổ Mode (Mode Collapse): Áp dụng Conditional Augmentation ($F_{ca}$) để lấy mẫu vector điều kiện $c \sim \mathcal{N}(\mu(\bar{e}), \Sigma(\bar{e}))$, tạo tính liên tục và mượt mà trong không gian tiềm ẩn.

Implementation và kết quả

Quá trình phát triển và hiện thực hóa mã nguồn

Quy trình phát triển tập trung xây dựng module Attention Generator trong framework PyTorch. Dưới đây là đoạn mã nguồn hiện thực cơ chế Attention ánh xạ giữa đặc trưng hình ảnh và ma trận từ:

import torch
import torch.nn as nn

class SpatialAttentionBlock(nn.Module):
    """
    Module tính toán ma trận Attention giữa đặc trưng vùng ảnh (h) 
    và ma trận từ vựng (word_embs).
    """
    def __init__(self, idf, cdf):
        super(SpatialAttentionBlock, self).__init__()
        self.idf = idf  # Số chiều kênh của đặc trưng ảnh (Image Depth Features)
        self.cdf = cdf  # Số chiều vector từ vựng (Context Depth Features)
        self.conv_context = nn.Conv2d(cdf, idf, kernel_size=1, stride=1, padding=0, bias=False)
        self.softmax = nn.Softmax(dim=-1)

    def forward(self, h_code, word_embs):
        """
        h_code: Tensor đặc trưng ảnh kích thước [BatchSize, idf, Height, Width]
        word_embs: Tensor đặc trưng từ kích thước [BatchSize, cdf, NumWords]
        """
        batch_size, idf, height, width = h_code.size()
        num_words = word_embs.size(2)

        # 1. Chuyển đổi word_embs về cùng không gian chiều với h_code: [B, idf, T]
        w_proj = self.conv_context(word_embs.unsqueeze(3)).squeeze(3)

        # 2. Reshape h_code: [B, idf, H*W] -> [B, H*W, idf]
        h_flat = h_code.view(batch_size, idf, -1).transpose(1, 2)

        # 3. Tính ma trận tương đồng (Dot Product Similarity): [B, H*W, T]
        sim_matrix = torch.bmm(h_flat, w_proj)
        
        # 4. Tính trọng số Attention: [B, H*W, T]
        attn_weights = self.softmax(sim_matrix)

        # 5. Tính vector ngữ cảnh cục bộ (Context Vector): [B, idf, H*W]
        # w_proj: [B, idf, T], attn_weights^T: [B, T, H*W]
        weighted_context = torch.bmm(w_proj, attn_weights.transpose(1, 2))
        weighted_context = weighted_context.view(batch_size, idf, height, width)

        return weighted_context, attn_weights

Thiết kế khối Upsampling trong Generator:

Khối Upsampling chịu trách nhiệm tăng kích thước không gian (Spatial Resolution) của bản đồ đặc trưng:

  • Tầng mở rộng kích thước: Nearest Neighbor Upsampling (hệ số tỉ lệ $\times 2$).
  • Tầng tích chập: Convolution $3 \times 3$, Stride 1, Padding 1.
  • Chuẩn hóa: Batch Normalization (momentum = 0.1, eps = 1e-5).
  • Kích hoạt phi tuyến: ReLU (cho Generator) và LeakyReLU (cho Discriminator).

Kiểm thử và đánh giá thực nghiệm

Thực nghiệm được triển khai trên tập dữ liệu Fashion-Gen bao gồm các hình ảnh thời trang có độ phân giải gốc $256 \times 256$ đi kèm các đoạn mô tả chi tiết do các chuyên gia thiết kế biên soạn.

                   TẬP DỮ LIỆU FASHION-GEN THỰC NGHIỆM
┌───────────────────────┬──────────────────────┬──────────────────────┐
│ Phân loại trang phục  │ Số lượng mẫu Train   │ Số lượng mẫu Test    │
├───────────────────────┼──────────────────────┼──────────────────────┤
│ Áo thun (T-Shirts)    │ 15,420               │ 2,500                │
│ Áo khoác (Jackets)    │ 12,180               │ 2,100                │
│ Quần (Pants)          │ 14,350               │ 2,350                │
│ Giày (Shoes)          │ 10,800               │ 1,800                │
└───────────────────────┴──────────────────────┴──────────────────────┘

Cấu hình siêu tham số huấn luyện:

  • Kích thước lô (Batch Size): 32
  • Tốc độ học (Learning Rate): $0.0002$ cho cả Generator và Discriminator
  • Thuật toán tối ưu: Adam ($\beta_1 = 0.5, \beta_2 = 0.999$)
  • Số lượng Epoch: 120 epochs (giai đoạn DAMSM) và 200 epochs (giai đoạn AttnGAN)
  • Môi trường phần cứng: GPU NVIDIA Tesla V100 (16GB VRAM), CPU Intel Xeon 8 cores, 32GB RAM.

Kết quả định lượng (Performance Benchmarks):

Chất lượng ảnh sinh được định lượng qua chỉ số Fréchet Inception Distance (FID), đo lường khoảng cách Wasserstein giữa hai phân phối Gauss đa biến được trích xuất từ tầng kích hoạt của mạng Inception-v3: $$\text{FID}(x, g) = ||\mu_r - \mu_g||_2^2 + \text{Tr}(\Sigma_r + \Sigma_g - 2(\Sigma_r \Sigma_g)^{1/2})$$

Mô hình kiểm thử FID trên Áo thun (↓) FID trên Áo khoác (↓) FID trên Quần (↓) FID trên Giày (↓) FID Trung bình (↓)
StackGAN-v1 58.42 62.15 54.30 51.80 56.67
StackGAN-v2 46.80 49.35 43.10 41.50 45.19
AttnGAN (Đề xuất) 33.20 37.60 31.40 29.80 33.00

Ghi chú: Giá trị FID càng thấp biểu thị phân phối ảnh sinh càng gần với ảnh thật.

Chỉ số FID trung bình giữa các mô hình (Thấp hơn là tốt hơn)
StackGAN-v1  ████████████████████████████ 56.67
StackGAN-v2  ██████████████████████ 45.19
AttnGAN      ████████████████ 33.00 (Cải thiện 26.97% so với StackGAN-v2)

Kết quả đạt được

  1. Độ sắc nét và cấu trúc hình học: AttnGAN tạo ra các mẫu áo thun, áo khoác có đường viền cổ, tay áo và đường may rõ ràng hơn hẳn StackGAN-v2. Hiện tượng nhòe biên (blurring artifacts) giảm thiểu đáng kể.
  2. Mức độ tương thích ngữ nghĩa cục bộ: Với các câu mô tả phức tạp chứa nhiều thuộc tính (ví dụ: "A blue denim jacket with sheepskin collar and front zip closure"), cơ chế Attention đã tập trung chính xác các từ "sheepskin collar" vào vùng cổ áo và "zip" vào giữa thân áo.
  3. Độ ổn định huấn luyện: Quá trình huấn luyện hội tụ sau khoảng 140 epochs mà không xuất hiện dấu hiệu của hiện tượng sụp đổ mode.

Đổi mới và đóng góp

Nghiên cứu mang lại những đóng góp khoa học và kỹ thuật rõ ràng trong bài toán ứng dụng học sâu vào lĩnh vực thời trang:

  1. Tích hợp cơ chế Attention mịn (Fine-grained Multimodal Alignment): Khắc phục triệt để nhược điểm của các kiến trúc GAN thế hệ cũ khi chỉ sử dụng một vector ngữ cảnh toàn câu thô. Bằng cách chiếu từng từ khóa vào các vùng không gian $17 \times 17$ của ảnh, mô hình đạt khả năng kiểm soát thuộc tính chi tiết tới từng phân vùng nhỏ.
  2. Cải tiến vượt bậc về chỉ số FID: AttnGAN đạt mức cải thiện 26.97% về điểm số FID trung bình so với mô hình StackGAN-v2 và cải thiện 41.77% so với StackGAN-v1 trên cùng tập dữ liệu chuẩn Fashion-Gen.
  3. Cơ chế hàm mất mát DAMSM: Đóng vai trò là một giám sát viên ngữ nghĩa đa phương thức, ép buộc bộ sinh $G$ không chỉ tạo ra ảnh giống thật về mặt thị giác mà còn phải đảm bảo tính tương đồng tối đa với chuỗi từ vựng mô tả ban đầu.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong doanh nghiệp thời trang

  1. Hỗ trợ phác thảo ý tưởng nhanh (Rapid AI-assisted Prototyping): Cho phép các nhà thiết kế thời trang nhập nhanh các prompt ý tưởng để trực quan hóa tức thì hàng chục biến thể trang phục trong vài giây, rút ngắn 70% thời gian lên concept ban đầu.
  2. Cá nhân hóa trải nghiệm mua sắm E-commerce: Người dùng có thể tự tay nhập mô tả bộ trang phục mong muốn để hệ thống tự sinh ảnh và đề xuất các sản phẩm có sẵn gần giống nhất trong kho hàng.
[Client Web / Mobile] 
        │ (HTTPS / RESTful API)
        ▼
[FastAPI Gateway] ──► [Celery Task Queue / Redis] ──► [Inference Engine (PyTorch + CUDA)]
                                                                │
                                                                ▼
                                                    [Ảnh sinh trả về 256x256]

Yêu cầu phần cứng và chiến lược triển khai:

  • Server Inference: 01 GPU NVIDIA T4 (16GB VRAM) hoặc RTX 3090, CPU 4 Cores, 16GB RAM.
  • Tốc độ xử lý: Độ trễ (Inference Latency) đạt $\approx 180\text{ms}$ cho một ảnh $256\times 256$ khi chạy qua đầy đủ 3 stages của Generator.
  • Chi phí vận hành và ROI: Triển khai cụm máy chủ đám mây (AWS EC2 g4dn.xlarge) với chi phí ước tính khoảng 0.526 USD/giờ, có khả năng phục vụ hơn 15,000 lượt sinh ảnh mỗi giờ, mang lại hiệu quả đầu tư vượt trội so với chi phí thuê nhân sự dựng mẫu thủ công.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Độ phân giải giới hạn: Ảnh sinh đầu ra đạt mức tối đa $256 \times 256$ pixels, chưa đáp ứng hoàn toàn tiêu chuẩn in ấn độ phân giải cao trong công nghiệp may mặc chuyên nghiệp.
  • Bối cảnh và tư thế người mẫu: Mô hình hiện tối ưu tốt nhất trên phông nền đơn sắc và dáng trang phục tĩnh; chưa xử lý triệt để được các tư thế uốn lượn phức tạp hoặc nếp gấp vải chuyển động mạnh.
  • Các chi tiết siêu nhỏ: Một số phụ kiện có kích thước rất nhỏ như cúc áo, họa tiết thêu ren phức tạp đôi khi vẫn bị mờ cục bộ.

Hướng phát triển tương lai

  • Nâng cấp độ phân giải với Super-Resolution: Tích hợp mô hình ESRGAN hoặc Real-ESRGAN làm giai đoạn hậu xử lý để nâng ảnh từ $256\times 256$ lên $1024\times 1024$ pixels.
  • Ứng dụng Diffusion Models: Chuyển đổi kiến trúc sang Latent Diffusion Models (LDMs) kết hợp ControlNet (Pose/Canny Edge) để nâng cao độ chân thực và khả năng kiểm soát tư thế người mẫu.
  • Tạo mẫu trang phục 3D: Kết hợp các kỹ thuật dựng hình 3D (NeRF hoặc 3D Gaussian Splatting) để sinh mô hình trang phục 360 độ từ văn bản.

Đối tượng hưởng lợi

  • Sinh viên & Nghiên cứu sinh: Cung cấp tài liệu tham khảo chi tiết về toán học, kiến trúc mạng đối kháng đa tầng, cơ chế Attention đa phương thức và mã nguồn mẫu PyTorch chuẩn mực.
  • Kỹ sư AI & Lập trình viên: Nắm bắt kỹ thuật tối ưu hóa mô hình học sâu sinh ảnh, phương pháp xử lý dữ liệu song ngữ ảnh - văn bản và kỹ thuật đánh giá bằng FID.
  • Doanh nghiệp dệt may & E-commerce: Sở hữu giải pháp công nghệ khả thi để tự động hóa khâu tiền thiết kế, giảm chi phí R&D và xây dựng các tính năng tương tác khách hàng thông minh.
  • Nhà nghiên cứu thị giác máy tính: Cung cấp các số liệu thực nghiệm so chuẩn trực tiếp giữa các thế hệ GAN trên bài toán miền hẹp (Domain-specific Synthesis).

Câu hỏi thường gặp

1. Cấu hình phần cứng tối thiểu để triển khai mô hình là gì?

Để chạy suy luận (Inference), hệ thống yêu cầu tối thiểu GPU NVIDIA có từ 6GB VRAM (như GTX 1660 Ti hoặc RTX 2060) và 8GB RAM hệ thống. Đối với việc huấn luyện lại (Re-training) toàn bộ mô hình trên tập Fashion-Gen, khuyến nghị sử dụng GPU tối thiểu 16GB VRAM (Tesla V100, RTX 3090, A100).

2. Mô hình có thể mở rộng để sinh ảnh người mẫu mặc nguyên set đồ không?

Kiến trúc AttnGAN hoàn toàn có thể mở rộng để sinh toàn bộ set trang phục bằng cách mở rộng tập dữ liệu huấn luyện có gán nhãn đa phân vùng (Multi-category Annotations) và tăng chiều không gian tiềm ẩn của Text Encoder để chứa đủ thông tin ngữ nghĩa dài.

3. Tích hợp mô hình vào hệ thống website bán hàng hiện có như thế nào?

Mô hình có thể được đóng gói dưới dạng Docker Container và cung cấp các REST API endpoint (sử dụng FastAPI). Frontend của website chỉ cần gửi chuỗi text mô tả qua phương thức HTTP POST và nhận về đường dẫn ảnh hoặc dữ liệu Base64 để hiển thị trực tiếp cho người dùng.

4. Chi phí bảo trì và vận hành hệ thống trong môi trường Production là bao nhiêu?

Với kiến trúc Serverless GPU hoặc triển khai trên một máy chủ đám mây chuyên dụng (ví dụ AWS g4dn.xlarge với chi phí khoảng 380 USD/tháng), hệ thống có thể phục vụ hàng trăm nghìn lượt truy vấn mỗi tháng với chi phí bảo trì phần mềm gần như tối thiểu.

5. Làm thế nào để khắc phục hiện tượng ảnh sinh ra bị sai màu so với mô tả?

Cơ chế Attention trong AttnGAN cùng hàm mất mát DAMSM đã giảm thiểu đáng kể vấn đề này. Tuy nhiên, nếu gặp các từ chỉ màu sắc hiếm, có thể tăng trọng số $\lambda$ của DAMSM Loss trong quá trình huấn luyện hoặc tăng cường dữ liệu (Data Augmentation) bằng cách hoán đổi các cặp từ chỉ màu sắc trong tập huấn luyện.

Kết luận

Đồ án "Ứng dụng học máy cho bài toán phát sinh ảnh thời trang từ câu mô tả" đã nghiên cứu toàn diện và hiện thực hóa thành công mô hình sinh ảnh đối kháng chú ý AttnGAN kết hợp bộ so khớp đa phương thức DAMSM. Nghiên cứu giải quyết thành công những thách thức lớn của bài toán Text-to-Image trong miền thời trang: bảo toàn chi tiết thuộc tính cục bộ, ổn định hóa quá trình huấn luyện mạng GAN và nâng cao độ phân giải hình ảnh lên $256 \times 256$ pixels với chỉ số FID vượt trội (33.00 so với 45.19 của StackGAN-v2). Kết quả của đồ án không chỉ khẳng định giá trị học thuật vững chắc mà còn mở ra tiềm năng ứng dụng thực tiễn to lớn trong việc hiện đại hóa quy trình thiết kế và kinh doanh thời trang số.