Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh công nghệ số và ngành thương mại điện tử phát triển nhanh chóng, số lượng các mặt hàng thời trang trực tuyến tăng trưởng liên tục và thay đổi mẫu mã thường xuyên. Việc xây dựng câu mô tả chi tiết, chính xác cho từng sản phẩm theo phương pháp thủ công đòi hỏi chi phí nhân lực lớn và tiêu tốn nhiều thời gian. Để giải quyết vấn đề này, việc ứng dụng thị giác máy tính kết hợp với xử lý ngôn ngữ tự nhiên nhằm tự động tạo câu mô tả sản phẩm bằng ngôn ngữ tự nhiên trở thành một hướng tiếp cận có giá trị ứng dụng thực tiễn cao. Tuy nhiên, việc giúp máy tính hiểu được ngữ cảnh, thuộc tính trang phục và diễn đạt lại dưới dạng câu văn chuẩn ngữ pháp đòi hỏi các kỹ thuật học sâu phức tạp cùng nguồn dữ liệu phong phú. Khóa luận tốt nghiệp "Tìm hiểu bài toán tạo câu mô tả cho ảnh thời trang dùng học sâu" của sinh viên Vũ Nguyên Hưng (ngành Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh, thực hiện dưới sự hướng dẫn của TS. Nguyễn Thiên Bảo) được triển khai nhằm giải quyết các thách thức trên.

Mục tiêu và các nhiệm vụ nghiên cứu cụ thể của đề tài bao gồm:

  1. Tìm hiểu tổng quan về bài toán mô tả ảnh thời trang và các hướng tiếp cận hiện nay.
  2. Hệ thống hóa cơ sở lý thuyết về học sâu và các kiến trúc mạng nơ-ron nhân tạo liên quan (ANN, CNN, RNN, LSTM).
  3. Nghiên cứu các phương pháp học sâu giải quyết bài toán mô tả ảnh, đặc biệt là kiến trúc bộ mã hóa - giải mã (Encoder - Decoder) và cơ chế chú ý (Attention).
  4. Hiện thực hóa mô hình học sâu cho bài toán tạo câu mô tả ảnh thời trang và tìm hiểu các giải pháp cải tiến kiến trúc.
  5. Thực nghiệm, kiểm thử và đánh giá mô hình trên tập dữ liệu thực tế.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các thuật toán học sâu, mô hình mạng nơ-ron tích chập (CNN), mạng nơ-ron hồi quy (RNN, LSTM), cơ chế chú ý thị giác (Visual Attention), và bài toán sinh ngôn ngữ tự nhiên từ hình ảnh.
  • Phạm vi dữ liệu: Tập dữ liệu chuẩn FashionGen gồm các hình ảnh thời trang chụp từ nhiều góc độ kèm câu mô tả do chuyên gia thời trang biên soạn.
  • Thời gian thực hiện: Từ ngày 24/02/2020 đến ngày 01/07/2020.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống cơ sở lý thuyết toàn diện bao gồm các mô hình toán học và kiến trúc học sâu chuyên dụng trong thị giác máy tính và xử lý ngôn ngữ tự nhiên:

  • Mạng nơ-ron nhân tạo (ANN): Cấu trúc nơ-ron toán học, hàm kích hoạt Sigmoid $\sigma(z) = \frac{1}{1 + e^{-z}}$, thuật toán lan truyền thuận (Feedforward), hàm mất mát sai số toàn phương trung bình (Mean Square Error - MSE), thuật toán tối ưu hóa Gradient Descent (bao gồm Batch Gradient Descent, Mini-Batch Gradient Descent, Stochastic Gradient Descent) và thuật toán lan truyền ngược (Backpropagation).
  • Mạng nơ-ron tích chập (CNN): Các thành phần cốt lõi xử lý dữ liệu không gian gồm vùng tiếp nhận cục bộ (Local receptive fields), cơ chế chia sẻ trọng số (Shared weights), phép toán tích chập (Convolution), kỹ thuật đệm (Padding), bước trượt (Stride), lớp tổng hợp (Pooling layer: Max pooling, Average pooling) và lớp kết nối đầy đủ (Fully connected layer).
  • Mạng nơ-ron hồi quy (RNN) và Mạng bộ nhớ Dài - Ngắn (LSTM): Khắc phục hiện tượng triệt tiêu đạo hàm (Vanishing gradient) của RNN thông qua cấu trúc tế bào LSTM với 3 cổng điều khiển và 1 tế bào trạng thái: cổng quên (Forget gate), cổng vào (Input gate), cổng ra (Output gate) và tế bào trạng thái (Cell state).
  • Cơ chế chú ý (Attention Mechanism): Cơ chế chú ý không gian (Spatial Attention) xác định vùng ảnh quan trọng và cơ chế chú ý ngữ nghĩa/kênh (Channel-wise Attention) chọn lọc đặc tính/đối tượng phù hợp.
  • Phương pháp nghiên cứu: Phương pháp phân tích - tổng hợp lý thuyết kết hợp với phương pháp thực nghiệm xây dựng mô hình học máy (mô hình hóa chuỗi Image-to-Sequence).
  • Nguồn dữ liệu: Bộ dữ liệu FashionGen phục vụ huấn luyện, kiểm tra và đánh giá.
  • Độ đo đánh giá chất lượng câu sinh: BLEU (Bilingual Evaluation Understudy Score với các n-gram từ BLEU-1 đến BLEU-4), ROUGE (Recall-Oriented Understudy for Gisting Evaluation, bao gồm ROUGE-L đo chuỗi con chung dài nhất) và CIDEr (Consensus-based Image Description Evaluation sử dụng trọng số TF-IDF cho n-gram).

Thiết kế và triển khai hệ thống

Mô hình tạo mô tả ảnh thời trang được thiết kế theo kiến trúc bộ mã hóa - giải mã (Encoder - Decoder):

+---------------+      +-----------------------+      +---------------+      +---------------+
|  Ảnh đầu vào  | ---> |  Encoder: ResNet50    | ---> | Feature Maps  | ---> |  Attention    |
| (FashionGen)  |      | (Pre-trained ImageNet)|      | (2048 x 7 x 7)|      | (Spatial/Chan)|
+---------------+      +-----------------------+      +---------------+      +-------+-------+
                                                                                     |
+---------------+      +-----------------------+      +---------------+              |
| Câu mô tả ra  | <--- |   Linear Prediction   | <--- | Decoder: LSTM | <------------+
| (Beam Search) |      | (Softmax Vocabulary)  |      | (2 Lớp, H=512)| (Context Vector)
+---------------+      +-----------------------+      +---------------+

Kiến trúc bộ mã hóa (Encoder)

  • Sử dụng mạng nơ-ron tích chập ResNet50 đã được tiền huấn luyện trên tập dữ liệu ImageNet để trích xuất đặc trưng hình ảnh.
  • Lớp phân loại cuối cùng được loại bỏ, trích xuất ma trận đặc trưng (feature maps) từ lớp tích chập cuối cùng với kích thước tensor đầu ra là $2048 \times 7 \times 7$.

Kiến trúc bộ giải mã (Decoder)

  • Sử dụng mạng nơ-ron hồi quy gồm 2 lớp LSTM với kích thước trạng thái ẩn (hidden state size) là 512.
  • Tại mỗi bước thời gian $t$, đầu vào của LSTM là véc-tơ ghép nối $x_t = [y_{t-1}, h_{t-1}, c_t]$, trong đó $y_{t-1}$ là véc-tơ nhúng của từ sinh ra trước đó, $h_{t-1}$ là trạng thái ẩn trước đó, và $c_t$ là véc-tơ ngữ cảnh thu được từ cơ chế chú ý.
  • Dự đoán xác suất phân phối từ tiếp theo $y_t$ trong tập từ vựng bằng cách đưa bộ ba $[y_{t-1}, h_t, c_t]$ qua một mạng nơ-ron nhân tạo (ANN) với hàm Softmax.

Cấu hình siêu tham số và huấn luyện

  • Thuật toán tối ưu hóa: Adam.
  • Tốc độ học (Learning rate): $1\text{e-}4$.
  • Kích thước batch (Batch size): 32.
  • Số chu kỳ huấn luyện (Epochs): 12 epoch.
  • Tiêu chí chọn mô hình tối ưu: Mô hình đạt điểm số BLEU cao nhất trên tập kiểm định (Validation set).
  • Thuật toán sinh câu khi suy luận (Inference): Tìm kiếm chùm (Beam Search) với kích thước chùm (Beam size) bằng 3.

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương 1 làm rõ sự cần thiết của đề tài xuất phát từ nhu cầu tự động hóa mô tả hàng hóa trong ngành thương mại điện tử, giúp cắt giảm chi phí và thời gian biên soạn nội dung thủ công. Tác giả xác định rõ mục đích nghiên cứu là nắm vững lý thuyết học sâu, các kiến trúc mạng nơ-ron (ANN, CNN, RNN) và ứng dụng cơ chế Attention vào bài toán mô tả ảnh thời trang. Phương pháp nghiên cứu bao gồm việc thu thập tài liệu học thuật và triển khai thực nghiệm mô hình Encoder - Decoder trên tập dữ liệu hình ảnh thời trang.

Chương 2: Bài toán mô tả hình ảnh thời trang

Chương 2 phân loại các phương pháp tiếp cận bài toán mô tả ảnh thời trang thành ba nhóm chính:

  • Phương pháp dựa trên mẫu (Template-based): Sử dụng các mẫu câu có sẵn các ô trống để điền thuộc tính, đảm bảo chuẩn ngữ pháp nhưng câu sinh ra bị gò bó về độ dài và cấu trúc.
  • Phương pháp dựa trên truy hồi (Retrieval-based): Tìm kiếm các hình ảnh tương đồng trong tập huấn luyện và trích xuất câu mô tả có sẵn, đảm bảo cú pháp nhưng không mô tả được các đặc tính riêng biệt, mới lạ của từng ảnh cụ thể.
  • Phương pháp dựa trên dịch thuật (Translation-based): Phân tích nội dung ảnh thành véc-tơ đặc trưng rồi sinh câu mô tả mới thông qua mô hình ngôn ngữ (hướng tiếp cận chủ đạo của học sâu).

Chương này cũng trình bày các kỹ thuật học (có giám sát, tăng cường, không giám sát), kỹ thuật mô tả từng vùng ảnh (Dense captioning), và các dạng kiến trúc tích hợp cơ chế chú ý và khái niệm ngữ nghĩa.

Chương 3: Học sâu

Chương 3 trình bày chi tiết nền tảng lý thuyết học sâu:

  • Cấu trúc nơ-ron và mạng ANN: Mô hình toán học nơ-ron nhân tạo với trọng số $w$, độ lệch $b$, hàm kích hoạt Sigmoid, và thuật toán lan truyền thuận dưới dạng ma trận đại số.
  • Phương pháp huấn luyện: Phân tích hàm mất mát sai số toàn phương trung bình (MSE), nguyên lý giải thuật Gradient Descent cùng sự khác biệt giữa Batch Gradient Descent (BGD), Stochastic Gradient Descent (SGD) và Mini-Batch Gradient Descent (MGD); kỹ thuật lan truyền ngược tính đạo hàm riêng của hàm mất mát.
  • Mạng nơ-ron tích chập (CNN): Phép toán tích chập $(I * K)$, công thức tính kích thước đầu ra sau tích chập kết hợp padding ($p$) và stride ($s$): $m = \frac{m_I - m_K + 2p}{s} + 1$; các kỹ thuật Max pooling và Average pooling giúp giảm chiều dữ liệu.
  • Mạng nơ-ron hồi quy (RNN) & LSTM: Các dạng bài toán RNN (One-to-One, One-to-Many, Many-to-One, Many-to-Many); hiện tượng triệt tiêu đạo hàm khi lan truyền ngược qua thời gian (BPTT); cấu trúc chi tiết của LSTM gồm cổng quên $f_t$, cổng vào $i_t$, tế bào trạng thái $C_t$, và cổng ra $o_t$.

Chương 4: Học sâu và bài toán mô tả ảnh thời trang

Chương 4 thiết lập bài toán dưới dạng tối đa hóa xác suất có điều kiện $p(S|I)$ để sinh chuỗi từ $S = (S_1, S_2, \dots)$ từ ảnh $I$. Tác giả chi tiết hóa:

  • Bộ mã hóa CNN: Trích xuất tập hợp $L$ véc-tơ đặc trưng $\alpha = {a_1, \dots, a_L}$ với $a_i \in \mathbb{R}^D$.
  • Bộ giải mã LSTM: Khởi tạo trạng thái ban đầu $c_0$ và $h_0$ thông qua mạng ANN từ giá trị trung bình cộng $\frac{1}{L}\sum_{i=1}^L a_i$.
  • Cơ chế Spatial - Channel wise Attention (SCA): Tách biệt việc tính toán trọng số chú ý không gian $\alpha^l = \Phi_s(h_{t-1}, V^l)$ và chú ý kênh $\beta^l = \Phi_c(h_{t-1}, V^l)$. Việc tách này giúp giảm chi phí tính toán từ $\mathcal{O}(W^l H^l C^l k)$ xuống còn $\mathcal{O}(W^l H^l k)$ cho không gian và $\mathcal{O}(C^l k)$ cho kênh.
  • Phương pháp đánh giá: Trình bày chi tiết công thức toán học của các độ đo BLEU (với hệ số phạt độ dài Brevity Penalty $BP$), ROUGE (Precision, Recall, F-measure, ROUGE-L) và CIDEr (tính trọng số TF-IDF cho n-gram với $N=4, w_n=1/4$).

Chương 5: Hiện thực và đánh giá mô hình

Chương 5 trình bày toàn bộ quy trình thực nghiệm trên bộ dữ liệu FashionGen:

  • Tập dữ liệu FashionGen: Gồm 293.008 hình ảnh thời trang chất lượng cao (định dạng PNG, kích thước $1360 \times 1360$ điểm ảnh), chụp từ 1 đến 6 góc độ khác nhau kèm đoạn mô tả chi tiết của chuyên gia. Tập dữ liệu được phân chia thành 260.480 ảnh cho tập huấn luyện (train), 32.528 ảnh cho tập đánh giá (validation) và 32.528 ảnh cho tập kiểm thử (test).
  • Hiện thực mô hình: Sử dụng ResNet50 trích xuất đặc trưng kích thước $2048 \times 7 \times 7$, bộ giải mã gồm 2 lớp LSTM kích thước 512, tối ưu bằng Adam ($lr = 1\text{e-}4$, batch size 32, 12 epochs).
  • Thuật toán sinh từ Beam Search: Sử dụng beam size bằng 3 để duy trì 3 chuỗi ứng viên có xác suất tích lũy cao nhất tại mỗi bước sinh từ cho đến khi gặp mã kết thúc <end>.

Chương 6: Kết luận

Chương 6 tổng kết các kết quả đạt được, phân tích ưu điểm, nhược điểm trong quá trình thực hiện đồ án và đề xuất các định hướng phát triển trong tương lai.

Kết quả và đóng góp

Bảng tổng hợp cấu hình thực nghiệm và thông số kỹ thuật

Thành phần / Tham số Chi tiết thiết lập trong khóa luận
Bộ dữ liệu FashionGen (293.008 ảnh, định dạng PNG $1360 \times 1360$ px)
Phân chia dữ liệu Train: 260.480 ảnh; Validation: 32.528 ảnh; Test: 32.528 ảnh
Kiến trúc Bộ mã hóa (Encoder) ResNet50 (Pretrained ImageNet), loại bỏ lớp Softmax
Kích thước Feature Maps trích xuất Tensor $2048 \times 7 \times 7$ từ lớp tích chập cuối
Kiến trúc Bộ giải mã (Decoder) 2 lớp LSTM, kích thước Hidden State = 512
Thuật toán tối ưu hóa (Optimizer) Adam, Learning rate = $1\text{e-}4$
Kích thước Batch & Số Epoch Batch size = 32, Huấn luyện qua 12 Epochs
Thuật toán giải mã câu (Inference) Beam Search (Beam size = 3)
Hệ thống độ đo đánh giá BLEU (BLEU-1 đến BLEU-4), ROUGE-L, CIDEr ($N=4$)

Đóng góp của đề tài

  • Hệ thống hóa đầy đủ cơ sở toán học và lý thuyết của các mô hình học sâu hiện đại phục vụ bài toán đa phương thức Image Captioning (từ nơ-ron sinh học, mạng tích chập CNN, mạng hồi quy LSTM đến cơ chế chú ý thị giác).
  • Phân tích chi tiết giải thuật giảm độ phức tạp tính toán của cơ chế chú ý kết hợp không gian và ngữ nghĩa kênh (Spatial - Channel wise Attention).
  • Xây dựng thành công quy trình tiền xử lý, huấn luyện và sinh câu mô tả trên tập dữ liệu thời trang quy mô lớn FashionGen sử dụng kiến trúc kết hợp ResNet50 - LSTM và thuật toán tìm kiếm Beam Search.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung khóa luận và phiếu nhận xét của Giáo viên hướng dẫn (TS. Nguyễn Thiên Bảo), các hạn chế và hướng mở rộng được ghi nhận như sau:

Hạn chế

  • Chưa hiện thực hóa trọn vẹn mô hình Spatial - Channel wise Attention (SCA) trong phần thực nghiệm mã nguồn do giới hạn về mặt tài nguyên phần cứng (GPU/tính toán).
  • Tác giả còn thiếu kinh nghiệm thực tế đối với việc triển khai các thực nghiệm quy mô lớn.
  • Quá trình suy luận bằng thuật toán Beam Search (beam size = 3) đòi hỏi lưu trữ nhiều trạng thái xác suất chuỗi, làm tăng thời gian xử lý và yêu cầu nhiều tài nguyên phần cứng.
  • Một số trường hợp câu mô tả sinh ra từ mô hình đề xuất vẫn chưa hoàn toàn chính xác so với mô tả chi tiết của chuyên gia thời trang.

Hướng nghiên cứu tiếp

  • Tăng cường tài nguyên phần cứng tính toán để hiện thực hóa và huấn luyện đầy đủ mô hình chú ý kết hợp Spatial - Channel wise Attention trên toàn bộ tập dữ liệu.
  • Tối ưu hóa thuật toán sinh từ và cấu trúc mạng nhằm rút ngắn thời gian huấn luyện và suy luận.
  • Nghiên cứu các phương pháp kết hợp thông tin đa góc chụp (1 đến 6 góc chụp của một bộ trang phục) để tạo ra các câu mô tả bao quát và chuẩn xác hơn.

Giá trị tham khảo

  • Đối tượng tham khảo: Sinh viên, học viên cao học ngành Công nghệ Thông tin, Khoa học Dữ liệu, Trí tuệ Nhân tạo đang nghiên cứu về thị giác máy tính (Computer Vision), xử lý ngôn ngữ tự nhiên (NLP) hoặc các bài toán đa phương thức (Multimodal Learning / Image Captioning).
  • Phần nội dung có giá trị cao:
    • Phần phân tích toán học chi tiết trong Chương 3 về cơ chế hoạt động của các cổng trong LSTM và các thuật toán tối ưu Gradient Descent.
    • Phân tích độ phức tạp thuật toán và công thức tính trọng số chú ý không gian và chú ý kênh trong Chương 4.
    • Quy trình thiết lập thực nghiệm, xử lý tensor đặc trưng từ ResNet50 kết hợp với giải thuật Beam Search trên tập dữ liệu FashionGen trong Chương 5.

Câu hỏi thường gặp

1. Tập dữ liệu FashionGen được phân chia như thế nào trong nghiên cứu?

Bộ dữ liệu FashionGen có tổng cộng 293.008 ảnh thời trang định dạng PNG ($1360 \times 1360$ điểm ảnh), được chia thành: 260.480 ảnh cho tập huấn luyện (training set), 32.528 ảnh cho tập đánh giá (validation set) và 32.528 ảnh cho tập kiểm thử (test set). Mỗi mặt hàng có từ 1 đến 6 góc chụp kèm mô tả từ chuyên gia.

2. Bộ mã hóa (Encoder) và bộ giải mã (Decoder) được cấu hình cụ thể ra sao?

Bộ mã hóa sử dụng mạng ResNet50 tiền huấn luyện trên ImageNet, trích xuất ma trận đặc trưng kích thước $2048 \times 7 \times 7$ từ lớp tích chập cuối cùng. Bộ giải mã sử dụng mạng nơ-ron hồi quy gồm 2 lớp LSTM với kích thước trạng thái ẩn bằng 512.

3. Cơ chế Spatial - Channel wise Attention (SCA) giúp tối ưu độ phức tạp tính toán như thế nào?

Nếu tính toán đồng thời cả không gian và kênh, độ phức tạp là $\mathcal{O}(W^l H^l C^l k)$. Bằng cách tách biệt thành tính toán trọng số chú ý kênh $\beta^l = \Phi_c(h_{t-1}, V^l)$ và chú ý không gian $\alpha^l = \Phi_s(h_{t-1}, V^l)$, độ phức tạp giảm xuống còn $\mathcal{O}(W^l H^l k)$ cho không gian và $\mathcal{O}(C^l k)$ cho kênh, giúp tiết kiệm đáng kể tài nguyên GPU.

4. Các siêu tham số huấn luyện và phương pháp sinh câu được thiết lập như thế nào?

Mô hình được tối ưu bằng thuật toán Adam với tốc độ học $1\text{e-}4$, kích thước mini-batch là 32, huấn luyện trong 12 epoch. Khi sinh câu mô tả ở giai đoạn suy luận, tác giả sử dụng thuật toán Beam Search với kích thước chùm (beam size) bằng 3.

5. Hạn chế chính được Giáo viên hướng dẫn chỉ ra trong phiếu nhận xét là gì?

Theo phiếu nhận xét của TS. Nguyễn Thiên Bảo, đồ án có các điểm hạn chế gồm: chưa hiện thực hóa được mô hình Spatial - Channel wise trên thực tế, gặp hạn chế về mặt tài nguyên để huấn luyện mô hình, và sinh viên chưa có nhiều kinh nghiệm thực tế với thực nghiệm.

Kết luận

Đồ án tốt nghiệp của sinh viên Vũ Nguyên Hưng đã hệ thống hóa toàn diện cơ sở lý thuyết về học sâu, mạng nơ-ron tích chập, mạng bộ nhớ dài - ngắn và các cơ chế chú ý thị giác ứng dụng trong bài toán tạo câu mô tả ảnh thời trang. Tác giả đã thiết kế và hiện thực hóa thành công mô hình Encoder - Decoder kết hợp giữa ResNet50 và 2 lớp LSTM trên bộ dữ liệu quy mô lớn FashionGen với thuật toán Beam Search. Mặc dù còn hạn chế về mặt tài nguyên phần cứng khiến mô hình Spatial - Channel wise Attention chưa được triển khai thực nghiệm trọn vẹn, công trình vẫn cung cấp một tài liệu tham khảo có giá trị học thuật và thực tiễn rõ ràng cho các nghiên cứu tiếp theo về bài toán Image Captioning trong lĩnh vực thương mại điện tử.