Tìm hiểu về bài toán tạo câu bình luận cho ảnh thời trang

Đồ án nghiên cứu hcmute tìm hiểu bài toán tạo câu bình luận cho ảnh thời trang, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho bài toán toán học.

• Tác giả: Đỗ Quốc Hùng
• Người hướng dẫn: T.S Nguyễn Thiên Bảo
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Tìm Hiểu Bài Toán Tạo Câu Bình Luận Cho Ảnh Thời Trang
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2020
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: Phạm vi đề tài
• 2. CHƯƠNG 2: Tổng quan về học sâu (Deep Learning)
• 2.1. Giới thiệu về Deep Learning
• 2.2. Mạng tích chập (Convolutional Neural Network)
• 2.3. Đặc trưng (Feature)
• 2.4. Fully connected layers
• 2.5. Mạng hồi quy (Recurrent Neural Network)
• 3. CHƯƠNG 3: Phương pháp đề xuất
• 3.1. Kiến trúc của NFR framework
• 3.2. Encoder – Decoder Architecture
• 3.3. Sequence to Sequence Model
• 3.4. Mô hình kiến trúc của Transformer
• 3.5. Input Embedding và Positional Embedding
• 3.6. Giai đoạn Encoder
• 3.7. Self-Attention trong Transformer
• 3.8. Scaled Dot-Product Attention
• 3.9. Multi head self attention
• 3.10. Position-wise Feed Forward Networks
• 3.11. Giai đoạn Decoder
• 3.12. Ưu điểm và nhược điểm của kiến trúc Transformer
• 4. CHƯƠNG 4: Hiện thực hóa hệ thống
• 4.1. Môi trường
• 4.2. Hiện thực hệ thống
• 4.3. Tổng kết và hướng phát triển
• 4.4. Các công việc đã làm. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tạo Bình Luận Ảnh Thời Trang Tổng Quan

Đề tài Nghiên cứu giải pháp tạo bình luận cho ảnh thời trang tập trung vào việc ứng dụng trí tuệ nhân tạo để tự động tạo ra các caption (bình luận ảnh thời trang) chất lượng cao. Đây là một vấn đề quan trọng trong marketing thời trang online, giúp tăng tương tác và thu hút khách hàng. Nghiên cứu này khảo sát các phương pháp hiện có, đặc biệt chú trọng vào việc phân tích xu hướng caption thời trang, phong cách viết caption thời trang, và công cụ tạo caption thời trang. Một số giải pháp marketing caption thời trang cũng được xem xét để tối ưu hiệu quả kinh doanh.

1.1 Phân tích LSI Keywords

Các Semantic LSI keywords như tạo bình luận ảnh thời trang, viết caption ảnh thời trang, ý tưởng caption ảnh thời trang, gợi ý bình luận ảnh thời trang, mẹo viết caption thời trang, ngôn ngữ caption thời trang, bình luận chuyên nghiệp ảnh thời trang, bình luận thu hút ảnh thời trang, tăng tương tác ảnh thời trang, thu hút người xem ảnh thời trang cho thấy sự đa dạng trong việc tiếp cận vấn đề. Salient LSI keyword là caption ảnh thời trang, phản ánh trọng tâm là việc tạo ra các caption hiệu quả. Các Semantic Entity bao gồm ảnh thời trang, caption, và các Salient Entity liên quan đến marketing thời trang. Close Entity của Nghiên cứu giải pháp tạo bình luận cho ảnh thời trang là phân tích caption thời trang, xu hướng thời trang, marketing thời trang online.

1.2 Thách thức và Cơ Hội

Mặc dù có nhiều công cụ tạo caption thời trang, bao gồm cả phần mềm tạo caption thời trang và app tạo caption thời trang, việc tạo ra caption tự nhiên, thu hút và phản ánh chính xác nội dung hình ảnh vẫn là thách thức lớn. Việc hiểu cách viết caption ảnh thời trang bán hàng đòi hỏi sự kết hợp giữa hiểu biết về thời trang và kỹ thuật viết lôi cuốn. Tuy nhiên, SEO caption thời trang và thống kê caption thời trang có thể mang lại cơ hội tối ưu hóa hiệu quả của caption, giúp các thương hiệu thời trang tiếp cận khách hàng mục tiêu hiệu quả hơn. Giải pháp marketing caption thời trang này có tiềm năng cải thiện đáng kể kết quả kinh doanh online.

II. Mô hình và Phương pháp

Đồ án tốt nghiệp “Tìm hiểu bài toán tạo câu bình luận cho ảnh thời trang” đã áp dụng mô hình Neural Fashion Recommendation (NFR) để giải quyết vấn đề. NFR kết hợp mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) để xử lý ảnh và tạo văn bản. Nghiên cứu này phân tích chi tiết kiến trúc của NFR, bao gồm các thành phần như Encoder-Decoder Architecture, Self-Attention, và Multi-Head Self-Attention. Việc đánh giá hiệu quả của mô hình được thực hiện dựa trên các chỉ số định lượng và định tính.

2.1 Phân tích Mô hình NFR

Mô hình NFR, như đã được đề cập trong đồ án, sử dụng CNN để trích xuất đặc trưng từ ảnh thời trang. RNN, cụ thể là kiến trúc Sequence to Sequence Model, được sử dụng để tạo ra chuỗi văn bản là caption. Việc áp dụng cơ chế Mutual Attention và Cross-modality Attention giúp mô hình hiểu mối quan hệ giữa hình ảnh và văn bản. Tuy nhiên, đồ án chỉ tập trung vào việc tái hiện mô hình NFR chứ chưa có những cải tiến đáng kể. Như vậy, cần phải có thêm các nghiên cứu về việc cải tiến mô hình NFR để tối ưu hóa việc tạo caption.

2.2 Đánh giá và Hạn chế

Đồ án đề cập đến việc sử dụng CNN và RNN, nhưng thiếu thông tin cụ thể về kiến trúc mạng, siêu tham số, và tập dữ liệu sử dụng. Việc đánh giá mô hình chưa đầy đủ, thiếu các chỉ số đánh giá chính xác. Hơn nữa, đồ án cũng nêu rõ hạn chế về nguồn lực phần cứng và kinh nghiệm trong việc chạy deep learning. Như vậy, để có một đánh giá toàn diện hơn, cần bổ sung thêm các thông tin chi tiết về quá trình thực hiện, kết quả thực nghiệm, và phân tích so sánh với các mô hình khác.

III. Ứng dụng Thực tiễn và Kết luận

Nghiên cứu này có ý nghĩa thực tiễn cao trong lĩnh vực marketing thời trang. Việc tự động tạo caption sẽ giúp các doanh nghiệp tiết kiệm thời gian và chi phí. Việc áp dụng các kỹ thuật SEO caption thời trang có thể cải thiện khả năng hiển thị trên các nền tảng mạng xã hội. Tuy nhiên, cần lưu ý đến việc đảm bảo tính tự nhiên và sự đa dạng của caption để tránh sự nhàm chán và giảm hiệu quả. Ảnh thời trang đẹp và xu hướng thời trang là những yếu tố quan trọng cần được kết hợp để tạo ra những caption hấp dẫn.

3.1 Ứng dụng trong Marketing

Kết quả nghiên cứu có thể được ứng dụng trực tiếp trong chiến lược quảng cáo thời trang và bán hàng thời trang online. Việc tạo caption tự động sẽ giúp tăng hiệu quả tương tác trên các nền tảng mạng xã hội như Facebook, Instagram. Các thương hiệu thời trang có thể sử dụng hệ thống này để tạo caption cho các bài đăng sản phẩm, tăng khả năng tiếp cận khách hàng tiềm năng. Điều này sẽ giúp tối ưu hóa marketing thời trang và tăng doanh thu.

3.2 Hướng phát triển tương lai

Nghiên cứu cần được mở rộng để bao gồm việc xử lý các loại hình thời trang đa dạng, từ thời trang nữ, thời trang nam, thời trang trẻ em, đến thời trang cao cấp và thời trang đường phố. Việc tích hợp nhiều ngôn ngữ, đặc biệt là caption ảnh thời trang bằng tiếng Anh, sẽ tăng tính ứng dụng của hệ thống. Ngoài ra, cần nghiên cứu thêm về việc cá nhân hóa caption dựa trên đặc điểm của từng đối tượng khách hàng. Cuối cùng, việc tích hợp hệ thống vào các nền tảng thương mại điện tử sẽ giúp tối ưu hoá trải nghiệm người dùng và thúc đẩy hoạt động bán hàng thời trang online.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển của lĩnh vực thị giác máy tính (Computer Vision) thuộc trí tuệ nhân tạo và khoa học máy tính đã mang lại khả năng nhận diện, phân tích và thấu hiểu hình ảnh cho hệ thống máy tính. Trong bối cảnh thương mại điện tử phát triển mạnh mẽ trên các nền tảng mua sắm trực tuyến như Amazon, Lazada, Alibaba hay Tiki, nhu cầu mua sắm quần áo qua mạng ngày càng gia tăng. Tuy nhiên, việc phối hợp các món đồ thời trang để tạo nên một bộ trang phục hài hòa, thẩm mỹ vẫn là trở ngại lớn đối với người tiêu dùng. Các hệ thống gợi ý truyền thống chủ yếu dựa vào lịch sử tìm kiếm để đề xuất sản phẩm tương tự mà chưa thể đóng vai trò như một chuyên gia tư vấn có khả năng nhận xét, góp ý chi tiết cho từng cách phối đồ. Các công trình trước đây như của Tomoharu Iwata và cộng sự (2011) hay Si Liu và cộng sự (2012) đã tiếp cận bài toán gợi ý trang phục nhưng còn gặp hạn chế về tính đa dạng và quy mô dữ liệu. Năm 2018, nhóm nghiên cứu Yujie Lin, Pengjie Ren và cộng sự đã công bố khung mô hình Neural Fashion Recommendation (NFR) nhằm kết hợp gợi ý phối đồ và tự động phát sinh câu bình luận giải thích, mở ra hướng tiếp cận mới nhưng chất lượng câu sinh ra vẫn cần được nghiên cứu và cải thiện.

Mục tiêu nghiên cứu của đồ án bao gồm:

1. Tìm hiểu các kiến thức nền tảng về học máy và học sâu, trọng tâm là mạng nơ-ron tích chập (CNN), mạng nơ-ron hồi quy (RNN), kiến trúc Transformer cùng các cơ chế chú ý (Mutual Attention, Cross-modality Attention).
2. Tìm hiểu chi tiết bài toán tạo câu bình luận cho ảnh thời trang và cấu trúc của khung mô hình NFR (Neural Fashion Recommendation).
3. Hiện thực hóa lại mô hình NFR trên môi trường thực nghiệm để giải quyết bài toán gợi ý trang phục và tự động phát sinh câu bình luận từ ảnh tĩnh.

Nhiệm vụ nghiên cứu được xác định cụ thể:

1. Khảo sát và tổng hợp cơ sở lý thuyết về học sâu, xử lý ảnh thị giác và xử lý ngôn ngữ tự nhiên.
2. Phân tích nguyên lý hoạt động của kiến trúc Encoder - Decoder, mô hình Sequence to Sequence và các biến thể cơ chế Attention.
3. Thu thập, phân tách và tiền xử lý bộ dữ liệu ảnh thời trang ExpFashion.
4. Xây dựng mã nguồn giải thuật, thiết lập mô hình và tiến hành huấn luyện trên môi trường điện toán đám mây Google Colab.
5. Đánh giá kết quả thực nghiệm thông qua độ đo học thuật BLEU-1 và khảo sát định tính các câu bình luận được sinh ra.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Bài toán tạo câu bình luận cho ảnh thời trang; các cặp ảnh trang phục gồm phần trên (top) và phần dưới (bottom); các mô hình học sâu CNN, RNN (GRU), Transformer và NFR framework.
• Phạm vi không gian: Thực nghiệm được tiến hành trên dịch vụ đám mây Google Colab với cấu hình 12GB RAM và 358GB đĩa lưu trữ, thuộc Bộ môn Công nghệ Thông tin, Khoa Đào tạo Chất lượng cao, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh.
• Phạm vi thời gian: Đề tài được giao thực hiện từ ngày 24/02/2020 và hoàn thành nộp báo cáo vào ngày 01/07/2020.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nghiên cứu dựa trên các mô hình lý thuyết và cấu trúc học sâu tiêu biểu:

• Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Sử dụng để phân tích dữ liệu thị giác. Mô hình trích xuất các đặc trưng không gian (feature map) thông qua các lớp tích chập với bộ lọc (filter), áp dụng hàm kích hoạt phi tuyến tính ReLU (Rectified Linear Unit) để biến đổi các giá trị âm về 0, lớp gộp cực đại (Max Pooling) để giảm kích thước ma trận đặc trưng trong khi vẫn lưu giữ thông tin quan trọng, và các lớp kết nối đầy đủ (Fully Connected layers) để tổng hợp vector đặc trưng.
• Mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) và Gated Recurrent Unit (GRU): Sử dụng cho việc xử lý dữ liệu chuỗi tuần tự như ngôn ngữ tự nhiên. Để xử lý hiện tượng triệt tiêu hoặc bùng nổ đạo hàm (Vanishing/Exploding Gradient) của RNN truyền thống khi xử lý câu dài, mô hình GRU được áp dụng với cơ chế hai cổng: cổng xóa (Reset Gate) quyết định lượng thông tin quá khứ cần loại bỏ, và cổng cập nhật (Update Gate) xác định lượng thông tin cần truyền sang trạng thái tiếp theo.
• Kiến trúc Encoder - Decoder và Sequence to Sequence: Encoder chuyển đổi chuỗi dữ liệu đầu vào thành vector ngữ cảnh cố định, Decoder tiếp nhận vector đại diện này để giải mã và dự đoán chuỗi kết quả đầu ra theo từng bước thời gian.
• Cơ chế chú ý (Attention Mechanism) của Dzmitry Bahdanau và cộng sự: Khắc phục sự pha loãng thông tin của mô hình Seq2Seq bằng cách tạo ra vector ngữ cảnh động ($c_i$) tại mỗi bước thời gian giải mã. Vector này là tổng có trọng số của các trạng thái ẩn Encoder, dựa trên trọng số căn chỉnh ($a_{ij}$) được chuẩn hóa qua hàm Softmax từ mô hình căn chỉnh ($e_{ij}$).
• Kiến trúc Transformer của Ashish Vaswani và cộng sự: Mô hình loại bỏ hoàn toàn các lớp hồi quy để tính toán song song, sử dụng cơ chế nhúng vị trí (Positional Encoding) qua hàm sin và cos, cơ chế tự chú ý (Self-Attention), hàm tính điểm tương thích Scaled Dot-Product Attention, Multi-Head Attention với nhiều không gian đại diện chạy song song, kết nối tắt (Residual Connection) kèm chuẩn hóa lớp (Layer Normalization) và mạng truyền thẳng (Position-wise Feed Forward Network).
• Khung mô hình Neural Fashion Recommendation (NFR): Tích hợp Encoder dùng CNN để trích xuất vector đặc trưng tiềm ẩn từ ảnh trang phục trên và dưới; Decoder phối đồ sử dụng cơ chế Mutual Attention để lấy chéo đặc trưng giữa top và bottom; Decoder phát sinh bình luận sử dụng RNN-GRU kết hợp cơ chế Cross-modality Attention nhằm liên kết đặc trưng ngôn ngữ của từ và đặc trưng thị giác của cặp ảnh.

Phương pháp nghiên cứu:

• Phương pháp nghiên cứu lý thuyết: Phân tích, tổng hợp tài liệu chuyên khảo và các công bố khoa học quốc tế về thị giác máy tính và sinh văn bản tự động.
• Phương pháp thực nghiệm mô hình học sâu: Xây dựng cấu trúc mạng nơ-ron, cấu hình tham số, huấn luyện mô hình trên tập dữ liệu và chạy chương trình demo thực tế.
• Phương pháp đánh giá: Đánh giá định lượng kết quả sinh văn bản bằng độ đo BLEU-1 và đánh giá định tính thông qua việc phân loại trực quan nội dung câu bình luận.

Nguồn dữ liệu:

• Đồ án sử dụng bộ dữ liệu thời trang ExpFashion gồm 50.015 hình ảnh định dạng JPG nền trắng, kích thước chuẩn 224x224 pixel (gồm 29.113 ảnh trang phục phần trên và 20.902 ảnh trang phục phần dưới), 200 cặp trang phục và bộ từ vựng chứa 92.295 từ.
• Trong quá trình thực nghiệm, do giới hạn tài nguyên tính toán, dữ liệu được tách thành hai tập con: Tập dữ liệu 1 gồm 1.876 ảnh (729 ảnh top) và Tập dữ liệu 2 gồm 1.595 ảnh (3.482 ảnh bottom).

Nội dung chính theo từng chương

Chương I: Đặt vấn đề

Chương này giới thiệu tổng quan về vai trò của thị giác máy tính trong trí tuệ nhân tạo và tiềm năng ứng dụng công nghệ này trong thương mại điện tử nhằm đáp ứng xu hướng mua sắm trực tuyến. Tác giả phân tích nhu cầu cấp thiết về một công cụ gợi ý thời trang tự động có khả năng đưa ra lời nhận xét hữu ích khi người dùng phối hợp một chiếc áo và một chiếc quần bất kỳ. Báo cáo điểm qua các nghiên cứu tiền đề của Tomoharu Iwata và cộng sự (2011) về hệ thống gợi ý phối đồ từ tạp chí thời trang và công trình của Si Liu và cộng sự (2012) mang tên "Magic Closet", qua đó chỉ ra các giới hạn về sự đa dạng dữ liệu. Từ đó, chương xác định mục tiêu trọng tâm là tìm hiểu và hiện thực lại khung mô hình NFR (Neural Fashion Recommendation) theo công bố của Yujie Lin và cộng sự (2018), tập trung vào nhiệm vụ phát sinh câu bình luận cho bộ trang phục.

Chương II: Tổng quan về học sâu (Deep Learning)

Nội dung chương trình bày nền tảng lý thuyết của học sâu trong việc mô hình hóa dữ liệu trừu tượng mức cao. Tác giả đi sâu vào nguyên lý hoạt động của mạng nơ-ron tích chập (CNN) gồm các thành phần: trích xuất đặc trưng bằng bộ lọc tích chập, nguyên lý tạo lập ma trận đặc trưng (feature map), hàm kích hoạt ReLU nhằm triệt tiêu các giá trị âm, cơ chế Max Pooling giúp thu gọn kích thước ảnh xuống một phần tư nhưng vẫn giữ lại các đặc trưng cục bộ quan trọng, và các lớp kết nối đầy đủ (Fully connected layers) đóng vai trò quyết định dự đoán thông qua trọng số. Tiếp đó, chương khảo sát mạng nơ-ron hồi quy (RNN) dùng trong dữ liệu chuỗi tuần tự với công thức cập nhật trạng thái ẩn $h_t = f(W_{in}x_t + W_{rec}h_{t-1})$ và từ dự đoán $y_t = Softmax(W_{out}h_t)$. Chương cũng làm rõ nhược điểm hao hụt hoặc bùng nổ đạo hàm của RNN trên chuỗi dài và cấu trúc giải quyết vấn đề này của Gated Recurrent Unit (GRU) thông qua Reset Gate và Update Gate.

Chương III: Phương pháp đề xuất

Chương này mô tả chi tiết các mô hình kiến trúc tiên tiến được nghiên cứu để ứng dụng cho bài toán. Đầu tiên là khung mô hình NFR với cấu trúc gồm bộ mã hóa trích xuất đặc tính hình ảnh bằng CNN, bộ giải mã phối trang phục sử dụng Mutual Attention để liên kết chéo đặc tính giữa áo và quần, cùng bộ giải mã phát sinh câu bình luận sử dụng RNN kết hợp Cross-modality Attention. Tiếp theo, tác giả trình bày kiến trúc Encoder - Decoder và mô hình Sequence to Sequence, phân tích hiện tượng thông tin bị loãng khi chuỗi đầu vào dài. Để khắc phục, cơ chế Attention của Bahdanau được trình bày đầy đủ kèm các công thức tính xác suất sinh từ $p(y_i|y_1, ..., y_{i-1}, x) = g(y_{i-1}, s_i, c_i)$, vector ngữ cảnh $c_i = \sum_{j=1}^{T_x} a_{ij}h_j$ và trọng số căn chỉnh $a_{ij}$.

Phần trọng tâm tiếp theo của chương là kiến trúc Transformer của Vaswani và cộng sự, bao gồm:

• Phương pháp mã hóa vị trí (Positional Encoding) sử dụng hàm sin và cos cho các chiều chẵn và lẻ với vector nhúng kích thước $d_{model} = 512$.
• Cấu trúc khối Encoder chứa Multi-Head Self-Attention và Feed Forward Network.
• Cơ chế Self-Attention và hàm tính toán Scaled Dot-Product Attention: $$Attention(Q, K, V) = Softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ với kích thước vector truy vấn (query) và khóa (key) là $d_k = 64$.
• Cơ chế Multi-Head Attention cho phép mô hình thu nhận thông tin song song từ nhiều không gian biểu diễn khác nhau.
• Kết nối tắt (Residual Connection) kết hợp chuẩn hóa lớp $LayerNorm(x + Sublayer(x))$.
• Cấu trúc khối Decoder bổ sung lớp Masked Multi-Head Attention để tránh việc tham chiếu trước các vị trí tương lai.
• Phân tích ưu điểm tính toán song song, học phụ thuộc tầm xa và các nhược điểm của Transformer đối với dữ liệu chuỗi thời gian.

Chương IV: Hiện thực hóa hệ thống

Chương này đặc tả quá trình thực nghiệm mô hình trên môi trường Google Colab với bộ nhớ RAM 12GB và dung lượng đĩa 358GB. Tác giả công bố thông số bộ dữ liệu ExpFashion và thiết lập quy trình huấn luyện trên 2 tập dữ liệu con trong 1 epoch:

• Cấu hình mạng CNN: Bộ mã hóa sử dụng mạng tích chập 2 lớp để trích xuất đặc trưng hình ảnh với kích thước bộ lọc (kernel size) là $3 \times 3$, bước trượt (stride) bằng 1, khoảng đệm (padding) bằng 1 và kích thước lớp gộp (pooling size) là $16 \times 16$. Ma trận đặc trưng ở lớp tích chập cuối cùng được trích xuất làm đầu vào cho bộ giải mã.
• Cấu hình bộ giải mã: Giai đoạn giải mã phối đồ dùng Mutual Attention để tìm cặp tương thích; giai đoạn giải mã bình luận dùng RNN cấu trúc GRU kết hợp Cross-modality Attention đọc vector nhúng từ trước đó, vector ngữ cảnh và trạng thái ẩn để tạo ra từ hiện tại.
• Tham số huấn luyện: Khởi tạo trọng số ngẫu nhiên bằng phương pháp Xavier, giải thuật tối ưu hóa Adam với tốc độ học (learning rate) bằng 0.001 và kích thước lô (batch size) bằng 64.
• Kết quả thực nghiệm: Báo cáo kết quả định lượng qua độ đo BLEU-1 và danh sách câu bình luận mẫu được phân loại chất lượng.

Chương V: Tổng kết và hướng phát triển

Chương cuối cùng tổng kết các kết quả mà đồ án đã hoàn thành: nghiên cứu lý thuyết các mô hình học sâu xử lý hình ảnh và văn bản, tìm hiểu bài toán gợi ý phối đồ, nghiên cứu mô hình phát sinh bình luận từ ảnh tĩnh và hiện thực hóa lại mô hình NFR. Tác giả thừa nhận các hạn chế thực tế bao gồm cơ sở vật chất chưa đủ tốt, kinh nghiệm thực nghiệm trên Google Colab còn hạn chế và kết quả thực nghiệm chưa đạt mức tối ưu. Về hướng phát triển, đồ án đề xuất: thu thập và làm sạch lại dữ liệu huấn luyện, huấn luyện mô hình trên tập dữ liệu quy mô lớn hơn với nhiều epoch hơn, và tích hợp các kỹ thuật chuyên sâu như nhận dạng thuộc tính (Attribute Recognition) cùng mô hình chú ý thị giác (Visual Attention Model) để nâng cao chất lượng và độ tin cậy của câu bình luận.

Kết quả và đóng góp

Về mặt định lượng, khóa luận ghi nhận kết quả đánh giá câu bình luận phát sinh theo chiều Top - Down thông qua thang đo BLEU-1 sau 1 epoch huấn luyện trên hai tập dữ liệu con được trích từ ExpFashion:

Tập dữ liệu thử nghiệm	Cấu trúc dữ liệu chi tiết	Số epoch	Hướng phối hợp	Điểm BLEU-1
Tập dữ liệu 1	1.876 ảnh (729 ảnh top)	1	Top - Down	0.068
Tập dữ liệu 2	1.595 ảnh (3.482 ảnh bottom)	1	Top - Down	0.408

Về mặt định tính, tác giả trích xuất và phân loại các câu bình luận được sinh ra từ mô hình thực nghiệm:

Nhóm đánh giá	Cặp trang phục đầu vào	Câu bình luận thực tế do mô hình sinh ra
Tốt	Bottom - Top	surely you do , and this is sweet like cake !
Tốt	Bottom - Top	Stylish fashion such a nice combo for this season
Tốt	Bottom - Top	Wow ! this is fabulous dear, love it all very much- well done :)).
Không tốt	Bottom - Top	Hey, thanks for following us !
Không tốt	Bottom - Top	Thanks girl.

Các giải pháp và đóng góp của đề tài:

• Xây dựng quy trình tích hợp mạng tích chập CNN 2 lớp làm bộ trích xuất đặc trưng thị giác kết hợp với RNN-GRU làm bộ giải mã sinh câu bình luận.
• Áp dụng các kỹ thuật học sâu trong việc khởi tạo trọng số ngẫu nhiên theo phương pháp Xavier và tối ưu hóa bằng thuật toán Adam với tốc độ học 0.001.
• Hiện thực hóa thành công các cơ chế chú ý liên phương thức (Cross-modality Attention và Mutual Attention) để liên kết thông tin hình ảnh thời trang với ngữ nghĩa văn bản.
• Tổng hợp tài liệu học thuật chi tiết về các bước phát triển của mạng nơ-ron từ CNN, RNN, GRU, Seq2Seq, Attention Model cho đến kiến trúc Transformer hoàn chỉnh.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đồ án:

• Nguồn lực phần cứng còn thiếu thốn, toàn bộ quá trình thử nghiệm chỉ dựa vào nền tảng Google Colab miễn phí (12GB RAM, 358GB bộ nhớ đĩa), không có hệ thống máy chủ GPU riêng để huấn luyện toàn diện.
• Nhóm sinh viên chưa có nhiều kinh nghiệm trong việc thiết lập và chạy các mô hình học sâu quy mô lớn trên môi trường đám mây.
• Thời gian huấn luyện còn rất ngắn (chỉ thực hiện 1 epoch) và phải chia nhỏ dữ liệu trên các tập dữ liệu con thay vì huấn luyện trên toàn bộ 50.015 ảnh của bộ ExpFashion.
• Báo cáo chưa đưa ra được độ đo đánh giá cuối cùng một cách đầy đủ (thiếu các độ đo BLEU-2, BLEU-3, BLEU-4, ROUGE hoặc METEOR; thiếu chỉ số cho chiều Down - Top).
• Kết quả trực quan vẫn tồn tại nhược điểm: mô hình còn phát sinh những câu mang tính rác hoặc câu chào hỏi trên mạng xã hội không chứa giá trị nhận xét trang phục (như "Hey, thanks for following us !" hoặc "Thanks girl.").

Hướng nghiên cứu tiếp theo:

• Tiến hành thu thập bổ sung hoặc làm sạch, tái chỉnh sửa lại toàn bộ tập dữ liệu huấn luyện để loại trừ các câu bình luận không liên quan đến ngữ nghĩa thời trang.
• Mở rộng quy mô huấn luyện trên toàn bộ bộ dữ liệu lớn với số lượng epoch đầy đủ khi có điều kiện cải thiện cơ sở vật chất phần cứng.
• Nghiên cứu và tích hợp các kỹ thuật tiên tiến như nhận dạng thuộc tính trang phục (Attribute Recognition) và mô hình chú ý thị giác (Visual Attention Model) nhằm giúp câu bình luận bám sát vào các đặc tính cụ thể của quần áo (như màu sắc, chất liệu, kiểu dáng), từ đó tạo ra những nhận xét hợp lý và đáng tin cậy hơn cho người dùng.

Giá trị tham khảo

Báo cáo khóa luận mang lại giá trị tham khảo hữu ích cho các nhóm đối tượng:

• Sinh viên chuyên ngành Công nghệ thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo đang thực hiện đồ án môn học hoặc khóa luận tốt nghiệp về xử lý dữ liệu đa phương thức (Vision-Language) kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên.
• Người nghiên cứu bài toán chú thích ảnh (Image Captioning) hoặc hệ thống gợi ý giải thích được (Explainable Recommendation Systems) trong lĩnh vực thương mại điện tử.

Các nội dung đáng tham khảo nhất trong tài liệu:

• Phần tổng quan lý thuyết tại Chương II và Chương III: Trình bày chi tiết toán học và cơ chế hoạt động của các biến thể Attention, cơ chế tính điểm Scaled Dot-Product Attention và cấu trúc từng khối Encoder/Decoder của mô hình Transformer.
• Thiết lập thông số thực nghiệm tại Chương IV: Cung cấp cấu hình cụ thể về kích thước kernel, stride, pooling, learning rate, thuật toán tối ưu Adam và hàm khởi tạo Xavier, phục vụ đối sánh khi xây dựng mô hình học sâu tương tự trên nền tảng Google Colab.
• Nhận xét đánh giá của giảng viên hướng dẫn (TS. Nguyễn Thiên Bảo): Phản ánh trung thực các khó khăn thực tế mà sinh viên thường gặp phải khi triển khai học sâu trên hạ tầng đám mây.

Câu hỏi thường gặp

1. Khóa luận này tiếp cận bài toán tạo câu bình luận thời trang dựa trên công trình nghiên cứu gốc nào?

Khóa luận tiếp cận và hiện thực lại khung mô hình NFR (Neural Fashion Recommendation) được công bố trong bài báo khoa học "Explainable Fashion Recommendation with Joint Outfit Matching and Comment Generation" (năm 2018) của nhóm tác giả Yujie Lin, Pengjie Ren, Zhumin Chen, Zhaochun Ren, Jun Ma và Maarten de Rijke.

2. Hai cơ chế Attention được sử dụng trong khung mô hình NFR đóng vai trò gì?

Trong mô hình NFR, cơ chế Mutual Attention được sử dụng ở giai đoạn Decoder phối đồ nhằm lấy chéo đặc tính giữa trang phục phần trên (top) và trang phục phần dưới (bottom) để tạo ra các vector đại diện phục vụ việc tìm kiếm cặp trang phục phù hợp nhất. Cơ chế Cross-modality Attention được sử dụng ở giai đoạn Decoder sinh bình luận nhằm kết hợp đặc tính của từ đang xét với đặc tính hình ảnh của cặp trang phục để nâng cao độ chính xác của câu mô tả.

3. Bộ dữ liệu ExpFashion có quy mô ra sao và nhóm tác giả đã huấn luyện thực tế như thế nào?

Bộ dữ liệu gốc ExpFashion gồm 50.015 ảnh định dạng JPG kích thước 224x224 trên nền trắng (gồm 29.113 ảnh top và 20.902 ảnh bottom), 200 cặp trang phục và 92.295 từ vựng. Trong thực nghiệm trên Google Colab, nhóm đã tách dữ liệu để huấn luyện trong 1 epoch trên hai tập: Tập dữ liệu 1 gồm 1.876 ảnh (729 ảnh top) và Tập dữ liệu 2 gồm 1.595 ảnh (3.482 ảnh bottom).

4. Kết quả định lượng bằng độ đo BLEU-1 của mô hình đạt mức bao nhiêu?

Trên chiều phối hợp Top - Down sau 1 epoch huấn luyện, mô hình đạt điểm số BLEU-1 là 0.068 đối với Tập dữ liệu 1 và đạt 0.408 đối với Tập dữ liệu 2. Điểm số cho chiều Down - Top chưa được ghi nhận trong báo cáo.

5. Giảng viên hướng dẫn đưa ra những nhận xét và xếp loại đồ án như thế nào?

Giảng viên hướng dẫn TS. Nguyễn Thiên Bảo nhận xét nhóm đã hoàn thành mục tiêu ban đầu, nắm vững kiến thức lý thuyết về CNN, RNN, Attention, chạy được chương trình demo và có thái độ làm việc nghiêm túc, đúng tiến độ. Khuyết điểm được chỉ ra là hạn chế về phần cứng, thiếu kinh nghiệm chạy học sâu trên Google Colab, chưa đưa ra được độ đo đánh giá cuối cùng toàn diện và kết quả trực quan cần cải thiện thêm. Đồ án được đề nghị cho bảo vệ với xếp loại Khá.

Kết luận

Đồ án tốt nghiệp "Tìm hiểu bài toán tạo câu bình luận cho ảnh thời trang" của sinh viên Đỗ Quốc Hùng và Phạm Thanh Trung đã hệ thống hóa các kiến thức lý thuyết từ mạng nơ-ron tích chập (CNN), mạng hồi quy (RNN-GRU), các cơ chế Attention cho đến kiến trúc Transformer. Nghiên cứu đã tập trung phân tích và hiện thực hóa lại khung mô hình Neural Fashion Recommendation (NFR), tích hợp cơ chế Mutual Attention để gợi ý phối đồ và Cross-modality Attention để tự động phát sinh câu bình luận từ các cặp ảnh trang phục. Dù còn đối mặt với các hạn chế về tài nguyên phần cứng trên Google Colab và chỉ mới huấn luyện 1 epoch trên các tập dữ liệu nhỏ tách từ bộ ExpFashion, đồ án đã triển khai thành công chương trình demo, đạt điểm số BLEU-1 ở mức 0.408 trên tập thử nghiệm thứ hai và xác định rõ các định hướng cải tiến về làm sạch dữ liệu cũng như tích hợp mô hình nhận dạng thuộc tính.

Trích đoạn nội dung tài liệu

Đặt vấn đề Thị lực máy tính (Computer vision) là một nhánh trong lĩnh vực trí tuệ nhân tạo (Artificial Intelligence) và Khoa học máy tính (Computer science). Lĩnh vực này giúp máy tính có khả năng thị giác như con người, giúp máy tính có thể nhận diện và hiểu biết một hình ảnh. Xã hội ngày một phát triển, cùng với đó là nhịp sống của mọi người cũng bận rộn theo. Xu hướng mua hàng online, ngày càng được giới trẻ và những người không có nhiều thời gian mua sắm lựa chọn.

Đây cũng chính là lí do mà lĩnh vực này có rất nhiều tìm năng để khai thác nhằm năng cao chất lượng phục vụ cũng như tạo sự quan tâm đến cho khách hàng. Lấy ý tưởng từ việc gợi ý những mẫu thời trang cho người mua hàng trên những trang mua sắm online nổi tiếng như Amazon, Lazada, Alibaba, Tiki,… những hệ thống gợi ý này tập trung vào việc dựa vào lịch sử người dùng đã tìm kiếm từ đó gợi ý ra những sản phẩm tương tự cho người dùng. Để mở rộng chức năng gợi ý mẫu thời trang cho người dùng, giúp cho người dùng chủ động hơn trong việc lựa chọn bộ trang phục ưa thích, cũng như có thêm nhiều lựa chọn mà không tốn nhiều thời gian thì cần có một hệ thống AI/Machine learning tích hợp trong hệ thống website hoặc ứng dụng di động để thực hiện việc này. Mục tiêu Để giải quyết bái toán tạo câu bình luận cho ảnh thời trang, nhiều mô hình đã được nghiên cứu và không ngừng cải tiến.

Gần đây nhất là bài viết “Fashion Coordinates Recommender System using Photographs from Fashion Magazines” [1] của Tomoharu Iwata và cộng sự, “Hi, Magic Closet, Tell Me What to Wear!” [2] của Si Liu và cộng sự đề xuất tập trung vào gợi ý những mẫu thời nhưng vẫn còn hạn chế về dữ liệu và xu hướng đa dạng trong việc mua sắm của người dừng. Bài viết “Explainable Fashion Recommendation with Joint Outfit Matching and Comment Generation” [3] do Yujie 1 do an Lin, Pengjie Ren và cộng sự được công bố tháng 12 năm 2018 đề xuất Neural Fashion Recommendation framework (NFR), mô hình gợi ý những mẫu trang phục phối với nhau và từ các mẫu trang phục đó phát sinh ra câu bình luận. Mô hình NFR do Yujie Lin, Pengjie Ren và cộng sự được công bố có nhiều ưu điểm về mặt cải tiến độ chính xác theo bảng so sánh kết quả với những mô hình nghiên cứu trước đây được công bố [3] về cả chức năng phối trang phục và phát sinh câu bình luận. Tuy nhiên, NFR vẫn còn nhiều mặt hạn chế về mặt bộ dữ liệu và câu bình luận phát sinh chưa thực sự hiệu quả.

Vậy mục tiêu của đề tài này là thực hiện lại mô hình NFR để áp dụng vào bài toán tạo câu bình luận cho ảnh thời trang. Phạm vi đề tài Trong đề tài này, dựa trên những nghiên cứu Neural Fashion Recommendation framework do Yujie Lin, Pengjie Ren và cộng sự đề xuất, nhóm tập trung vào nhiệm vụ phát sinh câu bình luận cho một bộ trang phục của mô hình NFR, từ đó đề xuất ra cải tiến cho mô hình NFR để đạt được câu bình luận chính xác hơn. 2 do an Chương II. Tổng quan về học sâu (Deep Learning) 1.

Giới thiệu về Deep Learning Deep Learning là một phần của ngành máy học dựa trên một tập hợp các thuật toán để cố gắng mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến.