MỞ ĐẦU 1. SỰ CẦN THIẾT CỦA ĐỀ TÀI Mô tả ảnh thời trang là một bài toán có tính ứng dụng cao. Trong thời kỳ thương mại điện tử đang phát triển một cách nhanh chóng, số lượng mặt hàng sản phẩm nhiều và thay đổi nhanh thì việc tạo ra câu mô tả cho sản phẩm một cách trực quanh và chính xác giúp giảm thiểu chi phí, thời gian cho nhà bàn lẻ, khách hàng nhanh chóng tiếp cận được sản phẩm mình tìm kiếm, đặc biệt là trong lĩnh vực thời trang gồm quần áo, phụ kiện. Làm sao để máy tính có thể nhìn vào hình ảnh và thể hiện ra câu mô tả bằng ngôn ngữ tự nhiên của con người? Đòi hỏi phải phải có thuật toán phù hợp cùng với một dữ liệu khổng lồ và chính xác, đặc biệt là các nhãn – câu miêu tả bức ảnh, phải phù hợp về nội dung bức ảnh cũng như về ngữ pháp có trong câu.
Nhận thấy tầm quan trọng của bài toán mô tả ảnh thời trang, nhóm em xin chọn đề tài “Mô tả ảnh thời trang” làm đề tài khoá luận tốt nghiệp. MỤC ĐÍCH CỦA ĐỀ TÀI Tìm hiểu về bài toán mô tả ảnh thời trang, các lý thuyết về học sâu và xây dựng, đề xuất cải tiến mô hình mô tả ảnh thời trang dựa trên các mạng nơ-ron nhân tạo CNN, RNN. Cài đặt, huấn luyện từ đó đánh giá ưu việt của phương pháp cải tiến trên một bộ dữ liệu so với các phương pháp trước đây. CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU Cách tiếp cận: Sự dụng các mạng học sâu: mạng nơ-ron tích chập, mạng nơ-ron hồi quy.
Áp dụng cơ chế Attention cho ảnh thời trang. Phương pháp nghiên cứu lý thuyết: Nghiên cứu các tài liệu, các bài báo có liên quan đến mô tả ảnh, cũng như mô tả ảnh thời trang. Phương pháp nghiên cứu thực nghiệm: Sau khi nghiên cứu lý thuyết, chúng ta sẽ xây dựng một mô hình và huấn luyện thử nghiệm trên một bộ dữ liệu. Từ đó đánh giá, so sách với các mô hình trước đây và chọn ra mô hình có kết quả cao.
NHỮNG CÔNG TRÌNH LIÊN QUAN Đã có nhiều nghiên cứu trước đây về mô tả ảnh. Các cách tiếp cận trước đây cho bài toán mô tả ảnh thường giải quyết vấn đề bằng cách sử dụng một hệ thống nhận dạng hình ảnh kết hợp với hệ thống có khả năng sinh ra các câu theo ngôn ngữ tự nhiên dựa trên các mô Trang 2 do an hình học sâu [1]. Nhưng các mô hình này đã gặp một số vấn đề về ngữ cảnh đó là không thể phân biệt giữa thông tin chính của hình ảnh và các thông tin phụ không liên quan. Để giải quyết vấn đề này, mô hình mô tả ảnh dựa vào hai mô-đun bộ mã hóa và giải mã với hai thành phần chính là mạng nơ-ron tích chập và mạng nơ-ron hồi quy.
Quá trình mô tả bằng cách kết hợp các thuộc tính mạnh nhất của cả hai mạng, mạng nơ-ron tích chập được sử dụng để trích xuất các thông tin từ hình ảnh và mạng nơ-ron hồi quy hoạt động như là một mô hình ngôn ngữ, tạo ra câu mô tả từ thông tin mà nó nhận được. Vì vậy, bằng cách kết hợp cả hai, chúng ta có thể có được một mô hình có thể đọc được các thông tin trong hình ảnh, sau đó sử dụng thông tin đó để tạo ra câu mô tả về nội dung của hình ảnh đó. Nhưng sử dụng phương pháp có một hạn chế. Các thông tin trong hình ảnh được trích xuất từ mạng nơ-ron tích chập chứa quá nhiều thông tin làm cho quá trình tạo ra câu mô tả của mạng nơ-ron hồi quy gặp khó khăn.
Có nhiều cách hiệu quả để cải thiện các mô hình này là thêm cơ chế attention vào mô hình mô tả ảnh. Ví dụ, [2] đã giới thiệu một mô hình dựa trên sự chú ý, tự động tìm hiểu nơi cần mô tả ở mỗi bước sinh chữ trong câu mô tả. KẾT QUẢ DỰ KIẾN ĐẠT ĐƯỢC Nắm được các lý thuyết về học sâu, hiểu được cơ chế, hoạt động và cách huấn luyện của một số mạng nơ-ron cơ bản từ đó xây dựng một mô hình mô tả ảnh thời trang cơ bản và đề xuất cải tiến. Huấn luyện và đánh giá mô hình cải tiến chạy trên cùng một bộ dữ liệu so với mô hình trước đây.
Trang 3 do an CHƯƠNG 2 : GIỚI THIỆU VỀ BÀI TOÁN MÔ TẢ ẢNH THỜI TRANG 2. BÀI TOÁN MÔ TẢ ẢNH THỜI TRANG Bài toán mô tả ảnh thời trang về cơ bản là một phần của bài toán mô tả nội dung ảnh nói chung. Bài toán mô tả nội dung ảnh là một lĩnh vực nghiên cứu trong ngành Trí tuệ nhân tạo đòi hỏi một mô hình thông minh phải hiểu được nội dung của hình ảnh và diễn tả nội dung bằng ngôn ngữ tự nhiên. Để hiểu được nội dung, mô hình phải phát hiện và nhận dạng được các đối tượng xuất hiện trong hình ảnh.
Mô hình cũng cần hiểu được khung cảnh hoặc vị trí, các thuộc tính của đối tượng và tương tác giữa chúng. Không những thế, tạo ra các câu mô tả nội dung tốt còn đòi hỏi cả sự hiểu biết về cú pháp và ngữ nghĩa của ngôn ngữ [3]. Câu mô tả được tạo ra từ hình ảnh. Hiểu được nội dung của hình ảnh phụ thuộc phần lớn vào kỹ thuật trính xuất thông tin từ hình thành ở định dạng thô sang định dạng mà mô hình có thể sử dụng được, các thông tin này được gọi là features, chúng thường được biểu diễn dưới dạng véc-tơ.
Các kỹ thuật được sử dụng cho mục đích này có thể được chia thành hai loại: (1) Kỹ thuật dựa trên machine learning truyền thống và (2) Kỹ thuật dựa trên deep learing. Trong machine learning truyền thống, features được trính xuất từ hình ảnh bằng các kỹ thuật thủ công như Mô hình nhị phân cục bộ (Local Binary Patterns) [4], Scale-Invariant Feature Transform [5], Biểu đồ của các lớp định hướng (Histogram of Oriented Gradients) [6], và sử dụng kết hợp các kỹ thuật này được sử dụng rộng rãi. Trong các kỹ thuật này, features được trích xuất từ dữ liệu đầu vào. Sau đó, chúng được chuyển đến một mô hình Trang 4 do an phân loại như Support Vector Machines [7] để phân loại các đối tượng.
Vì các kỹ thuật thủ công này chỉ phù hợp với các nhiệm vụ có tính đặc thù riêng, nên trích xuất features từ một tập hợp dữ liệu lớn và đa dạng là không khả thi. Hơn nữa, dữ liệu trong thế giới thực như hình ảnh, video rất phức tạp và còn có nhiều cách hiểu ngữ nghĩa khác nhau. Mặt khác, trong các kỹ thuật dựa trên deep learing, features được học tự động từ dữ liệu huấn luyện và chúng có thể xử lý một tập hợp lớn các hình ảnh và video. Ví dụ: Mạng Convolutional Neural Network (CNN) [8] được sử dụng rộng rãi để học features và một mô hình phân loại như Softmax được sử dụng để phân loại.
CNN thường được theo sau bởi Recurrent Neural Network (RNN) để tạo ra câu mô tả. Trong 5 năm gần đây, một số lượng lớn các bài báo viết về chủ đề mô tả ảnh thời trang với deep learning được xuất bản và được ứng dụng phổ biến. Các thuật toán deep learning có thể xử lý các vấn đề phức tạp và đầy thử thách trong bài toán mô tả ảnh thời trang khá tốt. Hơn nữa, sự sẵn có của các tập dữ liệu lớn và mới đã làm cho bài toán mô tả nội dung hình ảnh dựa trên deep learning trở thành một lĩnh vực nghiên cứu thú vị.
Trong phạm vi đề tài, chúng em trình bày chủ yếu tập trung vào bài toán mô tả ảnh thời trang dựa trên deep learning. MỘT SỐ GIẢI PHÁP CHO BÀI TOÁN MÔ TẢ ẢNH THỜI TRANG Các phương pháp để giải quyết bài toán mô tả ảnh thời trang có thể được chia làm ba nhóm chính (1) Template-based, (2) Retrieval-based, và (3) Translation-based [9]. Template-based: Phương pháp tiếp cận dựa trên mẫu gồm có các ô trống với số lượng cố định tương ứng với một từ trong câu mô tả. Trong các cách tiếp cận này, các đối tượng, thuộc tính, hành động khác nhau được mô hình xác định và sau đó các ô trống trong mẫu được lấp đầy.
Các phương pháp dựa trên mẫu có thể tạo ra câu mô chính xác về mặt ngữ pháp. Tuy nhiên, các mẫu được xác định trước và không thể tạo câu mô tả có độ dài thay đổi. Retrieval-based: Các câu mô tả có thể được truy hồi từ không gian ảnh và không gian đa phương thức. Trong các cách tiếp cận dựa trên phương pháp truy hồi, câu mô tả được lấy từ tập hợp các câu mô tả hiện có.
Các phương pháp này trước tiên tìm các hình ảnh tương tự nhau về mặt hình ảnh cùng với câu mô tả của chúng từ tập dữ liệu huấn luyện. Những câu mô này được gọi là các câu mô tả ứng viên. Khi truy vấn câu mô tả nội dung Trang 5 do an cho hình ảnh, câu mô tả phù hợp nhất trong nhóm ứng viên sẽ được chọn [10]. Những phương pháp này tạo ra câu mô tả khái quát và cú pháp chính xác.
Tuy nhiên, chúng không thể tạo câu mô tả cho từng hình ảnh cụ thể và chính xác về mặt ngữ nghĩa. Translation-based: Phương pháp phiên dịch có thể tạo ra câu mô tả từ cả không gian ảnh và không gian đa phương thức. Cách tiếp cận chung của phương pháp này là phân tích nội dung của hình ảnh trước và sau đó tạo câu mô tả từ nội dụng phân tích được bằng mô hình ngôn ngữ [11]. Các phương pháp này có thể tạo câu mô tả mới cho từng hình ảnh chính xác hơn về mặt ngữ nghĩa so với các phương pháp trước đây.
Hầu hết các phương pháp dựa trên deep learning đều áp dụng Translation-based. Ngoài ra còn có thể phân loại các phương pháp mô tả ảnh thời trang dựa trên deep learning theo các kỹ thuật học khác nhau: học có giám sát (Supervised learning), học tăng cường (Reinforcement learning), và học không giám sát (Unsupervised learning). Thông thường câu mô tả được tạo cho toàn bộ khung cảnh trong hình ảnh. Tuy nhiên, câu mô tả cũng có thể được tạo cho các vùng khác nhau trong hình ảnh (Dense captioning) [12].
Các mô hình mô tả ảnh thời trang có thể sử dụng kiến trúc bộ mã hóa-giải mã đơn giản (Encoder- Decoder) [13] hoặc kến trúc thành phần (Compositional) [14]. Còn có các phương pháp sử dụng cơ chế chú ý (Attention mechanism) [2], dựa trên các khái niệm về ngữ nghĩa (Semantic concept) [15], và các phương pháp đi theo nhiều hướng khác nhau trong bài toán mô tả hình ảnh.