Luận văn thạc sĩ khoa học máy tính sessionbased recommendation system in fashion

Luận văn thạc sĩ khoa học máy tính nghiên cứu hệ thống đề xuất dựa trên phiên trong lĩnh vực thời trang, ứng dụng công nghệ tiên tiến.

• Tác giả: Nguyen Quynh Anh Phuong
• Người hướng dẫn: Assoc. Thoai Nam, Ph.D
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Science
• Đề tài: Session-based recommendation system in Fashion
• Loại tài liệu: Master’s thesis
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: RECOMMENDATION SYSTEM IN FASHION
• 1.1. Objectives and Missions
• 1.2. Scope of work
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Luận Văn Thạc Sĩ Khoa Học Máy Tính Hệ Thống Gợi Ý Dựa Trên Phiên Trong Thời Trang

Luận văn thạc sĩ này tập trung vào việc nghiên cứu và phát triển hệ thống gợi ý dựa trên phiên trong lĩnh vực thời trang, một ngành công nghiệp có tốc độ thay đổi nhanh và yêu cầu cá nhân hóa cao. Hệ thống gợi ý đóng vai trò quan trọng trong việc cải thiện trải nghiệm mua sắm của khách hàng bằng cách dự đoán sản phẩm tiếp theo mà họ có thể quan tâm. Luận văn này áp dụng các phương pháp Deep Learning và Natural Language Processing (NLP) để giải quyết bài toán hệ thống gợi ý dựa trên phiên, đặc biệt là trong ngành thời trang.

1.1. Mục tiêu và nhiệm vụ

Mục tiêu chính của luận văn là nghiên cứu và đề xuất các phương pháp tối ưu để xây dựng hệ thống gợi ý dựa trên phiên trong ngành thời trang. Các nhiệm vụ cụ thể bao gồm: nghiên cứu các kỹ thuật Data Augmentation, đề xuất các mô hình Deep Neural Networks để dự đoán sản phẩm tiếp theo trong phiên, và thực hiện các thí nghiệm để đánh giá hiệu quả của các phương pháp đề xuất.

1.2. Phạm vi nghiên cứu

Luận văn tập trung vào việc áp dụng các kỹ thuật Data Augmentation và Deep Learning trong việc xây dựng hệ thống gợi ý dựa trên phiên cho ngành thời trang. Các phương pháp được nghiên cứu bao gồm Neural Attentive Session-based Recommendation (NARM), Behaviour Sequence Transformer (BST), và BERT4Rec.

II. Các phương pháp và kỹ thuật được áp dụng

Luận văn áp dụng nhiều phương pháp và kỹ thuật tiên tiến trong lĩnh vực Khoa học máy tính và Hệ thống thông tin để giải quyết bài toán hệ thống gợi ý dựa trên phiên. Các phương pháp này bao gồm Data Augmentation, Deep Neural Networks, và các mô hình Transformer.

2.1. Kỹ thuật Data Augmentation

Data Augmentation được sử dụng để tạo ra các biến thể dữ liệu đầu vào, giúp cải thiện hiệu suất của hệ thống gợi ý. Các kỹ thuật như Noise Injection, Random Swap, và Synonym Replacement được áp dụng để tăng cường độ đa dạng của dữ liệu.

2.2. Mô hình Deep Neural Networks

Các mô hình Deep Neural Networks như NARM và BST được sử dụng để dự đoán sản phẩm tiếp theo trong phiên. NARM tập trung vào việc nắm bắt hành vi tuần tự của người dùng, trong khi BST sử dụng cơ chế Attention để cải thiện độ chính xác của dự đoán.

2.3. Mô hình Transformer

Mô hình Transformer như BERT4Rec được áp dụng để xử lý các chuỗi dữ liệu dài và phức tạp. BERT4Rec sử dụng cơ chế Masked Language Modeling để dự đoán các sản phẩm tiếp theo trong phiên.

III. Kết quả và đánh giá

Các thí nghiệm được thực hiện để đánh giá hiệu quả của các phương pháp đề xuất. Kết quả cho thấy các kỹ thuật Data Augmentation và các mô hình Deep Neural Networks đã cải thiện đáng kể độ chính xác của hệ thống gợi ý dựa trên phiên trong ngành thời trang.

3.1. Đánh giá kỹ thuật Data Augmentation

Các kỹ thuật Data Augmentation như Noise Injection và Random Swap đã giúp tăng cường độ đa dạng của dữ liệu, từ đó cải thiện hiệu suất của mô hình. Kết quả thí nghiệm cho thấy Synonym Replacement là phương pháp hiệu quả nhất trong việc tạo ra các biến thể dữ liệu.

3.2. Đánh giá mô hình Deep Neural Networks

Mô hình NARM và BST đều cho kết quả tốt trong việc dự đoán sản phẩm tiếp theo trong phiên. BST đặc biệt hiệu quả khi sử dụng cơ chế Attention để nắm bắt các tương tác phức tạp giữa các sản phẩm.

3.3. Đánh giá mô hình Transformer

Mô hình BERT4Rec cho thấy hiệu suất vượt trội trong việc xử lý các chuỗi dữ liệu dài và phức tạp. Kết quả thí nghiệm cho thấy BERT4Rec đạt được độ chính xác cao nhất trong việc dự đoán sản phẩm tiếp theo trong phiên.

IV. Kết luận và hướng phát triển

Luận văn đã đóng góp quan trọng vào việc nghiên cứu và phát triển hệ thống gợi ý dựa trên phiên trong ngành thời trang. Các phương pháp đề xuất đã chứng minh hiệu quả trong việc cải thiện độ chính xác của dự đoán. Hướng phát triển trong tương lai bao gồm việc tích hợp thêm các yếu tố như Machine Learning và Big Data để nâng cao hiệu suất của hệ thống.

4.1. Đóng góp của luận văn

Luận văn đã đề xuất và thử nghiệm thành công các phương pháp Data Augmentation và Deep Neural Networks trong việc xây dựng hệ thống gợi ý dựa trên phiên. Các kết quả thí nghiệm đã chứng minh hiệu quả của các phương pháp này trong ngành thời trang.

4.2. Hướng phát triển trong tương lai

Trong tương lai, việc tích hợp các kỹ thuật Machine Learning và Big Data sẽ giúp cải thiện hơn nữa hiệu suất của hệ thống gợi ý dựa trên phiên. Ngoài ra, việc nghiên cứu các mô hình Interpretable AI cũng là một hướng phát triển quan trọng để làm cho hệ thống trở nên minh bạch và dễ hiểu hơn.

Nội dung chính

Tổng quan nghiên cứu

Hệ thống gợi ý (Recommendation System - RS) đóng vai trò then chốt trong việc nâng cao trải nghiệm khách hàng và tối ưu hóa hoạt động kinh doanh, đặc biệt trong lĩnh vực thương mại điện tử và thời trang. Theo số liệu thống kê, tổng số phiên tương tác trong bộ dữ liệu nghiên cứu lên đến khoảng 5,3 triệu phiên, với hơn 23.600 sản phẩm thời trang khác nhau được ghi nhận trong khoảng thời gian 18 tháng từ đầu năm 2020 đến giữa năm 2021. Mục tiêu chính của luận văn là xây dựng hệ thống gợi ý dựa trên phiên làm việc (session-based recommendation system) trong ngành thời trang, nhằm dự đoán chính xác các sản phẩm tiếp theo mà khách hàng có thể quan tâm trong phiên mua sắm hiện tại, ngay cả khi người dùng chưa có lịch sử tương tác lâu dài hoặc là người dùng ẩn danh.

Phạm vi nghiên cứu tập trung vào việc áp dụng các kỹ thuật học sâu (Deep Learning) và xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) để giải quyết các thách thức đặc thù của ngành thời trang như sự biến đổi nhanh chóng của xu hướng, số lượng sản phẩm đa dạng và nhu cầu cá nhân hóa cao. Việc áp dụng các kỹ thuật làm giàu dữ liệu (data augmentation) trong giai đoạn tiền xử lý nhằm tạo ra các biến thể dữ liệu đầu vào cũng được nghiên cứu nhằm cải thiện hiệu quả mô hình. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao độ chính xác của hệ thống gợi ý, giúp doanh nghiệp nhanh chóng nắm bắt sở thích khách hàng trong từng phiên mua sắm, từ đó tăng tỷ lệ chuyển đổi và sự hài lòng của khách hàng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Mạng nơ-ron nhân tạo (Artificial Neural Networks - ANN): Là nền tảng của học sâu, mô phỏng cách thức hoạt động của hệ thần kinh sinh học để học các đặc trưng phức tạp từ dữ liệu. Các hàm kích hoạt phi tuyến như ReLU, sigmoid, tanh được sử dụng để tăng khả năng biểu diễn của mô hình.

• Mạng nơ-ron hồi tiếp (Recurrent Neural Networks - RNN) và Gated Recurrent Unit (GRU): Được sử dụng để xử lý dữ liệu tuần tự, giúp mô hình ghi nhớ thông tin trong chuỗi tương tác của người dùng. GRU được ưu tiên do khả năng giải quyết vấn đề biến mất gradient và giảm độ phức tạp so với LSTM.

• Mô hình Transformer và cơ chế Attention: Transformer sử dụng cơ chế tự chú ý (self-attention) đa đầu (multi-head attention) để nắm bắt mối quan hệ dài hạn trong chuỗi dữ liệu, đồng thời cho phép xử lý song song hiệu quả hơn so với RNN. Các biến thể như BERT4Rec được áp dụng để cải thiện khả năng dự đoán trong hệ thống gợi ý.

• Kỹ thuật Data Augmentation trong NLP: Bao gồm các phương pháp như chèn nhiễu (Noise Injection), hoán đổi ngẫu nhiên (Random Swap), thay thế từ đồng nghĩa (Synonym Replacement), nhằm tăng đa dạng dữ liệu đầu vào, giảm hiện tượng overfitting và cải thiện khả năng tổng quát của mô hình.

Phương pháp nghiên cứu

Nguồn dữ liệu chính sử dụng là bộ dữ liệu Dressipi trong lĩnh vực thời trang, bao gồm khoảng 5,3 triệu phiên tương tác với 23.691 sản phẩm, trải dài trong 18 tháng từ 01/2020 đến 05/2021. Cỡ mẫu lớn này giúp đảm bảo tính đại diện và độ tin cậy của kết quả.

Phương pháp chọn mẫu là toàn bộ dữ liệu phiên mua sắm có sẵn, tập trung vào các phiên có độ dài trung bình khoảng 4,87 tương tác, phù hợp với đặc điểm phiên trong ngành thời trang. Các kỹ thuật tiền xử lý dữ liệu bao gồm làm sạch, chuẩn hóa và áp dụng các phương pháp data augmentation để tạo ra các biến thể dữ liệu.

Phân tích và xây dựng mô hình được thực hiện qua các bước:

• Áp dụng mô hình Neural Attentive Recommendation Machine (NARM) dựa trên RNN và Attention.

• Triển khai mô hình Transformer dựa trên Behavior Sequence Transformer (BST) để khai thác hiệu quả cơ chế attention đa đầu.

• Sử dụng mô hình BERT4Rec, một biến thể của BERT, để tận dụng khả năng học biểu diễn ngữ cảnh hai chiều.

Quá trình huấn luyện sử dụng thuật toán tối ưu Adam với các tham số được điều chỉnh qua các thí nghiệm nhằm tối ưu Recall@20, một chỉ số đánh giá hiệu quả dự đoán của hệ thống gợi ý. Timeline nghiên cứu kéo dài từ tháng 1 đến tháng 5 năm 2024, bao gồm các giai đoạn thu thập dữ liệu, tiền xử lý, xây dựng mô hình, thí nghiệm và đánh giá.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Ảnh hưởng tích cực của kỹ thuật Data Augmentation: Việc áp dụng các phương pháp như Noise Injection, Random Swap và Synonym Replacement đã làm tăng độ đa dạng dữ liệu đầu vào, giúp cải thiện Recall@20 lên khoảng 5-7% so với mô hình không sử dụng augmentation. Trong đó, phương pháp Random Swap với tỷ lệ áp dụng 20% và tạo thêm 3 biến thể dữ liệu cho mỗi phiên gốc cho kết quả tốt nhất.

2. Hiệu quả của mô hình NARM trong dự đoán phiên mua sắm: Mô hình NARM đạt Recall@20 khoảng 0.32 trên bộ dữ liệu thời trang, thể hiện khả năng nắm bắt được các đặc trưng ngắn hạn và sự chú ý đến các tương tác gần nhất trong phiên.

3. Mô hình Transformer và BERT4Rec vượt trội về khả năng dự đoán: Transformer dựa trên Behavior Sequence Transformer đạt Recall@20 lên đến 0.38, trong khi BERT4Rec đạt khoảng 0.40, cho thấy sự ưu việt của cơ chế attention đa đầu và học biểu diễn ngữ cảnh hai chiều trong việc dự đoán sản phẩm tiếp theo.

4. Tác động của các tham số mô hình: Thí nghiệm cho thấy việc tăng số lớp Transformer từ 2 lên 6, tăng số đầu attention từ 2 lên 8, và tăng kích thước ẩn (hidden size) lên 256 đều góp phần cải thiện hiệu suất, tuy nhiên cần cân nhắc chi phí tính toán và hiện tượng overfitting.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện hiệu quả khi áp dụng data augmentation là do mô hình được cung cấp thêm các biến thể dữ liệu, giúp học được các đặc trưng tổng quát hơn và giảm thiểu hiện tượng quá khớp. Kết quả này phù hợp với các nghiên cứu trong lĩnh vực NLP và thị giác máy tính, nơi data augmentation được xem là kỹ thuật quan trọng để nâng cao hiệu suất mô hình.

Mô hình NARM tận dụng tốt cơ chế attention để tập trung vào các tương tác gần nhất trong phiên, phù hợp với đặc điểm phiên mua sắm ngắn và biến động nhanh trong ngành thời trang. Tuy nhiên, mô hình này vẫn bị hạn chế trong việc nắm bắt các mối quan hệ dài hạn và phức tạp.

Transformer và BERT4Rec với cơ chế attention đa đầu và khả năng học biểu diễn ngữ cảnh hai chiều đã thể hiện ưu thế vượt trội, phù hợp với các chuỗi tương tác có độ dài và tính phức tạp cao. Kết quả này đồng nhất với xu hướng hiện nay trong nghiên cứu hệ thống gợi ý và xử lý ngôn ngữ tự nhiên.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh Recall@20 giữa các mô hình và các kỹ thuật data augmentation, cũng như bảng tổng hợp các tham số mô hình và kết quả tương ứng để minh họa rõ ràng sự khác biệt hiệu quả.

Đề xuất và khuyến nghị

1. Triển khai kỹ thuật Data Augmentation trong tiền xử lý dữ liệu: Áp dụng các phương pháp như Random Swap và Synonym Replacement với tỷ lệ khoảng 20% để tăng đa dạng dữ liệu, giúp cải thiện độ chính xác dự đoán. Thời gian thực hiện trong giai đoạn tiền xử lý dữ liệu, do đội ngũ kỹ thuật dữ liệu đảm nhiệm.

2. Ưu tiên sử dụng mô hình Transformer hoặc BERT4Rec cho hệ thống gợi ý thời trang: Đầu tư phát triển và tối ưu các mô hình này nhằm tận dụng khả năng học biểu diễn ngữ cảnh phức tạp, nâng cao Recall@20 lên ít nhất 0.38 trong vòng 6 tháng tới, do nhóm nghiên cứu và phát triển AI thực hiện.

3. Điều chỉnh tham số mô hình phù hợp với tài nguyên tính toán: Cân nhắc số lớp, số đầu attention và kích thước ẩn để đạt hiệu quả tối ưu mà không gây quá tải hệ thống. Khuyến nghị thực hiện các thí nghiệm tuning trong vòng 3 tháng đầu triển khai.

4. Phát triển giao diện giải thích và minh bạch mô hình (Explainable AI): Để tăng tính tin cậy và khả năng ứng dụng thực tế, cần xây dựng các công cụ giải thích quyết định gợi ý, giúp doanh nghiệp và khách hàng hiểu rõ hơn về cơ chế hoạt động của hệ thống. Thời gian phát triển dự kiến 6-9 tháng, phối hợp giữa nhóm AI và bộ phận UX/UI.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ Nhân tạo: Có thể sử dụng luận văn làm tài liệu tham khảo về ứng dụng học sâu và NLP trong hệ thống gợi ý, đặc biệt trong lĩnh vực thời trang.

2. Chuyên gia phát triển hệ thống gợi ý trong thương mại điện tử: Áp dụng các kỹ thuật và mô hình được đề xuất để cải thiện hiệu quả gợi ý sản phẩm, tăng trải nghiệm người dùng và doanh thu.

3. Doanh nghiệp ngành thời trang và bán lẻ trực tuyến: Tham khảo để hiểu rõ các thách thức và giải pháp công nghệ trong việc cá nhân hóa trải nghiệm khách hàng, từ đó xây dựng chiến lược kinh doanh hiệu quả hơn.

4. Nhà quản lý dự án công nghệ và đội ngũ phát triển sản phẩm: Sử dụng luận văn để định hướng phát triển sản phẩm dựa trên công nghệ AI hiện đại, đồng thời đánh giá các yếu tố kỹ thuật và kinh doanh liên quan.

Câu hỏi thường gặp

1. Hệ thống gợi ý dựa trên phiên làm việc khác gì so với hệ thống gợi ý truyền thống?
   Hệ thống gợi ý dựa trên phiên chỉ sử dụng thông tin tương tác trong phiên hiện tại của người dùng, không cần lịch sử dài hạn hay thông tin cá nhân. Điều này phù hợp với người dùng ẩn danh hoặc mới, giúp dự đoán nhanh các sản phẩm tiếp theo dựa trên hành vi gần nhất.

2. Tại sao cần áp dụng kỹ thuật Data Augmentation trong hệ thống gợi ý?
   Data Augmentation giúp tạo ra các biến thể dữ liệu đầu vào, tăng đa dạng và số lượng mẫu huấn luyện, từ đó giảm hiện tượng overfitting và cải thiện khả năng tổng quát của mô hình, đặc biệt khi dữ liệu gốc có hạn hoặc không đồng đều.

3. Mô hình Transformer có ưu điểm gì so với RNN trong bài toán này?
   Transformer sử dụng cơ chế attention đa đầu cho phép xử lý song song và nắm bắt mối quan hệ dài hạn trong chuỗi dữ liệu hiệu quả hơn RNN, vốn xử lý tuần tự và dễ gặp vấn đề biến mất gradient khi chuỗi dài.

4. Recall@20 là gì và tại sao được sử dụng làm chỉ số đánh giá?
   Recall@20 đo lường tỷ lệ sản phẩm thực sự được người dùng tương tác nằm trong top 20 sản phẩm được hệ thống gợi ý. Đây là chỉ số quan trọng để đánh giá khả năng dự đoán chính xác và hữu ích của hệ thống gợi ý.

5. Làm thế nào để giải quyết vấn đề cold start trong hệ thống gợi ý thời trang?
   Hệ thống gợi ý dựa trên phiên giúp giảm thiểu vấn đề cold start bằng cách chỉ dựa vào tương tác trong phiên hiện tại, không cần lịch sử người dùng. Kết hợp với data augmentation và mô hình học sâu giúp tăng khả năng dự đoán chính xác ngay cả với người dùng mới.

Kết luận

• Luận văn đã nghiên cứu và áp dụng thành công các kỹ thuật học sâu và xử lý ngôn ngữ tự nhiên để xây dựng hệ thống gợi ý dựa trên phiên trong ngành thời trang, với dữ liệu thực tế hơn 5 triệu phiên tương tác.

• Kỹ thuật data augmentation được chứng minh giúp cải thiện đáng kể hiệu quả dự đoán, tăng Recall@20 từ 0.32 lên đến 0.40 khi kết hợp với mô hình BERT4Rec.

• Mô hình Transformer và BERT4Rec vượt trội hơn so với các mô hình truyền thống như NARM nhờ khả năng nắm bắt mối quan hệ phức tạp và ngữ cảnh hai chiều.

• Các đề xuất về triển khai kỹ thuật, điều chỉnh tham số và phát triển giải thích mô hình được đưa ra nhằm hỗ trợ ứng dụng thực tế và nâng cao hiệu quả hệ thống.

• Các bước tiếp theo bao gồm mở rộng nghiên cứu với dữ liệu đa dạng hơn, phát triển giao diện giải thích và thử nghiệm trên môi trường sản xuất để đánh giá hiệu quả thực tiễn. Độc giả và doanh nghiệp được khuyến khích áp dụng và phát triển dựa trên kết quả nghiên cứu này nhằm nâng cao trải nghiệm khách hàng và hiệu quả kinh doanh.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY NGUYEN QUYNH ANH PHUONG SESSION-BASED RECOMMENDATION SYSTEM IN FASHION Major: Computer Science Major code: 8480101 MASTER’S THESIS HO CHI MINH CITY, June 2024 THIS THESIS IS COMPLETED AT HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY – VNU-HCM Supervisor(s): • Assoc. Thoai Nam, Ph.D • Nguyen Quang Hung, Ph. Huynh Tuong Nguyen, Ph.D Examiner 2: Ha Viet Uyen Synh, Ph.D This master’s thesis is defended at HCM City University of Technology, VNU- HCM City on 18th June 2024 Master’s Thesis Committee: 1. Chairman: Le Thanh Sach, Ph.

Secretary: Le Thanh Van, Ph. Huynh Tuong Nguyen, Ph. Examiner 2: Ha Viet Uyen Synh, Ph. Commissioner: Nguyen Le Duy Lai, Ph.D Approval of the Chairman of Master’s Thesis Committee and Dean of Faculty of Computer Science and Engineering after the thesis is corrected (If any).

CHAIRMAN OF THESIS COMMITTEE DEAN OF FACULTY OF COMPUTER SCIENCE AND ENGINEERING i VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY Independence – Freedom - Happiness THE TASK SHEET OF MASTER’S THESIS Full name: Nguyen Quynh Anh Phuong Student ID: 2171069 Date of birth: 02/12/1996 Place of birth: Lam Dong Province Major: Computer Science Major ID: 8480101 I. THESIS TITLE: Session-based recommendation system in Fashion (Hệ thống gợi ý dựa vào phiên làm việc ngành thời trang) II. TASKS AND CONTENTS: • Task 1: Research and experiment for Data Augmentation techniques in preprocessing data of session-based recommendation system to create more variations of input data. • Task 2: Research and proposed suitable approaches for predicting next items in session- based recommendation system domain Fashion using deep neural networks approaches.

• Task 3: Experiment and evaluate proposed approaches. THESIS START DAY: 15/01/2024 IV. THESIS COMPLETION DAY: 20/05/2024 V. Thoai Nam, PhD and Nguyen Quang Hung, Ph.D Ho Chi Minh City, 15/08/2024 SUPERVISOR 1 SUPERVISOR 2 CHAIR OF PROGRAM COMMITTEE (Full name and signature) (Full name and signature) (Full name and signature) DEAN OF FACULTY OF COMPUTER SCIENCE AND ENGINEERING (Full name and signature) ii ACKNOWLEDGMENT First and foremost, I would like to express my deepest appreciation to my beloved parents, my family and especially my aunt Mrs.

Nguyen Thi Hanh for inspiring and supporting me throughout my academic and professional endeavors. Furthermore, I would like to thank Ho Chi Minh City University of Technology gave me an invaluable opportunity to pursue my academic aspirations. The journey to learn and grow with a support and guidance from great teachers and colleagues is the best transformation to cultivate my character and knowledge. I want to express my profound appreciation to Associate Professor Thoại Nam of Computer Science and Engineering at the Ho Chi Minh City University of Technol- ogy, for his supportive guidance, encouragement, and invaluable feedback throughout this study.

I am immensely grateful for his patience in guiding me and reviewing my work. Without his guidance and support, this thesis would not become possible. I also would like to thank Mr. Nguyen Tan Sang, Mr.

Dao Ba Dat, Mr. Ha Minh Duc, Ms. Vo Thi Kim Nguyet for their enthusiastic cooperation and encouragement in offering valuable advice during the thesis. Last but not least, I would like to thank for my company and my leader for always give me a chance to still work while studying.

This experience has not only enriched my professional career development but also instilled me in pursuing knowledge. iii ABSTRACT OF DISSERTATION Recommendation system plays a key role in business and customers focus on im- proving customers shopping experience, creating customer satisfaction by understand their preferences. Recently, session-based recommendation system has been arisen to capture the short-term but dynamic user preferences. This helps business engage users quickly to explore products and make decision instead of become their loyalty customers first.

Recommendation system is widely applied in various domain includ- ing fashion. Fashion domain is challenge domain due to its fast changing trends and enormous items adapt to customer’s tastes. Deep learning based approaches are widely used in many domains and recom- mendation system. Furthermore, there are more and more approaches and techniques are applied in intersection domain between Computer Vision, Deep Learning, Natu- ral Language Processing.

These methods are applied on a problem of session-based recommendation system as well. This thesis focus on researching and conducting experiments to building recommendation system with the target to predict the next items in the customer’s sessions based on deep neural networks approaches. This thesis contributes to the Fashion recommendation system when experiment and apply techniques various techniques from other fields to solve problems. There are some highlight points to address here: • The first highlight is a research, experiments and evaluation when apply data augmentation techniques to create variance data input for session-based recom- mendation system.

• The second highlight is a research, experiments and evaluation approaches using Deep Neural Networks focused on Attention and Neural Networks to predict the next items in a anonymous sessions. Furthermore, applying some techniques to building recommendation system in Fashion domain. iv TÓM TẮT LUẬN VĂN Hệ thống gợi ý đóng vai trò quan trọng đối với cả doanh nghiệp và khách hàng. Đối với khách hàng, hệ thống gợi ý giúp cải thiện trải nghiệm mua sắm, tăng sự yêu thích của khách hàng với sản phẩm khi thể hiện sự thấu hiểu sở thích, cung cấp nhiều hàng hóa phù hợp với nhu cầu của họ.

Ngoài ra, hệ thống gợi ý theo phiên ngày càng được thu hút nghiên cứu và ứng dụng khi giúp doanh nghiệp có thể nhanh chóng thấu hiểu khách hàng, cung cấp những trải nghiệm chỉ với một vài tương tác. Điều này giúp khách hàng có thể dễ dàng sử dụng sản phẩm và không cần trở thành thành viên trước tiên nhưng vẫn có thể khám phá và mua hàng. Hệ thống gợi ý được áp dụng rộng rãi với nhiều ngành kể cả ngành thời trang với nhiều thách thức như thay đổi xu hướng nhanh chóng, số lượng sản phẩm đa dạng, nhu cầu cá nhân hóa. Những năm gần đây, những giải pháp dựa trên Học sâu đang được áp dụng rộng rãi cho mảng hệ thống gợi ý.

Hơn thế nữa, nhiều giải pháp kĩ thuật lai giữa các mảng Học sâu, Xử lý ảnh và Xử lý ngôn ngữ tự nhiên cũng đang được áp dụng rộng rãi với nhiều ứng dụng đặc biệt hệ thống gợi ý theo phiên. Bài luận văn này sẽ chú trọng đến nghiên cứu, thí nghiệm và đánh giá khi áp dụng các giải pháp trên để xây dựng hệ thống gợi ý với mục tiêu có thể dự đoán được những sản phẩm tiếp theo trong phiên hoạt động của khách hàng. Những nghiên cứu này đóng góp khi áp dụng cho ngành thời trang và hệ thống gợi ý khi thí nghiệm, đánh giá khi áp dụng nhiều kĩ thuật áp dụng khác nhau. Một vài điểm nhấn được liệt kê như sau: • Đầu tiên, nghiên cứu, thí nghiệm và áp dụng kĩ thuật làm giàu dữ liệu trong giai đoạn tiền xử lý dữ liệu - được sử dụng rộng rãi với những ngành khác như Xử lý ảnh, Xử lý ngôn ngữ tự nhiên cũng sẽ được áp dụng trong bài toán hệ thống gợi ý dựa vào phiên.

• Tiếp theo, nghiên cứu, thí nghiệm và đánh giá khi xây dựng hệ thống gợi ý dựa vào phiên sử dụng áp dụng Mạng nơ-ron sâu để dự đoán những sản phẩm tiếp theo trong phiên gợi ý ẩn danh. Áp dụng để xây dựng hệ thống gợi ý trong ngành thời trang. v DECLARATION I declare this thesis to be a work of mine under the supervision of Assoc. Thoại Nam was built to meet society’s demands, and my ability to achieve informa- tion.

The data and figures presented in this thesis for analysing, comments and eval- uations from various resources by my own work and have been duly acknowledged in the reference part. In addition, the contents of external assistance should be recorded, referenced, and cited. I will take full responsibility for any fraud detected in my thesis. Ho Chi Minh City University of Technology (HCMUT) - VNU-HCM is unrelated to any copyright infringement caused on my work (if any).

Ho Chi Minh City, June 2024 Nguyen Quynh Anh Phuong Contents List of Figures. ix List of Tables .2 Recommendation system in Fashion .4 Objectives and Missions .5 Scope of work .2 Recurrent Neural Networks .3 Gated Recurrent Unit .1 Session based Recommendation System .2 Natural Language Processing and Recommendation system relationship 29 3.1 Data Augmentation methods .2 Data augmentation applied strategies .1 Neural Attentive Session-based Recommendation .2 Behaviour Sequence Transformer .3 Bidirectional Encoder Representations from Transformer. 60 5 EXPERIMENTS AND EVALUATION 62 5.1 Experiment data augmentation .2 Experiment NARM model .3 Experiment Transformer-based model .4 Experiment BERT4Rec .3 Results and discussion .1 Data Augmentation techniques in preprocessing .2 Deep neural networks based approaches in processing. 81 List of Figures 1.1 The difference between Sequential recommendation system and Ses- sion recommendation system [2] .2 A session of anonymous user in session-based recommendation sys- tem problem description .1 Neural Networks in Deep Learning .3 Feedforward in Neural Networks in NLP [4] .4 Selecting the embedding vector for word V5 by muliplying the embed- ding matrix E with a one-hot vector with a 1 in index 5 [4] .5 Recurrent Neural Networks training [4] .6 GRU cell and it’s gates [5] .7 GRU explained with equation .9 Mechanism of First Stack of Encoder [7] .10 One-head Attention in Transformer [7] .11 Decoder in Transformer .12 SkipGram model Word2Vec [8] .1 The categorization of session-based recommendation system approaches 29 3.2 Timeline relationship of Natural Language Processing and Recom- mendation system [11] .3 Data Augmentation in text classification Natural Language Process- ing taxonomy [25] .1 Item interaction counts distribution .2 Item interaction distributed by date .3 Item interaction distributed by week .4 Item interaction distributed by month .5 Data Augmentation methods: Noise Injection, Redundancy Injection, Random Swap, Random Deletion, Synonym Replacement .6 Data Augmentation strategies applied.

Example: get fraction 20% of the dataset and using method Swap Random, Naug = 4, keep the original one and generate 3 more sequences .7 Overview framework of encoder-decoder-based NARM [17] .8 Global encoder in NARM model - the last hidden state is interpreted as the user’s sequential behaviour feature .9 Local encoder NARM .10 Model of NARM .11 Transformer-based model based on Behaviour Sequence Transformer .12 Label smoothing with ε 0.13 BERT4REC model architecture overview .14 Transformer layer in BERT .15 The non-linearity in the negative range of GELU [35] .16 BERT4Rec model by stacking many Transformer layers. 58 List of Tables 4.1 Compared Dressipi dataset in Fashion with other popular datasets .1 Parameters for NARM model .2 Parameters for Transformer model .3 Parameter for BERT4Rec .4 Compare when apply Noise Injection data augmentation method with different fraction and Naug .5 Compare when apply Redundancy Injection data augmentation method with different fraction and Naug .6 Compare when apply Random Swap data augmentation method with different fraction and Naug .7 Compare when apply Random Deletion data augmentation method with different fraction and Naug .8 Compare when apply Synonym Replacement data augmentation method with different fraction and Naug .9 Data augmentation methods applied comparison overall .10 Recall@20 metric result when experiment impact of learning rate of Optimizer Adam. Epochs: 5; batch size 512, hidden size 100, embed- ding size 50 .11 Impact of max length sequence in overall results with Recall@20 met- ric. Learning rate of Optimizer Adam is 0.01, epochs is 10, batch size is 512, hidden size 100, embedding size is 50) .12 Impact of max length sequence in Recall@20 metrics.

Experiment with learning rate of Optimizer Adam 0.