Nghiên cứu ứng dụng học sâu cho bài toán hệ gợi ý - Luận văn ĐH Bách Khoa HN

Tìm hiểu ứng dụng học sâu (Deep Learning) trong hệ gợi ý. Luận văn phân tích mô hình GNN để đưa ra gợi ý sản phẩm chính xác cho người dùng.

• Tác giả: Nguyễn Viết Việt
• Người hướng dẫn: Ts. Đinh Viết Sang
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Nghiên cứu ứng dụng học sâu cho bài toán hệ gợi ý
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Học Sâu Và Hệ Gợi Ý

Học sâu và hệ gợi ý đã trở thành hai công nghệ quan trọng nhất trong lĩnh vực thương mại điện tử hiện đại. Với sự bùng nổ dữ liệu và nhu cầu cá nhân hóa trải nghiệm người dùng, việc áp dụng học sâu để xây dựng hệ gợi ý hiệu quả đã là một nhu cầu cấp thiết. Hệ gợi ý dựa trên học sâu giúp các nền tảng thương mại điện tử đưa sản phẩm phù hợp tới đúng khách hàng, từ đó tăng conversion rate và tiết kiệm chi phí tiếp thị. Nghiên cứu về ứng dụng học sâu cho hệ gợi ý không chỉ giúp doanh nghiệp phát triển mà còn cải thiện trải nghiệm người dùng một cách đáng kể. Lĩnh vực này đang phát triển nhanh chóng với nhiều ứng dụng thực tiễn trong các nền tảng lớn toàn cầu.

1.1. Định Nghĩa Và Tầm Quan Trọng

Hệ gợi ý là một hệ thống thông minh sử dụng thuật toán học sâu để dự đoán sản phẩm mà người dùng có thể quan tâm. Học sâu cho phép mô hình học các đặc trưng ẩn phức tạp từ dữ liệu người dùng và sản phẩm. Sự kết hợp này giúp hệ gợi ý đạt độ chính xác cao và khả năng cá nhân hóa vượt trội so với các phương pháp truyền thống.

1.2. Sự Phát Triển Của Công Nghệ

Từ những năm 2010, mạng nơ ron sâu đã cách mạng hóa lĩnh vực khoa học dữ liệu và máy học. Ứng dụng học sâu vào hệ gợi ý đã giúp các công ty công nghệ hàng đầu tối ưu hóa trải nghiệm khách hàng. Những tiến bộ này đã tạo ra nền tảng vững chắc cho nghiên cứu học sâu tiếp theo.

II. Phương Pháp Học Sâu Trong Hệ Gợi Ý

Mạng nơ ron nhân tạo được áp dụng vào hệ gợi ý thông qua các kiến trúc đặc biệt như Đồ thị Nơ ron Sâu (GNN) và Nhúng Véc tơ (Embedding). Các phương pháp này cho phép mô hình nắm bắt mối quan hệ phức tạp giữa người dùng và sản phẩm. Xử lý dữ liệu là bước quan trọng đầu tiên, giúp chuẩn bị dữ liệu phiên sử dụng cho quá trình huấn luyện. Học sâu có khả năng tự động phát hiện các mẫu và đặc trưng ẩn mà các phương pháp truyền thống không thể tìm thấy. Kỹ thuật Nhúng Đỉnh Đồ Thị cho phép chuyển đổi dữ liệu thành các véc tơ có ý nghĩa, tối ưu hóa việc học và dự đoán.

2.1. Kiến Trúc Đồ Thị Nơ Ron Sâu

Đồ thị Nơ ron Sâu (GNN) là một kiến trúc mạnh mẽ cho hệ gợi ý dựa trên dữ liệu phiên sử dụng. Nó mô hình hóa mối quan hệ giữa người dùng, sản phẩm và tương tác dưới dạng một đồ thị. Học sâu trên đồ thị cho phép mô hình học các biểu diễn phức tạp và cải thiện độ chính xác gợi ý.

2.2. Kỹ Thuật Nhúng Véc tơ

Nhúng Véc tơ là một kỹ thuật học sâu quan trọng chuyển đổi dữ liệu thứ nguyên cao thành các véc tơ mật độ thấp. Phương pháp này giúp hệ gợi ý học được biểu diễn có ý nghĩa của sản phẩm và người dùng, cải thiện hiệu suất tính toán và độ chính xác dự đoán.

III. Ứng Dụng Thực Tiễn Của Học Sâu Trong Thương Mại Điện Tử

Trong ngành thương mại điện tử hiện đại, hệ gợi ý dựa trên học sâu đã trở thành công cụ cạnh tranh không thể thiếu. Các nền tảng như Amazon, Netflix, và Shopee sử dụng mạng nơ ron sâu để phân tích hành vi người dùng và cung cấp gợi ý cá nhân hóa. Ứng dụng học sâu cho hệ gợi ý phiên sử dụng cho phép các sàn thương mại điện tử hiểu sâu hơn về nhu cầu và sở thích của khách hàng. Việc sử dụng thuật toán học sâu giúp tăng tỷ lệ chuyển đổi, cải thiện độ hài lòng khách hàng và tối ưu hóa doanh thu. Xử lý dữ liệu phiên sử dụng một cách thông minh có thể phát hiện ra những mô hình mua sắm tinh tế mà con người khó có thể nhận ra.

3.1. Trường Hợp Sử Dụng Thực Tế

Các nền tảng thương mại điện tử lớn đã thành công với hệ gợi ý học sâu. Ví dụ, học sâu được sử dụng để dự đoán sản phẩm tiếp theo mà khách hàng sẽ mua dựa trên lịch sử duyệt và mua sắm của họ. Ứng dụng này đã tăng tỷ lệ mua lại lên 25-35%, tạo ra giá trị kinh tế đáng kể cho các doanh nghiệp.

3.2. Thách Thức Và Giải Pháp

Thách thức chính trong ứng dụng học sâu là xử lý dữ liệu khổng lồ và tối ưu hóa hiệu suất mô hình. Bài toán hệ gợi ý đặt ra nhu cầu xử lý thời gian thực và khả năng mở rộng. Các giải pháp bao gồm sử dụng thuật toán tối ưu hóa nâng cao và kiến trúc mô hình hiệu quả hơn.

IV. Hướng Nghiên Cứu Và Phát Triển Tương Lai

Nghiên cứu học sâu trong lĩnh vực hệ gợi ý vẫn đang phát triển mạnh mẽ với nhiều hướng tiếp cận mới. Các nhà khoa học đang khám phá các phương pháp kết hợp giữa học sâu và các kỹ thuật khác như học tăng cường để cải thiện hiệu suất. Ứng dụng học sâu vào các bài toán hệ gợi ý phức tạp hơn như gợi ý đa chiều và gợi ý thời gian thực đang là tâm điểm của những nghiên cứu hiện tại. Dữ liệu từ nhiều nguồn khác nhau cần được tích hợp thông minh bằng học sâu để tạo ra những gợi ý chính xác hơn. Tương lai của hệ gợi ý nằm ở khả năng kết hợp các mô hình phức tạp với sự hiểu biết về bối cảnh và tập quán người dùng.

4.1. Các Công Nghệ Mới Trong Học Sâu

Transformer và Attention Mechanism là những công nghệ học sâu mới đang được áp dụng vào hệ gợi ý. Những mô hình này có khả năng xử lý dữ liệu tuần tự tốt hơn và có thể nắm bắt các phụ thuộc dài hạn. Ứng dụng của các công nghệ này hứa hẹn sẽ cải thiện đáng kể độ chính xác của các hệ gợi ý tiên tiến.

4.2. Xu Hướng Phát Triển Trong Tương Lai

Học sâu trong hệ gợi ý đang hướng tới sự cá nhân hóa cao hơn và khả năng hiểu ngữ cảnh tốt hơn. Nghiên cứu hiện tại tập trung vào việc giảm thiểu lạnh lẽo trong hệ gợi ý và cải thiện khả năng đối phó với dữ liệu thưa. Ứng dụng học sâu với xử lý ngôn ngữ tự nhiên sẽ cho phép hệ gợi ý hiểu được ý định người dùng từ phản hồi văn bản.

Trích đoạn nội dung tài liệu

Đặt vấn đề là làm sao họ có thể làm được điều đó trong vô số sản phẩm giống nhau mà họ đang tìm kiếm. Trong trường hợp này người dùng sẽ cần đến sự trợ giúp của hệ thống gợi ý để giải quyết vấn đề về vấn đề này. Hệ thống tham gia sử dụng sẽ được khuyến khích đưa ra những thông tin phản hồi về sản phẩm thông tin mà họ đang tìm kiếm; phản hồi hệ thống sẽ xử lý và đưa ra danh sách các sản phẩm phù hợp nhất với yêu cầu của người dùng. Ngày nay các hệ thống gợi ý ngày càng được chú trọng, nhất là đối với các nhà cung cấp dịch vụ trực tuyến như: Amazon, Netflix, Youtube,.

Một hệ thống gợi ý có thể là vấn đề sống còn đối với nhà cung cấp đặc biệt dịch vụ nâng cấp gần đây tính toán ngày càng lớn, một hệ thống gợi ý có thể làm tăng sự hài lòng của khách hàng, giữ chân người dùng. Hình 1: Mô tả hệ thống gợi ý (trích từ web) 1 Cùng với sự phát triển của thương mại điện tử cũng như tương tác trực tuyến của con người trong giai đoạn hiện nay. Việc bùng nổ về số lượng dữ liệu khổng lồ, vì thế việc tìm kiếm và đánh giá để đưa được sản phẩm phù hợp tới người dùng là một thách thức lớn cho các công ty, tổ chức lớn. Theo thống kê có tới 300 giờ video khác cũng được đăng tải mỗi phút trên Youtube.

Không người dùng nào có thể xem hết được toàn bộ thời lượng của các video này và trong số hàng tỷ người dùng kia, mỗi người sẽ có những sở thích khác nhau và đối với mỗi người, 99,99% nội dung ở trên đó là không phù hợp với họ. Tương tự là vấn đề của Amazon, một người dùng không thể lướt qua toàn bộ cả trăm triệu sản phẩm khi mua sắm. Từ đó, hệ thống gợi ý đã được nghiên cứu và ứng dụng một cách mạnh mẽ và mang lại lợi ích cho cả người cung cấp dịch vụ và người sử dụng dịch vụ. Ý tưởng đằng sau một hệ thống gợi ý là sử dụng các dữ liệu thu thập được từ người dùng và dự đoán, gợi ý cho người dùng những sản phẩm, tính năng, dịch vụ mà người dùng có thể thích, từ đó nâng cao được chất lượng dịch vụ và thu lại lợi nhuận.

Hiện nay các trang thương mại điện tử lớn như Tiki, Shopee, … đã có thu thập được dữ liệu về người dùng, định danh họ và nắm bắt được các hành vi của người dùng thông qua phiên truy cập của họ trên trang web. Từ đó, thách thức của các công ty xây dựng được hệ thống gợi ý dựa trên dữ liệu phiên sử dụng của người dùng mà mô hình có thể xử lý được dữ liệu dạng chuỗi thời gian, các hành vi tuần tự. Từ đó có thể tăng trải nghiệm của người sử dùng, tăng doanh số bán hàng thông qua các sản phẩm được gợi ý hợp lý. Hình 2: Hệ gợi ý dựa trên phiên sử dụng của người dùng 2 1.2 Mục tiêu nghiên cứu Luận văn này giải quyết bài toán hệ gợi ý cho dữ liệu phiên sử dụng của người dùng, nghiên cứu tập trung vào các vấn đề sau: - Giới thiệu tổng quan về bài toán hệ gợi ý.

- Cơ sở lý thuyết về học máy, học sâu. Nêu và làm rõ các cấu thành của một thuật toán học máy và học sâu. Từ đó có thể nghiên cứu, ứng dụng và cải tiến nó. - Các phương pháp học sâu giải quyết bài toán hệ gợi ý cho dữ liệu phiên sử dụng.

- Tiếp cận phương pháp biến đổi dữ liệu phiên sử dụng thành đồ thị và sử dụng mạng đồ thị (Graph Neural Network) để giải quyết bài toán. - Thử nghiệm và đánh giá trên dữ liệu Yoochoose (dữ liệu được công bố trong cuộc thi RecSys Challenge 2015).3 Đối tượng và phạm vi nghiên cứu Luận văn này chỉ tập trung nghiên cứu tổng quan học máy, học sâu, các bài toán liên quan về hệ gợi ý, các phương pháp tiếp cận giải quyết bài toán hệ gợi ý và đi sâu vào bài toán hệ gợi ý cho dữ liệu phiên sử dụng của người dùng dựa trên phương pháp xây dựng đồ thị học sâu. Ứng dụng các nghiên cứu trước đó để giải quyết bài thực tế cho tập dữ liệu Yoochoose và đưa ra kết quả.4 Cấu trúc luận văn Luận văn được trình bày với cấu trúc sau. Phần 1 giới thiệu tổng quan về tính cấp thiết và mục tiêu của đề tài nghiên cứu.

Phần 2 đi sâu về cơ sở lý thuyết của học máy, học sâu bao gồm phân loại các bài toán học máy. Phân tích cấu trúc của thuật toán học máy nói chung. Các vấn đề của học máy như overfiting, underfitting, … Cấu thành của thuật toán học sâu và giới thiệu một số mạng học sâu điển hình. Phần 3 giới thiệu những nghiên cứu liên quan, các nghiên cứu tổng quan về bài toán hệ gợi ý và các nghiên cứu chuyên sâu về hệ gợi ý dựa trên dữ liệu phiên giao dịch sử dụng đồ thị học sâu.

Phần 4 đưa ra giải pháp đề xuất để giải quyết bài toán hệ gợi ý dựa trên dữ liệu phiên sử dụng của người dùng. Phần 5 là kết quả đánh giá và thử nghiệm cho tập dữ liệu Yoochoose. Ở phần cuối cùng là kết luận và hướng phát triển.1 Tổng quan về học máy Học máy là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các kỹ thuật cho phép hệ thống học tự động từ dữ liệu để giải quyết các vấn đề cụ thể. Ví dụ như máy có thể học cách phân loại thư rác và tự động xếp vào mục thư rác tương ứng.1 Phân loại bài toán trong học máy Học máy thường được phân làm hai loại, đó là: - Học không giám sát - Học có giám sát Cả hai bài toán đều có mục đích để giải quyết những bài toán riêng biệt.

Tuy nhiên, theo góc nhìn của thống kê ta hoàn toàn có thể sử dụng quy tắc của chuỗi chain rules (được định nghĩa như sau: 𝑝(𝑥 ) = ∏%!&" 𝑝(𝑥! | 𝑥" , 𝑥# ,. , 𝑥!$" ) để kết luận rằng để giải quyết bài toán không giám sát ta có thể chia chúng thành n bài toán có giám sát và giải chúng. Học không giám sát Trong bài toán này, mô hình được huấn luyện bằng việc quan sát bộ dữ liệu không có nhãn và phải tìm ra các mẫu (pattern) ẩn trong bộ dữ liệu. Phần lớn ứng dụng của bài toán này là phân cụm (clustering), tức chúng tập trung vào ý tưởng phân tích phân cụm hình học của bộ dữ liệu trong không gian đầu vào để xác định mối liên kết của chúng.

Điều này chỉ đúng khi giả định trước rằng phân cụm điểm dữ liệu trong không gian đầu vào có các thuộc tính tương tự. Một số mô hình học không giám sát được kể tới là: - Kmeans clustering. - Principal Component Analysis. Bài toán học không giám sát thường ít được ứng dụng trong hệ gợi ý.

Vì vậy, luận văn này sẽ tập trung nhiều hơn về bài toán học có giám sát Học có giám sát Đối với bài toán học có giám sát, máy tính sẽ được nhìn thấy dữ liệu đã được gán nhãn, từ đó có thể giám sát và điều chỉnh mô hình trong quá trình học. Quá trình học tuân theo nguyên tắc sau: đầu tiên bộ dữ liệu huấn luyện được đưa vào mô hình để học, sau mỗi lần học máy sẽ tự động cập nhật lại bộ tham số sao cho nhãn dự đoán gần với nhãn thật nhất. Cuối cùng ta sẽ thu được bộ tham số tối ưu có thể dụng để dự đoán cho dữ liệu mới ở tương lai.2 Cấu trúc thuật toán học máy Mặc dù các có rất nhiều thuật toán học máy, đa dạng cả về phương pháp luận và ứng dụng thực tế, tuy nhiên tất cả đều tuân theo cấu trúc sau: - Đặc tả tập dữ liệu - Mô hình - Hàm mất mát - Thuật toán tối ưu Phần lớn các thuật toán của học có giám sát có đặc tả tập dữ liệu giống nhau. Còn với ba thành phần còn lại thì có nhiều sự biến đổi.

Đặc tả tập dữ liệu Mỗi tập dữ liệu bao gồm n thực thể (hay còn gọi là mẫu) là véc tơ đầu vào, thường được ký hiệu là x và đầu ra ký hiệu là y. Với giá trị i thể hiện thứ tự của mẫu và p là số chiều của véc tơ đầu vào, ta biểu diễn véc tơ đầu vào như sau: 𝑥!' = [𝑥" , 𝑥# , … , 𝑥( ] Các phần tử trong véc tơ phải có chung dạng dữ liệu, ví dụ trường hợp dữ liệu là chuỗi thời gian, các phần tử phải được sắp xếp theo đúng thứ tự thời gian và được chuẩn hóa. Gần như tất các các thuật toán học máy nào cũng yêu cầu dữ liệu đầu vào được chuẩn hóa để mô hình có thể học tốt hơn. Đầu ra y là biểu diễn nhãn của mẫu.

Vì thế số lượng của chúng phải được xác định sẵn từ trước. Mô hình Mô hình nhận giá trị đầu vào 𝑥! và đưa ra dự đoán là 𝑦/. ) Thông thường, mỗi mô hình đều có một bộ tham số được biểu diễn bởi véc tơ θ. Véc tơ này được hiệu chỉnh trong quá trình huấn luyện mô hình.

Ví dụ đơn giản nhất của mô hình theo dạng này là mô hình hồi quy tuyến tính. Tham số của mô hình này được biểu diễn như sau: θ' = 1θ" , … , θ( 2 PT 1 Với p là số chiều của dữ liệu đầu vào. Khi đó dự đoán 𝑦3 của mô hình sẽ là: ( PT 2 𝑦3 = 4 𝑥* θ* *&" 5 Tổng quát cho toàn bộ tập dữ liệu là: 𝑌6 = 𝑋θ PT 3 Hàm mất mát Để mô hình có thể học được, ta cần phải đánh giá được dự đoán của mô hình so với nhãn thực tế thông qua hàm mất mát (hay còn gọi là hàm mục tiêu). Khả năng học của thuật toán học máy phụ thuộc vào ước tính mức độ cải thiện của mô hình thông qua thay đổi tham số.

Do đó hàm mất mát tối thiểu phải khả vi. Trong trường hợp của mô hình hồi quy tuyến tính, hàm mất mát phổ biến nhất là sử dụng tổng bình phương của sai số (Mean Squared Error). Lý do chính là khi ta áp dụng phương pháp hợp lý hóa cực đại (Maximum likelihook) để tối ưu hóa θ, ta thu được hàm này. Ngoài ra, đạo hàm của hàm này cho phép mô hình hồi quy tuyến tính chỉ có một cực tiểu toàn cục.