I. Tổng Quan Hệ Thống Khuyến Nghị Tuần Tự Luận Văn Khoa Học
Bài toán Hệ thống gợi ý không còn xa lạ, ứng dụng rộng rãi. Phần lớn các hệ thống dựa trên thông tin nhân khẩu học hoặc hành vi người dùng trong lịch sử dài hạn, chưa quan tâm tính tuần tự. Hành vi ngắn hạn thường liên hệ tốt với nhau hơn là các hành vi ở thời điểm xa nhau. Đề tài tập trung vào khai thác đặc tính tuần tự này. Các hệ thống gợi ý, khuyến nghị trong thực tế thường phải đối mặt với việc là gợi ý thật nhanh chóng cho người dùng, những gợi ý quảng cáo này phải mang tính cá nhân hoá đối với từng nhóm người dùng khi thời gian họ dành cho các ứng dụng ngày càng ít đi vì có rất nhiều ứng dụng, rất nhiều sản phẩm được quảng bá tới họ. Mong muốn của người dùng thường được xác định dựa vào thông tin mang tính nhân khẩu học (demographic) như một người dùng có nghề nghiệp là nhạc sĩ thường sẽ quan tâm tới các dụng cụ sản phẩm có đặc tính về âm nhạc, âm thanh.
1.1. Giới Thiệu Chi Tiết Hệ Thống Khuyến Nghị Tuần Tự
Hệ thống khuyến nghị tuần tự là giải pháp cho hệ thống khuyến nghị người dùng quan tâm đến dữ liệu tương tác của người dùng dưới dạng tuần tự theo thời gian. Với đặc điểm là ngoài việc sử dụng các thông tin cá nhân hoá của người dùng dài hạn (long-term user preferences) vào việc đưa ra gợi ý như các hướng tiếp cận truyền thống khác, hệ thống còn đặc biệt xem xét tới mối quan tâm ngắn hạn của người dùng trong thời gian ngắn (short-term intentions), hoặc theo phiên (session). Việc ứng dụng hệ thống gợi ý tuần tự trong thực tế mang lại hiệu quả cao trong khả năng đưa ra các khuyến nghị, bằng việc mang lại lợi ích đối với người tiêu dùng khiến họ mua những sản phẩm phù hợp hơn từ đó mang lại giá trị cho các doanh nghiệp và các nhà cung cấp sản phẩm, dịch vụ. Các hành vi trong ngắn hạn thường sẽ có mối liên hệ tốt với nhau hơn là các hành vi ở các thời điểm cách xa nhau.
1.2. Ứng Dụng Thực Tế và Ý Nghĩa của Hệ Thống Khuyến Nghị
Ứng dụng hệ thống gợi ý tuần tự trong thực tế mang lại hiệu quả cao trong khả năng đưa ra các khuyến nghị. Việc này mang lại lợi ích cho người tiêu dùng. Người tiêu dùng mua sản phẩm phù hợp hơn, tạo giá trị cho doanh nghiệp và nhà cung cấp dịch vụ. Cụ thể, hệ thống giúp tăng doanh thu cho doanh nghiệp, nắm bắt xu hướng và đưa ra chương trình khuyến mãi phù hợp, gia tăng sự hài lòng và lòng trung thành của khách hàng. Người tiêu dùng dễ dàng lựa chọn sản phẩm thích hợp, tiết kiệm thời gian mua sắm. Cần có kiến thức ngành phù hợp để chọn thuộc tính và dữ liệu sử dụng. Thực tế có nhiều nhiệm vụ cần giải quyết cho bài toán gợi ý do đó dẫn tới ở mỗi nhiệm vụ sẽ có các phương pháp đánh giá phù hợp khác nhau.
II. Transformer Bí Quyết Xây Dựng Hệ Thống Khuyến Nghị Tuần Tự
Ngày nay, trong nghiên cứu khoa học về việc khai thác đặc tính tuần tự ứng dụng học sâu (deep learning) là rất phổ biến nhờ sự ra đời của những kiến trúc mô hình có khả năng giải quyết các dữ liệu dạng chuỗi tuần tự như mô hình dạng RNN, cơ chế Self-Attention, kiến trúc Transformer đã đạt được những cột mốc đáng nhớ trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP). Bằng việc ứng dụng những thành tựu khoa học này vào bài toán gợi ý, Hệ thống khuyến nghị tuần tự đề xuất là một trong những giải pháp cho một hệ thống khuyến nghị người dùng quan tâm đến dữ liệu tương tác của người dùng dưới dạng tuần tự theo thời gian.
2.1. Lợi Thế của Transformer trong Xử Lý Dữ Liệu Tuần Tự
Việc tương tác này của người dùng có thể được phân làm hai loại là tương tác rõ ràng, trực tiếp (explicit) và tương tác ẩn, gián tiếp (implicit) hoặc là kết hợp cả hai. Đối với các hệ thống này, ta đã giả định rặng tất cả những tương tác giữa người dùng và sản phẩm trong dữ liệu trong lịch sử là như nhau và cố gắng tìm ra một sở thích tĩnh (static preferences). Tuy nhiên như đã chia sẻ ở Chương 1 thì điều này không quá hữu dụng trong thực tế khi hành động, hành vi tương tác tiếp theo của người dùng chịu sự ảnh hưởng mạnh bởi những mối quan tâm hiện tại hơn là sở thích tĩnh dài hạn cũng như những tương tác này là một chuỗi các hành động có đặc tính thứ tự. Do đó các hệ thống khuyến nghị thông thường đã bỏ qua sự phụ thuộc tuần tự khi thực hiện mô hình hoá dẫn tới mô hình đưa ra gợi ý không tương đồng với sở thích và mong muốn của người dùng.
2.2. Cơ Chế Self Attention và Ứng Dụng trong Transformer
Hệ thống khuyến nghị tuần tự (Sequential Recommendation) là một hệ thống gợi ý người dùng dựa trên việc quan sát các hành vi tương tác của người dùng đối với sản phảm theo tuần tự và thứ tự. Ví dụ minh hoạ như người dùng A tìm kiếm thông tin (search) sản phẩm X, chọn (click) vào sản phẩm Y, nhưng lại mua (buy) sản phẩm Z. Mô hình cần học được thông tin tương tác này kèm với thứ tự của chúng.1 minh hoạ một lịch sử hành vi tương tác của người dùng trong tập dữ liệu về người dùng Uu . Thành phần chính của một hệ thống khuyến nghị tuần tự cần quan tâm trước nhất đó là sản phẩm người dùng tương tác (objects) và phương thức tương tác của người dùng đối với sản phẩm (types).
III. Hướng Dẫn Xây Dựng Mô Hình Khuyến Nghị Tuần Tự Transformer
Luận văn giải quyết các vấn đề sau: Xây dựng quy trình tiền xử lý (chọn lọc, biến đổi, chuẩn hóa) dữ liệu sẵn sàng phân tích. Bao gồm các thuộc tính người dùng, sản phẩm và thuộc tính tuần tự. Xây dựng bộ dữ liệu huấn luyện, thẩm định, kiểm nghiệm từ tập dữ liệu ban đầu. Xây dựng kiến trúc mô hình huấn luyện đề xuất. Kiểm tra thực nghiệm, đánh giá so sánh các mô hình cơ sở trên từng bài toán con. Tổng kết, đề xuất giải pháp triển khai thực tế và hướng mở rộng nghiên cứu.
3.1. Tiền Xử Lý Dữ Liệu Hiệu Quả cho Hệ Thống Khuyến Nghị
Dữ liệu dạng tuần tự là dạng dữ liệu không có sẵn trong dữ liệu vận hành (Operation) mà cần phải thực hiện tiền xử lý. Công việc này sẽ khác nhau tuỳ thuộc vào kiến trúc của hệ thống gợi ý. Do đó sẽ gặp khó khăn trong việc xử lý sao cho hiệu quả, đúng đắn và dễ thực nghiệm kiểm chứng. Thời gian thực hiện đề tài có hạn do đó phạm vi của đề tài sẽ được giới hạn lại cho phù hợp, chưa thể thực hiện các phần liên quan để thành một ứng dụng gợi ý hoàn chỉnh hay thực nghiệm kết hợp với các giải pháp nghiên cứu khác.
3.2. Xây Dựng và Chia Tách Dữ Liệu Huấn Luyện Thẩm Định
Xây dựng quy trình tiền xử lý bao gồm chọn lọc, biến đổi và chuẩn hóa dữ liệu sẵn sàng đưa vào phân tích. Bao gồm các thuộc tính của người dùng, sản phẩm và các thuộc tính ở dạng tuần tự. Xây dựng bộ dữ liệu huấn luyện, bộ dữ liệu thẩm định và bộ dữ liệu kiểm nghiệm từ tập dữ liệu ban đầu. Luận văn này sẽ giải quyết các vấn đề sau trong quá trình thực hiện đề tài bao gồm: Kiểm tra thực nghiệm và đánh giá so sánh các mô hình cơ sở trên từng bài toán con.
3.3. Thiết Kế Kiến Trúc Mô Hình Transformer Tối Ưu
Xây dựng kiến trúc mô hình huấn luyện đề xuất. Dữ liệu dạng tuần tự là dạng dữ liệu không có sẵn trong dữ liệu vận hành (Operation) mà cần phải thực hiện tiền xử lý. Công việc này sẽ khác nhau tuỳ thuộc vào kiến trúc của hệ thống gợi ý. Do đó sẽ gặp khó khăn trong việc xử lý sao cho hiệu quả, đúng đắn và dễ thực nghiệm kiểm chứng. Tổng kết và đề xuất các giải pháp triển khai ứng dụng thực tế và hướng mở rộng để nghiên cứu trong tương lai.
IV. Đánh Giá Hiệu Suất Hệ Thống Khuyến Nghị Tuần Tự Transformer
Luận văn trình bày chi tiết về bộ dữ liệu sử dụng, các phân tích thống kê. Với đặc trưng của bộ dữ liệu thí nghiệm, luận văn trình bày phương pháp tiền xử lý, chọn lọc dữ liệu. Thiết kế kiến trúc mô hình của hệ thống đề xuất, phương pháp cài đặt, tinh chỉnh mô hình cho từng bài toán con. Kết quả thực nghiệm được so sánh với các mô hình cơ sở. Nhận xét và thảo luận về kết quả thu được.
4.1. Phương Pháp Đánh Giá Khách Quan và Chính Xác
Nhiều cách đánh giá khác nhau cho bài toán gợi ý. Thực tế có nhiều nhiệm vụ cần giải quyết cho bài toán gợi ý do đó dẫn tới ở mỗi nhiệm vụ sẽ có các phương pháp đánh giá phù hợp khác nhau. Phương pháp đánh giá cho bài toán xếp hạng (rating). Đánh giá cho bài toán khả năng nhấp chuột (click-through-rate).
4.2. So Sánh Kết Quả với Các Mô Hình Cơ Sở
Kết quả thực nghiệm của mô hình đề xuất đã trình bày trong Phần Ba và kết quả so sánh với các mô hình cơ sở; sau đó là những nhận xét và thảo luận về các kết quả thu được này. Dữ liệu xếp hạng phim MovieLens 1M. Kết quả đánh giá cho bài toán rating khi so sánh với các mô hình cơ sở. Kết quả đánh giá cho bài toán click-through-rate khi so sánh với các mô hình cơ sở.
V. Ứng Dụng Thực Tế Triển Khai Hệ Thống Khuyến Nghị Transformer
Bài toán Hệ thống gợi ý đã được ứng dụng rộng rãi trong thực tế, tuy nhiên phần lớn các hệ thống dựa trên các thông tin nhân khẩu học hoặc hành vi người dùng trong lịch sử dài hạn, chưa quan tâm tính tuần tự. Hành vi ngắn hạn thường liên hệ tốt với nhau hơn là các hành vi ở thời điểm xa nhau. Ngày nay, trong nghiên cứu khoa học về việc khai thác đặc tính tuần tự ứng dụng học sâu (deep learning) là rất phổ biến nhờ sự ra đời của những kiến trúc mô hình có khả năng giải quyết các dữ liệu dạng chuỗi tuần tự như mô hình dạng RNN, cơ chế Self-Attention, kiến trúc Transformer đã đạt được những cột mốc đáng nhớ trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP).
5.1. Ứng Dụng trong Thương Mại Điện Tử Phim Ảnh
Ứng dụng hệ thống gợi ý tuần tự trong thực tế mang lại hiệu quả cao trong khả năng đưa ra các khuyến nghị. Cụ thể, hệ thống giúp tăng doanh thu cho doanh nghiệp, nắm bắt xu hướng và đưa ra chương trình khuyến mãi phù hợp, gia tăng sự hài lòng và lòng trung thành của khách hàng. Người tiêu dùng dễ dàng lựa chọn sản phẩm thích hợp, tiết kiệm thời gian mua sắm.
5.2. Triển Vọng Phát Triển trong Tương Lai
Tổng kết và đề xuất các giải pháp triển khai ứng dụng thực tế và hướng mở rộng để nghiên cứu trong tương lai. Phần cuối cùng, Kết luận là tổng hợp các kết quả có được từ quá trình thực hiện luận văn từ nghiên cứu và xây dựng giả thuyết, triển khai thực nghiệm. Phần này cũng trình bày những hạn chế và vấn đề tồn đọng, đề xuất khả năng mở rộng, các giải pháp cải tiến bổ sung và tổng kết luận văn.
VI. Kết Luận Hệ Thống Khuyến Nghị Tuần Tự Bước Tiến Khoa Học
Luận văn tổng hợp kết quả nghiên cứu, xây dựng giả thuyết, triển khai thực nghiệm. Trình bày hạn chế, vấn đề tồn đọng. Đề xuất khả năng mở rộng, giải pháp cải tiến. Những khó khăn và thách thức gặp phải trong quá trình thực hiện đề tài bao gồm những điểm sau: Mỗi lĩnh vực khác nhau sẽ có những loại dữ liệu và đặc điểm khác nhau. Do đó việc lựa chọn thuộc tính, dữ liệu sử dụng cần có kiến thức ngành liên quan phù hợp. Nhiều cách đánh giá khác nhau cho bài toán gợi ý. Thực tế có nhiều nhiệm vụ cần giải quyết cho bài toán gợi ý do đó dẫn tới ở mỗi nhiệm vụ sẽ có các phương pháp đánh giá phù hợp khác nhau.
6.1. Tổng Kết và Đánh Giá Toàn Diện
Phần cuối cùng, Kết luận là tổng hợp các kết quả có được từ quá trình thực hiện luận văn từ nghiên cứu và xây dựng giả thuyết, triển khai thực nghiệm. Phần này cũng trình bày những hạn chế và vấn đề tồn đọng, đề xuất khả năng mở rộng, các giải pháp cải tiến bổ sung và tổng kết luận văn.
6.2. Hướng Nghiên Cứu và Phát Triển Tiếp Theo
Thời gian thực hiện đề tài có hạn do đó phạm vi của đề tài sẽ được giới hạn lại cho phù hợp, chưa thể thực hiện các phần liên quan để thành một ứng dụng gợi ý hoàn chỉnh hay thực nghiệm kết hợp với các giải pháp nghiên cứu khác. Tổng kết và đề xuất các giải pháp triển khai ứng dụng thực tế và hướng mở rộng để nghiên cứu trong tương lai.
