Tổng quan nghiên cứu

Thị trường thương mại điện tử tại Việt Nam chứng kiến sự bùng nổ mạnh mẽ về số lượng sản phẩm, kéo theo thách thức quá tải thông tin đối với người tiêu dùng. Theo báo cáo của Google về hành vi người tiêu dùng tại Việt Nam, có tới 73% người dùng thực hiện tìm kiếm thông tin sản phẩm trên Internet nhưng chỉ 17% quyết định thanh toán trực tuyến, trong khi 56% chuyển sang mua hàng tại cửa hàng truyền thống. Đồng thời, báo cáo của Cục Thương mại điện tử và Công nghệ thông tin thuộc Bộ Công Thương chỉ ra rằng 46% khách hàng chưa thực hiện giao dịch mua sắm trực tuyến vì thiếu thông tin định hướng và tư vấn phù hợp, dù có hơn 81% trong số gần 300 website thương mại điện tử đã tích hợp công cụ tìm kiếm và phân loại cơ bản.

Vấn đề cốt lõi của các hệ thống tư vấn sản phẩm hiện nay là sự phụ thuộc vào phương pháp lọc cộng tác truyền thống, vốn đòi hỏi dữ liệu đánh giá xếp hạng và bình luận từ người dùng. Tại Việt Nam, thói quen để lại phản hồi công khai của khách hàng gần như không đáng kể, khiến ma trận dữ liệu rơi vào trạng thái cực kỳ thưa thớt và gây ra hiện tượng khởi đầu lạnh nghiêm trọng. Nhằm giải quyết triệt để rào cản này, luận văn tập trung nghiên cứu mô hình hệ gợi ý dựa trên khai phá mẫu phổ biến và luật kết hợp từ dữ liệu nhật ký phiên truy cập thực tế.

Mục tiêu cụ thể của nghiên cứu là xây dựng quy trình trích xuất tự động các tập sản phẩm thường được xem cùng nhau và các tập sản phẩm có xu hướng được xem tiếp theo. Phạm vi thực nghiệm được triển khai trên 403.000 phiên truy cập và 238.000 mặt hàng từ một website thương mại điện tử thực tế tại Việt Nam. Nghiên cứu mang ý nghĩa thực tiễn to lớn khi tối ưu hóa thời gian phản hồi gợi ý dưới 0.5 giây trong thời gian thực, nâng cao tỷ lệ chuyển đổi đơn hàng và cá nhân hóa trải nghiệm duyệt web của người tiêu dùng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu kế thừa và phát triển nền tảng lý thuyết khai phá mẫu phổ biến và khai phá luật kết hợp do Agrawal và Srikant khởi xướng từ năm 1993, cùng hệ thống công trình tổng hợp của Jiawei Han và Charu C. Aggarwal. Mô hình nghiên cứu vận dụng lý thuyết hệ gợi ý thương mại điện tử theo phân loại của Herlocker và Ricci, đặt trọng tâm vào việc phân tích hành vi ngầm định thông qua chuỗi nhấp chuột thay vì các đánh giá tường minh.

Khung lý thuyết vận hành dựa trên năm khái niệm toán học nền tảng:

  • Độ hỗ trợ: Tỷ lệ phần trăm các giao dịch chứa đồng thời tập mục trong toàn bộ cơ sở dữ liệu, phản ánh tần suất xuất hiện và mức độ phổ biến của sản phẩm.
  • Độ tin cậy: Tỷ lệ phần trăm giao dịch chứa tập hệ quả khi đã xuất hiện tập tiền đề, đóng vai trò là thước đo khả năng dự đoán của luật kết hợp.
  • Độ nâng và Cosine: Đo lường mức độ tương quan độc lập giữa các tập sản phẩm, loại bỏ các kết hợp ngẫu nhiên do sản phẩm có tần suất đơn lẻ quá cao.
  • Độ hài hòa: Trung bình điều hòa giữa độ hỗ trợ và độ tin cậy, làm tiêu chí xếp hạng ưu tiên các luật có chất lượng đồng đều.
  • Tập phổ biến đóng và tập phổ biến cực đại: Cấu trúc biểu diễn tri thức nén không làm mất thông tin, giải quyết bài toán bùng nổ tổ hợp của định lý Apriori.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập từ máy chủ của sàn thương mại điện tử tại Việt Nam với quy mô 403.000 giao dịch nhật ký truy cập và hơn 250.000 bản ghi chi tiết sản phẩm lưu trữ trong hệ quản trị cơ sở dữ liệu MySQL. Dữ liệu bao phủ 238.000 mặt hàng thuộc nhiều danh mục: thời trang nam nữ chiếm 42%, mẹ và bé chiếm 31%, phụ kiện công nghệ chiếm 9%, đồng hồ chiếm 6% và các ngành hàng khác chiếm 12%.

Phương pháp chọn mẫu áp dụng kỹ thuật lọc sạch có chủ đích: loại bỏ các phiên truy cập đơn lẻ chỉ có 1 sản phẩm vì không mang giá trị tương quan, đồng thời cắt bỏ các phiên có độ dài vượt quá 100 sản phẩm nhằm loại trừ hành vi thu thập dữ liệu tự động của bot tìm kiếm. Kích thước mẫu giữ lại có độ dài trung bình 4 sản phẩm trên mỗi phiên, với độ hỗ trợ trung bình của một mặt hàng đạt 7.9 lần xuất hiện.

Lý do lựa chọn thuật toán FPClose trên cấu trúc cây FP-Tree thay vì Apriori hoặc FIN là nhờ khả năng nén bộ nhớ vượt trội và loại bỏ hoàn toàn bước sinh tập ứng viên tốn kém. Quy trình nghiên cứu được chia làm hai pha rõ rệt: pha ngoại tuyến thực hiện tiền xử lý dữ liệu, phân hoạch cơ sở dữ liệu, chạy thuật toán FPClose để sinh tập phổ biến đóng, tính toán các luật kết hợp có tiền đề đơn lẻ và xây dựng bảng chỉ mục ngược; pha trực tuyến tiếp nhận yêu cầu từ giao diện web để truy vấn chỉ mục và phản hồi tức thời danh sách gợi ý kèm số liệu minh chứng cho người dùng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm so sánh bốn thuật toán khai phá mẫu phổ biến gồm FP-Growth, FIN, FPMax và FPClose trên cùng tập dữ liệu 403.000 giao dịch đã đem lại ba phát hiện quan trọng:

Thứ nhất, FPClose thể hiện hiệu năng xử lý và tính ổn định vượt trội khi độ hỗ trợ giảm sâu xuống ngưỡng 0.000025%, tương đương tần suất 10 lần xuất hiện. Tại ngưỡng này, FPClose hoàn thành tác vụ trong 35.647 mili-giây với mức tiêu thụ bộ nhớ chỉ 247 MB, nhanh hơn 50 lần so với thuật toán FP-Growth truyền thống vốn mất tới 1.787.596 mili-giây và tiêu tốn 400 MB RAM. Thuật toán FIN hoàn toàn bị quá tải bộ nhớ trên 100.000 MB và không thể hoàn tất xử lý.

Thứ hai, cấu trúc tập phổ biến đóng của FPClose giúp kiểm soát triệt để hiện tượng bùng nổ tổ hợp dữ liệu. Ở ngưỡng hỗ trợ 10 lần, FP-Growth sinh ra 536.918.066 tập phổ biến, trong khi FPClose chỉ tạo ra 47.363 tập phổ biến đóng đại diện đầy đủ thông tin. Khi áp dụng ngưỡng hỗ trợ 20 và độ tin cậy 0.8, không gian luật ban đầu vượt quá 90.000.000 luật đã được rút gọn thành công về 32.000 luật kết hợp chất lượng cao bằng việc giới hạn tiền đề là tập mục đơn vị.

Thứ ba, nghiên cứu vạch rõ cấu trúc phân bố hành vi duyệt web của người tiêu dùng trực tuyến. Có tới 37.4% giao dịch tương đương hơn 151.000 phiên chỉ xem 2 sản phẩm và 19.8% tương đương hơn 80.000 phiên xem 3 sản phẩm. Nhóm người dùng duyệt sâu trên 20 sản phẩm chiếm tỷ lệ 7.5% tương ứng hơn 30.000 phiên, tập trung chủ yếu ở danh mục đồng hồ và thời trang, tạo ra các tập phổ biến dài lên tới 20 mục.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự chênh lệch hiệu năng giữa các thuật toán bắt nguồn từ đặc tính dữ liệu thương mại điện tử cực kỳ thưa thớt với hơn 236.000 mặt hàng chỉ xuất hiện đơn lẻ trong các giao dịch. Thuật toán FIN sử dụng cấu trúc danh sách nút tốn nhiều tài nguyên khi duyệt dữ liệu thưa, trong khi FPClose tận dụng triệt để kỹ thuật cắt tỉa nhánh và cơ chế kiểm tra tính đóng trên cây FP-Tree để tối ưu hóa không gian trạng thái.

Kết quả này hoàn toàn nhất quán với các lý thuyết khai phá dữ liệu nâng cao của Jiawei Han và cộng sự, đồng thời khẳng định việc tiếp cận theo nhật ký truy cập giúp khắc phục triệt để khoảng trống dữ liệu xếp hạng tại thị trường Việt Nam. Khi biểu diễn qua biểu đồ cột thể hiện tương quan thời gian thực thi và dung lượng bộ nhớ, FPClose duy trì đường cong tăng trưởng tuyến tính ổn định, trái ngược hoàn toàn với đường tăng trưởng hàm mũ của FP-Growth.

Hệ thống đã chuyển đổi các kết quả phân tích thành bảng ma trận gợi ý hai chiều trực quan trên giao diện: danh mục sản phẩm thường được xem cùng nhau và danh mục sản phẩm người dùng khác cũng xem sau khi xem sản phẩm hiện tại. Mỗi đề xuất đều kèm theo tỷ lệ phần trăm độ tin cậy và số lượt xuất hiện đồng thời, giúp gia tăng tính minh bạch và độ thuyết phục đối với người mua hàng.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, bốn giải pháp trọng tâm được đề xuất nhằm tối ưu hóa hệ thống tư vấn sản phẩm cho các doanh nghiệp thương mại điện tử:

  • Thiết lập kiến trúc chỉ mục ngược kết hợp bộ nhớ đệm: Nhóm kỹ sư phần mềm và kiến trúc sư hệ thống cần cấu trúc lại toàn bộ tập phổ biến đóng và luật kết hợp thành bảng chỉ mục ngược theo mã sản phẩm, kết hợp giải pháp lưu trữ đệm như Redis để đảm bảo thời gian truy xuất dưới 200 mili-giây cho 100% phiên truy vấn của khách hàng.
  • Áp dụng kỹ thuật phân hoạch dữ liệu động theo danh mục: Đội ngũ khoa học dữ liệu cần triển khai cơ chế điều chỉnh ngưỡng hỗ trợ tối thiểu riêng biệt cho từng ngành hàng, thiết lập ngưỡng cao cho nhóm thời trang có 100.000 sản phẩm và ngưỡng thấp cho nhóm đồng hồ có 13.500 sản phẩm nhằm mở rộng độ bao phủ gợi ý thêm 35% trong vòng 6 tháng tới.
  • Nâng cao tính minh bạch trên giao diện người dùng: Đội ngũ thiết kế sản phẩm và trải nghiệm người dùng cần tích hợp các số liệu thống kê thực tế như tần suất người mua cùng xem và tỷ lệ phần trăm tin cậy ngay bên dưới hình ảnh sản phẩm đề xuất, hướng tới mục tiêu tăng tỷ lệ nhấp chuột thêm 25% và tỷ lệ thêm vào giỏ hàng thêm 18% trong quý vận hành tiếp theo.
  • Xây dựng quy trình tự động tái huấn luyện mô hình: Bộ phận kỹ thuật dữ liệu cần thiết lập tiến trình khai phá ngoại tuyến định kỳ 24 giờ một lần dựa trên hơn 400.000 phiên truy cập mới phát sinh, giúp hệ thống liên tục đào thải các luật kết hợp lỗi thời và thích ứng linh hoạt với xu hướng tiêu dùng theo mùa vụ.

Đối tượng nên tham khảo luận văn

  • Giảng viên, nghiên cứu sinh và học viên chuyên ngành Hệ thống thông tin: Nắm bắt phương pháp luận nghiên cứu thực nghiệm, cơ sở toán học của khai phá luật kết hợp và kỹ thuật xử lý ma trận dữ liệu thưa trong thương mại điện tử.
  • Kỹ sư dữ liệu và lập trình viên phát triển hệ thống: Tham khảo kiến trúc triển khai thực tế gồm hai pha xử lý ngoại tuyến và trực tuyến, tối ưu hóa thuật toán FPClose và kỹ thuật đánh chỉ mục ngược trên cơ sở dữ liệu quy mô lớn.
  • Nhà quản lý sàn thương mại điện tử và giám đốc sản phẩm: Ứng dụng giải pháp hệ gợi ý tự động để tăng doanh số bán hàng chéo, giữ chân khách hàng và giải quyết bài toán thiếu hụt dữ liệu đánh giá từ người dùng.
  • Chuyên viên tối ưu hóa trải nghiệm người dùng và tiếp thị số: Hiểu rõ tâm lý và hành vi duyệt web của người tiêu dùng trực tuyến tại Việt Nam để bố trí cấu trúc liên kết nội bộ và đề xuất sản phẩm phù hợp.

Câu hỏi thường gặp

  • Tại sao thuật toán FPClose lại vượt trội hơn FP-Growth trong bài toán này? FPClose chỉ trích xuất các tập phổ biến đóng thay vì toàn bộ tập phổ biến. Với dữ liệu 403.000 phiên truy cập, FPClose giảm số lượng tập mục từ 536.918.066 xuống còn 47.363 tập, giúp rút ngắn thời gian xử lý từ 1.787.596 mili-giây xuống 35.647 mili-giây và tiết kiệm gần một nửa dung lượng RAM.

  • Làm cách nào hệ thống đưa ra gợi ý trong thời gian thực dưới 0.5 giây? Hệ thống thực hiện toàn bộ tác vụ tính toán nặng trong pha ngoại tuyến để sinh ra 32.000 luật kết hợp chất lượng cao, sau đó lưu trữ dưới dạng bảng chỉ mục ngược theo mã sản phẩm. Khi người dùng nhấp chuột, hệ thống chỉ cần tra cứu trực tiếp trong bộ nhớ mà không phải duyệt lại cơ sở dữ liệu.

  • Thuật toán giải quyết vấn đề thiếu đánh giá sản phẩm tại Việt Nam như thế nào? Thay vì phụ thuộc vào điểm đánh giá hoặc bình luận vốn chỉ xuất hiện ở dưới 1% sản phẩm, mô hình khai thác trực tiếp nhật ký hành vi xem hàng thực tế từ 403.000 phiên giao dịch, biến các thao tác nhấp chuột ngầm định thành tri thức liên kết có độ chính xác cao.

  • Vì sao nghiên cứu lại giới hạn tiền đề luật kết hợp ở dạng một sản phẩm đơn lẻ? Trong kịch bản người dùng đang duyệt một mặt hàng cụ thể trên website, hệ thống cần phản hồi ngay các sản phẩm liên quan tới đúng mặt hàng đó. Việc cố định tiền đề 1-itemset giúp giảm tải không gian tính toán từ 90 triệu luật xuống 32.000 luật mà vẫn giữ vững độ tin cậy trên 80%.

  • Việc loại bỏ các phiên truy cập trên 100 sản phẩm có làm mất dữ liệu quan trọng không? Các phiên duyệt trên 100 sản phẩm trong một ngày chủ yếu là hoạt động quét dữ liệu tự động của bot hoặc công cụ tìm kiếm. Việc loại bỏ nhóm này giúp loại trừ các liên kết ảo, đảm bảo dữ liệu phản ánh chính xác 100% hành vi tiêu dùng tự nhiên của khách hàng thực tế.

Kết luận

  • Đã xây dựng thành công mô hình hệ tư vấn sản phẩm thương mại điện tử hoàn chỉnh dựa trên khai phá mẫu phổ biến và luật kết hợp từ dữ liệu nhật ký truy cập thực tế.
  • Chứng minh thực nghiệm thuật toán FPClose đạt hiệu năng vượt trội, hoàn tất khai phá 403.000 giao dịch chỉ trong 35.647 mili-giây với 247 MB bộ nhớ.
  • Đề xuất giải pháp rút gọn không gian luật xuống 32.000 luật kết hợp đơn vị có độ tin cậy cao, kết hợp kỹ thuật đánh chỉ mục ngược phục vụ gợi ý thời gian thực.
  • Cung cấp bức tranh toàn diện về hành vi duyệt web của người tiêu dùng Việt Nam, mở ra hướng ứng dụng thực tiễn cho hơn 238.000 mặt hàng thương mại trực tuyến.
  • Các đơn vị phát triển nền tảng số nên tiến hành tích hợp ngay giải pháp chỉ mục ngược FPClose vào hệ thống gợi ý hiện hữu để nâng cao tỷ lệ chuyển đổi đơn hàng và tối ưu hóa trải nghiệm khách hàng.