Bối cảnh và vấn đề nghiên cứu

Trong những năm gần đây, Thương mại điện tử (TMĐT) tại Việt Nam ghi nhận sự phát triển nhanh chóng với sự hiện diện của các nền tảng lớn như Shopee, Lazada, Tiki, Sendo và TikTok Shop. Theo Báo cáo Kinh tế Internet khu vực Đông Nam Á năm 2020, thời gian mua sắm trực tuyến trung bình của một người dùng tại Việt Nam tăng từ 3,7 giờ/ngày trước dịch COVID-19 lên 4,7 giờ/ngày trong thời gian bùng phát dịch. Thống kê từ Cục Thương mại điện tử và Kinh tế số cho thấy số lượng người tiêu dùng mua sắm trực tuyến đạt 54,6 triệu người năm 2021 và tăng lên khoảng 60 triệu người năm 2022 (tương đương 60% dân số).

Khi mua sắm trực tuyến, người tiêu dùng không thể trực tiếp kiểm tra sản phẩm mà phải dựa vào phản hồi, đánh giá từ những người mua trước để đưa ra quyết định. Nắm bắt tâm lý này, một số nhà bán hàng đã tạo ra các bài đánh giá giả mạo nhằm quảng bá sản phẩm, trong khi đối thủ cạnh tranh hoặc người dùng thiếu trung thực cố ý đăng tải nhận xét tiêu cực sai sự thật để làm giảm uy tín cửa hàng. Bên cạnh đó, chính sách tặng điểm/xu thưởng khi đánh giá đơn hàng khiến nhiều người dùng đăng tải nội dung không liên quan (đoạn văn ngẫu nhiên, sao chép văn bản, ký tự lặp lại) nhằm nhận ưu đãi. Những phản hồi này được gọi chung là "bài đánh giá rác" (spam reviews / opinion spam).

Việc phân loại đánh giá rác trên các nền tảng TMĐT tiếng Việt đối mặt với ba thách thức chính:

  • Tính đa dạng của nội dung rác: Bao gồm nhiều hình thức như bình luận sai lệch về sản phẩm, bình luận chỉ nhắm vào thương hiệu/đơn vị vận chuyển, hoặc bình luận vô nghĩa, sao chép văn bản ngoài lề.
  • Sự biến đổi của kỹ thuật tạo spam: Người viết spam liên tục thay đổi từ ngữ, viết tắt, cố ý sai chính tả hoặc thay đổi phong cách viết để tránh các bộ lọc từ khóa đơn giản.
  • Sự thiếu hụt tài nguyên dữ liệu: Tại thời điểm nghiên cứu, tiếng Việt chưa có bộ dữ liệu chuẩn hóa công khai dành riêng cho bài toán phát hiện đánh giá rác trên sàn TMĐT.

Mục tiêu và nhiệm vụ nghiên cứu:

  1. Xây dựng bộ dữ liệu tiếng Việt chuẩn hóa ViSpamReviews phục vụ bài toán nhận diện đánh giá rác trên sàn TMĐT.
  2. Khảo sát, thử nghiệm và đánh giá hiệu năng của các mô hình học sâu và mô hình học chuyển tiếp trên bộ dữ liệu xây dựng.
  3. Đề xuất và thử nghiệm các phương pháp tích hợp thuộc tính bổ sung (metadata) nhằm nâng cao độ chính xác phân loại.
  4. Xây dựng chương trình phần mềm minh họa trực quan hóa việc phát hiện và lọc đánh giá rác trên nền tảng Shopee và Tiki.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng: Các bài đánh giá phản hồi từ người mua và metadata sản phẩm liên quan trên các sàn TMĐT.
  • Phạm vi không gian: Hai sàn TMĐT có thị phần hàng đầu tại Việt Nam gồm Shopee (chiếm 72,8% thị phần) và Tiki (nền tảng nội địa).
  • Phạm vi thời gian: Dữ liệu đánh giá và thông tin sản phẩm được thu thập vào tháng 07/2021.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình bài toán

Bài toán nhận diện đánh giá rác được mô hình hóa thành bài toán phân loại văn bản (Text Classification) kết hợp khai phá metadata, gồm hai nhiệm vụ cụ thể:

  • Nhiệm vụ 1 (Task 1 - Phân loại nhị phân): Xác định bài đánh giá thuộc lớp SPAM (rác) hay NO-SPAM (hợp lệ).
  • Nhiệm vụ 2 (Task 2 - Phân loại nhiều lớp): Phân loại bài đánh giá thành 4 nhóm theo định nghĩa của Jindal & Liu (2008):
    • NO-SPAM: Bài đánh giá thông thường, mô tả đúng trải nghiệm và chất lượng sản phẩm.
    • SPAM-1 (Fake Review): Đánh giá giả mạo nhằm tâng bốc hoặc hạ bệ chất lượng sản phẩm.
    • SPAM-2 (Review on Brand Only): Đánh giá không nhận xét về chất lượng sản phẩm mà chỉ tập trung vào thương hiệu, nhà sản xuất hoặc người bán.
    • SPAM-3 (Non-review): Bình luận không liên quan đến sản phẩm (chứa nội dung quảng bá khác, ký tự trùng lặp vô nghĩa, hoặc sao chép văn bản bên ngoài nhằm nhận xu thưởng).

Phương pháp xử lý và kiến trúc mô hình

  1. Biểu diễn từ (Word Embedding): Sử dụng bộ vector từ FastText tiếng Việt được huấn luyện sẵn bởi Grave và cộng sự (2018) cho các mạng nơ-ron truyền thống.
  2. Mô hình mạng nơ-ron học sâu (Deep Neural Networks):
    • TextCNN: Mạng nơ-ron tích chập trích xuất đặc trưng cụm từ cục bộ thông qua nhiều kích thước bộ lọc khác nhau kết hợp lớp Max-pooling.
    • BiLSTM & BiGRU: Mạng nơ-ron hồi quy hai chiều có khả năng học quan hệ phụ thuộc ngữ cảnh từ cả hai phía trước và sau của chuỗi văn bản.
  3. Mô hình học chuyển tiếp dựa trên Transformer (Transfer Learning):
    • PhoBERT: Mô hình ngôn ngữ dựa trên kiến trúc RoBERTa, tiền huấn luyện trên 20GB văn bản tiếng Việt theo cấp độ từ (word-level).
    • BERT4News: Mô hình dựa trên kiến trúc BERT, tiền huấn luyện trên 20GB văn bản tin tức tiếng Việt theo cấp độ âm tiết (syllable-level).
  4. Phương pháp tích hợp Metadata:
    • Metadata dạng danh mục (Product Category): Áp dụng phương pháp tùy chỉnh bộ phân loại của Kim và cộng sự (2021) gồm tùy chỉnh trên ma trận biến đổi tuyến tính, vector bias và phương pháp tùy chỉnh dựa trên vector cơ sở (linear basis customization).
    • Metadata dạng văn bản (Product Description): Xây dựng hai biến thể SPhoBert và SBert4News dựa trên kiến trúc Sentence-BERT (SBERT). Mô hình kết hợp vector nhúng bình luận ($u$), vector nhúng mô tả sản phẩm ($v$) và vector khoảng cách sai biệt ($|u - v|$) qua hàm mất mát SoftmaxLoss để trích xuất đặc trưng tương quan ngữ nghĩa.

Nội dung chính theo từng chương

Chương 1. Tổng quan

Trình bày bối cảnh phát triển của thị trường TMĐT tại Việt Nam sau đại dịch COVID-19, phân tích thực trạng phát sinh các bài đánh giá rác và tác động tiêu cực đến trải nghiệm người dùng cùng uy tín sàn TMĐT. Chương này xác định rõ 3 thách thức kỹ thuật, 4 mục tiêu nghiên cứu, quy trình phương pháp luận và các đóng góp chính của đề tài.

Chương 2. Cơ sở lý thuyết

Mô tả chi tiết bài toán phân loại văn bản và khảo sát các nghiên cứu liên quan về phát hiện ý kiến rác trên thế giới và tại Việt Nam. So sánh hai hướng tiếp cận: dựa trên luật (Rule-based) và dựa trên mô hình học máy (Model-based). Trình bày chi tiết toán học và cấu trúc kiến trúc của các mô hình TextCNN, BiLSTM, BiGRU, BERT, PhoBERT, BERT4News, SBERT cùng các cơ chế tích hợp metadata dạng danh mục và dạng văn bản vào bộ phân loại.

Chương 3. Bộ dữ liệu ViSpamReviews

Trình bày quy trình thu thập và chuẩn hóa bộ dữ liệu từ 27 danh mục của Shopee và 26 danh mục của Tiki bằng các công cụ Python (Selenium, Requests, BeautifulSoup, JSON). Phân tích quy trình gán nhãn 2 giai đoạn theo khung MATTER framework:

  • Giai đoạn 1 (Thử nghiệm gán nhãn): 3 người gán nhãn độc lập trên 300 mẫu ngẫu nhiên. Tính toán độ đồng thuận theo hệ số Cohen’s Kappa ($\kappa$). Nhóm nghiên cứu tiến hành cập nhật hướng dẫn, huấn luyện lại cho đến khi chỉ số đạt mức $\kappa > 0,6$ (mức đồng thuận tốt).
  • Giai đoạn 2 (Gán nhãn toàn diện): Tiến hành gán nhãn độc lập trên toàn bộ dữ liệu, xác định nhãn chuẩn cuối cùng bằng phương pháp biểu quyết đa số (Majority Voting).
  • Cung cấp thống kê chi tiết về phân bố số sao, phân bố độ dài câu bình luận, phân bố danh mục và thuộc tính sản phẩm trên tập dữ liệu tổng cộng 22.834 mẫu.
Thuộc tính thống kê Giá trị
Nguồn thu thập Shopee (72,8% thị phần) & Tiki
Tổng số bài đánh giá 22.834
Số danh mục sản phẩm 27 (Shopee) / 26 (Tiki)
Giới hạn mẫu thu thập Tối đa 15 đánh giá gần nhất/sản phẩm
Nhãn phân loại Task 1 2 nhãn (NO-SPAM, SPAM)
Nhãn phân loại Task 2 4 nhãn (NO-SPAM, SPAM-1, SPAM-2, SPAM-3)
Độ đồng thuận gán nhãn Cohen's Kappa $\kappa > 0,6$

Chương 4. Cài đặt thử nghiệm

Trình bày quy trình tiền xử lý dữ liệu (chuẩn hóa ký tự, tách từ tiếng Việt, xử lý chuỗi) và phân chia dữ liệu thành các tập Huấn luyện (Train), Phát triển (Dev) và Kiểm thử (Test). Chi tiết hóa các tham số thiết lập huấn luyện cho TextCNN, BiLSTM, BiGRU (sử dụng nhúng từ FastText) và các siêu tham số fine-tuning cho PhoBERT, BERT4News (tốc độ học, kích thước batch, hàm tối ưu AdamW, dropout). Định nghĩa các độ đo đánh giá gồm Accuracy và F1-macro.

Chương 5. Các kết quả thử nghiệm

Báo cáo kết quả thử nghiệm ban đầu của các mô hình baseline trên cả hai nhiệm vụ. Phân tích ma trận nhầm lẫn và chỉ ra các nguyên nhân khiến mô hình phân loại sai khi chỉ sử dụng nội dung bình luận ngắn hoặc thiếu ngữ cảnh. Trình bày kết quả tích hợp metadata:

  • Tích hợp danh mục sản phẩm bằng phương pháp linear basis cust giúp cải thiện rõ rệt hiệu năng của mô hình TextCNN.
  • Tích hợp mô tả sản phẩm bằng vector đặc trưng từ SPhoBert giúp nâng cao hiệu năng của mô hình PhoBERT.
  • Cung cấp các phân tích định tính và ma trận nhầm lẫn so sánh trước và sau khi bổ sung metadata.

Chương 6. Chương trình minh họa

Mô tả kiến trúc và quy trình xây dựng ứng dụng web minh họa phục vụ việc nhận diện và lọc đánh giá rác. Ứng dụng cho phép nhập đường dẫn sản phẩm từ Shopee hoặc Tiki, tự động trích xuất bình luận kèm metadata (tên sản phẩm, danh mục, mô tả), sau đó đưa qua mô hình phân loại đã được tối ưu để hiển thị trực quan tỷ lệ spam, nhãn chi tiết và trực quan hóa phân bố đánh giá trên giao diện người dùng.

Chương 7. Kết luận

Tổng kết lại các kết quả đạt được về mặt bộ dữ liệu, mô hình học máy và ứng dụng thực nghiệm. Trình bày các hạn chế còn tồn tại của khóa luận và đề xuất các hướng mở rộng nghiên cứu trong tương lai.

Thiết kế và triển khai chương trình minh họa

Chương trình minh họa được xây dựng nhằm ứng dụng kết quả nghiên cứu vào thực tế với các thành phần kỹ thuật sau:

  • Kiến trúc hệ thống: Mô hình client-server tương tác qua giao diện web. Hệ thống nhận đầu vào là URL sản phẩm hoặc văn bản đánh giá kèm thông tin sản phẩm từ người dùng.
  • Mô-đun thu thập và trích xuất dữ liệu: Sử dụng các script tự động gọi API/crawler để bóc tách nội dung bình luận, số sao, tên sản phẩm, danh mục và mô tả sản phẩm từ Shopee và Tiki.
  • Mô-đun suy luận phân loại: Tích hợp trọng số mô hình đã huấn luyện (PhoBERT kết hợp SPhoBert cho metadata mô tả hoặc TextCNN kết hợp linear basis cho danh mục). Hệ thống tiền xử lý văn bản đầu vào và đưa qua pipeline dự đoán song song hai nhiệm vụ: nhị phân (Task 1) và đa lớp (Task 2).
  • Giao diện trực quan: Hiển thị thông tin tổng quan sản phẩm, biểu đồ tỷ lệ đánh giá rác so với đánh giá hợp lệ, cùng danh sách chi tiết các bình luận kèm nhãn dự đoán (NO-SPAM, SPAM-1, SPAM-2, SPAM-3).

Kết quả và đóng góp

Kết quả định lượng thực nghiệm

Các thử nghiệm thực nghiệm trên tập kiểm thử của bộ dữ liệu ViSpamReviews ghi nhận các số liệu cụ thể:

  1. Hiệu năng các mô hình baseline (chỉ sử dụng văn bản bình luận):

    • Các mô hình học chuyển tiếp (Transfer Learning) vượt trội so với các mạng nơ-ron học sâu truyền thống.
    • Trên Task 1 (Phân loại nhị phân): Mô hình PhoBERT đạt hiệu suất cao nhất với F1-macro đạt 89,23%.
    • Trên Task 2 (Phân loại 4 lớp): Mô hình BERT4News đạt hiệu suất cao nhất với F1-macro đạt 72,55%.

  2. Hiệu quả khi tích hợp Metadata:

    • Khi tích hợp thuộc tính Danh mục sản phẩm thông qua phương pháp linear basis cust, hiệu năng phân loại của mô hình TextCNN trên Task 2 tăng 5,32% ở độ đo F1-macro.
    • Khi tích hợp thuộc tính Mô tả sản phẩm thông qua mô hình nhúng câu SPhoBert, hiệu năng phân loại của mô hình PhoBERT trên Task 2 tăng 1,93% ở độ đo F1-macro.
Mô hình & Cấu hình thử nghiệm F1-macro Task 1 (%) F1-macro Task 2 (%) Mức độ cải thiện F1-macro (Task 2)
TextCNN (Baseline) - 63,xx Gốc
TextCNN + linear basis cust (Metadata danh mục) - - +5,32%
PhoBERT (Baseline) 89,23 - Gốc
PhoBERT + SPhoBert (Metadata mô tả sản phẩm) - - +1,93%
BERT4News (Baseline) - 72,55 Gốc

Đóng góp khoa học và thực tiễn

  • Bộ dữ liệu chuẩn hóa: Công bố bộ dữ liệu ViSpamReviews gồm 22.834 bài đánh giá tiếng Việt được gán nhãn nghiêm ngặt qua 2 giai đoạn theo khung kiểm soát độ đồng thuận Cohen's Kappa.
  • Phương pháp luận: Đề xuất và chứng minh tính hiệu quả của phương pháp tích hợp metadata dạng danh mục (qua ma trận tùy biến) và dạng văn bản (qua Sentence-BERT tiếng Việt) vào các bộ phân loại học sâu để giải quyết tình trạng bình luận thiếu ngữ cảnh.
  • Công bố quốc tế: Một phần kết quả của nghiên cứu đã được chấp nhận và công bố tại hội nghị khoa học quốc tế: 14th Asian Conference on Intelligent Information and Database Systems (ACIIDS 2022) với bài báo "Detecting Spam Reviews on Vietnamese e-Commerce Websites".
  • Ứng dụng thực tế: Xây dựng phần mềm minh họa hoàn chỉnh hỗ trợ người dùng và quản trị viên kiểm duyệt đánh giá rác từ Shopee và Tiki.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

  • Hiện tượng mất cân bằng nhãn: Tỷ lệ phân bố giữa bài đánh giá hợp lệ (NO-SPAM) và các nhóm đánh giá rác (SPAM-1, SPAM-2, SPAM-3) có sự chênh lệch lớn trong dữ liệu thực tế, ảnh hưởng đến độ chính xác trên các lớp thiểu số.
  • Độ phụ thuộc vào ngữ cảnh ngắn: Các bình luận quá ngắn (1-2 từ) hoặc bình luận dùng tiếng lóng, ký hiệu biến thể phức tạp vẫn gây nhầm lẫn cho mô hình nếu không có đầy đủ metadata đi kèm.
  • Phạm vi metadata khai thác: Nghiên cứu mới chỉ tập trung khai thác hai thuộc tính metadata là danh mục và mô tả sản phẩm, chưa tích hợp dữ liệu hành vi người dùng (lịch sử mua hàng, tần suất đăng bài) hoặc lịch sử của gian hàng.

Hướng nghiên cứu tiếp

  • Mở rộng quy mô bộ dữ liệu sang các nền tảng thương mại điện tử khác như TikTok Shop, Lazada, Sendo.
  • Khai thác thêm các dạng metadata bổ sung: thông tin tài khoản người đánh giá, tần suất đánh giá bất thường, hình ảnh và video đính kèm trong bài đánh giá (phân loại đa phương thức - multimodal).
  • Tối ưu hóa kích thước mô hình để triển khai thành các dịch vụ API hoặc tiện ích mở rộng (browser extension) phục vụ lọc đánh giá theo thời gian thực cho người tiêu dùng.

Giá trị tham khảo

Tài liệu khóa luận có giá trị ứng dụng và tham khảo đối với các đối tượng sau:

  • Sinh viên và học viên ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo, Công nghệ Thông tin: Có thể tham khảo phương pháp luận xây dựng bộ dữ liệu xử lý ngôn ngữ tự nhiên tiếng Việt, quy trình đo lường độ đồng thuận gán nhãn Cohen’s Kappa theo khung MATTER, cùng kỹ thuật tinh chỉnh (fine-tuning) các mô hình Transformer tiếng Việt (PhoBERT, BERT4News).
  • Các nhà nghiên cứu NLP: Cung cấp tài liệu thực nghiệm chi tiết về kỹ thuật kết hợp metadata (phân loại dựa trên vector cơ sở và nhúng câu qua Sentence-BERT) cho các bài toán phân loại văn bản thiếu ngữ cảnh.
  • Kỹ sư phát triển hệ thống TMĐT: Là tài liệu tham khảo thực tiễn để thiết kế mô-đun tiền kiểm duyệt và phát hiện gian lận đánh giá tự động trên các sàn giao dịch trực tuyến.

Câu hỏi thường gặp

1. Bộ dữ liệu ViSpamReviews được thu thập như thế nào và có quy mô ra sao?

Bộ dữ liệu gồm 22.834 bài đánh giá được thu thập vào tháng 07/2021 từ hai nền tảng Shopee (27 danh mục) và Tiki (26 danh mục). Thuật toán thu thập tối đa 15 bài đánh giá gần nhất của các sản phẩm phổ biến trong từng danh mục, bao gồm cả nội dung bình luận, số sao và metadata liên quan (danh mục, tên sản phẩm, số lượng đã bán, mô tả sản phẩm).

2. Các loại bài đánh giá rác trong khóa luận được định nghĩa cụ thể như thế nào?

Bài toán chia đánh giá rác thành 3 nhóm theo định nghĩa của Jindal & Liu (2008):

  • SPAM-1 (Fake Review): Đánh giá giả tạo nội dung nhằm tâng bốc hoặc bôi nhọ sản phẩm.
  • SPAM-2 (Review on Brand Only): Đánh giá chỉ nhận xét về thương hiệu, người bán hoặc vận chuyển mà không nêu chất lượng sản phẩm.
  • SPAM-3 (Non-review): Bình luận hoàn toàn không liên quan đến sản phẩm (chứa nội dung quảng bá khác, ký tự vô nghĩa hoặc sao chép văn bản để lấy xu/ưu đãi).

3. Quy trình gán nhãn bảo đảm tính khách quan và độ chính xác bằng cách nào?

Quy trình gán nhãn được thực hiện qua 2 giai đoạn theo MATTER framework. Ở giai đoạn đầu, 3 người gán nhãn độc lập trên 300 mẫu và tính độ đồng thuận bằng hệ số Cohen's Kappa ($\kappa$). Hướng dẫn gán nhãn được cập nhật và người gán nhãn được huấn luyện lại cho đến khi $\kappa > 0,6$ (mức đồng thuận tốt). Ở giai đoạn sau, toàn bộ dữ liệu được gán độc lập và chốt nhãn bằng biểu quyết đa số (Majority Voting).

4. Mô hình nào đạt hiệu suất cao nhất trong các thử nghiệm baseline ban đầu?

Trên Task 1 (phân loại nhị phân SPAM / NO-SPAM), mô hình PhoBERT đạt hiệu suất cao nhất với F1-macro là 89,23%. Trên Task 2 (phân loại 4 nhóm nhãn), mô hình BERT4News đạt hiệu suất cao nhất với F1-macro là 72,55%.

5. Việc kết hợp metadata giúp cải thiện hiệu suất phân loại như thế nào?

Việc tích hợp metadata dạng danh mục sản phẩm (phương pháp linear basis cust) giúp mô hình TextCNN tăng 5,32% F1-macro trên Task 2. Việc tích hợp mô tả sản phẩm (thông qua mô hình nhúng câu SPhoBert) giúp mô hình PhoBERT tăng 1,93% F1-macro trên Task 2, chứng minh metadata cung cấp ngữ cảnh bổ trợ hiệu quả cho các bình luận ngắn.

Kết luận

Khóa luận tốt nghiệp của sinh viên Đinh Văn Cơ đã giải quyết bài toán nhận diện đánh giá rác trên các sàn thương mại điện tử tiếng Việt thông qua việc xây dựng bộ dữ liệu chuẩn hóa ViSpamReviews gồm 22.834 mẫu với quy trình kiểm soát chất lượng chặt chẽ. Nghiên cứu đã triển khai thử nghiệm toàn diện các kiến trúc mạng nơ-ron học sâu (TextCNN, BiLSTM, BiGRU) và mô hình Transformer tiếng Việt (PhoBERT, BERT4News), đồng thời đề xuất giải pháp tích hợp metadata danh mục và mô tả sản phẩm giúp cải thiện hiệu năng phân loại đáng kể. Kết quả nghiên cứu không chỉ được công bố tại hội nghị quốc tế ACIIDS 2022 mà còn được hiện thực hóa qua chương trình phần mềm minh họa trực quan, đóng góp thiết thực cho cả nghiên cứu học thuật và ứng dụng kiểm duyệt TMĐT thực tế.