Luận văn thạc sĩ xây dựng công cụ tự động đánh giá sản phẩm trên website thương mại điện tử dựa vào comments của người dùng

Luận văn thạc sĩ kỹ thuật phân tích xây dựng công cụ tự động đánh giá sản phẩm trên website thương mại điện tử dựa vào comments của, đánh giá thực trạng, chỉ ra hạn chế, đề xuất

• Tác giả: Nguyễn Thái Huy
• Người hướng dẫn: TS. Bùi Thị Thu Trang
• Trường học: Trường Đại Học Bà Rịa-Vũng Tàu
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Công Cụ Đánh Giá Sản Phẩm Tự Động Trên Website Thương Mại Điện Tử Từ Bình Luận Người Dùng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Bà Rịa-Vũng Tàu

Tóm tắt

I. Giới thiệu về công cụ đánh giá sản phẩm

Công cụ đánh giá sản phẩm tự động trên website thương mại điện tử dựa vào bình luận người dùng là một giải pháp hiện đại nhằm cải thiện trải nghiệm mua sắm trực tuyến. Sự phát triển của thương mại điện tử đã dẫn đến sự gia tăng về số lượng sản phẩm và dịch vụ, kéo theo nhu cầu đánh giá và lựa chọn sản phẩm dựa trên phản hồi của người tiêu dùng. Việc xây dựng công cụ này không chỉ giúp người tiêu dùng có được thông tin chính xác về chất lượng sản phẩm mà còn giảm thiểu rủi ro trong việc mua sắm. Công cụ này sử dụng các kỹ thuật phân tích bình luận để tự động hóa quá trình đánh giá tự động, từ đó cung cấp những thông tin hữu ích cho người tiêu dùng. Đặc biệt, công cụ này có thể giúp người dùng dễ dàng phân biệt giữa sản phẩm chất lượng tốt và kém thông qua việc phân tích phản hồi khách hàng.

1.1. Tính cấp thiết của công cụ đánh giá

Trong bối cảnh người tiêu dùng ngày càng có xu hướng mua sắm trực tuyến, việc lựa chọn sản phẩm dựa trên bình luận người dùng trở nên quan trọng hơn bao giờ hết. Nghiên cứu cho thấy rằng, hơn 70% người tiêu dùng sẽ tham khảo ý kiến từ những người đã mua sản phẩm trước đó. Điều này cho thấy đánh giá sản phẩm không chỉ là một yếu tố quyết định trong quá trình mua sắm mà còn ảnh hưởng đến sự tin tưởng của người tiêu dùng đối với các cửa hàng trực tuyến. Công cụ đánh giá tự động sẽ giúp người tiêu dùng tiết kiệm thời gian và công sức trong việc tìm kiếm thông tin, đồng thời nâng cao độ chính xác trong việc đưa ra quyết định mua hàng. Như vậy, việc phát triển công cụ này không chỉ có ý nghĩa trong việc cải thiện trải nghiệm người dùng mà còn góp phần nâng cao sự cạnh tranh trong thị trường thương mại điện tử.

II. Phương pháp xây dựng công cụ

Quá trình xây dựng công cụ đánh giá sản phẩm tự động dựa trên các kỹ thuật khai thác văn bản và học máy. Đầu tiên, dữ liệu được thu thập từ các website thương mại điện tử thông qua các kỹ thuật crawl. Sau đó, dữ liệu này sẽ được xử lý và phân loại bằng các thuật toán như Naïve Bayes và Support Vector Machine (SVM). Việc sử dụng các thuật toán này giúp tăng độ chính xác trong việc phân loại bình luận người dùng thành hai nhóm: tích cực và tiêu cực. Bằng cách áp dụng các phương pháp tiền xử lý dữ liệu như loại bỏ từ không cần thiết và tách từ, công cụ có thể phân tích và đánh giá được chất lượng sản phẩm từ những phản hồi này. Kết quả là một mô hình có khả năng đưa ra đánh giá tự động về sản phẩm dựa trên phản hồi khách hàng, từ đó hỗ trợ người tiêu dùng trong việc lựa chọn sản phẩm phù hợp.

2.1. Kỹ thuật tiền xử lý dữ liệu

Kỹ thuật tiền xử lý dữ liệu đóng vai trò quan trọng trong việc xây dựng công cụ đánh giá tự động. Những bước tiền xử lý bao gồm loại bỏ các từ dừng, tách từ và chuẩn hóa văn bản. Việc này giúp cải thiện chất lượng dữ liệu đầu vào cho các thuật toán học máy. Bên cạnh đó, việc sử dụng các mô hình biểu diễn văn bản như TF-IDF và BoW cũng giúp tăng cường khả năng nhận diện và phân loại các bình luận người dùng. Nhờ vào các kỹ thuật này, công cụ có thể phân tích được ngữ nghĩa và cảm xúc trong từng bình luận, từ đó đưa ra những đánh giá chính xác về sản phẩm. Điều này không chỉ giúp người tiêu dùng có cái nhìn tổng quan về sản phẩm mà còn tạo ra giá trị thực tiễn cho các nhà cung cấp dịch vụ thương mại điện tử.

III. Kết quả và ứng dụng thực tiễn

Kết quả từ việc xây dựng công cụ đánh giá sản phẩm tự động cho thấy khả năng phân loại chính xác lên đến 85% với các bình luận tích cực và tiêu cực. Điều này chứng tỏ rằng công cụ có thể hoạt động hiệu quả trong môi trường thực tế. Việc áp dụng công cụ này không chỉ giúp người tiêu dùng dễ dàng hơn trong việc lựa chọn sản phẩm mà còn tạo cơ hội cho các doanh nghiệp cải thiện chất lượng dịch vụ và sản phẩm của mình. Thông qua việc phân tích phản hồi khách hàng, doanh nghiệp có thể nhận diện được điểm mạnh và yếu của sản phẩm, từ đó có những điều chỉnh cần thiết. Hơn nữa, công cụ này còn có thể được áp dụng để phát hiện các hành vi gian lận trong thương mại điện tử thông qua việc phân tích các bình luận người dùng không trung thực.

3.1. Đề xuất hướng phát triển

Để nâng cao hiệu quả của công cụ đánh giá tự động, cần tiếp tục nghiên cứu và cải tiến các thuật toán học máy cũng như mở rộng khả năng thu thập dữ liệu từ nhiều nguồn khác nhau. Việc tích hợp các công nghệ mới như học sâu (Deep Learning) có thể giúp cải thiện độ chính xác trong việc phân tích và đánh giá bình luận người dùng. Đồng thời, việc phát triển giao diện người dùng thân thiện và dễ sử dụng cũng là một yếu tố quan trọng để công cụ có thể được áp dụng rộng rãi hơn trong thực tế. Đặc biệt, cần chú trọng đến việc bảo mật thông tin và quyền riêng tư của người tiêu dùng trong quá trình thu thập và xử lý dữ liệu.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan về các phương pháp biểu diễn văn bản  Giới thiệu tổng quan về khai phá văn bản;  Một số khái niệm liên quan đến khai phá văn bản;  Tổng quan về bài toán phân lớp văn bản;  Tổng quan về phương pháp biểu diễn văn bản. Kỹ thuật tiền xử lý dữ liệu dạng văn bản tiếng Việt và thuật toán máy học để xây dựng mô hình đánh giá sản phẩm  Giới thiệu về các kỹ thuật tiền xử lý văn bản;  Tìm hiểu về thuật toán SVM và Naïve Bayes. Xây dựng mô hình đánh giá sản phẩm  Trình bày quy trình về quá trình thu thập và tạo lập tập dữ liệu phục vụ cho huấn luyện và đánh giá mô hình bài toán;  Trình bày kết quả dữ liệu thu được và kết quả gán nhãn, phân chia dữ liệu cho việc huấn luyện và đánh giá mô hình;  Trình bày kết quả danh sách từ vựng;  Sơ đồ hóa quy trình tạo lập mô hình giải quyết bài toán của đề tài.

Thực nghiệm và đánh giá mô hình đánh giá sản phẩm  Báo cáo các kết quả thực nghiệm huấn luyện và đánh giá mô hình trong việc kết hợp giữa các mô hình biểu diễn văn bản, kiểu tách từ và giải thuật để tạo lập ra các mô hình của bài toán.  So sánh kết quả giữa các mô hình liên quan đến thuật toán, mô hình biểu diễn văn bản, phương pháp tách từ để từ đó chọn ra mô hình tối ưu nhất để làm đầu vào của bài toán đánh giá sản phẩm tự động;  Giới thiệu về một số giao diện của chương trình cùng kết quả thực nghiệm trên giao diện khi xử lý các quy trình của mô hình bài toán. 6 Tổng quan về các phương pháp biểu diễn văn bản 1. Tổng quan về khai phá văn bản Một số khái niệm liên quan đến khai phá văn bản  Khái niệm khai phá dữ liệu: Khai phá dữ liệu (data mining) là quá trình tính toán để tìm ra các mẫu trong các bộ dữ liệu lớn liên quan đến các phương pháp tại giao điểm của máy học, thống kê và các hệ thống cơ sở dữ liệu.

Đây là một lĩnh vực liên ngành của khoa học máy tính [3].  Khái niệm khai phá dữ liệu văn bản: Khai phá văn bản (hay còn gọi là khai thác văn bản, tiếng Anh: text mining hoặc text data mining) là một quá trình xử lý và trích xuất thông tin nằm trong văn bản, quá trình này là một phần của việc phân tích văn bản trong khai phá dữ liệu [4].  Học máy không có giám sát: Học không có giám sát (tiếng Anh: unsupervised learning) là một phương pháp của ngành học máy nhằm tìm ra một mô hình mà phù hợp với các quan sát. Nó khác biệt với học có giám sát ở chỗ là đầu ra đúng tương ứng cho mỗi đầu vào là không biết trước.

Trong học không có giám sát, một tập dữ liệu đầu vào được thu thập. Học không có giám sát thường xem các đối tượng đầu vào như là một tập các biến ngẫu nhiên. Sau đó, một mô hình mật độ kết hợp sẽ được xây dựng cho tập dữ liệu đó [5].  Học máy có giám sát: Học có giám sát là một kĩ thuật của ngành học máy để xây dựng một hàm (function) từ dữ liệu huấn luyện.

Dữ liệu huấn luyện bao gồm các cặp đối tượng đầu vào (thường dạng vector), và đầu ra mong muốn. Đầu ra của một 7 hàm có thể là một giá trị liên tục (gọi là hồi qui), hay có thể là dự đoán một nhãn phân loại cho một đối tượng đầu vào (gọi là phân loại). Nhiệm vụ của chương trình học có giám sát là dự đoán giá trị của hàm cho một đối tượng bất kì là đầu vào hợp lệ, sau khi đã xem xét một số ví dụ huấn luyện (nghĩa là, các cặp đầu vào và đầu ra tương ứng). Để đạt được điều này, chương trình học phải tổng quát hóa từ các dữ liệu sẵn có để dự đoán được những tình huống chưa gặp phải theo một cách "hợp lý" [6].

Tổng quan về bài toán phân lớp văn bản Bài toán phân lớp văn bản có giám sát  Phát biểu bài toán phân lớp văn bản: Trong phân loại văn bản, chúng ta được cung cấp một không gian tài liệu 𝕏 và tập hợp cố định của các nhãn (danh mục) ℂ = {𝑐1 , 𝑐2 , … 𝑐𝑘 }. Với tài liệu 𝑑 ∈ 𝕏 sẽ được gán nhãn 𝑐 ∈ ℂ. Cho trước một tập huấn luyện (training) 𝕋 ⊂ 𝕏 gồm 𝑁 tài liệu, 𝕋 = {𝑑1 , 𝑑2 , … , 𝑑𝑁 }, với tài liệu 𝑑𝑖 ∈ 𝕋 được gán nhãn 𝑐𝑖 , hay nói cách khác: < 𝑑𝑖 , 𝑐𝑖 >∈ 𝕋 × ℂ. Ví dụ: < “Sản phẩm rất ok”, “tốt”> Quá trình sử dụng các giải thuật của học máy để tìm ra được ánh xạ 𝛾: 𝕏 ↦ ℂ được gọi là huấn luyện (training).

Quá trình tìm giá trị của hàm 𝛾(𝑑) ∈ ℂ được gọi là quá trình phân lớp (classifier) [7].  Phát biểu bài toán đánh giá sản phẩm dựa trên các phản hồi của đề tài: Bài toán này thực chất là một bài toán phân lớp văn bản. Dữ kiện của bài toán:  Không gian tài liệu 𝕏 là tập hợp tất cả các phản hồi trên sàn thương mại điện tử https://www.vn; 8  Tập hợp nhãn ℂ = {0, 1} trong đó 0, 1 tương ứng với lớp “tốt”, “xấu”  Tập huấn luyện 𝕋 ⊂ 𝕏 thu thập được 𝑁 = 3037 phản hồi gồm cả phản hồi “tốt” và “xấu”; Yêu cầu: Cho trước một sản phẩm 𝑆𝑃 có 𝑘 phản hồi {𝑝1 , 𝑝2 , … , 𝑝𝑘 }, sử dụng các giải thuật học máy để xây dựng một ánh xạ 𝛾: 𝕏 ↦ ℂ từ đó tìm ra giá trị 𝛾(𝑝𝑖 ) ∈ ℂ={0,1}. Với tập phản hồi {𝑝1 , 𝑝2 , … , 𝑝𝑘 } ta sẽ thu được tập phân lớp tương ứng là 𝑅 = {𝛾(𝑝1 ), 𝛾(𝑝2 ), … , 𝛾(𝑝𝑘 )}.

Gọi 𝑘1, 𝑘2 (𝑘1 + 𝑘2 = 𝑘) tương ứng với số lượng phản hồi có giá của hàm 𝛾(𝑝𝑖 ) có giá trị bằng 0, 1. Kết luận của bài toán là sẽ đưa ra lời khuyên cho người dùng có nên mua sản phẩm 𝑆𝑃 này hay không dựa vào tỉ lệ của hai giá trị 𝑘1, 𝑘2. Tổng quan về các nghiên cứu của bài toán phân lớp văn bản có liên quan đến đề tài 1.1 Các nghiên cứu trong nước Trần Thị Lan Hương, 2012, Luận văn thạc sĩ “Nghiên cứu phân lớp tự động văn bản báo chí tiếng Việt về tài nguyên và môi trường” sử dụng giải thuật K-Nearest Neighbors (KNN) để giải quyết bài toán phân lớp văn bản báo chí tiếng Việt về tài nguyên và môi trường với tỉ lệ chính xác về phân lớp là 94% [8]. Nguyễn Thị Lan, 2013, Luận văn thạc sĩ “Nghiên cứu thuật toán học máy SVM và ứng dụng trong bài toán khai phá ý kiến phản hồi của khách hàng trên website”, Học Viện Bưu Chính Viễn Thông, với độ chính xác 92% [9].

Đỗ Hoàng Đạt, 2015, Luận văn thạc sĩ “Phân loại cảm xúc người dùng trong mạng xã hội”, Học viện công nghệ bưu chính viễn thông, dùng hai cách trích chọn đặc trưng n-grams, mô hình không gian Vector (Vector Space Model) và hai bộ phân loại SVM và Naïve Bayes của công cụ Weka để tiến hành thực nghiệm. Dữ liệu thực nghiệm: 1034 bình luận dùng để huấn luyện 9 (512 bình luận cảm xúc tích cực và 512 bình luận với cảm xúc tiêu cực) với độ chính xác 95%. Hạn chế của đề tài này là chưa sử dụng kỹ thuật tách từ đơn/từ ghép trong Tiếng Việt, mới chỉ tách từ bằng phân cách bằng kí tự trắng [10]. Nguyễn Đặng Lập Bằng, Nguyễn Văn Hồ, Hồ Trung Thành, 2020 trong bài báo “Mô hình khai phá ý kiến và phân tích cảm xúc khách hàng trực tuyến trong ngành thực phẩm” đăng tại tạp chí Khoa học Đại học Mở Thành phố Hồ Chí Minh đã công bố mô hình với độ chính xác đạt 90% [11].2 Các nghiên cứu trên thế giới Moazzam Ali1, Vol.

5, 2021, (IJACSA) International Journal of Advanced Computer Science and Applications, trong bài báo “Customer Opinion Mining by Comments Classification using Machine Learning” có thể dịch là “Phân loại ý kiến khách hàng bằng nhận xét sử dụng máy học” tác giả đã huấn luyện (training) với tập dữ liệu là 2400 comments và kiểm tra (testing) với tập dữ liệu 1600 comments sử dụng kỹ thuật tách nội dung của một comment thành các nhóm K từ (trong đó thực nghiệm với K=1, 2, 3, 4) và so sánh kết quả phân lớp của 3 giải thuật: SVM, Naïve Bayes, KNN. Kết quả thu được như sau: phân lớp SVM tốt nhất với độ chính xác 71.32% (K=2), Naïve Bayes cho kết quả với độ chính xác tốt thứ 2 trong đó tốt nhất là 73.68% với K=2, còn KNN kết quả phân lớp kém nhất [12]. Abinash Tripathy, 2015, bài báo “Classification of Sentimental Reviews Using Machine Learning Techniques” có thể dịch “Phân loại đánh giá tình cảm dựa trên công nghệ máy học” tác giả sử dụng giải thuật SVM và Naïve Bayes để phân loại với tập dữ liệu huấn luyện là gồm 1000 mẫu gán nhãn tích cực và 1000 gán nhãn tiêu cực. Kết quả thu được là trên giải 10 thuật Naïve Bayes với độ chính xác là 89.53% trong khi đó độ chính xác của giải thuật SVM là 94.Ramasakth, 2021, bài báo “Conceptual Analysis of Product Evaluations Using Deep Learning” có thể dịch “Phân tích khái niệm đánh giá sản phẩm bằng cách sử dụng Deep Learning”, tác giả đã sử dụng một tập dữ liệu thương mại điện tử cụ thể có tên là Flipkart và phân loại các nhận xét bằng cách sử dụng một số bộ phân loại cụ thể là SVM, Guassian Naïve Bayes, Neural Network Classifier, Multilayer Perceptron (MLP).

Trong đó phân loại Multilayer Perceptron (MLP) cho thấy độ chính xác tốt nhất so với các loại khác và độ chính xác là 99.3 Những ứng dụng thực tế của bài toán phân lớp văn bản Dự đoán hành vi của khách hàng (Customer behavior prediction): Khách hàng có thể được phân loại thành các danh mục khác nhau dựa trên mô hình mua hàng của họ, mô hình duyệt cửa hàng web, v. Ví dụ, các mô hình phân loại có thể được sử dụng để xác định xem khách hàng có khả năng mua nhiều mặt hàng hơn hay không. Nếu mô hình phân loại dự đoán khả năng họ sắp mua nhiều hơn, thì người bán hàng có thể muốn gửi cho họ các khuyến mại và giảm giá tương ứng. Hoặc nếu đã xác định được rằng họ có thể sẽ sớm bỏ thói quen mua hàng, có thể lưu lại thói quen mua sắm sau này bằng cách cung cấp thông tin của họ [15].