Chương 1 Đặt van dé Trinh bày tổng quan về bài toán phân loại văn ban và ứng dụng dé phân tích ý kiến bình luận của khách hàng.1 Bài toán phân loại ý kiến bình luận Với sự phát triển Internet, các website Thương mại điện tử ra là cách giúp khách hàng có thé mua bán hàng hóa trực tuyến một cách thuận tiện, nhanh chóng, hiệu qua, tiết kiệm chi phí. Trong qua trình đó, các nhà phát triển website phải cần có những chức năng nhằm nâng cao trải nghiệm khách hàng, chất lượng dịch vụ. Và tính năng chia sẻ những trải nghiệm, bình luận và đánh giá sau giao dịch là một trong số đó, từ đây các nhà cung cấp dịch vụ có thé đánh giá được cảm nhận của khách hàng về dịch vụ họ đang sử dụng. Ý kiến khách hang là những phản hồi mà khách hàng cảm nhận được sau khi sử dụng dịch vụ, sản phẩm của doanh nghiệp.
Những ý kiến của khách hàng có thê tiêu cực hoặc tích cực hoặc trung tính. Dựa theo những nhận xét tích cực của khách hàng, doanh nghiệp sẽ biết được những ưu điểm của sản phẩm hay dịch vụ từ đó có thé dùng dé quảng bá hay truyền thông. Tuy nhiên, vấn đề làm sao doanh nghiệp có thể biết được khách hàng đang hài lòng và không hải lòng về vấn đề này hay thương hiệu đang được người dùng sử dụng nhiều. Giải pháp cho van dé này, em đã tìm hiểu dé phân tích ý kiến khách hàng thông qua tập dữ liệu là ý kiến bình luận của khách hàng trên website thegioididong.com — nhà phân phối bán lẻ điện thoại lớn và website Foody.vn - một trang thương mại điện tử hàng đầu trong lĩnh vực dịch vụ đặt hàng trực tuyến.
Với dữ liệu chỉ ở mức độ sơ cấp, và lượng dữ liệu rất lớn các doanh nghiệp không thé dựa vào dữ liệu thô này để ra quyết định được, họ cần biết được các tri thức được phân tích từ tập dữ liệu này nên em sẽ dùng các phương pháp học máy dé phân loại dữ liệu, xem bình luận nào là tích cực, bình luận nào là tiêu cực và dùng các phương pháp phân tích và dự đoán được ý kiến của khách hàng. Bài toán phân loại ý kiến bình luận có thé xem là bài toán classification. Các bình luận được gán các nhãn phân loại dựa trên mức độ tương tự của bình luận là tích cực, tiêu cực, hay có thê là trung tính: ¢ Input: là các bình luận dưới dạng ngôn ngữ tự nhiên của người dùng, đưa ra nhãn phân loại cho bình luân, phân loại xem ý kiến thuộc loại nào. * Output: Nhãn của bình luận là tích cực, tiêu cực, hay trung tính, ta có thé phát triển thêm các trạng thái ý kiến khác.
Có rất nhiều kỹ thuật học máy và khái phá dữ liệu đã được áp dụng vào bài toán phân loại câu hỏi như: cây quyết định (decision tree), Naïve Bayes, K láng giềng gần nhất (KNN), mạng noron (neural network)(như mang than kinh tích chập Convolutional Neural Networks (CNNs), mạng nơ-ron hồi quy Recurrent Neural Network (RNN).2 Một số nghiên cứu liên quan đến phân loại văn bản. Hiện nay đã có rât nhiêu nghiên cứu về bài toán phân loại văn bản cũng như là ý kiên bình luận. Nhóm nghiên cứu của Trần Cao Đệ và Phạm Nguyên Khang [9] đã thực hiện phân loại văn bản theo chủ đề với thuật toán SVM và cây quyết định. Bản chất bài toán này khác so với bài toán phân loại văn bản vì qui trình xử lí, phương pháp xử lí là tương tự nhau: rút trích đặc trưng, lựa chọn đặc trưng, máy học và phân lớp.
Họ đã thực hiện cách nam bắt các đặc trưng của văn ban bằng cách mô hình hóa văn bản như là một vector trọng số của đặc trưng voi chỉ số TF-IDF. Với phương pháp cây quyết định, sử dụng độ đo về độ lợi của thông tin(Gain) và độ hỗn loạn thông tin. Sau khi văn bản được mô hình hóa thành các vector d;(w¡i,.,Wim) sau khi đã loại bỏ stopwords, họ tiễn hành triển khai cây quyết đỉnh, ngoài ra họ còn xử lí bằng cách xén tỉa cây. Cây được xây xong thì tiễn hành duyệt cây dé đưa ra kết quả.
Đối với phương pháp SVM, ho còn áp dụng thêm phương pháp SVD dé loại bỏ bớt đặc trưng do không gian đặc trưng là lớn dé giảm việc gia tăng nhiễu- là một trở ngại chính trong việc áp dụng SVM. Việc đánh giá của họ dựa vào các chỉ số độ chính xác (Precision), độ bao phủ (Recall) và F1. Kết quả thực nghiệm của nghiên cứu cho thấy thuật toán SVM kết hợp với kĩ thuật SVD đã cho kết quả tốt hơn thuật toán cây quyết định, góp phần tăng độ chính xác của mô hình phân loại, với độ chính xác trung bình là 91% trong khi cây quyết định là 84. Bên cạnh đó, có nghiên cứu phân loại văn bản của nhóm Chunting Zhoul [5] vào năm 2015 đã sử dụng kết hợp hai ưu điểm của mạng CNN với mạng LSTM gọi là C- LSTM để phân loại ý kiến bình luận phim va phân loại câu hỏi.
Ý tưởng của họ là sử dụng mạng CNN ban dé có thé năm bắt được các đặc trưng và sau do cho phép mang LSTM hoc các phụ thuộc dài từ các đăng trưng tuần tự bậc cao. CNN được xây dựng, sẽ dựa trên các vectơ từ được đào tạo trước từ dir liệu văn ban không 16 không được gắn nhãn dé tìm hiéu các biểu diễn cấp cao hơn của n- gram thông qua Convolution, các đặc trưng đó được tổ chức dưới dang các đặc trưng cửa số tuần tự dé phục vụ như là đầu vào của mạng LSTM. Và do đó mô hình sẽ không dựa vào bất kỳ kiến thức ngôn ngữ bên ngoài nào và quá trình tiền xử lý phức tạp. Kết quả nghiên cứu tốt nhất với kiến trúc của mô hình C-LSTM có sự khả quan với 94,6% với tác vụ phân loại câu hỏi, khá gần với mô hình SVM cho kết quả cao nhất là 95%.
Mặc dù không thê vượt qua những mô hình hiện đại nhất nhưng vẫn đầy hứa hẹn và có thé so sánh với các mô hình phụ thuộc nhiều vào ngôn ngữ chú thích và kiến thức, đặc biệt là cây phân tích cú pháp, khi so sánh kết quả với các mô hình CNN và LSTM đơn lẻ cho thấy rằng LSTM học được sự phụ thuộc dài hạn qua các chuỗi biểu diễn cấp cao hơn tốt hơn. Hiện nay ngoài học máy truyền thống, thì deep learning đã được áp dụng phô biến trong bài toán phân loại văn bản.3 Khó khăn và thách thức với bài toán phân tích bình luận người dùng Không như các từ ngữ trong các văn bản chính thống, từ ngữ trên các bình luận sẽ đa dạng tùy theo thói quen, ý đồ của tác giả do vậy mà việc nhận diện hay tìm ra được ý kiến rõ ràng của người dùng gap khá nhiều khó khăn. Nói chung, các câu/từ được sử dụng theo thé tự do của mỗi người dùng: bài viết, bình luận có thé quá dài hoặc quá ngắn, người dùng sử dụng tiếng lóng, teen code, sai chính tả, các từ viết tắt, hashtags Chính vi thé nhận diện được chính xác ý định của người dùng cũng như ý kiến bộc lộ trong văn bản là như thé nào, cụ thé: - Binh luận chứa từ viết tắt, teen code, tối nghĩa. Với lối diễn đạt vô cùng đơn giản, người dùng luôn thê hiện và diễn tả ý kiến, mong muốn bằng từ ngữ theo sở thích, thói quen của mình, - Binh luận chứa các từ bị sai chính tả, lẫn cả tiếng nước ngoài.
* Binh luận chứa tiếng long, từ địa phương. * - Cách dé bày tỏ ý kiến tương tự nhau thường giống nhau. Đôi khi bình luận một vấn đề xấu nhưng thực ra là đang khen các sản phẩm và ngược lại.4 Đóng góp của đồ án (hướng tiếp cận giải quyết. Do án có một sô đóng góp cơ ban sau: - Nghiên cứu về hệ thống phân loại ý kiến bình luận với các đặc trưng từ vựng, n- grams, TF-IDF, Word2Vec.
- Tim hiểu về mô hình BERT, triển khai thực hiện xây dựng mô hình phân loại - Thực nghiệm đánh giá BERT cùng với một số phương pháp học máy gồm có Máy véc tơ hỗ trợ, Naive Bayes và các phương pháp học sâu CNN, LSTM 1.5 Các phương pháp phân loại văn ban 1.1 Tổng quan các phương pháp phân loại văn bản Hau hết cách tiếp cận bài toán phân loại câu hỏi thuộc 2 loại là dựa trên luật và dựa trên học máy. Phân dưới đây trình bài các phương pháp dựa trên học máy. Đây là cách tiếp cận được sử dụng phổ biến cho các bài toán phân loại và được chia làm hai nhóm giải quyêt: học máy truyên thông và sử dụng mạng noron. Học máy truyền thống như Naïve Bayes, Maximum Entropy, cây quyết định (decision Tree), lân cận (Nearest-Neighbors), Máy Vector hé tro (Support Vector machine - SVM), K-nearest neighbors (KNN), v.v Mang noron sử dung cho bài toán nay có các mang co ban như CNN, RNN.
Quá trình phân loại (cho học máy truyền thống và mang noron): - Huan luyện: * Chuan bi dữ liệu ‹ Tién xử li dt liệu văn ban: tách từ, bỏ stop words. ° Vector hóa » - Trích rút đặc trưng của văn bản - Ap dụng các thuât toán huấn luyện dé đưa ra mô hình phân loại - Du đoán: - Dé liệu dự đoán được đưa vào tiền xử lí ¢ Vector hóa » Trich rút đặc trưng của văn ban cần dự đoán - Su dụng mô hình phân loại đưa ra kết qua dự đoán. Giữa phương pháp học máy truyền thống và phương pháp sử dụng mạng noron nhân tạo có nhiều điểm khác biệt: Về cách trích xuất đặc trưng: với dữ liệu thô đưa vào (hình ảnh, văn bản,.) Người lập trình xác định và viết code dé lấy các đặc trưng cần thiết khi sử dụng các thuật toán truyền thống. Mạng noron không cần trích xuất đặc trưng , mà sẽ được trích xuất trong quá trình học luôn, có khả năng tự học cách biểu diễn đặc trưng cua dir liệu thô.
Sự phụ thuộc dữ liệu : Hoc máy truyền thông thì dữ liệu càng lớn không đồng nghĩa với việc hiệu suất tăng lên nhưng với mạng noron hoạt động tốt với dữ liệu lon hon dir liệu nhỏ. Các mô hình có xu hướng tăng độ chính xác của chúng với lượng dit liệu dao tạo ngày cảng tăng, trong khi các mô hình hoc máy truyền thống như SVM và trình phân loại Naïve Bayes ngừng cải thiện sau một điểm bão hòa. Deep neural networks Perfomance Medium neural networks Shallow neural networks Traditional machine learning Hình 1: Biểu đô thé hiện sự phụ thuộc vào đữ liệu ảnh hưởng đến hiệu suất của các phương pháp.|24| ° Sự phụ thuộc phần cứng: Học máy truyền thông có thê hoạt động.