Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ của mạng xã hội và các nền tảng thương mại điện tử đã biến việc mua sắm trực tuyến thành thói quen phổ biến của người tiêu dùng. Môi trường kỹ thuật số tạo điều kiện cho khách hàng liên tục chia sẻ thông tin, bày tỏ quan điểm và thể hiện thái độ đối với các sản phẩm, dịch vụ. Những luồng phản hồi này là nguồn tham khảo quan trọng giúp người tiêu dùng đưa ra quyết định mua sắm, đồng thời là cơ sở dữ liệu thực tiễn để các đơn vị cung cấp dịch vụ đánh giá điểm mạnh, điểm yếu của sản phẩm, tối ưu hóa chất lượng phục vụ và xây dựng chiến lược duy trì khách hàng. Trước khối lượng văn bản phản hồi ngày càng lớn, việc ứng dụng các phương pháp học sâu nhằm tự động hóa và nâng cao độ chính xác trong xử lý ngôn ngữ tự nhiên trở thành một nhu cầu cấp thiết.

Khóa luận tốt nghiệp ngành Kỹ thuật Dữ liệu của các tác giả Nguyễn Thị Mỹ Linh và Võ Thị Ngọc Thắm tập trung vào đề tài "Ứng dụng học sâu cho bài toán phân tích quan điểm". Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định theo 3 nội dung trọng tâm:

  1. Nghiên cứu và tìm hiểu cơ sở lý thuyết về bài toán phân tích quan điểm (sentiment analysis), bao gồm các khái niệm về cảm xúc, cấu trúc dữ liệu văn bản và các phương pháp phân loại quan điểm trong xử lý ngôn ngữ tự nhiên.
  2. Tìm hiểu cấu trúc và nguyên lý hoạt động của các thuật toán mạng nơ-ron học sâu được ứng dụng phổ biến trong phân tích cảm xúc, đặc biệt là mạng nơ-ron tích chập (Convolutional Neural Network - CNN), mạng bộ nhớ ngắn hạn kéo dài (Long Short-Term Memory - LSTM) và mô hình ngôn ngữ dựa trên kiến trúc Transformer.
  3. Xây dựng và huấn luyện mô hình phân tích quan điểm dựa trên khía cạnh (Aspect-based Sentiment Analysis - ABSA), có khả năng phân loại sắc thái bình luận của khách hàng thành ba trạng thái (tích cực, trung lập, tiêu cực) đối với từng khía cạnh cụ thể; đồng thời thiết kế ứng dụng thực tế phục vụ hiển thị kết quả phân tích.

Đối tượng nghiên cứu của khóa luận là các bình luận, đánh giá bằng tiếng Việt của khách hàng trong lĩnh vực dịch vụ nhà hàng. Phạm vi nghiên cứu giới hạn ở việc ứng dụng các mô hình học sâu gồm CNN, LSTM, mô hình PhoBERT dựa trên Transformer, kết hợp các kỹ thuật biểu diễn nhúng từ (word embedding) trên bộ dữ liệu chuẩn VLSP 2018.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập một hệ thống lý thuyết toàn diện bao gồm các nguyên lý của phân tích quan điểm, xử lý ngôn ngữ tự nhiên (NLP) và các kiến trúc học sâu chuyên sâu:

  • Phân loại cấp độ phân tích quan điểm: Nghiên cứu phân chia bài toán thành 4 cấp độ: cấp độ từ vựng (lexical level), cấp độ câu (sentence level), cấp độ văn bản (document level) và cấp độ khía cạnh (aspect level). Khóa luận chọn trọng tâm là cấp độ khía cạnh, bao gồm 4 giai đoạn xử lý: phân đoạn câu, xác định khía cạnh, phân tích cảm xúc và tổng hợp kết quả.
  • Thách thức xử lý ngôn ngữ: Tài liệu phân tích 5 thách thức chính của ngôn ngữ tự nhiên trong bài toán phân tích quan điểm gồm: tính đa nghĩa của từ ngữ theo ngữ cảnh, ngôn ngữ không chuẩn (lỗi chính tả, từ viết tắt như "kk"), hiện tượng châm biếm mâu thuẫn giữa câu chữ và cảm xúc thực, cấu trúc phủ định làm đảo ngược ngữ nghĩa, và sự phụ thuộc ngữ cảnh.
  • Kỹ thuật nhúng từ và biểu diễn văn bản: Các phương pháp biểu diễn từ được khảo cứu bao gồm:
    • TF-IDF: Đánh giá mức độ quan trọng của từ dựa trên tích của tần suất xuất hiện trong văn bản ($tf$) và nghịch đảo tần suất xuất hiện trong tập văn bản ($idf$).
    • Word2Vec: Gồm hai kiến trúc mạng nơ-ron là Continuous Bag-of-Words (CBOW - dự đoán từ trung tâm dựa vào các từ ngữ cảnh) và Skip-gram (dự đoán các từ ngữ cảnh xung quanh từ trung tâm), sử dụng hàm softmax và kỹ thuật tối ưu hóa đạo hàm ngẫu nhiên (stochastic gradient descent).
    • GloVe: Xây dựng vectơ nhúng từ dựa trên phân tích ma trận tần số đồng xuất hiện của các cặp từ trên toàn bộ kho ngữ liệu.
    • FastText: Mở rộng từ Word2Vec bằng cách biểu diễn từ dưới dạng tập hợp các n-gram ký tự con, hỗ trợ xử lý các từ mới nằm ngoài tập từ vựng huấn luyện (out-of-vocabulary).
    • BERT: Kiến trúc Transformer đa tầng sử dụng cơ chế chú ý hai chiều (self-attention) với hai tác vụ huấn luyện đồng thời là mô hình ngôn ngữ bị che (Masked Language Model - MLM) và dự đoán câu tiếp theo (Next Sentence Prediction - NSP).
  • Kiến trúc mô hình học sâu: Khóa luận xem xét cấu trúc mạng CNN (gồm các lớp tích chập convolutional, hàm kích hoạt phi tuyến ReLU, lớp pooling và lớp kết nối đầy đủ fully connected), mạng hồi quy RNN (cơ chế truyền trạng thái ẩn theo thời gian), mạng LSTM (sử dụng 3 cổng: forget gate $f_t$, input gate $i_t$, output gate $o_t$ để điều khiển luồng thông tin qua cell state $c_t$ nhằm giải quyết vấn đề triệt tiêu đạo hàm), và mô hình PhoBERT (phiên bản mở rộng của RoBERTa được tối ưu hóa đặc thù cho tiếng Việt với công cụ tách từ PhoBERT tokenizer).

Phương pháp nghiên cứu thực nghiệm được triển khai theo quy trình gồm: thu thập dữ liệu chuẩn, làm sạch và tiền xử lý văn bản tiếng Việt, véc-tơ hóa dữ liệu, huấn luyện mô hình và đánh giá hiệu năng dựa trên các chỉ số định lượng: độ mất mát (Loss), độ chính xác (Accuracy), độ thu hồi (Recall), độ chuẩn xác (Precision) và chỉ số F1-score.

Nguồn dữ liệu thực nghiệm được lấy từ bộ ngữ liệu VLSP 2018 (Vietnamese Language and Speech Processing) do Viện Công nghệ thông tin thuộc Viện Hàn lâm Khoa học và Công nghệ Việt Nam (IOIT - VAST) phối hợp cùng các đơn vị nghiên cứu phát triển. Bộ dữ liệu gồm các đánh giá của người dùng về dịch vụ nhà hàng, được phân tách cụ thể thành các tập dữ liệu như sau:

Tập dữ liệu Số lượng đánh giá (Reviews) Số lượng khía cạnh (Aspects)
Tập huấn luyện (Train) 2.961 9.034
Tập kiểm định (Validation) 1.290 3.408
Tập kiểm tra (Test) 500 2.419

Hệ thống nhãn khía cạnh trong bộ dữ liệu được cấu trúc dưới dạng cặp Thực thể - Thuộc tính (Entity - Attribute):

  • Thực thể (Entity): restaurant (nhà hàng nói chung), ambience (không gian, cách bài trí), location (vị trí địa lý, giao thông, bãi đỗ xe), food (món ăn), service (thái độ và cách phục vụ của nhân viên), drinks (các loại đồ uống).
  • Thuộc tính (Attribute): general (nhìn nhận tổng quát), quality (chất lượng sản phẩm/dịch vụ), price (giá cả), style_option (cách trình bày, sự đa dạng của thực đơn), miscellaneous (các đặc tính khác).
  • Phân cực cảm xúc (Polarity): Mỗi cặp Entity#Attribute được gán một trong ba trạng thái cảm xúc: positive (tích cực), negative (tiêu cực) hoặc neutral (trung lập).

Thiết kế và triển khai

Hệ thống được thiết kế theo quy trình xử lý dữ liệu và tích hợp phần mềm hoàn chỉnh, gồm các phân hệ sau:

Quy trình tiền xử lý dữ liệu tiếng Việt

Để chuẩn hóa dữ liệu đầu vào cho các mạng nơ-ron, quy trình tiền xử lý được thực hiện qua 7 bước tuần tự:

  1. Loại bỏ ký tự đặc biệt: Thay thế các dấu câu, ký tự phi chữ cái và đường dẫn liên kết (URL) bằng khoảng trắng.
  2. Loại bỏ ký tự kéo dài: Thu gọn các ký tự liên tiếp bị lặp lại không đúng quy tắc chính tả về một ký tự duy nhất (ví dụ: chuỗi "hayyy" được chuẩn hóa thành "hay").
  3. Xóa bỏ biểu tượng cảm xúc (emoji): Loại trừ các ký hiệu icon, hình vẽ cảm xúc khỏi câu văn.
  4. Chuẩn hóa từ ngữ: Sử dụng danh sách từ điển thay thế (replace_list) để đưa các từ viết tắt, tiếng lóng về dạng từ chuẩn tiếng Việt.
  5. Tách từ tiếng Việt: Phân tách các đơn vị từ ngữ phức trong câu để phục vụ véc-tơ hóa.
  6. Chuyển chữ hoa thành chữ thường: Đưa toàn bộ ký tự trong câu về định dạng chữ thường để thống nhất tập từ vựng.
  7. Chuyển về chữ không dấu: Thực hiện chuyển đổi các ký tự có dấu thành không dấu tùy theo yêu cầu của từng thử nghiệm đầu vào.

Triển khai mô hình phân tích học sâu

Hệ thống xây dựng và thử nghiệm hai nhánh kiến trúc mô hình:

  • Mô hình lai kết hợp CNN và LSTM: Câu sau khi được mã hóa thành các véc-tơ từ thông qua phương pháp nhúng từ sẽ đi qua các lớp tích chập của CNN với các kích thước bộ lọc (filter) khác nhau để trích xuất các đặc trưng cục bộ. Đầu ra sau khi giảm chiều qua lớp max-pooling được đưa vào tầng LSTM nhằm ghi nhận sự phụ thuộc tuần tự và ngữ cảnh chuỗi dài hạn, trước khi đi qua tầng fully connected để dự đoán nhãn.
  • Mô hình PhoBERT: Sử dụng mô hình ngôn ngữ dựa trên Transformer đã tiền huấn luyện cho tiếng Việt. Mô hình tận dụng cơ chế attention đa đầu (multi-head attention) để hiểu sâu sắc ngữ cảnh hai chiều của toàn câu văn và thực hiện tinh chỉnh (fine-tuning) các trọng số cho bài toán phân loại đa khía cạnh.

Xây dựng ứng dụng web

Khóa luận hiện thực hóa mô hình nghiên cứu thành một sản phẩm phần mềm hoàn chỉnh. Ứng dụng được lập trình bằng ngôn ngữ Python ở phía xử lý logic và trí tuệ nhân tạo, kết hợp với giao diện người dùng xây dựng bằng HTML, CSS và JavaScript. Phần mềm cung cấp 3 phân hệ chức năng:

  • Trang phân tích bình luận: Tiếp nhận câu bình luận hoặc đoạn văn bản đánh giá từ người dùng, đưa qua mô hình học sâu để phân loại và trả về danh sách các khía cạnh xuất hiện kèm trạng thái cảm xúc tương ứng.
  • Trang lưu trữ dữ liệu: Quản lý và lưu lại lịch sử các đánh giá, kết quả dự đoán của hệ thống để phục vụ tra cứu.
  • Trang thống kê dữ liệu: Biểu diễn trực quan tỷ lệ cảm xúc theo từng khía cạnh thông qua các biểu đồ, giúp người dùng nắm bắt cái nhìn tổng quan về chất lượng của từng thực thể nhà hàng.

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết

Chương 1 cung cấp nền tảng toán học và kỹ thuật phục vụ toàn bộ đề tài:

  • Trình bày định nghĩa phân tích quan điểm, nêu rõ 3 lợi ích thực tiễn bao gồm: cung cấp thông tin chuyên sâu khách quan thay vì đánh giá chủ quan, hỗ trợ thiết kế sản phẩm/dịch vụ hoàn thiện hơn dựa trên phân tích nguyên nhân lỗi, và phản hồi thị trường theo thời gian thực.
  • Phân tích chi tiết 4 cấp độ phân loại văn bản và giải thích bản chất của phương pháp ABSA; phân tích 5 thách thức ngôn ngữ tự nhiên trong ngữ cảnh tiếng Việt.
  • Khái quát về NLP với 3 trụ cột kỹ thuật: Nhận dạng giọng nói (ASR/STT), Hiểu ngôn ngữ tự nhiên (NLU), và Tạo ngôn ngữ tự nhiên (NLG); mô tả 4 tầng phân tích ngôn ngữ học: hình thái, cú pháp, ngữ nghĩa, và diễn ngôn; đồng thời liệt kê 8 ứng dụng tiêu biểu của NLP (ASR, TTS, IR/IE, QA, tóm tắt tự động, Chatbot, Machine Translation, kiểm tra chính tả).
  • Trình bày công thức toán học và nguyên tắc hoạt động của các thuật toán biểu diễn véc-tơ: TF-IDF, Word2Vec (Skip-gram và CBOW với hàm mục tiêu cực tiểu hóa mất mát), GloVe và FastText.
  • Hệ thống hóa các mô hình học sâu: Phân tích cơ chế hoạt động của các lớp mạng CNN (convolutional layer, hàm kích hoạt ReLU, pooling layer, fully connected layer) ứng dụng cho phân loại câu; mô hình toán học của mạng RNN và mạng LSTM với cấu trúc các cổng và hàm chuyển trạng thái; kiến trúc khối Encoder-Decoder của Transformer với cơ chế self-attention; nguyên lý huấn luyện mô hình BERT thông qua hai tác vụ MLM và NSP, quy trình tinh chỉnh 4 bước, và danh mục các biến thể mô hình (BERT-base, BERT-large, BERT-multilingual, DistilBERT, RoBERTa, ALBERT, ELECTRA, PhoBERT).

Chương 2: Xây dựng mô hình phân tích quan điểm

Chương 2 mô tả chi tiết quá trình thực nghiệm và triển khai bài toán ABSA:

  • Xác định quy trình 5 bước giải quyết bài toán: thu thập dữ liệu, xử lý dữ liệu, xây dựng mô hình, đánh giá kết quả, và xây dựng ứng dụng.
  • Khai thác bộ ngữ liệu tiếng Việt VLSP 2018 miền nhà hàng với cấu trúc 3 tập dữ liệu (train: 2.961 đánh giá; val: 1.290 đánh giá; test: 500 đánh giá). Thiết lập không gian phân loại gồm 6 nhóm thực thể kết hợp 5 nhóm thuộc tính và 3 nhãn phân cực.
  • Triển khai quy trình làm sạch văn bản 7 bước và véc-tơ hóa dữ liệu đầu vào sử dụng tokenization và kỹ thuật nhúng từ.
  • Huấn luyện và kiểm thử hai cấu trúc mô hình chính là mạng lai CNN-LSTM và mô hình tiền huấn luyện PhoBERT; phân tích hiệu năng của các mô hình trên tập kiểm tra (test set) thông qua các độ đo đánh giá.
  • Thiết kế kiến trúc và giao diện người dùng cho ứng dụng phân tích quan điểm dựa trên khía cạnh bằng Python, HTML, CSS và JavaScript, bao gồm các module: phân tích bình luận trực tiếp, lưu trữ dữ liệu đánh giá và thống kê dữ liệu.

Kết quả và đóng góp

  • Kết quả thực nghiệm:
    • Khóa luận đã xây dựng thành công quy trình xử lý dữ liệu chuyên biệt cho tiếng Việt từ việc làm sạch, loại bỏ ký tự nhiễu, chuẩn hóa từ ngữ cho đến tách từ trên bộ dữ liệu VLSP 2018.
    • Huấn luyện thành công hai mô hình học sâu gồm mô hình kết hợp CNN - LSTM và mô hình dựa trên Transformer (PhoBERT). Cả hai mô hình đều có khả năng nhận diện các khía cạnh và phân loại chính xác ba mức độ phân cực cảm xúc: tích cực (positive), trung lập (neutral) và tiêu cực (negative).
    • Triển khai thành công ứng dụng web tích hợp mô hình phân tích quan điểm theo khía cạnh, cung cấp giao diện trực quan hỗ trợ phân tích trực tiếp câu bình luận, lưu trữ lịch sử đánh giá và thống kê dữ liệu trực quan.
  • Giải pháp và đề xuất ứng dụng:
    • Đề xuất mô hình phân tích cảm xúc theo khía cạnh như một công cụ hỗ trợ ra quyết định cho các nhà quản lý trong ngành dịch vụ nhà hàng. Hệ thống giúp tự động bóc tách các đánh giá của khách hàng về từng mặt cụ thể như không gian, vị trí, giá cả hay chất lượng món ăn, từ đó giúp doanh nghiệp kịp thời cải thiện khâu vận hành.
    • Ứng dụng mô hình vào việc xây dựng hệ thống cảnh báo sớm khi xuất hiện các phản hồi tiêu cực trên mạng xã hội hoặc sàn thương mại điện tử, giúp bộ phận chăm sóc khách hàng phản ứng nhanh chóng.
  • Đóng góp học thuật và kỹ thuật tự nêu:
    • Khóa luận hệ thống hóa cơ sở lý thuyết về các mô hình nhúng từ và kiến trúc học sâu hiện đại (từ mạng nơ-ron cổ điển, RNN, LSTM đến Transformer, BERT và PhoBERT).
    • Áp dụng thành công mô hình học sâu tiên tiến PhoBERT vào bài toán phân tích quan điểm mức độ khía cạnh trên ngữ liệu tiếng Việt, chứng minh tính khả thi và hiệu quả của việc kết hợp mô hình học chuyển giao (transfer learning) với bài toán ngôn ngữ đặc thù.

Hạn chế và hướng nghiên cứu tiếp

  • Hạn chế được ghi nhận:
    • Phạm vi thực nghiệm của mô hình mới chỉ dừng lại ở phạm vi ngữ liệu lĩnh vực nhà hàng từ bộ dữ liệu VLSP 2018, chưa được kiểm thử mở rộng trên các tập dữ liệu đa ngành khác như khách sạn, thiết bị điện tử hay dịch vụ vận tải.
    • Thời gian thực hiện đề tài có hạn chế nhất định; việc xử lý các sắc thái ngôn ngữ phức tạp trong tiếng Việt như câu chứa nhiều tầng phủ định, tiếng lóng mới xuất hiện hoặc các phát biểu châm biếm mang ngữ nghĩa hàm ẩn vẫn còn gặp khó khăn.
  • Hướng phát triển đề xuất:
    • Mở rộng phạm vi thu thập dữ liệu và thử nghiệm mô hình trên nhiều lĩnh vực thương mại và dịch vụ khác nhau.
    • Nâng cấp bộ từ điển chuẩn hóa (replace_list) và cải tiến kỹ thuật tiền xử lý văn bản để nhận diện tốt hơn ngôn ngữ không chuẩn, tiếng lóng mạng xã hội và các câu châm biếm.
    • Thử nghiệm điều chỉnh sâu các siêu tham số (hyperparameters) của mô hình PhoBERT cũng như tích hợp thêm các biến thể Transformer mới nhằm nâng cao độ chính xác và khả năng tổng quát hóa của hệ thống.

Giá trị tham khảo

Khóa luận là nguồn tài liệu học thuật hữu ích cho:

  • Sinh viên và học viên chuyên ngành Kỹ thuật Dữ liệu, Khoa học Dữ liệu và Công nghệ Thông tin: Cung cấp bức tranh toàn cảnh về việc áp dụng các mô hình học sâu vào bài toán xử lý ngôn ngữ tự nhiên tiếng Việt.
  • Người làm đề tài nghiên cứu về Phân tích quan điểm (Sentiment Analysis) và Xử lý ngôn ngữ tự nhiên (NLP): Phần Chương 1 là tài liệu tham khảo chi tiết về mặt toán học và lý thuyết cho các kiến trúc mạng nơ-ron từ CNN, RNN, LSTM đến Transformer và cơ chế hoạt động của BERT cùng các biến thể.
  • Lập trình viên và kỹ sư phát triển phần mềm ứng dụng AI: Chương 2 mang lại giá trị thực hành cao về quy trình tiền xử lý văn bản tiếng Việt (loại bỏ ký tự lặp, lọc ký tự đặc biệt, chuẩn hóa văn bản) cũng như cách tổ chức dữ liệu theo cấu trúc Entity-Attribute trên tập dữ liệu VLSP 2018 và tích hợp mô hình vào ứng dụng web thực tế.

Câu hỏi thường gặp

1. Đề tài tập trung giải quyết bài toán phân tích quan điểm ở cấp độ nào?

Đề tài tập trung giải quyết bài toán ở cấp độ khía cạnh (Aspect-based Sentiment Analysis - ABSA). Thay vì chỉ gán một nhãn cảm xúc chung cho toàn bộ bài viết, mô hình bóc tách câu thành các khía cạnh cụ thể (ví dụ: món ăn, không gian, giá cả, phục vụ) và xác định trạng thái cảm xúc (tích cực, tiêu cực, trung lập) tương ứng với từng khía cạnh đó.

2. Bộ dữ liệu nào được sử dụng để huấn luyện và đánh giá mô hình trong khóa luận?

Nghiên cứu sử dụng bộ dữ liệu chuẩn VLSP 2018 (Vietnamese Language and Speech Processing) thuộc lĩnh vực đánh giá dịch vụ nhà hàng. Bộ dữ liệu gồm 3 tập: tập huấn luyện (train) có 2.961 đánh giá với 9.034 khía cạnh, tập kiểm định (validation) có 1.290 đánh giá với 3.408 khía cạnh, và tập kiểm tra (test) có 500 đánh giá với 2.419 khía cạnh.

3. Nhãn khía cạnh (aspect) trong khóa luận được cấu trúc như thế nào?

Nhãn khía cạnh được cấu trúc theo cặp Thực thể - Thuộc tính (Entity#Attribute). Các thực thể gồm: restaurant, ambience, location, food, service, drinks. Các thuộc tính gồm: general, quality, price, style_option, miscellaneous. Ví dụ về các nhãn kết hợp: food#quality (chất lượng món ăn), restaurant#price (giá cả nhà hàng), service#general (phục vụ chung).

4. Những kỹ thuật học sâu nào đã được triển khai để xây dựng mô hình dự đoán?

Tác giả đã triển khai hai mô hình chính: mô hình mạng lai kết hợp giữa CNN (trích xuất đặc trưng cục bộ) và LSTM (nắm bắt ngữ cảnh chuỗi dài hạn), cùng với mô hình PhoBERT (mô hình ngôn ngữ tiền huấn luyện tối ưu hóa cho tiếng Việt dựa trên kiến trúc Transformer).

5. Ứng dụng thực tế của khóa luận được xây dựng bằng công nghệ gì và gồm những chức năng nào?

Ứng dụng web được phát triển bằng ngôn ngữ lập trình Python kết hợp HTML, CSS và JavaScript. Ứng dụng cung cấp 3 chức năng chính: giao diện phân tích câu bình luận trực tiếp theo từng khía cạnh, giao diện lưu trữ lịch sử dữ liệu phân tích, và giao diện thống kê dữ liệu trực quan bằng biểu đồ.

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Thị Mỹ Linh và Võ Thị Ngọc Thắm đã hoàn thành việc nghiên cứu cơ sở lý thuyết và triển khai thực nghiệm bài toán phân tích quan điểm theo khía cạnh cho tiếng Việt. Đề tài khai thác thành công bộ dữ liệu VLSP 2018 miền nhà hàng, xây dựng quy trình tiền xử lý văn bản tiếng Việt bài bản và huấn luyện hiệu quả các mô hình học sâu CNN-LSTM cùng PhoBERT. Kết quả nghiên cứu không chỉ đóng góp về mặt thực nghiệm mô hình hóa ngôn ngữ tự nhiên mà còn được hiện thực hóa thành một ứng dụng web hoàn chỉnh, có tiềm năng ứng dụng thiết thực trong việc hỗ trợ doanh nghiệp giám sát chất lượng dịch vụ và nâng cao trải nghiệm của khách hàng.