Phân Tích Cảm Xúc Sản Phẩm Thương Mại Điện Tử Sử Dụng BERT

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp công nghệ thông tin hệ thống đánh giá và gợi ý sản phẩm dựa trên bình luận sử dụng bert, vận dụng lý thuyết vào thực tế, đề xuất giải

• Tác giả: Nguyễn Lan Anh
• Người hướng dẫn: ThS. Hồ Trần Nhật Thủy
• Trường học: Đại Học Quốc Gia Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phân Tích Cảm Xúc Sản Phẩm Thương Mại Điện Tử Sử Dụng BERT
• Loại tài liệu: Báo cáo khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. Bối cảnh
• 1.2. Lịch sử phát triển Xử lý ngôn ngữ tự nhiên
• 1.3. Phát biểu bài toán
• 1.3.1. Phân tích cảm xúc từ ý kiến người dùng
• 1.3.2. Ứng dụng của bài toán phân tích cảm xúc
• 1.3.3. Thách thức của bài toán phân tích cảm xúc
• 2. CÁC NGHIÊN CỨU LIÊN QUAN VÀ PHƯƠNG PHÁP ĐỀ XUẤT
• 2.1. Các mức độ phân tích cảm xúc
• 2.2. Các nghiên cứu liên quan đến bài toán
• 2.3. Phương pháp đề xuất
• 3. CÁC PHƯƠNG PHÁP BIỂU DIỄN VÀ PHÂN LỚP
• 3.1. Khái niệm và mục đích
• 3.2. Mục đích tách từ
• 3.3. Biểu diễn dưới dạng Véc-tơ (Word Embedding)
• 3.3.1. Biểu diễn với Túi từ (Bag of Words)
• 3.3.2. One-hot encoding
• 3.3.3. Biểu diễn với N-grams
• 3.3.4. Co-occurrence matrix (Ma trận đồng hiện)
• 3.3.5. Mô hình Word2Vec
• 3.3.6. BERT word embedding
• 3.4. Các phương pháp phân lớp truyền thống
• 3.4.1. Support Vector Machines (SVM)
• 3.4.2. Hồi quy Logistic (Logistic Regression)
• 3.5. Mô hình học sâu: BERT
• 3.5.1. Sự ra đời của BERT
• 3.5.2. Sự khác biệt của BERT so với các phương pháp trước
• 3.5.3. Kiến trúc BERT
• 3.5.4. Input Representation
• 3.5.5. Pre-training Tasks
• 3.5.6. Pre-training Procedure
• 3.5.7. Fine-tuning Procedure
• 3.5.8. Các thử nghiệm của BERT
• 4. PHÂN TÍCH THIẾT KẾ HỆ THỐNG
• 4.1. Ngôn ngữ, công cụ hỗ trợ xây dựng website
• 4.1.1. Ngôn ngữ Python
• 4.2. Thiết kế hệ thống
• 4.2.1. Danh sách các Use Case
• 4.2.2. Đặc tả Use Case và Sơ đồ hoạt động (Activity Diagram)
• 4.2.3. Sequence Diagram và Class Diagram
• 4.3. Thiết kế dữ liệu
• 4.3.1. Mô hình dữ liệu quan hệ
• 4.3.2. Mô tả các kiểu dữ liệu
• 5. THỰC NGHIỆM VÀ MINH HỌA
• 5.1. Tóm tắt quá trình thực hiện
• 5.2. Các tập dữ liệu
• 5.3. Tiền xử lý dữ liệu
• 5.4. Xây dựng mô hình học sâu phân tích cảm xúc
• 5.4.1. Môi trường triển khai
• 5.4.2. Mô hình chi tiết
• 5.4.3. Minh họa kết quả
• 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG

Tóm tắt

I. Giới thiệu về Phân Tích Cảm Xúc Sản Phẩm Thương Mại Điện Tử

Phân tích cảm xúc sản phẩm thương mại điện tử là một lĩnh vực quan trọng trong nghiên cứu và phát triển công nghệ. Sử dụng mô hình BERT, việc phân tích này giúp hiểu rõ hơn về cảm xúc của người tiêu dùng thông qua các bình luận và đánh giá sản phẩm. Điều này không chỉ hỗ trợ doanh nghiệp trong việc cải thiện sản phẩm mà còn giúp người tiêu dùng đưa ra quyết định mua sắm thông minh hơn.

1.1. Tầm quan trọng của Phân Tích Cảm Xúc

Phân tích cảm xúc giúp doanh nghiệp nắm bắt được tâm tư của khách hàng, từ đó cải thiện chất lượng sản phẩm và dịch vụ. Việc hiểu rõ cảm xúc của người tiêu dùng là chìa khóa để xây dựng thương hiệu mạnh mẽ.

1.2. Mô hình BERT trong Phân Tích Cảm Xúc

Mô hình BERT (Bidirectional Encoder Representations from Transformers) đã cách mạng hóa cách thức xử lý ngôn ngữ tự nhiên. BERT cho phép phân tích ngữ nghĩa của văn bản một cách chính xác hơn, từ đó nâng cao hiệu quả của việc phân tích cảm xúc.

II. Thách Thức trong Phân Tích Cảm Xúc Sản Phẩm

Mặc dù phân tích cảm xúc mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Việc nhận diện ngữ nghĩa và cảm xúc trong văn bản không phải lúc nào cũng dễ dàng, đặc biệt là với ngôn ngữ tự nhiên phức tạp.

2.1. Khó khăn trong việc nhận diện cảm xúc

Một trong những thách thức lớn nhất là khả năng nhận diện cảm xúc chính xác từ các bình luận. Các từ ngữ có thể mang nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh.

2.2. Vấn đề về ngữ nghĩa và ngữ cảnh

Ngữ nghĩa và ngữ cảnh là hai yếu tố quan trọng trong việc phân tích cảm xúc. Việc hiểu rõ ngữ cảnh giúp mô hình đưa ra những phân tích chính xác hơn về cảm xúc của người tiêu dùng.

III. Phương Pháp Phân Tích Cảm Xúc Sử Dụng BERT

Để thực hiện phân tích cảm xúc hiệu quả, mô hình BERT được áp dụng với các bước cụ thể. Việc tiền xử lý dữ liệu và huấn luyện mô hình là rất quan trọng để đạt được kết quả tốt nhất.

3.1. Tiền xử lý dữ liệu

Tiền xử lý dữ liệu là bước đầu tiên và quan trọng trong phân tích cảm xúc. Dữ liệu cần được làm sạch và chuẩn hóa để mô hình có thể học tập hiệu quả.

3.2. Huấn luyện mô hình BERT

Sau khi dữ liệu đã được chuẩn bị, mô hình BERT sẽ được huấn luyện với các tập dữ liệu đã được phân loại cảm xúc. Quá trình này giúp mô hình học được cách nhận diện cảm xúc từ văn bản.

IV. Ứng Dụng Thực Tiễn của Phân Tích Cảm Xúc

Phân tích cảm xúc không chỉ dừng lại ở việc hiểu rõ cảm xúc của người tiêu dùng mà còn có nhiều ứng dụng thực tiễn trong thương mại điện tử. Các doanh nghiệp có thể sử dụng thông tin này để cải thiện sản phẩm và dịch vụ.

4.1. Cải thiện chất lượng sản phẩm

Thông qua việc phân tích cảm xúc, doanh nghiệp có thể nhận diện được những điểm mạnh và yếu của sản phẩm, từ đó đưa ra các cải tiến cần thiết.

4.2. Tăng cường trải nghiệm khách hàng

Việc hiểu rõ cảm xúc của khách hàng giúp doanh nghiệp tạo ra những trải nghiệm tốt hơn, từ đó nâng cao sự hài lòng và trung thành của khách hàng.

V. Kết Luận và Tương Lai của Phân Tích Cảm Xúc

Phân tích cảm xúc sản phẩm thương mại điện tử sử dụng BERT đang ngày càng trở nên quan trọng. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều tiến bộ và ứng dụng mới, giúp doanh nghiệp và người tiêu dùng có những trải nghiệm tốt hơn.

5.1. Xu hướng phát triển trong tương lai

Với sự phát triển không ngừng của công nghệ, phân tích cảm xúc sẽ ngày càng trở nên chính xác và hiệu quả hơn, mở ra nhiều cơ hội mới cho doanh nghiệp.

5.2. Tác động đến ngành thương mại điện tử

Phân tích cảm xúc sẽ tiếp tục đóng vai trò quan trọng trong việc định hình tương lai của ngành thương mại điện tử, giúp cải thiện trải nghiệm mua sắm cho người tiêu dùng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Thương mại điện tử (TMĐT) tại Việt Nam ghi nhận sự tăng trưởng mạnh mẽ trong phân phối hàng hóa và dịch vụ, đặc biệt chịu tác động sâu sắc sau các đợt bùng phát của dịch bệnh Covid-19 khi hành vi của người tiêu dùng chuyển dịch từ trực tiếp sang trực tuyến. Báo cáo từ Nielsen Việt Nam và Infocus Mekong Mobile Panel được tác giả trích dẫn cho thấy 25% số người được khảo sát đã gia tăng mua sắm trực tuyến và giảm mua sắm trực tiếp. Đồng thời, thống kê từ vnetwork.vn chỉ ra tính đến tháng 1 năm 2020, Việt Nam có 68,17 triệu người dùng Internet (chiếm 70% dân số), tạo nên một nguồn dữ liệu phản hồi, bình luận khổng lồ trên các sàn TMĐT.

Tuy nhiên, việc mua sắm qua mạng đặt ra nhiều rủi ro đối với người tiêu dùng do không được trải nghiệm trực tiếp sản phẩm, khó kiểm định chất lượng thật so với hình ảnh, và thông tin an toàn/cảnh báo khó tiếp cận hơn. Sự cạnh tranh giữa nhiều nhà bán hàng trên các nền tảng thương mại điện tử với mức giá, dịch vụ và chất lượng khác nhau đòi hỏi người mua phải tốn nhiều thời gian tổng hợp, đối chiếu thông tin đánh giá. Xuất phát từ bối cảnh đó, khóa luận lựa chọn đề tài xây dựng hệ thống đánh giá và gợi ý sản phẩm dựa trên bài toán phân tích cảm xúc từ bình luận của khách hàng.

Khóa luận xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể:

1. Tìm hiểu và nghiên cứu các thuật toán phân loại văn bản trong xử lý ngôn ngữ tự nhiên cùng các công nghệ phát triển ứng dụng web.
2. Xây dựng, huấn luyện và đánh giá đối sánh các mô hình học sâu và học máy truyền thống, phân tích ưu nhược điểm của từng phương pháp đối với bài toán phân tích cảm xúc.
3. Phân tích, thiết kế và xây dựng hệ thống website khuyến nghị, hỗ trợ gợi ý sản phẩm có độ tin cậy cao và theo dõi biến động giá cả phục vụ người tiêu dùng.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Dữ liệu đánh giá, bình luận của khách hàng về sản phẩm trên các sàn thương mại điện tử Shopee, Tiki, Lazada; các thuật toán biểu diễn từ và phân loại văn bản.
• Phạm vi nghiên cứu: Bài toán phân loại cảm xúc nhị phân ở mức câu/đoạn văn bản (tích cực - positive và tiêu cực - negative); áp dụng kỹ thuật nhúng từ và các mô hình máy học (SVM, Logistic Regression, BERT, PhoBERT); triển khai hệ thống thử nghiệm với các chức năng quản lý bình luận qua URL, gợi ý sản phẩm và theo dõi giá. Thời gian thực hiện đề tài kéo dài từ ngày 01/03/2021 đến ngày 14/06/2021.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khóa luận hệ thống hóa cơ sở lý luận từ các phương pháp xử lý ngôn ngữ tự nhiên truyền thống đến các mô hình học sâu tiên tiến:

• Kỹ thuật tách từ (Word Tokenization): Xác định ranh giới từ để khử tính nhập nhằng về ngữ nghĩa. Tiếng Việt thuộc loại hình ngôn ngữ đơn lập, không sử dụng khoảng trắng làm ranh giới từ duy nhất (tồn tại từ đơn và từ ghép như "chắc_chắn", "môn_học"), do đó việc tách từ đóng vai trò quyết định đến chất lượng trích xuất đặc trưng.
• Các phương pháp biểu diễn từ (Word Representation & Embedding):
  • Túi từ (Bag of Words - BOW): Biểu diễn văn bản dưới dạng multiset dựa trên tần suất xuất hiện của từ, bỏ qua trật tự từ và ngữ pháp.
  • One-hot Encoding: Biểu diễn từ bằng vector nhị phân thưa có kích thước bằng kích thước từ điển $V$, bộc lộ nhược điểm tốn tài nguyên và không biểu diễn được khoảng cách ngữ nghĩa giữa các từ đồng nghĩa.
  • TF-IDF (Term Frequency – Inverse Document Frequency): Đánh giá tầm quan trọng của từ $t$ trong văn bản $d$ thuộc tập $D$ qua tích số tần suất xuất hiện tương đối $tf(t, d)$ và nghịch đảo tần suất văn bản $idf(t, D) = \log\frac{|D|}{|{d \in D: t \in d}|}$, giúp giảm trọng số của các từ dừng phổ biến.
  • N-grams: Mở rộng từ BOW để lưu trữ ngữ cảnh cục bộ và thứ tự từ liền kề (Unigrams, Bigrams, Trigrams).
  • Ma trận đồng hiện (Co-occurrence Matrix): Đo lường mối quan hệ ngữ nghĩa dựa trên sự xuất hiện đồng thời của các từ trong cùng văn bản hoặc cửa sổ ngữ cảnh.
  • Word2vec: Mạng nơ-ron hai lớp chiếu từ vựng vào không gian vector liên tục (đo độ tương đồng bằng Cosine Similarity $\cos(\theta) = \frac{A \cdot B}{|A| |B|}$), bao gồm kiến trúc CBOW và Skip-gram.
  • BERT Word Embedding: Kỹ thuật nhúng từ phụ thuộc ngữ cảnh 2 chiều (Bidirectional) dựa trên kiến trúc Transformer, sử dụng WordPiece Tokenizer với vốn từ vựng 30.000 tokens (chia các từ ngoài từ vựng thành các subwords với tiền tố ##), kết hợp các vector biểu diễn token, segment và vị trí (Positional Embedding).

Tiêu chí	Mô hình Túi từ (Bag of Words)	Mô hình N-grams
Đơn vị biểu diễn	Mỗi đơn vị chỉ gồm 1 từ (từ đơn hoặc từ ghép)	Mỗi đơn vị gồm $N$ từ liền kề ($N = 1, 2, 3...$)
Trật tự từ ngữ	Không quan tâm đến thứ tự của từ trong câu	Lưu giữ trật tự và mối liên kết ngữ cảnh cục bộ giữa các từ
Trọng tâm trích xuất	Chú trọng tần suất xuất hiện của từng từ riêng lẻ	Chú trọng mối liên hệ kết hợp giữa các từ đi liền nhau

• Mô hình phân loại:

  • Support Vector Machines (SVM): Thuật toán học có giám sát tìm kiếm siêu phẳng tối ưu $\mathbf{w}^T \mathbf{x} + b = 0$ nhằm tối đa hóa lề (Margin $\frac{2}{|\mathbf{w}|}$) giữa các support vectors của hai lớp; sử dụng Soft Margin với tham số điều hòa $C$ để xử lý nhiễu và Kernel Trick cho dữ liệu phi tuyến.
  • Hồi quy Logistic (Logistic Regression): Mô hình xác suất phân loại nhị phân dựa trên hàm logit $\ln\left(\frac{p}{1-p}\right) = \beta_0 + \beta_1 X_1 + \dots + \beta_n X_n$.
  • Học sâu dựa trên Transformer: Tinh chỉnh (fine-tuning) các mô hình tiền huấn luyện BERT và PhoBERT cho nhiệm vụ phân lớp nhị phân trên tập ngữ liệu tiếng Việt.

• Nguồn dữ liệu và quy trình thực nghiệm:

  • Ngữ liệu huấn luyện mô hình phân loại cảm xúc được thu thập từ bộ dữ liệu của tổ chức AIViVN (gồm nhãn phân loại tích cực/tiêu cực).
  • Dữ liệu phục vụ kiểm thử hệ thống được cào trực tiếp từ các trang sản phẩm trên các sàn thương mại điện tử Shopee, Tiki và Lazada.

Thiết kế và triển khai hệ thống

Khóa luận tiến hành thiết kế và xây dựng một hệ thống web hoàn chỉnh phục vụ người dùng cuối với các thông số kỹ thuật và kiến trúc sau:

• Công nghệ triển khai: Hệ thống sử dụng ngôn ngữ lập trình Python; framework Django theo kiến trúc Model-View-Template (MVT) cho ứng dụng web chính; FastAPI đóng vai trò xây dựng dịch vụ web API phục vụ mô hình học sâu; môi trường Google Colab hỗ trợ huấn luyện các mô hình phân loại.
• Thiết kế chức năng (Usecase):
  • Usecase tổng quát bao gồm: Đăng ký, Đăng nhập, Tìm kiếm sản phẩm, Phân tích bình luận sản phẩm, Theo dõi biến động giá cả.
  • Phân hệ quản lý bình luận: Cho phép người dùng cung cấp URL sản phẩm từ sàn Shopee hoặc Tiki, hệ thống kích hoạt module thu thập dữ liệu (crawler) để bóc tách toàn bộ bình luận, gửi dữ liệu sang module NLP và trả về phân phối cảm xúc.
• Thiết kế luồng hoạt động (Sequence Diagram):
  • Lấy bình luận từ URL: Tiếp nhận đường dẫn -> Gửi request thu thập bình luận -> Lưu trữ thông tin sản phẩm và nội dung đánh giá vào cơ sở dữ liệu quan hệ.
  • Phân tích sắc thái bình luận: Trích xuất danh sách bình luận -> Tiền xử lý văn bản -> Đưa qua mô hình ngôn ngữ dự đoán nhãn -> Tổng hợp tỷ lệ phần trăm đánh giá tích cực/tiêu cực -> Hiển thị biểu đồ trực quan.
  • Theo dõi giá: Người dùng lưu sản phẩm vào danh sách theo dõi -> Hệ thống định kỳ quét cập nhật giá sản phẩm mỗi giờ một lần -> Kích hoạt gửi email cảnh báo tự động khi phát hiện mức giá giảm.
• Thiết kế cơ sở dữ liệu: Xây dựng mô hình quan hệ (RDBMS) gồm các thực thể lưu trữ thông tin người dùng, sản phẩm, lịch sử giá theo mốc thời gian, chi tiết bình luận và kết quả phân loại sắc thái tương ứng.

Nội dung chính theo từng chương

Chương 1. Giới thiệu tổng quan

Chương 1 mở đầu bằng việc trình bày bối cảnh chuyển dịch số của thị trường thương mại điện tử Việt Nam và sự thay đổi trong thói quen tiêu dùng. Tác giả khái quát lịch sử phát triển của ngành Xử lý ngôn ngữ tự nhiên từ Phép thử Turing (1950), mô hình Hodgkin - Huxley (1952), Phase-Structure Grammar của Noam Chomsky (1957), hệ thống ELIZA (1964), giai đoạn thoái trào do đánh giá của ALPAC (1966) cho đến sự trở lại mạnh mẽ từ thập niên 1980 nhờ các mô hình thống kê, N-grams và mạng nơ-ron hồi quy (RNN, LSTM). Nội dung chương định nghĩa bài toán phân tích cảm xúc (Sentiment Analysis), phân tích các ứng dụng trong quản trị thương hiệu, giám sát truyền thông và nêu rõ các thách thức ngữ nghĩa đặc thù của tiếng Việt (từ ghép, cấu trúc câu, từ lóng, thành ngữ, cách nói mỉa mai). Cuối chương xác định mục tiêu và bố cục của khóa luận.

Chương 2. Các nghiên cứu liên quan và phương pháp đề xuất

Chương 2 phân loại các cấp độ phân tích cảm xúc (nhị phân, đa cảm xúc, phát hiện mục tiêu/nguyên nhân) và khẳng định đề tài tập trung vào bài toán phân loại nhị phân. Tác giả điểm luận ba hướng tiếp cận chính trong lịch sử nghiên cứu: phương pháp dựa trên luật/từ điển (SentiWordNet, SenticNet, MPQA), phương pháp học máy truyền thống (SVM, Logistic Regression) và phương pháp học sâu (RNN, LSTM, Bi-LSTM kết hợp CNN, GRU). Tác giả đề xuất quy trình thực hiện hai hợp phần: xây dựng - đánh giá đối kháng các mô hình phân loại (TF-IDF + SVM, TF-IDF + Logistic Regression, BERT + Logistic Regression, PhoBERT, BERT) và xây dựng hệ thống website tích hợp chức năng cào dữ liệu qua URL, phân tích sắc thái và theo dõi giá.

Chương 3. Cơ sở lý thuyết

Chương 3 trình bày chi tiết nền tảng toán học và kỹ thuật của xử lý ngôn ngữ tự nhiên. Phần đầu phân tích bản chất tách từ tiếng Việt và nguyên lý của các phương pháp biểu diễn vector (One-hot, Bag of Words, TF-IDF, N-grams, Co-occurrence Matrix, Word2vec). Tác giả làm rõ hạn chế của việc nhúng từ không phụ thuộc ngữ cảnh và lý giải cơ chế của BERT (Bidirectional Encoder Representations from Transformers) với các thành phần token đặc biệt ([CLS], [SEP]), mặt nạ (Mask ID), Segment ID, Positional Embedding và thuật toán WordPiece. Phần sau của chương trình bày nguyên lý tối ưu hóa lề của thuật toán Support Vector Machines, phương trình siêu phẳng, Soft Margin và mô hình Hồi quy Logistic cho bài toán phân loại nhị phân.

Chương 4. Phân tích thiết kế hệ thống

Chương 4 tập trung vào tài liệu kỹ thuật phát triển phần mềm cho hệ thống web gợi ý sản phẩm. Nội dung bao gồm việc lựa chọn ngôn ngữ Python, framework Django (mô hình MVT), framework FastAPI và Google Colab. Tác giả xây dựng hoàn chỉnh sơ đồ Usecase tổng quát, sơ đồ Usecase quản lý bình luận, các biểu đồ hoạt động (Activity Diagram), biểu đồ tuần tự (Sequence Diagram) cho các tiến trình: thu thập bình luận qua URL, phân tích cảm xúc, theo dõi biến động giá, và biểu đồ lớp tổng quát (Class Diagram). Cuối chương là thiết kế chi tiết lược đồ cơ sở dữ liệu quan hệ và mô tả các trường dữ liệu.

Chương 5. Thực nghiệm và minh họa

Chương 5 ghi lại quy trình thực nghiệm trên bộ dữ liệu đánh giá văn bản của AIViVN. Tác giả trình bày các bước tiền xử lý dữ liệu tiếng Việt, phân tích đồ thị tương quan giữa số lượng bình luận tích cực/tiêu cực và phân phối độ dài văn bản. Khóa luận triển khai huấn luyện, so sánh độ chính xác và thời gian phản hồi (dự đoán một câu) giữa các kiến trúc học máy truyền thống và học sâu. Phần minh họa giao diện trình bày các màn hình chức năng: nhập URL sản phẩm từ Shopee/Tiki, hiển thị danh sách đánh giá chi tiết kèm nhãn cảm xúc, thống kê tỷ lệ sắc thái, giao diện thêm sản phẩm theo dõi giá, biểu đồ biến động giá cập nhật hàng giờ và giao diện email thông báo tự động cho người dùng khi giá giảm.

Chương 6. Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được về mặt mô hình và ứng dụng thực tiễn của khóa luận. Tác giả đánh giá mức độ hoàn thành so với mục tiêu đề ra ban đầu, nêu rõ những mặt hạn chế của đề tài và đề xuất các định hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Khóa luận đã hoàn thành các mục tiêu nghiên cứu và kỹ thuật đề ra:

• Kết quả thực nghiệm mô hình: Hoàn thành quy trình tiền xử lý và huấn luyện đối sánh các mô hình phân loại văn bản tiếng Việt gồm TF-IDF + SVM, TF-IDF + Logistic Regression, BERT + Logistic Regression, PhoBERT và BERT. Xây dựng bảng so sánh về độ chính xác và tốc độ xử lý câu đầu vào nhằm đánh giá hiệu năng thực tế giữa các phương pháp tiếp cận.
• Xây dựng hệ thống ứng dụng: Phát triển thành công hệ thống website trên nền tảng Django và FastAPI có khả năng:
  • Tự động bóc tách bình luận trực tiếp từ URL sản phẩm trên sàn thương mại điện tử Shopee và Tiki.
  • Phân tích sắc thái bình luận và trực quan hóa tỷ lệ phần trăm đánh giá tích cực/tiêu cực, hỗ trợ người mua nhận định độ tin cậy của sản phẩm.
  • Cung cấp tính năng theo dõi giá sản phẩm theo thời gian thực (chu kỳ quét mỗi giờ một lần) và tự động kích hoạt email thông báo khi sản phẩm có điều chỉnh giảm giá.
• Đóng góp học thuật và ứng dụng: Khóa luận hệ thống hóa cơ sở lý thuyết về NLP tiếng Việt từ các kỹ thuật trích xuất đặc trưng truyền thống đến kiến trúc nhúng từ ngữ cảnh Transformer/BERT; đồng thời chứng minh tính khả thi của việc tích hợp các mô hình học sâu vào hệ thống phần mềm web phục vụ trực tiếp cho người tiêu dùng và hỗ trợ nhà bán hàng theo dõi chất lượng dịch vụ.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế và định hướng phát triển cụ thể:

• Hạn chế:
  • Bài toán phân loại cảm xúc chỉ mới dừng lại ở mức độ phân loại nhị phân 2 lớp (tích cực và tiêu cực), chưa mở rộng phân loại chi tiết các trạng thái cảm xúc cụ thể (vui, buồn, giận dữ) hoặc phát hiện nguyên nhân/đích nhắm cụ thể của cảm xúc (Aspect-based Sentiment Analysis).
  • Độ chính xác của mô hình phân loại vẫn chịu ảnh hưởng bởi tính đa nghĩa, cấu trúc ngữ pháp phức tạp, từ lóng và cách diễn đạt mỉa mai, châm biếm trong tiếng Việt.
• Hướng phát triển:
  • Nghiên cứu mở rộng mô hình để phân tích cảm xúc đa mức độ và phân tích cảm xúc theo từng khía cạnh/thuộc tính cụ thể của sản phẩm (giá cả, chất lượng giao hàng, đóng gói, dịch vụ khách hàng).
  • Cải tiến tập dữ liệu và kỹ thuật tiền xử lý chuyên biệt cho ngôn ngữ mạng xã hội và tiếng Việt không chuẩn mực.
  • Mở rộng phạm vi thu thập dữ liệu tự động sang nhiều sàn thương mại điện tử khác và tối ưu hóa thời gian phản hồi của dịch vụ API phân tích học sâu.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo hữu ích cho:

• Đối tượng phù hợp: Sinh viên, học viên thuộc các ngành Hệ thống thông tin, Công nghệ thông tin, Khoa học dữ liệu hoặc Kỹ thuật phần mềm đang thực hiện đề tài về Xử lý ngôn ngữ tự nhiên (NLP) cho tiếng Việt, phân tích quan điểm (Sentiment Analysis), và tích hợp mô hình học máy vào ứng dụng web.
• Nội dung giá trị:
  • Chương 3: Tổng hợp chi tiết nền tảng lý thuyết từ biểu diễn từ cổ điển (BOW, TF-IDF, N-grams, Word2vec) đến kiến trúc BERT, định dạng token đầu vào ([CLS], [SEP], Mask ID) và cơ sở toán học của thuật toán SVM (Margin, Hyperplane, Kernel Trick).
  • Chương 4 và 5: Tài liệu hóa đầy đủ quy trình phân tích thiết kế phần mềm (sơ đồ Usecase, Sequence Diagram lấy dữ liệu và phân tích cảm xúc, Class Diagram) cùng pipeline kết nối giữa crawler dữ liệu TMĐT, API mô hình phân loại và giao diện web người dùng.

Câu hỏi thường gặp

1. Khóa luận giải quyết bài toán phân tích cảm xúc ở cấp độ nào?

Khóa luận tập trung giải quyết bài toán phân tích cảm xúc văn bản ở cấp độ nhị phân (Binary Classification), phân loại phản hồi của khách hàng thành hai lớp: tích cực (positive) và tiêu cực (negative), gán nhãn tương ứng 1 hoặc 0 từ văn bản đầu vào.

2. Dữ liệu thực nghiệm và kiểm thử hệ thống được thu thập từ những nguồn nào?

Ngữ liệu huấn luyện và đánh giá mô hình được sử dụng từ tập dữ liệu gán nhãn của tổ chức AIViVN. Dữ liệu phục vụ kiểm thử và chạy ứng dụng website minh họa được trích xuất trực tiếp từ các liên kết (URL) sản phẩm trên các sàn thương mại điện tử Shopee, Tiki và Lazada.

3. Những công nghệ chính nào được sử dụng để xây dựng hệ thống website gợi ý sản phẩm?

Hệ thống sử dụng ngôn ngữ Python, web framework Django (kiến trúc MVT), framework FastAPI để phục vụ API suy luận cho mô hình học sâu, môi trường Google Colab để huấn luyện mô hình, kết hợp cơ sở dữ liệu quan hệ để lưu trữ dữ liệu sản phẩm, bình luận và lịch sử giá.

4. Tại sao việc tách từ trong tiếng Việt lại là một thách thức lớn được nêu trong khóa luận?

Tiếng Việt là ngôn ngữ đơn lập, ranh giới giữa các từ không được mặc định phân tách hoàn toàn bằng khoảng trắng (có từ đơn và từ ghép). Cùng một chuỗi ký tự có thể mang nhiều ngữ nghĩa khác nhau tùy thuộc vào cách ghép từ, do đó công đoạn tách từ (Word Tokenization) bắt buộc phải xử lý gom nhóm chính xác để tránh nhập nhằng ngữ nghĩa trước khi đưa vào mô hình vector hóa.

5. Hệ thống web mang lại những tính năng cụ thể nào cho người dùng?

Người dùng có thể nhập URL sản phẩm từ Shopee hoặc Tiki để xem tổng hợp phân tích tỷ lệ bình luận tích cực/tiêu cực, xem chi tiết từng bình luận được gán nhãn, lưu sản phẩm vào danh mục theo dõi biến động giá (hệ thống cập nhật mỗi giờ) và nhận email tự động khi sản phẩm giảm giá.

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Lan Anh và Trần Văn Trường đã giải quyết trọn vẹn bài toán phân tích cảm xúc nhị phân trên bình luận thương mại điện tử tiếng Việt bằng việc ứng dụng các mô hình học sâu hiện đại như BERT và PhoBERT. Công trình không chỉ cung cấp bức tranh đối sánh toàn diện giữa các phương pháp biểu diễn từ và phân lớp truyền thống với mô hình Transformer, mà còn hiện thực hóa thành công một hệ thống website hoàn chỉnh hỗ trợ người tiêu dùng đánh giá độ tin cậy sản phẩm và theo dõi biến động giá. Đây là một tài liệu có giá trị kỹ thuật và ứng dụng thực tiễn cao cho việc nghiên cứu và triển khai NLP trong lĩnh vực thương mại điện tử.

Trích đoạn nội dung tài liệu

Chương 1. Giới thiệu tổng quan về bối cảnh, lịch sử của Xử lý ngôn ngữ tự nhiên và phát biểu bài toán Phân tích cảm xúc bình luận (ứng dụng, thách thức). Giới thiệu chỉ tiết về bài toán Phân tích cảm xúc bình luận, những công trình nghiên cứu liên quan và đề xuất các phương pháp khóa luận sẽ thực hiện. Trình bày các kiến thức nền tảng về xử lý ngôn ngữ tự nhiên, kỹ thuật học máy, các mô hình học sâu và độ đo kiểm định phục vụ cho bài toán.

Mô tả quá trình phân tích thiết kế hệ thống, thiết kế dữ liệu cho hệ thống website. 18 Báo cáo khóa luận tốt nghiệp Nguyễn Lan Anh — Trần Văn Trường Chương 5. Mô tả quá trình thực hành, các bước thu thập, tiền xử lý dữ liệu, xây dựng mô hình, huấn luyện và đánh giá kết quá rồi từ đó rút ra kết luận. Ứng dụng mô hình có kết quả cao nhất vào hệ thống đánh giá và gợi ý sản phẩm.

Phân tích, đánh giá và thảo luận các kết quả đạt được cùng với các hướng phát triển trong tương lai. 19 Báo cáo khóa luận tốt nghiệp Nguyễn Lan Anh — Trần Văn Trường CHƯƠNG2. CAC NGHIÊN CỨU LIEN QUAN VÀ PHƯƠNG PHÁP ĐÈ XUẤT 2.1 Các mức độ phân tích cảm xúc Bài toán Phân tích cảm xúc trong ngôn ngữ tự nhiên thuộc dạng bài toán phân tích ngữ nghĩa văn bản. Vì vậy, ta phải xây dựng một mô hình máy học có thể hiểu ngữ nghĩa của câu văn, đoạn văn để đưa ra quyết định về màu sắc cảm xúc chủ đạo mà câu văn hay đoạn văn đó thé hiện.

Bài toán được phân làm các mức độ khác nhau: 1. Phân tích cảm xúc, thái độ trong văn bản thành hai lớp: tích cực (positive) và tiêu cực (negative). Phát hiện cảm xúc thể hiện trong văn bản: buồn, vui, giận,. Phát hiện mục tiêu, nguồn gốc, môi trường nguyên nhân dẫn đến cảm xúc.

Khóa luận này chỉ thực hiện giải quyết ở mức độ phân tích cảm xúc thành hai lớp là tích cực (positive) và tiêu cực (negative). Phát biểu theo góc nhìn của máy học (Machine learning), phân tích cảm xúc là bài toán phân lớp nhị phân dựa trên văn bản ngôn ngữ tự nhiên, với đầu vào là một câu hay một đoạn văn bản, còn dau ra là 0 hoặc 1, đại diện cho phân lớp tiêu cực hay tích cực.2 Các nghiên cứu liên quan đến bài toán Bài toán có nhiều cách tiếp cận, nhưng thường được gom lại ba phương pháp chung, đó là Dựa trên luật (Rule-based system); Dựa trên hệ thống tự động (Automatic System: machine learning) và kết hợp cả hai [5]. Có một số phương pháp dựa trên các bộ từ điển cảm xúc (Lexicon based) tự tạo như SentiWordNet, SenticNet, MPQA và Wordnet-Affect để gan nhan/diém cho các từ là tích cực hay tiêu cực, sau đó ta dùng những nhãn này để áp dụng các tính toán với ngôn ngữ tự nhiên dựa trên các từ xuất hiện trong văn bản để cho ra một số điểm thể hiện cảm xúc của văn bản đó. Tuy nhiên các phương pháp này phụ thuộc vào phan từ vựng quá nhiều, tốn nhiễu thời gian và chi phí để xây dựng bộ từ vựng gán nhãn.

Ngoài 20 Báo cáo khóa luận tốt nghiệp Nguyễn Lan Anh — Trần Văn Trường ra, việc không thể hiểu được mối quan hệ các từ trong văn bản dẫn tới kết quả không cao [6]. Với sự ra đời của học máy và học sâu, bài toán Phân tích cảm xúc có những hướng giải quyết mạnh mẽ hơn. Các phương pháp máy học (Machine learning) xem bài toán này như một bài toán phân lớp, các đặc trưng sẽ được rút trích từ văn bản đầu vào và đưa vào các mô hình phân lớp như SVM, Logistic Regression.