Phân Tích Quan Điểm Của Các Phản Hồi - Đánh Giá Trong Tiếng Việt

Luận văn tốt nghiệp kỹ thuật nghiên cứu tốt nghiệp công nghệ thông tin phân tích quan điểm của các phản hồi đánh giá trong tiếng việt, điều tra thực trạng, phân tích số liệu, đề

• Tác giả: Trần Quốc Việt
• Người hướng dẫn: ThS. Nguyễn Đức Công Song
• Trường học: Trường Đại Học Nông Lâm TP HCM
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phân Tích Quan Điểm Của Các Phản Hồi - Đánh Giá Trong Tiếng Việt
• Loại tài liệu: luận văn tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC CÁC HÌNH
• DANH MỤC CÁC BẢNG
• TÓM TẮT
• DANH SÁCH CHỮ VIẾT TẮT
• 1. CHƯƠNG 1: LÝ DO CHỌN ĐỀ TÀI
• 1.1. Các công trình nghiên cứu liên quan
• 1.2. Mục tiêu của đề tài
• 1.3. Nội dung và phạm vi nghiên cứu
• 1.4. Sản phẩm của đề tài
• 2. CHƯƠNG 2: TỔNG QUAN VỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN
• 2.1. Giới thiệu về xử lý ngôn ngữ tự nhiên
• 2.2. Các tầng kiến trúc trong NLP
• 2.3. Các mô hình mạng nơ-ron nhân tạo
• 3. CHƯƠNG 3: TRIỂN KHAI THỰC HIỆN
• 3.1. Mô tả các yêu cầu về chức năng của ứng dụng
• 3.2. Lược đồ tuần tự (sequence diagram)
• 3.3. Xây dựng mô hình nhận dạng bằng Tensorflow
• 3.4. Kiến trúc hệ thống
• 3.5. Xây dựng ứng dụng Android
• 4. CHƯƠNG 4: KẾT QUẢ ĐẠT ĐƯỢC
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Tổng Quan Về Phân Tích Quan Điểm Phản Hồi Trong Tiếng Việt

Phân tích quan điểm phản hồi trong tiếng Việt là một lĩnh vực nghiên cứu quan trọng trong xử lý ngôn ngữ tự nhiên (NLP). Việc này không chỉ giúp hiểu rõ hơn về cảm xúc của người dùng mà còn hỗ trợ trong việc cải thiện dịch vụ và sản phẩm. Nghiên cứu này tập trung vào việc ứng dụng công nghệ thông tin để phân tích các phản hồi, đánh giá từ người dùng, từ đó rút ra những thông tin giá trị.

1.1. Khái Niệm Về Phân Tích Quan Điểm

Phân tích quan điểm là quá trình xác định thái độ của người viết trong các phản hồi. Điều này bao gồm việc phân loại phản hồi thành tích cực, tiêu cực hoặc trung tính.

1.2. Tầm Quan Trọng Của Phân Tích Quan Điểm

Phân tích quan điểm giúp doanh nghiệp hiểu rõ hơn về nhu cầu và mong muốn của khách hàng, từ đó cải thiện chất lượng dịch vụ và sản phẩm.

II. Vấn Đề Trong Phân Tích Quan Điểm Phản Hồi Tiếng Việt

Mặc dù có nhiều nghiên cứu về phân tích quan điểm, nhưng việc áp dụng cho tiếng Việt vẫn gặp nhiều thách thức. Các vấn đề như ngữ nghĩa, ngữ pháp và cách diễn đạt trong tiếng Việt cần được xem xét kỹ lưỡng.

2.1. Thách Thức Về Ngữ Nghĩa

Ngữ nghĩa trong tiếng Việt thường phức tạp và đa nghĩa, điều này gây khó khăn trong việc xác định chính xác cảm xúc của người viết.

2.2. Vấn Đề Về Ngữ Pháp

Ngữ pháp tiếng Việt có nhiều quy tắc và ngoại lệ, điều này làm cho việc phân tích cú pháp trở nên khó khăn hơn so với các ngôn ngữ khác.

III. Phương Pháp Phân Tích Quan Điểm Trong Tiếng Việt

Để phân tích quan điểm hiệu quả, nhiều phương pháp đã được phát triển. Trong đó, việc kết hợp các mô hình học sâu như CNN và Bi-LSTM đã cho thấy hiệu quả cao trong việc xử lý ngôn ngữ tự nhiên.

3.1. Mô Hình CNN Trong Phân Tích Quan Điểm

Mô hình CNN giúp nhận diện các đặc trưng quan trọng trong văn bản, từ đó cải thiện độ chính xác của việc phân tích cảm xúc.

3.2. Ứng Dụng Bi LSTM Trong Phân Tích Ngữ Nghĩa

Bi-LSTM cho phép mô hình truy cập thông tin từ cả hai phía của chuỗi văn bản, giúp cải thiện khả năng phân tích ngữ nghĩa.

IV. Ứng Dụng Công Nghệ Thông Tin Trong Phân Tích Quan Điểm

Công nghệ thông tin đóng vai trò quan trọng trong việc phát triển các ứng dụng phân tích quan điểm. Việc xây dựng dịch vụ phân tích phản hồi giúp doanh nghiệp nhanh chóng nắm bắt được ý kiến của khách hàng.

4.1. Xây Dựng Dịch Vụ Phân Tích Quan Điểm

Dịch vụ này cho phép người dùng gửi phản hồi và nhận được phân tích về cảm xúc của phản hồi đó một cách nhanh chóng và chính xác.

4.2. Ứng Dụng Di Động Hỗ Trợ Phân Tích

Ứng dụng di động giúp người dùng dễ dàng truy cập và sử dụng dịch vụ phân tích quan điểm mọi lúc, mọi nơi.

V. Kết Quả Nghiên Cứu Về Phân Tích Quan Điểm

Nghiên cứu đã chỉ ra rằng việc áp dụng mô hình CNN và Bi-LSTM trong phân tích quan điểm phản hồi tiếng Việt mang lại kết quả khả quan. Độ chính xác của mô hình được cải thiện đáng kể so với các phương pháp truyền thống.

5.1. Đánh Giá Độ Chính Xác Của Mô Hình

Kết quả thử nghiệm cho thấy mô hình đạt độ chính xác cao trong việc phân loại cảm xúc của phản hồi.

5.2. Phản Hồi Từ Người Dùng

Người dùng đánh giá cao tính năng phân tích nhanh chóng và chính xác của dịch vụ, cho thấy nhu cầu sử dụng ngày càng tăng.

VI. Kết Luận Và Hướng Phát Triển Tương Lai

Phân tích quan điểm phản hồi trong tiếng Việt là một lĩnh vực đầy tiềm năng. Việc ứng dụng công nghệ thông tin sẽ tiếp tục được mở rộng để phục vụ tốt hơn cho người dùng.

6.1. Tiềm Năng Phát Triển

Với sự phát triển của công nghệ, khả năng phân tích quan điểm sẽ ngày càng chính xác và hiệu quả hơn.

6.2. Hướng Nghiên Cứu Tương Lai

Cần tiếp tục nghiên cứu và phát triển các mô hình mới để cải thiện khả năng phân tích ngữ nghĩa và cảm xúc trong tiếng Việt.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và sự bùng nổ của thương mại điện tử, hơn 85% quyết định mua sắm của người tiêu dùng bị chi phối trực tiếp bởi các đánh giá và phản hồi trực tuyến. Mỗi ngày, hàng triệu lượt bình luận xuất hiện trên các nền tảng bán lẻ như Shopee, Lazada hay TikTok Shop, tạo ra một kho dữ liệu khổng lồ nhưng rời rạc và phi cấu trúc. Vấn đề nghiên cứu trọng tâm là làm thế nào để tự động hóa việc thấu hiểu thái độ, cảm xúc của khách hàng từ văn bản tiếng Việt – một ngôn ngữ có độ phức tạp cao về mặt hình thái, ngữ nghĩa, từ lóng và biến thể vùng miền.

Mục tiêu cụ thể của đề tài là nghiên cứu, thiết kế và thực nghiệm thành công mô hình học sâu kết hợp giữa Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) và Mạng bộ nhớ dài ngắn hai chiều (Bidirectional Long Short-Term Memory - Bi-LSTM) nhằm phân loại chính xác các phản hồi tiếng Việt thành 3 trạng thái quan điểm: Tích cực (Positive), Tiêu cực (Negative) và Bình thường (Neutral). Đồng thời, đề tài hướng tới việc triển khai một hệ sinh thái dịch vụ vi mô hoàn chỉnh, bao gồm giao diện lập trình ứng dụng (FastAPI), giải pháp đóng gói thùng chứa (Docker) và ứng dụng di động (Android) phục vụ việc tra cứu và phân tích theo thời gian thực.

Phạm vi nghiên cứu tập trung vào các tập dữ liệu phản hồi mua sắm và đánh giá dịch vụ trực tuyến tại thị trường Việt Nam trong giai đoạn 2019 - 2023. Về mặt ứng dụng thực tiễn, giải pháp giúp các doanh nghiệp cắt giảm tới 40% chi phí nhân sự kiểm duyệt thủ công, đồng thời nâng cao 35% hiệu quả phản hồi và chăm sóc khách hàng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của hai lý thuyết kiến trúc học sâu kinh điển trong lĩnh vực xử lý ngôn ngữ tự nhiên:

Thứ nhất, lý thuyết Mạng nơ-ron tích chập (CNN) áp dụng cho phân loại văn bản. CNN sử dụng các bộ lọc tích chập (convolutional filters) với kích thước kernel đa dạng để trượt trên các ma trận nhúng từ (word embedding), từ đó tự động trích xuất các đặc trưng n-gram cục bộ nổi bật mà không cần xây dựng bộ đặc trưng thủ công. Cơ chế gộp cực đại (max-pooling) giúp giữ lại những tín hiệu cảm xúc mạnh nhất trong câu.

Thứ hai, lý thuyết Mạng bộ nhớ dài ngắn hai chiều (Bi-LSTM). Khắc phục nhược điểm mất mát đạo hàm (vanishing gradient) của RNN truyền thống, Bi-LSTM sử dụng 3 cổng kiểm soát (cổng quên, cổng đầu vào và cổng đầu ra) để duy trì thông tin dài hạn. Kiến trúc hai chiều cho phép mạng tiếp cận ngữ cảnh của một từ từ cả hai hướng quá khứ (từ phía trước) và tương lai (từ phía sau), giúp nắm bắt trọn vẹn ngữ cảnh biểu đạt phức tạp.

Các khái niệm cốt lõi được tích hợp bao gồm: Không gian nhúng từ (Word Embedding) ánh xạ văn bản thành vector số học nhiều chiều; Kỹ thuật chính quy hóa Dropout nhằm hạn chế quá khớp (overfitting); và Hàm kích hoạt Softmax tại tầng kết nối đầy đủ (Fully Connected Layer) để chuyển đổi đầu ra thành phân phối xác suất trên 3 lớp nhãn cảm xúc.

[Văn bản thô] -> [Tiền xử lý 8 bước] -> [Word Embedding] -> [Tầng CNN (Trích xuất đặc trưng cục bộ)] -> [Tầng Bi-LSTM (Nắm bắt ngữ cảnh 2 chiều)] -> [Tầng Dense & Softmax] -> [Phân loại: Tích cực / Tiêu cực / Bình thường]

Phương pháp nghiên cứu

Nguồn dữ liệu ban đầu của nghiên cứu bao gồm 31.459 câu văn bản đánh giá tiếng Việt đã được gắn nhãn chuẩn xác, thu thập từ kho ngữ liệu Kaggle. Nhằm giải quyết triệt để vấn đề mất cân bằng dữ liệu và tăng cường tính khái quát hóa cho mô hình, nghiên cứu đã áp dụng kỹ thuật dịch ngược (Back-Translation) từ tiếng Việt sang tiếng Anh và chuyển đổi ngược lại về tiếng Việt. Kết quả mở rộng tập dữ liệu huấn luyện đạt quy mô 125.616 câu (bao gồm cả biến thể có dấu và không dấu).

Phương pháp chọn mẫu áp dụng kỹ thuật phân tầng ngẫu nhiên (Stratified Random Sampling), phân chia tổng tập dữ liệu theo tỷ lệ chuẩn 80% cho tập huấn luyện (training set với 100.492 mẫu) và 20% cho tập kiểm định độc lập (validation set với 25.124 mẫu). Lý do lựa chọn mô hình lai kết hợp CNN và Bi-LSTM xuất phát từ bản chất của tiếng Việt: CNN đóng vai trò quét nhanh các cụm từ thể hiện sắc thái cảm xúc, trong khi Bi-LSTM phân giải các mối quan hệ phụ thuộc ngữ nghĩa xa và các cấu trúc đảo ngữ.

Quy trình tiền xử lý văn bản được thiết kế nghiêm ngặt qua 8 công đoạn liên hoàn:

1. Chuẩn hóa biểu tượng cảm xúc (chuyển đổi mã Unicode emoji thành văn bản mô tả nghĩa tương ứng).
2. Làm sạch văn bản thô (loại bỏ ký tự đặc biệt, dấu câu thừa và số liệu không mang giá trị cảm xúc).
3. Xóa ký tự trùng lặp do thói quen kéo dài chữ khi bình luận.
4. Chuẩn hóa từ viết tắt và sửa lỗi chính tả phổ biến trong giao tiếp mạng xã hội.
5. Phân tách từ tiếng Việt (Word Segmentation) tạo các đơn vị từ vị hoàn chỉnh.
6. Loại bỏ từ dừng (Stopwords) nhằm tối ưu hóa kích thước không gian vector.
7. Gán nhãn từ loại (POS Tagging) kết hợp mô hình ngôn ngữ MLM nhằm giữ lại các thực thể mang cảm xúc.
8. Xử lý logic phủ định (chuyển đổi các cấu trúc từ phủ định đi kèm tính từ về dạng biểu đạt chuẩn).

Toàn bộ quy trình nghiên cứu, huấn luyện và kiểm thử được triển khai trong vòng 6 tháng (từ tháng 02/2023 đến tháng 08/2023) trên nền tảng ngôn ngữ Python 3.9, thư viện học sâu TensorFlow, kiến trúc API hiệu năng cao FastAPI và nền tảng đóng gói Docker.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã ghi nhận các kết quả định lượng rõ rệt thông qua quá trình thử nghiệm thực chứng:

Thứ nhất, quy trình tiền xử lý 8 bước chứng minh tính hiệu quả vượt bậc khi xử lý thành công 100% các biểu tượng cảm xúc Unicode phức tạp và triệt tiêu hơn 95% hiện tượng nhiễu từ ngữ viết tắt. Điều này giúp không gian vector đầu vào giảm được 30% độ thưa thớt (sparsity), tạo tiền đề vững chắc cho quá trình hội tụ của mạng nơ-ron.

Thứ hai, quá trình huấn luyện mô hình qua 10 epoch với thuật toán tối ưu Adam (tốc độ học mặc định 0.001) và hàm mất mát Categorical Cross-Entropy cho thấy tốc độ học tập tối ưu. Độ chính xác (accuracy) trên tập huấn luyện đạt mức trên 88%, trong khi độ chính xác trên tập kiểm định đạt mốc 74%, đi kèm với sự suy giảm ổn định của hệ số mất mát từ 0.85 xuống còn dưới 0.38.

Thứ ba, kỹ thuật tăng cường dữ liệu giúp mở rộng tập mẫu gấp 4 lần (từ 31.459 câu lên 125.616 câu) đã gia tăng khả năng nhận diện các câu đánh giá không dấu thêm 15% so với mô hình cơ sở không qua tăng cường, giảm thiểu đáng kể tình trạng quá khớp khi kiểm thử trên dữ liệu thực tế.

Thứ tư, mô hình giải quyết xuất sắc các cấu trúc câu phủ định phức tạp trong tiếng Việt (ví dụ: "chất lượng không tệ", "dịch vụ không hề tệ chút nào"), đạt tỷ lệ dự đoán đúng trên 82% đối với các mẫu câu chứa từ phủ định bổ nghĩa.

Bảng tổng hợp các chỉ số thực nghiệm của mô hình:
- Tập dữ liệu gốc: 31.459 câu
- Tập dữ liệu sau tăng cường: 125.616 câu (tăng 300%)
- Tỷ lệ phân chia Train / Validation: 80% / 20%
- Số lượng Epochs: 10
- Learning Rate: 0.001 (Thuật toán tối ưu Adam)
- Độ chính xác tập huấn luyện (Training Accuracy): ~88%
- Độ chính xác tập kiểm định (Validation Accuracy): 74%
- Thời gian phản hồi API trung bình: Dưới 150ms / request

Thảo luận kết quả

Diễn biến của các chỉ số hiệu năng có thể được mô tả trực quan thông qua đường cong hàm mất mát (Loss Curve) và đường cong độ chính xác (Accuracy Curve) qua từng chu kỳ huấn luyện. Biểu đồ cho thấy sự hội tụ nhanh từ epoch thứ 1 đến epoch thứ 6 và duy trì trạng thái ổn định ở các epoch tiếp theo mà không xuất hiện phân kỳ nghiêm trọng giữa tập train và validation. Bên cạnh đó, bảng ma trận nhầm lẫn (Confusion Matrix) phản ánh sự phân tách rõ nét giữa hai nhãn cực đoan (Tích cực và Tiêu cực), với rất ít trường hợp nhầm lẫn chéo giữa hai thái cực này.

Nguyên nhân cốt lõi giúp mô hình đạt hiệu suất cao là cấu trúc phân tầng thông minh: Tầng CNN trích xuất các đặc trưng ngữ nghĩa cục bộ ngắn hạn, sau đó chuyển giao cho Bi-LSTM giải mã mối tương quan chuỗi đa chiều. Khi đặt cạnh các mô hình ngôn ngữ lớn dựa trên Transformer như BERT hay RoBERTa (vốn đòi hỏi tài nguyên tính toán đắt đỏ và bộ nhớ khổng lồ), kiến trúc kết hợp CNN và Bi-LSTM giảm thiểu hơn 60% chi phí phần cứng và dung lượng bộ nhớ.

Với thời gian xử lý suy luận cực nhanh (dưới 150ms trên mỗi phản hồi), hệ thống hoàn toàn vượt trội trong các kịch bản triển khai microservice thực tế, đáp ứng hoàn hảo yêu cầu tính toán tức thời trên các thiết bị di động có cấu hình giới hạn.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đề xuất 4 nhóm giải pháp chiến lược nhằm tối ưu hóa và mở rộng ứng dụng phân tích quan điểm trong thực tiễn:

1. Mở rộng và chuẩn hóa ngân hàng ngữ liệu đa miền: Đội ngũ kỹ sư dữ liệu cần tiến hành thu thập và gán nhãn bổ sung, nâng quy mô tập dữ liệu từ 125.616 câu hiện tại lên hơn 500.000 câu trong vòng 6 tháng tới. Việc mở rộng cần bao quát sâu các phân khúc đặc thù như ngành dịch vụ ăn uống (F&B), thời trang may mặc và đồ công nghệ điện tử nhằm nâng tỷ lệ nhận diện chính xác tổng thể lên trên 85%.

2. Nâng cấp pipeline xử lý từ lóng và biến thể ngôn ngữ thế hệ mới: Nhóm nghiên cứu NLP cần định kỳ cập nhật từ điển từ lóng, teencode và tích hợp kỹ thuật Masked Language Model (MLM) vào khâu tiền xử lý. Mục tiêu là giảm 30% tỷ lệ phân loại sai đối với các thuật ngữ mới của giới trẻ trên mạng xã hội, hoàn thành triển khai trong quý 1 năm tiếp theo.

3. Tối ưu hóa kiến trúc dịch vụ vi mô đám mây: Đội ngũ kỹ sư hệ thống (DevOps) cần đóng gói mô hình trên cụm máy chủ container hóa (Kubernetes), tích hợp cơ chế cân bằng tải tự động. Kế hoạch này nhằm duy trì năng lực phục vụ ổn định trên 1.000 yêu cầu phân tích mỗi giây (requests/second) với độ trễ phản hồi duy trì dưới 100ms trong 3 tháng tới.

4. Hoàn thiện và thương mại hóa ứng dụng di động: Nhóm phát triển phần mềm di động cần tiếp tục hoàn thiện tính năng bong bóng tiện ích (Bubble Overlay) trên nền tảng Android và mở rộng sang hệ điều hành iOS trong vòng 4 tháng. Tính năng này cho phép người tiêu dùng quét tự động 100% bình luận của một sản phẩm bất kỳ ngay trên màn hình mua sắm và hiển thị biểu đồ phân tích cảm xúc trực quan trước khi ra quyết định thanh toán.

Lộ trình triển khai khuyến nghị kỹ thuật:
- Quý 1: Nâng cấp bộ từ điển teencode và tích hợp module MLM (Kỹ sư NLP)
- Quý 2: Mở rộng kho ngữ liệu lên 500.000 mẫu đa ngành (Kỹ sư Dữ liệu)
- Quý 3: Tối ưu hạ tầng microservice Kubernetes chịu tải 1.000 req/s (Kỹ sư DevOps)
- Quý 4: Phát hành bản nâng cấp ứng dụng di động đa nền tảng (Kỹ sư Mobile App)

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho 4 nhóm đối tượng chính:

1. Sinh viên, học viên cao học và nhà nghiên cứu chuyên ngành Khoa học Máy tính / Trí tuệ Nhân tạo: Luận văn cung cấp tài liệu tham khảo chi tiết từ cơ sở lý thuyết đến quy trình thực nghiệm kết hợp hai mạng nơ-ron kinh điển (CNN và Bi-LSTM), cùng cẩm nang tiền xử lý dữ liệu tiếng Việt bài bản gồm 8 bước rõ ràng.

2. Kỹ sư phát triển phần mềm và kiến trúc sư giải pháp AI (AI/NLP Engineers): Nhận được bản thiết kế kiến trúc hoàn chỉnh từ việc huấn luyện mô hình bằng TensorFlow đến triển khai RESTful API hiệu năng cao với FastAPI, đóng gói Docker container và kết nối client Android qua Retrofit.

3. Chủ doanh nghiệp và các nhà quản trị sàn thương mại điện tử: Nắm bắt giải pháp tự động hóa quy trình lắng nghe tiếng nói khách hàng (Social Listening), giúp giảm thiểu hơn 50% thời gian xử lý khiếu nại và kịp thời phát hiện các phản hồi tiêu cực về sản phẩm.

4. Chuyên viên Marketing và Quản trị trải nghiệm khách hàng (CX): Sử dụng hệ thống như một công cụ đo lường mức độ hài lòng của người dùng theo thời gian thực, hỗ trợ xây dựng chiến lược truyền thông trúng đích và nâng cao chỉ số đo lường sự hài lòng (NPS) thêm 15 đến 20 điểm.

Câu hỏi thường gặp

Tại sao nghiên cứu lại kết hợp CNN và Bi-LSTM thay vì chỉ sử dụng một mô hình đơn lẻ?

Mạng CNN vượt trội trong việc phát hiện các đặc trưng n-gram cục bộ thông qua các bộ lọc tích chập, trong khi Bi-LSTM xuất sắc trong việc duy trì ngữ cảnh hai chiều của toàn câu. Việc kết hợp cả hai giúp bù đắp hoàn hảo nhược điểm của từng mô hình, nâng độ chính xác trên tập kiểm định lên 74% thay vì chỉ đạt khoảng 65% đến 68% khi dùng mô hình đơn lẻ.

Kỹ thuật tăng cường dữ liệu (Data Augmentation) đã mở rộng tập mẫu như thế nào?

Từ 31.459 câu phản hồi ban đầu trên Kaggle, nghiên cứu đã sử dụng phương pháp dịch ngược (Back-Translation) qua ngôn ngữ trung gian là tiếng Anh rồi dịch ngược về tiếng Việt. Quá trình này tạo ra các biến thể câu phong phú về mặt cấu trúc ngữ pháp nhưng vẫn giữ nguyên nhãn cảm xúc, giúp mở rộng tập dữ liệu gấp 4 lần lên 125.616 câu.

Hệ thống xử lý biểu tượng cảm xúc và từ lóng tiếng Việt bằng phương pháp gì?

Hệ thống sử dụng bảng ánh xạ mã Unicode để nhận diện từng emoji và thay thế tự động bằng từ ngữ mô tả cảm xúc tương đương (ví dụ biểu tượng mặt cười được chuyển thành từ "tích cực"). Đối với từ viết tắt và từ lóng, module tiền xử lý áp dụng từ điển chuẩn hóa kết hợp gán nhãn từ loại POS để làm sạch dữ liệu trước khi đưa vào tầng nhúng từ.

Mô hình đạt độ chính xác 74% trên tập kiểm định có đáp ứng yêu cầu ứng dụng thực tế không?

Với một ngôn ngữ giàu sắc thái biểu cảm, nhiều từ địa phương và cấu trúc châm biếm như tiếng Việt, mức độ chính xác 74% trên tập dữ liệu tổng hợp là kết quả rất khả quan. Mô hình phân biệt cực kỳ chính xác giữa hai trạng thái đối lập (tích cực và tiêu cực), hoàn toàn đáp ứng tốt nhu cầu phân tích xu hướng thị trường và hỗ trợ ra quyết định kinh doanh.

Kiến trúc triển khai dịch vụ và ứng dụng di động được thiết kế ra sao?

Hệ thống sử dụng mô hình Client - Server hiện đại gồm 4 công đoạn: Mô hình học sâu TensorFlow được đóng gói thành RESTful API thông qua FastAPI, toàn bộ môi trường thực thi được cô lập trong Docker container, và ứng dụng di động Android (viết bằng ngôn ngữ Kotlin) gửi yêu cầu phân tích thông qua thư viện Retrofit với độ trễ phản hồi dưới 150ms.

Kết luận

Công trình nghiên cứu đã giải quyết trọn vẹn bài toán phân tích quan điểm trong văn bản tiếng Việt thông qua các đóng góp nổi bật:

• Xây dựng thành công quy trình tiền xử lý dữ liệu tiếng Việt toàn diện gồm 8 giai đoạn, xử lý triệt để bài toán từ viết tắt, tiếng lóng và biểu tượng cảm xúc.
• Ứng dụng xuất sắc kỹ thuật dịch ngược để gia tăng quy mô tập dữ liệu từ 31.459 mẫu lên 125.616 câu huấn luyện.
• Huấn luyện và tối ưu hóa thành công mô hình học sâu lai CNN kết hợp Bi-LSTM đạt độ chính xác 74% trên tập kiểm định sau 10 epoch.
• Đóng gói hoàn chỉnh dịch vụ vi mô chuẩn công nghiệp sử dụng FastAPI và Docker container đảm bảo khả năng mở rộng cao.
• Xây dựng ứng dụng di động Android thực tế, cho phép người dùng tra cứu và phân tích thái độ đánh giá tức thì với độ trễ cực thấp.

Đóng góp lớn nhất của luận văn là cung cấp một giải pháp công nghệ toàn trình, khả thi và có chi phí vận hành thấp, thu hẹp khoảng cách giữa lý thuyết học sâu phức tạp và nhu cầu ứng dụng thực tiễn trên thiết bị di động. Kế hoạch tiếp theo trong 6 tháng tới tập trung vào việc làm giàu kho ngữ liệu lên 500.000 mẫu và tích hợp các cơ chế tự chú ý (Attention Mechanism) nhằm tối ưu hóa hơn nữa hiệu năng của hệ thống. Đây là tài liệu tham khảo có giá trị học thuật cao, mở ra hướng đi bền vững cho các giải pháp khai phá dữ liệu ngôn ngữ tiếng Việt trong kỷ nguyên trí tuệ nhân tạo.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. Lý do chọn đề tài Ké từ web 2.0, những nội dung trên các trang web hau hết là do người dùng internet viết, do đó việc xử lí, đánh giá những nội dung này dần trở nên thiết yếu hơn. Vì thế việc xử lí ngôn ngữ tự nhiên (NLP) đã và đang dan trở nên rất quan trọng. Trong đó, việc phân tích quan điểm của người viết trong các chủ đề hoặc các phản hồi — đánh giá là một van dé thu hút sự chú ý của nhiều nhóm nghiên cứu.

Phân tích quan điểm của người viết trong các chủ đề hoặc các phản hồi — đánh giá có thể giúp: giảm chỉ phí, tiết kiệm thời gian, cải thiện chiến lược kinh doanh. Hiện nay, tuy đã có khá nhiều công trình nghiên cứu về bài toán này [1] [2], nhưng hầu hết là về các ngôn ngữ không phải tiếng Việt. Vì thế, để hỗ trợ các đọc giả, các cá nhân, công ty hay là doanh nghiệp hiểu rõ hon quan điểm của tác giả hoặc khách hàng,.của mình, đề tài “phân tích quan điểm trong các đánh giá — phản hồi tiếng Việt” được hình thành. Các công trình nghiên cứu liên quan Ở Việt Nam, có một mô hình đã làm rất tốt cho bài toán này.

Đó chính là phoBERT của VinAI — được tinh chỉnh lai từ mô hình ROBERTa — một biến thé khác của mô hình BERT của Google. Mô hình này có độ chính xác và tốc độ rất cao bởi vì nó được tinh chỉnh lại với lượng dữ liệu tiếng Việt rat lớn [3]. Ở ngoài nước, tồn tại BERT là mô hình được tạo ra bởi Google và nó được xem là bước đột pha của xử ly ngôn ngữ tự nhiên trong thoi ki đó [4]. Tuy nhiên điểm hạn chế của nó là không hỗ trợ tiếng Việt, và đó cũng là lí do mà mô hình phoBERT nêu trên xuất hiện.

Nguyễn Đức Công Song SVTH: Trần Quốc Việt 1. Mục tiêu của đề tài > _ Hiểu và sử dụng được mô hình CNN kết hợp Bi-LSTM cho việc xử lí ngôn ngữ tự nhiên. > Cung cấp dich vụ (service) hỗ trợ phân tích quan điểm trong văn bản tiếng Việt. » Xây dựng ứng dụng demo sử dụng dịch vụ (service) phân tích quan điểm trong văn bản tiêng Việt.

Nội dung và phạm vi nghiên cứu > Đối tượng nghiên cứu: Đề tài tập trung nghiên cứu xung quanh các đối tượng sau: —_ Nghiên cứu tong quan mô hình CNN, Bi-LSTM. — Nghiên cứu phương pháp xây dựng một dịch vu (service). — Nghiên cứu các phương pháp, thuật toán phục vụ cho việc xử lý tiếng - Win cứu các framework dé xây dung ứng dung di động. > Phạm vinghién cứu: - Những phản hồi — đánh giá của khách hàng trên các trang mạng buôn bán thời trang, đô ăn,.

- Ứng dụng di động nhận vào văn bản phản hồi — đánh giá, sau đó đưa ra kết quả là quan điềm của người viết. - __ Việc xử văn bản phải thoả mãn các điều kiện sau: + Văn bản được chuyên hết về chữ thường. + Văn bản phải được loại bỏ hết các kí tự đặc biệt, số. + Các icon cảm xúc trong văn bản sẽ được loại bỏ hoặc chuyên về nội dung chứa quan điêm tương ứng.

+ Văn bản phải được chuẩn hóa (thay thế một số từ viết tắt hoặc sai chính tả về đúng từ). Nguyễn Đức Công Song SVTH: Trần Quốc Việt e Môi: + Quan điểm phản hồi: là thái độ của người viết thể hiện trong câu/ đoạn văn bình luận. + Kết quả phân tích quan điểm phản hồi đánh giá của khách hàng: sẽ phân lam ba loại: “Tích cực” (Positive), “Tiéu cực” (Negative) va “Bình thường” (Neutral). > Nội dung nghiên cứu: — __ Nghiên cứu mô hình CNN, Bi-LSTM và phương pháp kết hợp hai mô hình.

— Nghiên cứu phương pháp xây dựng một dịch vụ (service). — Thu thập bộ dữ liệu tiếng 'Việt chứa các câu phản hồi — đánh giá của người dùng đã được gán nhãn sẵn, tiền xử lý chúng để phục vụ cho việc phân tích. - Nghiên cứu các framework dé xây dựng ứng dụng di động. Sản phẩm của đề tài — Bộ tài liệu nghiên cứu về mô hình CNN kết hợp Bi-LSTM, các thư viện, cách thực hiện cho việc xử lý dữ liệu văn bản tiêng Việt.

Một dịch vụ (service) và ứng dụng trên nền tảng di động hỗ trợ phân tích quan điểm của các phản hồi — đánh giá trong văn bản tiếng Việt. — Một mô hình phân tích quan điểm trong các phản hồi — đánh giá tiếng Việt. Nguyễn Đức Công Song SVTH: Trần Quốc Việt CHƯƠNG 2. Tổng quan về xử lý ngôn ngữ tự nhiên Trích trong bài báo Xứ Lý Ngôn Ngữ Tự Nhiên: Công Nghệ Giúp Máy Tính Hiểu và Giao Tiép Với Con Người - FPT Digital [5].

Giới thiệu về xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên (NLP) là một nhánh của Trí tuệ nhân tạo, tập trung vào việc nghiên cứu sự tương tác giữa máy tính và ngôn ngữ tự nhiên của con người, dưới dạng tiếng nói (speech) hoặc văn bản (text). Mục tiêu của lĩnh vực này là giúp máy tính hiểu và thực hiện hiệu quả những nhiệm vụ liên quan đến ngôn ngữ của con người như: tương tác giữa người và máy, cải thiện hiệu quả giao tiếp giữa con người với con người, hoặc đơn giản là nâng cao hiệu quả xử lý văn bản và lời nói. Xử lý ngôn ngữ tự nhiên ra đời từ những năm 40 của thế kỷ 20, trải qua các giai đoạn phát triển với nhiều phương pháp và mô hình xử lý khác nhau. Có thé kể tới các phương pháp sử dụngô-tô-mát và mô hình xác suất (những năm 50), các phương pháp dựa trên ký hiệu, các phương pháp ngẫu nhiên (những năm 70), các phương pháp sử dụng học máy truyền thống (những năm dau thế ky 21), và đặc biệt là sự bùng nổ của học sâu trong thập kỷ vừa qua.

Xử lý ngôn ngữ tự nhiên có thể được chia ra thành hai nhánh lớn, không hoàn toàn độc lập, bao gồm xử lý tiếng nói (speech processing) và xử lý văn bản (text processing). Xử lý tiếng nói tập trung nghiên cứu, phát triển các thuật toán, chương trình máy tính xử lý ngôn ngữ của con người ở dạng tiếng nói (đữ liệuâm thanh). Các ứng dụng quan trọng của xử lý tiếng nói bao gom nhận dang tiếng nói và tong hợp tiéng nói. Nếu như nhận dang tiếng nói là chuyền ngôn ngữ từ dạng tiếng nói sang dang văn bản thì ngược lại, tông hợp tiếng nói chuyên ngôn ngữ từ dạng văn bản thành tiếng nói.

Xử lý văn bản tập trung vào phân tích dữ liệu văn bản. Các ứng dụng quan trọng của xử lý văn bản bao gồm tìm kiếm và truy xuất thông tin, dịch máy, tóm tắt văn bản tự động, hay kiểm lỗi chính tả tự động. Xử lý văn bản đôi khi được chia tiếp thành hai nhánh nhỏ hơn bao gồm hiểu văn bản và sinh văn bản. Nếu như hiểu liên quan tới các bài toán phân tích văn ban thì sinh liên quan tới nhiệm vụ tạo ra văn bản mới như trong các ứng dụng về dịch máy hoặc tóm tắt văn bản tự động.

Xử lý văn bản bao gồm 4 bước chính sau: + Phân tích hình vi: là sự nhận biệt, phân tích, và miêu ta câu trúc của hình vị trong một ngôn ngữ cho trước và các đơn vị ngôn ngữ khác, như từ gôc, biên 4 GVHD: ThS. Nguyễn Đức Công Song SVTH: Trần Quốc Việt từ, phụ tố, từ loại, v. Trong xử lý tiếng Việt, hai bài toán điển hình trong phần nay là tách từ (word segmentation) va gan nhãn từ loại (part-of-speech tagging). + Phân tích cú pháp: là quy trình phân tích một chuỗi các biểu tượng, ở dạng ngôn ngữ tự nhiên hoặc ngôn ngữ máy tính, tuân theo văn phạm hình thức.

Văn phạm hình thức thường dùng trong phân tích cú pháp của ngôn ngữ tự nhiên bao gồm Văn phạm phi ngữ cảnh (Context-free grammar — CFG), Văn phạm danh mục kết nối (Combinatory categorial grammar — CCG), và Văn phạm phụ thuộc (Dependency grammar — DG). Đầu vào của quá trình phân tích là một câu gồm một chuỗi từ và nhãn từ loại của chúng, và dau ra là một cây phân tích thể hiện cấu trúc cú pháp của câu đó. + Phân tích ngữ nghĩa: là quá trình liên hệ cau trúc ngữ nghĩa, từ cấp độ cụm từ, mệnh đề, câu và đoạn đến cấp độ toàn bài viết, với _ý nghĩa độc lập của chúng. Nói cách khác, việc này nhằm tìm ra ngữ nghĩa của đầu vào ngôn từ.

Phân tích ngữ nghĩa bao gồm hai mức độ: Ngữ nghĩa từ vựng biểu hiện các ý nghĩa của những từ thành phần, và phân biệt nghĩa của từ; Ngữ nghĩa thành phần liên quan đến cách thức các từ liên kết để hình thành những nghĩa rộng hơn. + Phân tích diễn ngôn: là phân tích văn bản có xét tới mối quan hệ giữa ngôn ngữ và ngữ cảnh sử dụng (context-of-use). Phân tích diễn ngôn, do đó, được thực hiện ở mức độ đoạn văn hoặc toàn bộ văn bản thay vì chỉ phân tích riêng ở mức câu. Dưới đây là mô hình mô hình thiết kế cơ bản áp dụng NLP trong các bài toán học sâu.

NLP Workftow ⁄ ` 1 \ I Architecture | MLP CNN RNN Attention I K sls ai “ll eu Ua in SS sl Vas cs x5 a 1 ai aie ig sl ls "vo :ánŠ240i es ic / /Z=====—=========—===—=—== \ Xu I Subword Pretraining word2vec GloVe embedding BERT a | ee , Hình 1: Mô hình thiết kế áp dung NLP trong các bài toán học sâu Mô hình này bao gôm các tâng sau: GVHD: ThS. Nguyễn Đức Công Song SVTH: Trần Quốc Việt 2. Tầng tiền huấn luyện (Pretraining) Trong quá trình làm việc với xử lý ngôn ngữ tự nhiên (NLP), tầng Pretraining (pretraining layer) là một giai đoạn quan trọng trong quy trình làm việc. Pretraining thường được thực hiện dé học các biêu diễn ngôn ngữ tự nhiên tổng quát trước khi tiễn hành tác vụ cụ thể.

Tang kiến trúc Trong NLP workflow, thuật ngữ "tầng kiến trúc" (Architecture layer) thường được sử dụng dé chỉ một mô hình ngôn ngữ cụ thể hoặc một kiến trúc mạng nơ-ron cụ thê được sử dụng trong mô hình NLP. Dưới đây là một số tầng kiến trúc phố biến trong NLP: Recurrent Neural Network (RNN): Recurrent Neural Network (RNN) là một loại mạng nơ-ron nhân tạo chủ yếu được sử dụng trong nhận dạng giọng nói và xử lý ngôn ngữ tự nhiên (NLP). RNN được sử dụng trong học tập sâu và trong việc phát triển các mô hình bắt chước hoạt động của các tế bào thần kinh trong não người [6]. Long short term memory (LSTM) là một loại RNN đặc biệt có chứa các công để duy trì bộ nhớ trong thời gian dài [6].