Phân Tích Cảm Xúc Để Đánh Giá Chất Lượng Sản Phẩm Dựa Trên Nhận Xét Của Người Dùng

Luận văn thạc sĩ nghiên cứu phân tích cảm xúc để đánh giá chất lượng sản phẩm dựa trên nhận xét của người dùng sử dụng mô hình, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Tô Văn Duy
• Người hướng dẫn: Pgs. Quản Thành Thơ
• Trường học: Trường Đại Học Thủ Dầu Một
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Phân Tích Cảm Xúc Để Đánh Giá Chất Lượng Sản Phẩm Dựa Trên Nhận Xét Của Người Dùng Sử Dụng Mô Hình Học Sâu
• Loại tài liệu: Luận Văn Thạc Sỹ
• Năm xuất bản: 2019
• Địa điểm: Bình Dương

Mục lục chi tiết

• Lời cam đoan
• Lời cảm ơn
• TÓM TẮT LUẬN VĂN
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH SÁCH CÁC CỤM TỪ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG VỀ NỘI DUNG CỦA ĐỀ TÀI VÀ TỔNG QUAN VỀ BÁO CÁO
• 1.1. Đặt vấn đề
• 1.2. Mục tiêu và phạm vi nghiên cứu
• 1.3. Tổng quan về báo cáo
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. MẠNG NƠ-RON NHÂN TẠO (ARTIFICIAL NEURAL NETWORK - ANN)
• 2.1.1. Cơ sở toán học
• 2.1.2. Các hàm kích hoạt thường dùng
• 2.1.3. Hàm chi phí mất mát
• 2.1.4. Các kĩ thuật xử lý với mạng nơ-ron
• 2.2. MẠNG NƠ-RON TÍCH CHẬP (CONVOLUTIONAL NEURAL NETWORK-CNN)
• 2.2.1. Các thành phần cấu trúc cơ bản trong mạng CNN
• 2.2.1.1. Lớp tích chập
• 2.2.1.2. Lớp kết nối đầy đủ (Fully-connected-FC)
• 2.2.2. Lớp tích chập đối với ma trận 1D
• 2.3. MẠNG NƠ-RON HỒI QUY BỘ NHỚ NGẮN DÀI(LONG SHORT TERM MEMORY- LSTM)
• 2.3.1. Cấu trúc bên trong mạng LSTM
• 2.4. MÔ HÌNH WORD2VEC
• 2.4.1. Khái niệm vector từ
• 2.4.2. Lý luận với vector từ
• 2.4.3. Huấn luyện vector từ
• 3. CHƯƠNG 3: CÁC CÔNG TRÌNH LIÊN QUAN
• 3.1. MÔ HÌNH CNN Ở CẤP ĐỘ KÍ TỰ ĐỂ PHÂN LOẠI VĂN BẢN CỦA XIANG ZHANG VÀ CỘNG SỰ
• 3.2. MÔ HÌNH CNN RẤT SÂU ĐỂ PHÂN LOẠI VĂN BẢN CỦA ALEXIS CONNEAU VÀ CÁC CỘNG SỰ
• 3.3. MÔ HÌNH CNN ĐỂ PHÂN LOẠI CÂU CỦA YOON KIM
• 4. CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT VÀ THỰC NGHIỆM
• 4.1. MÔ HÌNH ĐỀ XUẤT
• 4.1.1. Tạo sự liên kết thông tin giữa các từ
• 4.1.2. Trích xuất đặc trưng
• 4.1.3. Chọn ra các đặc trưng tốt nhất sau khi tích chập
• 4.2. ĐÁNH GIÁ THỰC NGHIỆM TRÊN TẬP DỮ LIỆU BENCHMARK
• 4.2.1. Tiền huấn luyện vector từ
• 4.2.2. Tập dữ liệu Benchmark thực nghiệm
• 4.2.3. Tiền xử lý dữ liệu thực nghiệm
• 4.2.4. Các thiết lập trong quá trình huấn luyên thực nghiệm
• 4.2.5. Kết quả thực nghiệm
• 4.3. ÁP DỤNG MÔ HÌNH VÀO TẬP DỮ LIỆU THỰC
• 4.3.1. Nguồn dữ liệu thực
• 4.3.2. Quá trình xử lý dữ liệu và trích xuất đặc trưng từng khía canh
• 4.3.3. Kết quả thực nghiệm trên tập dữ liệu thực
• 4.4. TRỰC QUAN LÊN HỆ THỐNG WEBSITE
• 4.4.1. Kiến trúc hệ thống tổng quát
• 4.4.2. Mô hình mạng nơ-ron
• 4.4.3. Hệ thống website thống kê
• 5. CHƯƠNG 5: CÔNG NGHỆ SỬ DỤNG
• 5.1. NGÔN NGỮ LẬP TRÌNH
• 5.2. CÁC FRAMEWORK VÀ LIBRARY
• 5.3. CÔNG CỤ VÀ THIẾT BỊ
• 6. CHƯƠNG 6: TỔNG KẾT
• 6.1. KẾT QUẢ ĐẠT ĐƯỢC
• 6.2. TỒN TẠI VÀ HẠN CHẾ
• 6.3. CẢI TIẾN TRONG TƯƠNG LAI

Tóm tắt

I. Tổng Quan Về Phân Tích Cảm Xúc Đánh Giá Chất Lượng Sản Phẩm

Phân tích cảm xúc là một lĩnh vực nghiên cứu quan trọng trong việc đánh giá chất lượng sản phẩm thông qua nhận xét của người dùng. Với sự phát triển của công nghệ và Internet, lượng dữ liệu về đánh giá sản phẩm ngày càng lớn. Việc khai thác và phân tích những dữ liệu này giúp doanh nghiệp hiểu rõ hơn về nhu cầu và mong muốn của khách hàng. Nghiên cứu này sẽ tập trung vào việc áp dụng mô hình học sâu để phân tích cảm xúc từ các nhận xét của người dùng.

1.1. Khái Niệm Phân Tích Cảm Xúc Trong Đánh Giá Sản Phẩm

Phân tích cảm xúc là quá trình xác định và phân loại cảm xúc từ văn bản. Trong bối cảnh đánh giá sản phẩm, nó giúp xác định mức độ hài lòng của người dùng thông qua các nhận xét. Các phương pháp truyền thống thường gặp khó khăn trong việc xử lý khối lượng dữ liệu lớn, do đó, việc áp dụng công nghệ học sâu trở nên cần thiết.

1.2. Tầm Quan Trọng Của Nhận Xét Người Dùng

Nhận xét của người dùng không chỉ phản ánh chất lượng sản phẩm mà còn ảnh hưởng đến quyết định mua hàng của người tiêu dùng khác. Việc phân tích những nhận xét này giúp doanh nghiệp cải thiện sản phẩm và dịch vụ, từ đó nâng cao trải nghiệm khách hàng.

II. Vấn Đề Trong Phân Tích Cảm Xúc Đánh Giá Chất Lượng Sản Phẩm

Mặc dù phân tích cảm xúc mang lại nhiều lợi ích, nhưng vẫn tồn tại nhiều thách thức. Một trong những vấn đề lớn nhất là độ chính xác của các mô hình phân tích. Các yếu tố như ngữ cảnh, ngôn ngữ và cách diễn đạt của người dùng có thể ảnh hưởng đến kết quả phân tích. Ngoài ra, việc xử lý dữ liệu không đồng nhất từ nhiều nguồn khác nhau cũng là một thách thức lớn.

2.1. Độ Chính Xác Trong Phân Tích Cảm Xúc

Độ chính xác của mô hình phân tích cảm xúc phụ thuộc vào chất lượng dữ liệu đầu vào. Các mô hình học sâu cần được huấn luyện trên tập dữ liệu lớn và đa dạng để có thể nhận diện chính xác các cảm xúc khác nhau trong văn bản.

2.2. Khó Khăn Trong Việc Xử Lý Dữ Liệu

Dữ liệu từ các trang thương mại điện tử thường không đồng nhất về định dạng và ngữ nghĩa. Việc chuẩn hóa và làm sạch dữ liệu là rất quan trọng để đảm bảo rằng mô hình phân tích cảm xúc hoạt động hiệu quả.

III. Phương Pháp Phân Tích Cảm Xúc Đánh Giá Chất Lượng Sản Phẩm

Để giải quyết các vấn đề trong phân tích cảm xúc, mô hình học sâu đã được áp dụng. Mô hình này kết hợp giữa mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy bộ nhớ ngắn-dài (LSTM) để cải thiện độ chính xác trong việc phân loại cảm xúc từ nhận xét của người dùng.

3.1. Mô Hình Học Sâu CNN Và LSTM

Mô hình CNN giúp nhận diện các đặc trưng trong văn bản, trong khi LSTM xử lý các mối quan hệ ngữ nghĩa giữa các từ. Sự kết hợp này cho phép mô hình hiểu rõ hơn về ngữ cảnh và cảm xúc trong các nhận xét.

3.2. Quy Trình Huấn Luyện Mô Hình

Quy trình huấn luyện mô hình bao gồm việc thu thập dữ liệu, tiền xử lý, và huấn luyện trên tập dữ liệu lớn. Các tham số của mô hình được điều chỉnh để tối ưu hóa độ chính xác trong việc phân tích cảm xúc.

IV. Ứng Dụng Thực Tiễn Của Phân Tích Cảm Xúc Trong Đánh Giá Sản Phẩm

Phân tích cảm xúc không chỉ giúp doanh nghiệp hiểu rõ hơn về khách hàng mà còn hỗ trợ trong việc cải thiện sản phẩm và dịch vụ. Các kết quả phân tích có thể được sử dụng để điều chỉnh chiến lược marketing và phát triển sản phẩm mới.

4.1. Cải Thiện Chất Lượng Sản Phẩm

Thông qua việc phân tích cảm xúc, doanh nghiệp có thể nhận diện các vấn đề trong sản phẩm và từ đó đưa ra các giải pháp cải thiện. Điều này không chỉ nâng cao chất lượng sản phẩm mà còn tăng cường sự hài lòng của khách hàng.

4.2. Tối Ưu Hóa Chiến Lược Marketing

Kết quả phân tích cảm xúc có thể giúp doanh nghiệp điều chỉnh chiến lược marketing để phù hợp hơn với nhu cầu và mong muốn của khách hàng. Việc này giúp tăng cường hiệu quả của các chiến dịch quảng cáo và khuyến mãi.

V. Kết Luận Về Phân Tích Cảm Xúc Đánh Giá Chất Lượng Sản Phẩm

Phân tích cảm xúc là một công cụ mạnh mẽ trong việc đánh giá chất lượng sản phẩm thông qua nhận xét của người dùng. Mô hình học sâu đã chứng minh được hiệu quả trong việc cải thiện độ chính xác của phân tích. Tương lai của lĩnh vực này hứa hẹn sẽ còn phát triển mạnh mẽ với sự tiến bộ của công nghệ.

5.1. Tương Lai Của Phân Tích Cảm Xúc

Với sự phát triển không ngừng của công nghệ học sâu, phân tích cảm xúc sẽ ngày càng trở nên chính xác và hiệu quả hơn. Các mô hình mới sẽ được phát triển để xử lý tốt hơn các ngữ cảnh phức tạp trong văn bản.

5.2. Khuyến Nghị Cho Doanh Nghiệp

Doanh nghiệp nên áp dụng các công nghệ phân tích cảm xúc để cải thiện chất lượng sản phẩm và dịch vụ. Việc này không chỉ giúp nâng cao sự hài lòng của khách hàng mà còn tạo ra lợi thế cạnh tranh trên thị trường.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của kỷ nguyên số và thương mại điện tử đã biến phản hồi của người tiêu dùng thành nguồn tài nguyên vô giá, với hàng triệu lượt bình luận xuất hiện mỗi ngày trên các sàn giao dịch trực tuyến. Theo ước tính từ các báo cáo thị trường, việc xử lý dữ liệu đánh giá thủ công làm tiêu tốn hơn 70% thời gian và nhân lực của doanh nghiệp mà vẫn không kịp thời nắm bắt phản ứng của người mua. Xuất phát từ thách thức thực tiễn đó, luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Tô Văn Duy, dưới sự hướng dẫn khoa học của Phó Giáo sư Quản Thành Thơ tại Trường Đại học Thủ Dầu Một năm 2019, đã tập trung giải quyết bài toán: Phân tích cảm xúc để đánh giá chất lượng sản phẩm dựa trên nhận xét của người dùng sử dụng mô hình học sâu.

Mục tiêu trọng tâm của đề tài là xây dựng một quy trình khép kín và tự động hóa hoàn toàn, bao gồm việc thu thập dữ liệu lớn từ website thương mại điện tử, trích xuất khía cạnh sản phẩm, và phân loại cảm xúc theo từng khía cạnh độc lập. Phạm vi thực nghiệm của nghiên cứu được triển khai trực tiếp trên nguồn dữ liệu gồm 15.000 bài nhận xét thực tế từ hệ thống bán lẻ Thế Giới Di Động tại Việt Nam trong giai đoạn 2018–2019.

Nghiên cứu mang ý nghĩa thực tiễn to lớn đối với ngành hệ thống thông tin và kinh doanh số. Bằng việc kết hợp sức mạnh của mạng nơ-ron hồi quy và mạng nơ-ron tích chập, mô hình đã đạt độ chính xác từ 79% đến 95% trên 5 khía cạnh cốt lõi của sản phẩm. Kết quả này giúp các nhà quản trị rút ngắn 80% thời gian tổng hợp ý kiến thị trường và thiết lập hệ thống cảnh báo chất lượng gần như tức thời.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng vững chắc của học sâu (Deep Learning) và xử lý ngôn ngữ tự nhiên (NLP). Khung lý thuyết cốt lõi tích hợp ba mô hình toán học và kiến trúc nơ-ron tiên tiến:

Mạng nơ-ron tích chập một chiều (1D-CNN) được ứng dụng để trích xuất các đặc trưng ngữ nghĩa cục bộ từ các cụm từ liền kề thông qua các bộ lọc có kích thước trượt linh hoạt.

Mạng nơ-ron hồi quy bộ nhớ ngắn-dài hai chiều (BiLSTM) đóng vai trò ghi nhận sự phụ thuộc ngữ cảnh dài hạn từ cả hai hướng quá khứ và tương lai của chuỗi văn bản, giải quyết triệt để hiện tượng suy giảm đạo hàm (Vanishing Gradient).

Mô hình vector hóa từ Word2Vec (kết hợp hai kỹ thuật CBOW và Skip-gram) chuyển đổi từ ngữ tự nhiên thành không gian vector ngữ nghĩa 300 chiều, được khởi tạo dựa trên kho dữ liệu Google News chứa hơn 100 tỷ từ và tinh chỉnh lại trên ngữ liệu thực tế.

Mô hình áp dụng hàm kích hoạt phi tuyến tính ReLU nhằm tăng tốc độ hội tụ, lớp chuẩn hóa Batch Normalization để ổn định phân phối trọng số, thuật toán tối ưu Adam với tốc độ học khởi tạo 0.0005, cùng hàm mất mát phân loại Categorical Cross-entropy kết hợp hàm Softmax tại tầng đầu ra.

Phương pháp nghiên cứu

Để bảo đảm tính khách quan và khả năng tổng quát hóa, phương pháp nghiên cứu được xây dựng bài bản qua hai giai đoạn:

Đầu tiên, mô hình được đánh giá trên 7 bộ dữ liệu benchmark quốc tế chuẩn mực do Xiang Zhang công bố, tiêu biểu như Yelp Review Polarity với 560.000 mẫu huấn luyện và Amazon Review Polarity với 3.600.000 mẫu huấn luyện.

Tiếp theo, nghiên cứu thu thập dữ liệu thực tế bằng crawler tự động, tổng hợp 15.000 bài nhận xét về điện thoại, laptop, máy tính bảng từ website thương mại điện tử thegioididong.com. Phương pháp chọn mẫu có chủ đích được áp dụng để trích xuất 1.000 mẫu đánh giá đại diện và tiến hành gán nhãn chi tiết theo 5 khía cạnh: Tổng quát, Thiết kế, Pin, Hiệu năng, và Chụp hình.

Lý do lựa chọn kiến trúc lai BiLSTM-CNN xuất phát từ đặc tính câu văn tiếng Việt trên môi trường mạng thường ngắn, phi cấu trúc và chứa nhiều từ lóng. Kiến trúc tích hợp gồm 11 lớp sâu cho phép BiLSTM mở rộng không gian đặc trưng ngữ cảnh lên 600 chiều trước khi 7 lớp 1D-CNN với 300 đến 500 bộ lọc trích xuất các đặc tính phân loại mạnh nhất. Tập dữ liệu thực tế được phân chia ngẫu nhiên theo tỷ lệ 90% dành cho huấn luyện (training) và 10% dành cho kiểm thử (testing), kết hợp kỹ thuật dừng sớm (Early Stopping) sau 5 chu kỳ nếu độ chính xác không cải thiện.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh hiệu năng ấn tượng của mô hình lai BiLSTM-CNN trên cả tập dữ liệu chuẩn mực và môi trường ứng dụng thực tế:

Thứ nhất, mô hình đạt độ chính xác vượt trội trên khía cạnh Thiết kế với 95% và khía cạnh Tổng quát với 91%. Điều này phản ánh khả năng phân biệt sắc thái biểu cảm rất rõ ràng của mô hình đối với các từ khóa miêu tả ngoại hình và sự hài lòng chung.

Thứ hai, ở các khía cạnh kỹ thuật chuyên sâu, mô hình ghi nhận độ chính xác 89% cho khía cạnh Chụp hình, 84% cho khía cạnh Pin và 79% cho khía cạnh Hiệu năng. Sự chênh lệch này do nhận xét về hiệu năng và thời lượng pin thường đi kèm các thông số kỹ thuật phức tạp và ngữ cảnh đa chiều (như hiện tượng máy nóng, sụt pin nhanh khi chơi game).

Thứ ba, trên tập dữ liệu chuẩn AG's News, mô hình 11 lớp đề xuất đạt tỷ lệ lỗi chỉ 7.2%, lọt vào nhóm 3 mô hình có hiệu suất xuất sắc nhất, cạnh tranh trực tiếp với các kiến trúc tích chập 29 lớp rất sâu (VDCNN) của Alexis Conneau nhưng có số lượng tham số ít hơn đáng kể.

Thứ tư, thống kê chi tiết trên 1.000 mẫu gán nhãn thực tế cho thấy tỷ lệ cảm xúc có sự phân hóa mạnh mẽ: khía cạnh Thiết kế có 386 phản hồi tích cực và chỉ 27 phản hồi tiêu cực; ngược lại, khía cạnh Hiệu năng ghi nhận tới 279 phản hồi tiêu cực trên 460 phản hồi tích cực, chỉ ra điểm nghẽn trải nghiệm người dùng lớn nhất của các dòng thiết bị công nghệ.

Thảo luận kết quả

Hiệu năng cao của mô hình bắt nguồn từ sự kết hợp chiến lược giữa lớp BiLSTM đầu vào và chuỗi khối tích chập nhiều tầng. Lớp BiLSTM giúp mã hóa toàn diện mối liên kết ngữ pháp của câu tiếng Việt, trong khi các khối 1D-CNN liên tiếp kết hợp với kỹ thuật Max-Pooling (kích thước cửa sổ 5, bước nhảy 2) đã loại bỏ hơn 50% dữ liệu nhiễu, giữ lại các đặc trưng cảm xúc cốt lõi.

Dữ liệu phân tích cảm xúc được trực quan hóa mạch lạc trên giao diện web thông qua biểu đồ tròn phân bổ tỷ lệ tích cực - tiêu cực và biểu đồ cột so sánh mức độ hài lòng giữa các dòng sản phẩm. Các bảng thống kê đa chiều giúp đội ngũ quản lý phát hiện ngay lập tức sản phẩm nào đang bị phàn nàn nhiều nhất về dung lượng pin hoặc chất lượng camera mà không cần đọc thủ công từng nhận xét.

So sánh với các nghiên cứu tiền nhiệm của Yoon Kim hay Xiang Zhang, mô hình đề xuất khắc phục được hiện tượng mất mát ngữ cảnh của CNN thuần túy và giảm tải áp lực tính toán so với các mạng hồi quy sâu, tạo ra sự cân bằng hoàn hảo giữa độ chính xác và tốc độ xử lý.

Đề xuất và khuyến nghị

Dựa trên những phát hiện định lượng vững chắc từ luận văn, bốn nhóm khuyến nghị hành động chiến lược được đề xuất cho các doanh nghiệp và tổ chức công nghệ:

Triển khai tích hợp microservice phân tích cảm xúc thời gian thực vào hệ thống chăm sóc khách hàng trực tuyến. Mục tiêu cắt giảm 60% thời gian phản hồi khiếu nại tiêu cực trong vòng 3 tháng đầu triển khai, do phòng Công nghệ thông tin và bộ phận Chăm sóc khách hàng phối hợp vận hành.

Tối ưu hóa chiến lược nhập hàng và kiểm định chất lượng sản phẩm công nghệ dựa trên các chỉ số cảnh báo về Pin và Hiệu năng. Đặt mục tiêu giảm 25% tỷ lệ đổi trả hàng công nghệ trong vòng 6 tháng bằng cách loại bỏ các model có tỷ lệ đánh giá tiêu cực vượt ngưỡng 20%, do phòng Thu mua và Quản lý chất lượng phụ trách.

Mở rộng quy mô kho ngữ liệu tiếng Việt chuyên ngành lên 50.000 đến 100.000 mẫu được gắn nhãn đa dạng trong lộ trình 12 tháng. Mục tiêu nâng độ chính xác của khía cạnh Hiệu năng từ 79% lên trên 88%, do nhóm nghiên cứu Khoa học dữ liệu chủ trì thực hiện.

Xây dựng hệ thống bảng điều khiển (Executive Dashboard) tự động hóa việc theo dõi chỉ số sức khỏe thương hiệu theo thời gian thực. Thiết lập cảnh báo tự động khi lượng đánh giá tiêu cực của một sản phẩm tăng đột biến quá 15% trong vòng 24 giờ, hoàn thành triển khai trong 2 tháng bởi đội ngũ Kỹ sư Hệ thống.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị học thuật và ứng dụng sâu sắc cho 4 nhóm đối tượng cụ thể:

Học viên cao học, nghiên cứu sinh và nhà nghiên cứu trong lĩnh vực Xử lý ngôn ngữ tự nhiên và Trí tuệ nhân tạo: Sử dụng tài liệu để tham khảo kiến trúc lai BiLSTM-CNN, phương pháp nhúng từ Word2Vec tiếng Việt và cách xử lý dữ liệu phi cấu trúc.

Chủ doanh nghiệp và giám đốc thương mại điện tử: Ứng dụng mô hình khai phá dữ liệu để tự động hóa việc theo dõi phản hồi người tiêu dùng trên hơn 15.000 mặt hàng, từ đó tối ưu hóa trải nghiệm khách hàng và gia tăng doanh số.

Kỹ sư phát triển phần mềm và kiến trúc sư hệ thống: Tham khảo mô hình kiến trúc vi dịch vụ (Microservice) sử dụng Flask làm cổng giao tiếp API, kết hợp cơ sở dữ liệu Oracle và framework Keras để đưa các mô hình học sâu vào môi trường sản xuất thực tế.

Chuyên viên tiếp thị và quản trị sản phẩm: Khai thác kết quả phân tích 5 khía cạnh sản phẩm độc lập nhằm định vị sản phẩm chính xác, phát hiện điểm yếu của đối thủ cạnh tranh và lập chiến dịch truyền thông nhắm đúng tâm lý khách hàng.

Câu hỏi thường gặp

Mô hình lai BiLSTM-CNN mang lại ưu thế gì vượt trội so với các mô hình học máy truyền thống? Mô hình kết hợp khả năng nắm bắt ngữ cảnh hai chiều dài hạn của BiLSTM với tốc độ trích xuất đặc trưng cục bộ nhanh của 7 lớp 1D-CNN. Nhờ đó, hệ thống đạt độ chính xác lên đến 95% ở khía cạnh thiết kế, khắc phục hiện tượng mất mát thông tin và không cần trích xuất đặc trưng thủ công như các phương pháp cũ.

Luận văn đã giải quyết bài toán tiền xử lý tiếng Việt trên sàn thương mại điện tử như thế nào? Quy trình tiền xử lý bao gồm loại bỏ ký tự phi alphabet, chuẩn hóa câu có độ dài từ 64 đến 150 từ bằng kỹ thuật padding, và sử dụng bộ từ điển 50.000 từ. Kỹ thuật Word2Vec 300 chiều giúp nhận diện chính xác các từ đồng nghĩa và từ ngữ viết tắt phổ biến của người dùng công nghệ tại Việt Nam.

Tại sao độ chính xác ở khía cạnh Hiệu năng chỉ đạt 79%, thấp hơn các khía cạnh khác? Khía cạnh hiệu năng chứa nhiều thuật ngữ công nghệ phức tạp và cách diễn đạt gián tiếp như độ trễ, tụt khung hình hoặc xung đột phần mềm. Trong 1.000 mẫu kiểm thử có tới 279 bình luận tiêu cực với sắc thái câu đa nghĩa, đòi hỏi lượng dữ liệu huấn luyện lớn hơn để mô hình học sâu hơn.

Hệ thống crawler và phân tích cảm xúc có khả năng mở rộng quy mô lớn không? Hệ thống được thiết kế theo kiến trúc Microservice với Flask API kết nối cơ sở dữ liệu Oracle, cho phép xử lý dữ liệu song song và định kỳ tự động crawl. Trong thực nghiệm, hệ sinh thái này đã tiếp nhận và phân loại trơn tru 15.000 bài nhận xét với tốc độ phản hồi tính bằng mili-giây.

Doanh nghiệp cần chuẩn bị hạ tầng phần cứng như thế nào để triển khai mô hình này? Quá trình huấn luyện mô hình 11 lớp chỉ mất khoảng 20 giờ trên chip đồ họa tầm trung như GTX 1060 với 50 chu kỳ huấn luyện và kích thước mini-batch 128. Khi đưa vào vận hành thực tế (inference), hệ thống có thể chạy ổn định trên các máy chủ đám mây tiêu chuẩn với chi phí vận hành rất tiết kiệm.

Kết luận

Những đóng góp then chốt và giá trị đọng lại từ công trình nghiên cứu bao gồm:

• Thiết kế thành công kiến trúc học sâu 11 lớp kết hợp BiLSTM và 1D-CNN, mang lại độ chính xác phân loại cảm xúc trung bình đạt trên 87.6% trên dữ liệu thực tế.
• Xây dựng bộ ngữ liệu thực nghiệm chuẩn hóa gồm 15.000 đánh giá sản phẩm công nghệ từ Thế Giới Di Động với 1.000 mẫu gán nhãn chi tiết theo 5 khía cạnh.
• Chứng minh tính hiệu quả vượt bậc của mô hình trên 7 tập dữ liệu benchmark quốc tế, đạt tỷ lệ lỗi thấp 7.2% trên tập AG's News.
• Hoàn thiện hệ thống ứng dụng khép kín từ khâu crawler dữ liệu tự động, xử lý backend microservice đến bảng điều khiển trực quan hóa trên website.
• Mở ra hướng nghiên cứu tiếp theo trong lộ trình 12–24 tháng tới nhằm tích hợp các kiến trúc Transformer và mô hình ngôn ngữ lớn để phân tích ngữ cảnh phức tạp hơn.

Luận văn thạc sĩ của tác giả Tô Văn Duy là tài liệu tham khảo mẫu mực cho những ai đang tìm kiếm giải pháp ứng dụng trí tuệ nhân tạo vào tự động hóa phân tích dữ liệu kinh doanh số. Hãy liên hệ và nghiên cứu toàn văn công trình để khai phá tiềm năng to lớn của học sâu trong phân tích dữ liệu thị trường!

Trích đoạn nội dung tài liệu

Chương 1 Giới thiệu chung về nội dung của đề tài và tổng quan về báo cáo. Chương 2 Tôi sẽ trình bày về các lý thuyết nền tảng cần có để giải quyết bài toán phân tích cảm xúc. Trong chương này tôi trình bày các kiến thức căn bản của Deep Learning, thế nào là Artificial Neural Network (mạng nơron nhân tạo - ANN), cách thức hoạt động và ưu nhươc điểm của nó. Theo sau đó là biến thể phức tạp hơn của ANN là CNN (Convolutional Neural Network - Mạng neron tích chập) và LSTM (Long Short Term Memory – mạng nơ-ron hồi quy bộ nhớ ngắn-dài).

Ngoài ra trong phần này còn trình bày một phương pháp chuyển đổi từ một từ sang một vector được sử dụng phổ biến trong các mô hình xử lý ngôn ngữ tự nhiên là word2vec. Đây là một trong những chương quan trọng nhất trong báo cáo này. Chương 3 Một số công trình liên quan nổi tiếng về phân tích cảm xúc trong văn bản ứng dụng kỹ thuật Deep Learning sẽ được trình bày trong chương này. Chương 4 Trong chương này tôi trình bày về một mô hình mà tôi đề xuất.

Thực hiện thí nghiệm đánh giá mô hình này trên nhiều tập dữ liệu và đạt được kết quả khá tốt so với các phương pháp hiện đại khác. Trực quan hóa lên website. Chương 5 Tôi sẽ giới thiệu các công nghệ được tôi sử dụng để hoàn thành đề tài này bao gồm các ngôn ngữ lập trình, các framework, library và các công cụ liên quan. Chương 6 Tổng kết và nêu ra những điểm còn tồn tại của đề tài cũng như hướng cải tiến trong tương lai.1: Tổng quan các chương của báo cáo 9 Chương 2.

Kiến thức nền tảng 2.1 Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) 2.1 Giới thiệu Mạng nơ-ron nhân tạo hay thường được gọi ngắn gọn là mạng nơ-ron được giới thiệu năm 1943 bởi Warren McCulloch và Walter Pits là một mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các nơ-ron được gắn kết để xử lý thông tin. Trong mạng nơ-ron nhân tạo, mỗi nơ-ron là một đơn vị tính toán có đầu vào và đầu ra là các đại lượng vô hướng. Mỗi đầu vào có một trọng số tương ứng với nó. Nơ-ron nhân mỗi đầu vào của nó với trọng số tương ứng, cộng tất cả đầu vào lại, áp dụng một hàm phi tuyến tính để cho ra kết quả ở đầu ra.

Các nơ-ron được kết nối với nhau, thành lập một mạng lưới: đầu ra của nơ-ron này có thể được truyền cho đầu vào của một hay nhiều nơ- ron khác. Nếu các trọng số được thiết lập chính xác, một mạng nơ-ron có thể tính toán xấp xỉ nhiều hàm toán học phức tạp.1: Mạng nơ-ron nhân tạo với 2 lớp ẩn Kiến trúc chung của một ANN gồm 3 thành phần đó là đầu vào (input layer), tầng ẩn (hidden layer) và đầu ra (output layer). Trong hình 1, minh họa một mạng nơ-ron cơ bản với 2 tầng ẩn. Mỗi vòng tròn là một nơ-ron, các mũi tên đi vào là các đầu vào và các mũi tên đi ra là các kết quả đầu ra của nơ-ron đó.

Các nơ-ron được sắp xếp thành các tầng, biểu diễn luồng thông tin đi qua mạng. Tầng dưới cùng không có bất kỳ mũi tên đi vào, và là đầu vào của mạng. Tương tự, tầng trên cùng không có bất kỳ mũi tên đi ra, và là đầu ra của mạng. Các tầng khác được gọi là tầng "ẩn".

Ký hiệu ∫ bên trong các nơ-ron biểu diễn hàm phi tuyến tính (hàm kích hoạt) sigmoid = (1/(1 + e−x)) được áp dụng vào giá trị 10 của nơ-ron trước khi cho ra đầu ra. Mỗi nơ-ron đều kết nối tới tất cả các nơ-ron ở tầng tiếp theo - vì vậy nên được gọi là tầng "kết nối đầy đủ". Giá trị của mỗi tầng trong mạng nơ-ron có thể được xem là một vector. Trong hình 1, tầng đầu vào là một vector 4 chiều (x), và tầng trên nó là một vector 6 chiều (h1).

Tầng fully-connected có thể được xem là một phép biến đổi tuyến tính một vector từ 4 chiều thành 6 chiều. Một tầng fully-connected hiện thực một phép nhân ma trận: h = xW, trong đó trọng số của kết nối từ nơ-ron thứ i của tầng trước nó tới nơ-ron thứ j của nó là Wij. Giá trị của h sau đó được biến đổi bằng một hàm phi tuyến tính g và truyền cho tầng tiếp theo.2 Cơ sở toán học Mạng nơ-ron đơn giản nhất là perceptron, chỉ bao gồm một hàm tuyến tính của đầu vào: 𝑁𝑁𝑃𝑒𝑟𝑐𝑒𝑝𝑡𝑟𝑜𝑛 (𝑥) = 𝑥𝑊 + 𝑏 𝑥 ∈ 𝑅𝑑𝑖𝑛 , 𝑊 ∈ 𝑅𝑑𝑖𝑛×𝑑𝑜𝑢𝑡 , 𝑏 ∈ 𝑅𝑑𝑜𝑢𝑡 W là ma trận trọng số, và b là bias. Để loại bỏ tính chất tuyến tính, một tầng "ẩn" phi tuyến tính được tạo ra đó gọi là Multi Layer Perceptron (MLP) (trong hình 1 có 2 tầng như vậy).

Một mạng nơ-ron một tầng có dạng: 𝑁𝑁𝑀𝐿𝑃1 = 𝑔(𝑥𝑊 1 + 𝑏1 )𝑊 2 + 𝑏2 𝑥 ∈ 𝑅𝑑𝑖𝑛 , 𝑊 1 ∈ 𝑅 𝑑𝑖𝑛×𝑑1 , ∈ 𝑅 𝑑𝑜𝑢𝑡 Trong công thức trên, xW1 + b1 thể hiện sự biến đổi tuyến tính từ đầu vào x từ không gian din chiều sang không gian d1 chiều. g được áp dụng trên mỗi chiều trong d1 chiều và ma trận W2 cùng với bias b2 được sử dụng để biến đổi kết quả thành vector có d2 chiều. Hàm phi tuyến tính g có vai trò hết sức quan trọng trong mạng để biểu diễn những hàm phức tạp. Nếu không có hàm g, mạng nơ-ron chỉ có thể biểu diễn sự biến đổi tuyến tính của đầu vào.

Chúng ta cũng có thể kết hợp giữa biến đổi tuyến tính và biến đổi phi tuyến tính, kết quả là một MLP 2 tầng (mạng ở hình 1 thuộc dạng này): 𝑁𝑁𝑀𝐿𝑃2 = (𝑔2 (𝑔1 (𝑥𝑊 1 + 𝑏1 )𝑊 2 + 𝑏2 ))𝑊 3 Công thức trên có thể được viết lại rõ ràng hơn bằng cách sử dụng các biến trung gian: 𝑁𝑁𝑀𝐿𝑃2 = 𝑦 ℎ1 = 𝑔1 (𝑥𝑊 1 + 𝑏1 ) ℎ2 = 𝑔2 (ℎ1 𝑊 2 + 𝑏2 ) 𝑦 = ℎ2 𝑊 3 11 Các vector có được từ kết quả của các phép biến đổi tuyến tính được gọi là một tầng. Kết quả của phép biến đổi ở ngoài cùng được gọi là tầng đầu ra và kết quả của các phép biến đổi còn lại được gọi là tầng "ẩn" (hidden). Mỗi tầng "ẩn" đều có một activation phi tuyến tính theo sau. Trong một số trường hợp, ví dụ như tầng cuối cùng của mạng ở hình 1, vector bias bị gán bằng 0.

Các tầng có được từ kết quả của phép biến đổi tuyến tính còn được gọi là kết nối đầy đủ (fully-connected) hoặc affine. Khi mô tả một mạng nơ-ron phải nêu rõ chiều của các tầng lẫn đầu vào của nó. Một tầng luôn nhận một vector din chiều làm đầu vào, và biến đổi nó thành vector có dout chiều. Chiều của một tầng được quy ước bằng với chiều đầu ra của tầng đó.

Với một tầng kết nối đẩy đủ l(x) = xW + b với đầu vào và đầu ra có chiều lần lượt là din và dout thì chiều của x là 1 × din, của W là din × dout và của b là 1 × dout. Đầu ra của mạng nơ-ron là một vector có dout chiều. Trong trường hợp dout = 1, đầu ra của mạng là một đại lượng vô hướng. Những mạng như thế thường được dùng để hồi quy bằng giá trị của đầu ra, hoặc là phân loại nhị phân bằng dấu của đầu ra.

Còn các mạng có dout = k > 1 có thể được dùng để phân loại với k lớp, bằng cách gán mỗi chiều cho một lớp rồi tìm chiều với giá trị lớn nhất. Tương tự, nếu vector đầu ra có tất cả các phần tử là dương và tổng của chúng bằng 1 thì nó có thể xem là sự phân bố xác suất trên các lớp (đầu ra có dạng này là kết quả của việc áp dụng biến đổi softmax ở tầng đầu ra, sẽ được nói đến ở phần sau). Các ma trận và bias sử dụng trong các phép biến đổi tuyến tính gọi là các tham số của mạng. Tập hợp tất cả các tham số thường được ký hiệu là θ.

Các tham số được kết hợp với đầu vào để xác định đầu ra của mạng. Các giải thuật huấn luyện có nhiệm vụ chọn các giá trị của tham số sao cho kết quả tiên đoán của mạng là chính xác. Trong nhiều trường hợp, vector kết quả của tầng đầu ra cũng bị biến đổi. Một biến đổi thường được sử dụng là softmax: 𝑒 𝑥𝑖 𝑆𝑜𝑓𝑡𝑚𝑎𝑥 (𝑥𝑖 ) = 𝐾 , 𝑖 = 1, … , 𝑘.

∑𝑘=1 𝑒 𝑥𝑘 Kết quả là một vector chứa các số nguyên dương có tổng là 1, thể hiện phân bố xác suất rời rạc trên k kết quả có thể xảy ra. Biến đổi softmax thường được sử dụng khi chúng ta muốn mô hình một sự phân bố xác xuất trên tập các kết quả có thể xảy ra. Để đạt hiệu quả, nó thường được sử dụng kết hợp với một mục tiêu huấn luyện dạng xác suất (probabilistic training objective) như là cross-entropy. Khi biến đổi softmax được áp dụng cho đầu ra của mạng mà không có tầng ẩn nào, kết quả của nó là mô hình hồi quy logistic đa thức nổi tiếng, hay còn được gọi là bộ phân loại maximum-entropy.3 Các hàm kích hoạt thường dùng Có rất nhiều dạng hàm phi tuyến tính có thể sử dụng cho các tầng ẩn.

Hiện tại không có lý thuyết nào về việc sử dụng hàm phi tuyến tính nào trong trường hợp nào, và cách chọn hàm phi tuyến tính thích hợp cho một tác vụ cụ thể trong thực nghiệm. Trong số các hàm phi tuyến tính, các hàm sau được sử dụng nhiều nhất: sigmoid, tanh, hard tanh, và rectified linear unit (ReLU). 12 • Tanh 𝑒 2𝑥 −1 Hàm tanh có công thức tanh(𝑥) = 2𝑥 , nó có dạng chữ S, biến đổi giá trị x vào 𝑒 +1 miền [-1, 1].2: Đồ thị của hàm tanh • Hard tanh Hàm hard tanh là một biến thể của hàm tanh để đơn giản hóa việc tính toán và dễ dàng để đạo hàm hơn: −1 𝑥 < −1 ℎ𝑎𝑟𝑑𝑡𝑎𝑛ℎ(𝑥) = { 1 𝑥 > 1 𝑥 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 Hình 2.3: Đồ thị của hàm hard tanh • Sigmoid 1 Hàm sigmoid có công thức 𝜎(𝑥) = , nó có dạng chữ S, biến đổi giá trị x vào 1+𝑒 −𝑥 miền [0, 1].4: Đồ thị của hàm sigmoid 13 • ReLU Hàm ReLU[1], là một hàm phi tuyến tính đơn giản để sử dụng và cho kết quả rất tốt trong thực nghiệm. Hàm ReLU sẽ biến mỗi giá trị x < 0 thành 0.

Mặc dù đơn giản nhưng ReLU lại hiệu quả với nhiều tác vụ, đặc biệt là khi kết hợp với kỹ thuật dropout regularization.