Luận văn: Phân tích cảm xúc đánh giá chất lượng sản phẩm bằng mô hình học sâu

Chuyên khảo phân tích Phân tích cảm xúc để đánh giá chất lượng sản phẩm dựa trên nhận xét của người sử dụng mô hình học, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên

• Tác giả: Tô Văn Duy
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Trường Đại học Thủ Dầu Một
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Phân tích cảm xúc để đánh giá chất lượng sản phẩm dựa trên nhận xét của người dùng sử dụng mô hình học sâu
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2019
• Địa điểm: Bình Dương

Mục lục chi tiết

• Lời Cam Đoạn
• Lời Cảm Ơn
• Tóm tắt luận văn
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH SACH CÁC CỤM TỪ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG
• 1.1. Đặt vấn đề
• 1.2. Mục tiêu và phạm vi nghiên cứu
• 1.3. Tổng quan về báo cáo
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. MẠNG NƠ-RON NHÂN TẠO (ARTIFICIAL NEURAL NETWORK - ANN)
• 2.1.1. Giới thiệu
• 2.1.2. Cơ sở toán học
• 2.1.3. Các hàm kích hoạt thường dùng
• 2.1.4. Hàm chi phí mất mát
• 2.1.5. Các kĩ thuật xử lý với mạng nơ-ron
• 2.2. MẠNG NƠ-RON TÍCH CHẬP (CONVOLUTIONAL NEURAL NETWORK-CNN)
• 2.2.1. Các thành phần cấu trúc cơ bản trong mạng CNN
• 2.2.2. Lớp tích chập
• 2.2.3. Lớp kết nối đầy đủ (Fully-connected-FC)
• 2.2.4. Lớp tích chập đối với ma trận 1D
• 2.3. MẠNG NƠ-RON HỒI QUY BỘ NHỚ NGẮN DÀI (LONG SHORT TERM MEMORY- LSTM)
• 2.3.1. Cấu trúc bên trong mạng LSTM
• 2.4. MÔ HÌNH WORD2VEC
• 2.4.1. Khái niệm vector từ
• 2.4.2. Lý luận với vector từ
• 2.4.3. Huấn luyện vector từ
• 3. CHƯƠNG 3: CÁC CÔNG TRÌNH LIÊN QUAN
• 3.1. MÔ HÌNH CNN Ở CẤP ĐỘ KÍ TỰ ĐỂ PHÂN LOẠI VĂN BẢN CỦA XIANG ZHANG VÀ CỘNG SỰ
• 3.2. MÔ HÌNH CNN RẤT SÂU ĐỂ PHÂN LOẠI VĂN BẢN CỦA ALEXIS CONNEAU VÀ CÁC CỘNG SỰ
• 3.3. MÔ HÌNH CNN ĐỂ PHÂN LOẠI CÂU CỦA YOON KIM
• 4. CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT VÀ THỰC NGHIỆM
• 4.1. MÔ HÌNH ĐỀ XUẤT
• 4.1.1. Tạo sự liên kết thông tin giữa các từ
• 4.1.2. Trích xuất đặc trưng
• 4.1.3. Chọn ra các đặc trưng tốt nhất sau khi tích chập
• 4.2. ĐÁNH GIÁ THỰC NGHIỆM TRÊN TẬP DỮ LIỆU BENCHMARK
• 4.2.1. Tiền huấn luyện vector từ
• 4.2.2. Tập dữ liệu Benchmark thực nghiệm
• 4.2.3. Tiền xử lý dữ liệu thực nghiệm
• 4.2.4. Các thiết lập trong quá trình huấn luyên thực nghiệm
• 4.2.5. Kết quả thực nghiệm
• 4.3. ÁP DỤNG MÔ HÌNH VÀO TẬP DỮ LIỆU THỰC
• 4.3.1. Nguồn dữ liệu thực
• 4.3.2. Quá trình xử lý dữ liệu và trích xuất đặc trưng từng khía canh
• 4.3.3. Kết quả thực nghiệm trên tập dữ liệu thực
• 4.4. TRỰC QUAN LÊN HỆ THỐNG WEBSITE
• 4.4.1. Kiến trúc hệ thống tổng quát
• 4.4.2. Mô hình mạng nơ-ron
• 4.4.3. Hệ thống website thống kê
• 5. CHƯƠNG 5: CÔNG NGHỆ SỬ DỤNG
• 5.1. NGÔN NGỮ LẬP TRÌNH
• 5.2. CÁC FRAMEWORK VÀ LIBRARY
• 5.3. CÔNG CỤ VÀ THIẾT BỊ
• 6. CHƯƠNG 6: TỔNG KẾT
• 6.1. KẾT QUẢ ĐẠT ĐƯỢC
• 6.2. TỒN TẠI VÀ HẠN CHẾ
• 6.3. CẢI TIẾN TRONG TƯƠNG LAI

Tóm tắt

I. Khám Phá Phân Tích Cảm Xúc Bằng Học Sâu Hướng Dẫn Toàn Diện

Trong kỷ nguyên số, dữ liệu về đánh giá, nhận xét của người dùng trên các nền tảng thương mại điện tử và mạng xã hội đã bùng nổ, tạo ra một nguồn tài nguyên khổng lồ. Việc khai thác thông tin từ nguồn dữ liệu này để hiểu rõ thị trường và trải nghiệm khách hàng là một nhu cầu cấp thiết. Phân tích cảm xúc đánh giá sản phẩm bằng học sâu nổi lên như một giải pháp đột phá. Đây là một lĩnh vực thuộc xử lý ngôn ngữ tự nhiên (NLP), sử dụng các thuật toán deep learning để tự động xác định và phân loại cảm xúc (tích cực, tiêu cực, trung tính) trong văn bản. Khác với các phương pháp truyền thống tốn nhiều thời gian và nhân lực, học sâu cho phép xử lý dữ liệu quy mô lớn với độ chính xác cao, giúp doanh nghiệp nhanh chóng nắm bắt phản ứng của thị trường. Các mô hình mạng nơ-ron nhân tạo có khả năng học các biểu diễn phức tạp của ngôn ngữ, từ đó nhận diện được sắc thái, ẩn ý và cả những câu từ mỉa mai mà các phương pháp dựa trên từ khóa thường bỏ qua. Luận văn của tác giả Tô Văn Duy (2019) đã chứng minh hiệu quả của việc áp dụng mô hình học sâu, cụ thể là sự kết hợp giữa mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy bộ nhớ ngắn-dài (LSTM), để giải quyết bài toán này. Phương pháp này không chỉ giúp phân loại văn bản mà còn cho phép trích xuất các khía cạnh cụ thể của sản phẩm mà khách hàng đang quan tâm, cung cấp một cái nhìn đa chiều và sâu sắc về chất lượng sản phẩm.

1.1. Sentiment Analysis và Opinion Mining là gì

Sentiment Analysis, hay phân tích cảm xúc, là quá trình sử dụng xử lý ngôn ngữ tự nhiên, phân tích văn bản, và ngôn ngữ học tính toán để xác định và trích xuất thông tin chủ quan trong các tài liệu nguồn. Về cơ bản, nó nhằm mục đích xác định thái độ của người nói hoặc người viết đối với một chủ đề cụ thể hoặc cực tính theo ngữ cảnh của một tài liệu. Thuật ngữ liên quan chặt chẽ là Opinion Mining (khai phá ý kiến), tập trung vào việc thu thập và phân tích ý kiến của mọi người về các thực thể như sản phẩm, dịch vụ. Mục tiêu chính là xác định xem một đoạn văn bản thể hiện cảm xúc tích cực, tiêu cực hay trung tính. Với sự bùng nổ của đánh giá của khách hàng trên internet, các kỹ thuật này trở nên vô giá cho việc quản lý danh tiếng thương hiệu.

1.2. Vai trò của Deep Learning trong NLP tiếng Việt

Deep Learning đã tạo ra một cuộc cách mạng trong lĩnh vực NLP tiếng Việt. Ngôn ngữ tiếng Việt có những đặc thù riêng như thanh điệu, cấu trúc câu phức tạp và sự đa dạng trong cách diễn đạt, gây khó khăn cho các phương pháp NLP truyền thống. Các mô hình học sâu như mạng nơ-ron hồi quy (RNN), LSTM, hay các kiến trúc Transformer như mô hình BERT và PhoBERT có khả năng học các mối quan hệ ngữ nghĩa và cú pháp phức tạp từ một lượng lớn dữ liệu văn bản. Chúng không chỉ dựa vào từ khóa mà còn hiểu được ngữ cảnh của câu, giúp giải quyết các vấn đề như từ đồng âm khác nghĩa, câu từ mỉa mai. Điều này làm tăng đáng kể độ chính xác trong các tác vụ như phân loại văn bản và phân tích cảm xúc.

II. Thách Thức Khi Phân Tích Cảm Xúc Đánh Giá Sản Phẩm Tiếng Việt

Việc áp dụng phân tích cảm xúc đánh giá sản phẩm trong bối cảnh tiếng Việt phải đối mặt với nhiều thách thức đặc thù. Thứ nhất, bản chất của ngôn ngữ tiếng Việt rất phức tạp, với hệ thống thanh điệu, từ đồng âm, từ lóng và cách diễn đạt không chính thống trên mạng xã hội. Điều này đòi hỏi các mô hình NLP tiếng Việt phải có khả năng hiểu sâu sắc ngữ cảnh. Thứ hai, quá trình khai phá dữ liệu văn bản bản gặp khó khăn ở khâu chuẩn bị. Việc gán nhãn dữ liệu thủ công cho một tập dữ liệu lớn để huấn luyện mô hình học sâu là một công việc tốn kém thời gian và nguồn lực, đồng thời đòi hỏi sự nhất quán cao. Một thách thức khác là tiền xử lý dữ liệu. Các bình luận của người dùng thường chứa lỗi chính tả, từ viết tắt, biểu tượng cảm xúc và các ký tự đặc biệt. Việc làm sạch và chuẩn hóa dữ liệu này là một bước quan trọng nhưng phức tạp để đảm bảo chất lượng đầu vào cho mô hình. Các mô hình deep learning tuy mạnh mẽ nhưng cũng yêu cầu một lượng lớn dữ liệu đã được gán nhãn để đạt hiệu quả cao, đây là một rào cản lớn đối với nhiều dự án nghiên cứu và ứng dụng thực tế tại Việt Nam.

2.1. Khó khăn trong tiền xử lý dữ liệu và gán nhãn

Quá trình tiền xử lý dữ liệu cho văn bản tiếng Việt là một bước quan trọng và đầy thử thách. Dữ liệu thô từ các bình luận thường không có cấu trúc, chứa đầy lỗi chính tả, từ viết tắt (vd: "ko", "đc"), teencode, và biểu tượng cảm xúc. Việc chuẩn hóa các dạng biến thể này về một dạng duy nhất đòi hỏi các bộ quy tắc phức tạp hoặc các công cụ chuyên dụng như VnCoreNLP. Hơn nữa, quá trình gán nhãn dữ liệu là một узкий bottleneck. Để huấn luyện một mô hình text classification hiệu quả, cần có hàng ngàn, thậm chí hàng chục ngàn mẫu dữ liệu được gán nhãn chính xác (tích cực, tiêu cực, trung tính). Quá trình này không chỉ tốn thời gian mà còn có thể không nhất quán nếu có nhiều người tham gia gán nhãn.

2.2. Vấn đề về ngữ cảnh và sắc thái trong bình luận

Một trong những thách thức lớn nhất của sentiment analysis là hiểu đúng ngữ cảnh và sắc thái. Một từ có thể mang ý nghĩa tích cực trong ngữ cảnh này nhưng lại tiêu cực trong ngữ cảnh khác. Ví dụ, câu "Pin trâu thật" là tích cực, nhưng "Máy trâu thật, chậm rì" lại mang ý nghĩa tiêu cực. Các bình luận còn thường chứa các câu mỉa mai, châm biếm ("Sản phẩm tốt đến mức dùng một lần rồi bỏ"), đòi hỏi mô hình không chỉ nhận diện từ ngữ mà phải hiểu được ý định của người viết. Các mô hình học sâu, đặc biệt là các mô hình dựa trên sự chú ý (attention mechanism) như Transformer, có khả năng nắm bắt các mối quan hệ từ xa trong câu, giúp giải quyết phần nào vấn đề này và cải thiện đáng kể khả năng phân tích đánh giá của khách hàng.

III. Phương Pháp Xây Dựng Mô Hình Học Sâu Phân Tích Cảm Xúc Tối Ưu

Để xây dựng một mô hình phân tích cảm xúc đánh giá sản phẩm hiệu quả, cần tiếp cận một cách có hệ thống, bắt đầu từ việc biểu diễn văn bản đến lựa chọn kiến trúc mạng phù hợp. Bước nền tảng đầu tiên là word embedding, một kỹ thuật biến đổi các từ trong văn bản thành các vector số học. Kỹ thuật này giúp máy tính có thể xử lý và hiểu được mối quan hệ ngữ nghĩa giữa các từ. Một trong những phương pháp word embedding phổ biến nhất là Word2Vec, được đề cập trong luận văn của Tô Văn Duy. Sau khi có được biểu diễn vector, bước tiếp theo là lựa chọn kiến trúc mạng nơ-ron nhân tạo. Hai kiến trúc nổi bật thường được sử dụng cho bài toán phân loại văn bản là mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN), đặc biệt là biến thể LSTM. CNN có thế mạnh trong việc trích xuất đặc trưng cục bộ (ví dụ: các cụm từ gồm 2-3 từ mang ý nghĩa cảm xúc), trong khi LSTM lại vượt trội trong việc nắm bắt các phụ thuộc tuần tự và ngữ cảnh dài trong câu. Việc kết hợp hai kiến trúc này, như mô hình BiLSTM-CNN, thường mang lại hiệu quả vượt trội, tận dụng được thế mạnh của cả hai để tạo ra một mô hình phân tích mạnh mẽ và chính xác.

3.1. Kỹ thuật Word Embedding Biểu diễn từ thành vector

Word embedding là bước cốt lõi để các mô hình deep learning có thể làm việc với văn bản. Thay vì biểu diễn từ dưới dạng one-hot vector thưa thớt, các kỹ thuật như Word2Vec hay GloVe học cách biểu diễn mỗi từ bằng một vector dày đặc các số thực. Những vector này nắm bắt được các mối quan hệ ngữ nghĩa và cú pháp. Ví dụ, vector của từ "vua" trừ đi vector "đàn ông" cộng với vector "phụ nữ" sẽ cho ra một vector rất gần với vector của từ "nữ hoàng". Việc sử dụng các bộ vector từ được tiền huấn luyện (pre-trained) trên một kho dữ liệu lớn (ví dụ: Google News) có thể cải thiện đáng kể hiệu suất của mô hình, đặc biệt khi tập dữ liệu huấn luyện có giới hạn.

3.2. Mạng nơ ron tích chập CNN cho trích xuất đặc trưng

Mặc dù mạng nơ-ron tích chập (CNN) thường được biết đến trong lĩnh vực xử lý hình ảnh, chúng cũng cực kỳ hiệu quả trong NLP. Khi áp dụng cho văn bản, CNN sử dụng các bộ lọc (filter) với kích thước khác nhau (ví dụ: 2 từ, 3 từ, 4 từ) để trượt qua các câu. Mỗi bộ lọc học cách nhận diện một mẫu hoặc đặc trưng cụ thể, chẳng hạn như cụm từ "rất tốt" hoặc "thất vọng". Quá trình này cho phép mô hình trích xuất đặc trưng quan trọng bất kể vị trí của chúng trong câu. Sau lớp tích chập, một lớp gộp (pooling layer), thường là max-pooling, được sử dụng để chọn ra đặc trưng nổi bật nhất từ mỗi bộ lọc, giúp giảm chiều dữ liệu và làm cho mô hình trở nên mạnh mẽ hơn.

IV. Bí Quyết Kết Hợp BiLSTM CNN Để Phân Tích Cảm Xúc Hiệu Quả

Sự kết hợp giữa mạng nơ-ron hồi quy bộ nhớ ngắn-dài hai chiều (BiLSTM) và mạng nơ-ron tích chập (CNN) tạo ra một kiến trúc mạnh mẽ cho bài toán phân tích cảm xúc đánh giá sản phẩm. Mô hình này, được đề xuất trong nghiên cứu của Tô Văn Duy, tận dụng thế mạnh của cả hai loại mạng. Lớp BiLSTM được đặt ở đầu để xử lý chuỗi vector từ. Không giống như LSTM tiêu chuẩn chỉ xử lý thông tin theo một chiều (từ trái sang phải), BiLSTM xử lý theo cả hai chiều, cho phép mỗi từ trong câu học được ngữ cảnh từ cả các từ đứng trước và đứng sau nó. Điều này rất quan trọng để hiểu các mối quan hệ phức tạp và phụ thuộc dài trong câu. Đầu ra của lớp BiLSTM, là một biểu diễn giàu ngữ cảnh của câu, sau đó được đưa vào các lớp CNN. Tại đây, CNN hoạt động như một bộ trích xuất đặc trưng tinh vi, xác định các n-gram (cụm từ) quan trọng nhất mang sắc thái cảm xúc. Cuối cùng, các đặc trưng được tổng hợp và đưa qua các lớp kết nối đầy đủ (fully-connected) để thực hiện phân loại văn bản thành các nhãn cảm xúc. Kiến trúc lai này đã được chứng minh là đạt độ chính xác cao trên nhiều tập dữ liệu.

4.1. Vai trò của mạng LSTM và BiLSTM trong việc nắm bắt ngữ cảnh

Mạng nơ-ron hồi quy (RNN) được thiết kế để xử lý dữ liệu tuần tự, nhưng RNN truyền thống gặp vấn đề "vanishing gradient" khi xử lý các chuỗi dài. LSTM, một biến thể của RNN, giải quyết vấn đề này bằng cách sử dụng các cổng (gates) để kiểm soát luồng thông tin, cho phép nó ghi nhớ các phụ thuộc trong dài hạn. Trong khi đó, BiLSTM cải tiến hơn nữa bằng cách sử dụng hai mạng LSTM chạy song song: một theo chiều xuôi và một theo chiều ngược. Bằng cách này, biểu diễn của một từ tại một thời điểm nhất định sẽ chứa thông tin từ toàn bộ câu, giúp mô hình hiểu rõ ngữ cảnh hơn, điều mà sentiment analysis rất cần.

4.2. Cấu trúc mô hình lai BiLSTM CNN và quy trình hoạt động

Trong mô hình lai, đầu vào là một chuỗi các vector từ sau bước word embedding. Chuỗi này đầu tiên đi qua lớp BiLSTM. Đầu ra của BiLSTM là một ma trận, trong đó mỗi hàng là một biểu diễn vector mới của từ, đã được làm giàu thông tin ngữ cảnh. Ma trận này sau đó được xem như một "hình ảnh" 1D và được đưa vào các lớp mạng nơ-ron tích chập (CNN). Các bộ lọc CNN sẽ quét qua ma trận này để trích xuất đặc trưng cục bộ. Các đặc trưng này sau đó được tổng hợp, thường là qua một lớp max-pooling, và cuối cùng đưa vào một mạng nơ-ron kết nối đầy đủ để phân loại. Quy trình này kết hợp khả năng nắm bắt ngữ cảnh toàn cục của BiLSTM và khả năng trích xuất đặc trưng cục bộ mạnh mẽ của CNN.

V. Ứng Dụng Thực Tiễn Phân Tích Bình Luận Sản Phẩm Từ Dữ Liệu

Lý thuyết về phân tích cảm xúc đánh giá sản phẩm bằng học sâu đã được chứng minh hiệu quả qua các ứng dụng thực tiễn. Trong luận văn của mình, Tô Văn Duy đã xây dựng một hệ thống hoàn chỉnh để thu thập và phân tích dữ liệu. Hệ thống bắt đầu bằng một crawler tự động thu thập các đánh giá của khách hàng từ trang thương mại điện tử thegioididong.com. Dữ liệu thô sau đó được đưa qua quy trình tiền xử lý dữ liệu và chuyển đổi thành vector bằng kỹ thuật Word2Vec. Mô hình BiLSTM-CNN đã được huấn luyện trên tập dữ liệu đã gán nhãn, bao gồm các khía cạnh như "tổng quát", "thiết kế", "pin", "hiệu năng", và "chụp hình". Kết quả thực nghiệm cho thấy độ chính xác cao, ví dụ như 95% cho khía cạnh "thiết kế" và 91% cho khía cạnh "tổng quát". Những kết quả này không chỉ là những con số thống kê. Chúng được trực quan hóa trên một hệ thống website, cung cấp các báo cáo và biểu đồ chi tiết về mức độ hài lòng của khách hàng đối với từng sản phẩm. Điều này cho phép doanh nghiệp nhanh chóng xác định điểm mạnh, điểm yếu của sản phẩm, từ đó cải thiện trải nghiệm khách hàng và quản lý danh tiếng thương hiệu một cách hiệu quả.

5.1. Quy trình thu thập và xử lý dữ liệu đánh giá thực tế

Quy trình thực tiễn bắt đầu bằng việc xây dựng một crawler để tự động thu thập phân tích bình luận sản phẩm từ các nguồn mục tiêu. Sau khi thu thập, dữ liệu được làm sạch và chuẩn hóa trong bước tiền xử lý dữ liệu. Tiếp theo, dữ liệu được phân tách thành các tập huấn luyện, kiểm định và kiểm thử. Mô hình học sâu sau đó được huấn luyện trên tập huấn luyện bằng cách sử dụng các framework phổ biến như TensorFlow hoặc PyTorch. Quá trình huấn luyện bao gồm việc tinh chỉnh các siêu tham số (hyperparameters) như tốc độ học (learning rate), kích thước batch để đạt được hiệu suất tốt nhất trên tập kiểm định, đồng thời sử dụng các kỹ thuật như Dropout để tránh overfitting.

5.2. Kết quả đánh giá mô hình trên dữ liệu tiếng Việt

Kết quả thực nghiệm trên tập dữ liệu tiếng Việt từ thegioididong.com đã khẳng định tính khả thi của phương pháp. Mô hình BiLSTM-CNN không chỉ đạt độ chính xác cao trong việc phân loại cảm xúc chung mà còn có khả năng phân tích theo từng khía cạnh cụ thể. Ví dụ, một bình luận như "Máy thiết kế đẹp nhưng pin yếu quá" sẽ được xác định là tích cực về "thiết kế" nhưng tiêu cực về "pin". Khả năng phân tích chi tiết này cung cấp những insight vô cùng giá trị, giúp doanh nghiệp hiểu rõ hơn về nhu cầu và mong muốn của khách hàng, từ đó đưa ra các quyết định kinh doanh và phát triển sản phẩm sáng suốt hơn, trực tiếp cải thiện trải nghiệm khách hàng.

VI. Tương Lai Phân Tích Cảm Xúc BERT Và Quản Lý Thương Hiệu 4

Lĩnh vực phân tích cảm xúc đang tiếp tục phát triển với sự ra đời của các kiến trúc Transformer tiên tiến. Mô hình BERT (Bidirectional Encoder Representations from Transformers) của Google và các biến thể dành riêng cho tiếng Việt như PhoBERT của VinAI Research đã tạo ra một bước nhảy vọt về hiệu suất trong các tác vụ NLP tiếng Việt. Khác với LSTM hay CNN, các mô hình này được tiền huấn luyện trên một kho dữ liệu văn bản khổng lồ, giúp chúng học được một sự hiểu biết sâu sắc về ngôn ngữ. Khi được tinh chỉnh (fine-tuning) cho bài toán sentiment analysis, chúng thường đạt được kết quả vượt trội so với các kiến trúc trước đó. Các thư viện mã nguồn mở như Hugging Face Transformers đã giúp việc tiếp cận và sử dụng các mô hình phức tạp này trở nên dễ dàng hơn bao giờ hết. Trong tương lai, việc tích hợp các mô hình này vào quy trình kinh doanh sẽ giúp tự động hóa hoàn toàn việc quản lý danh tiếng thương hiệu. Doanh nghiệp có thể theo dõi ý kiến của khách hàng theo thời gian thực, tự động phản hồi các khiếu nại, và thậm chí dự đoán các xu hướng cảm xúc của thị trường, mở ra một kỷ nguyên mới cho việc quản trị dựa trên dữ liệu.

6.1. Giới thiệu mô hình BERT PhoBERT và Hugging Face

Mô hình BERT là một cột mốc trong lịch sử xử lý ngôn ngữ tự nhiên. Nó sử dụng cơ chế chú ý (attention) để xem xét ngữ cảnh của một từ từ cả hai phía, cho phép nó tạo ra các biểu diễn từ phụ thuộc vào ngữ cảnh (contextualized embeddings). PhoBERT là phiên bản của BERT được tiền huấn luyện trên một tập dữ liệu tiếng Việt lớn (120GB), giúp nó có khả năng hiểu sâu sắc các đặc thù của ngôn ngữ Việt. Hugging Face Transformers là một thư viện cung cấp hàng ngàn mô hình tiền huấn luyện, bao gồm cả BERT và PhoBERT, giúp các nhà phát triển dễ dàng tích hợp và tinh chỉnh chúng cho các tác vụ cụ thể như text classification mà không cần phải huấn luyện từ đầu.

6.2. Ứng dụng trong quản lý danh tiếng và trải nghiệm khách hàng

Trong tương lai, phân tích cảm xúc bằng học sâu sẽ là công cụ không thể thiếu trong quản lý danh tiếng thương hiệu. Các hệ thống tự động có thể quét mạng xã hội và các diễn đàn để phát hiện sớm các khủng hoảng truyền thông tiềm tàng. Bằng cách phân tích đánh giá của khách hàng theo thời gian thực, các công ty có thể nhanh chóng xác định các vấn đề về sản phẩm hoặc dịch vụ và chủ động khắc phục. Hơn nữa, việc phân tích cảm xúc còn giúp cá nhân hóa trải nghiệm khách hàng, ví dụ như đề xuất sản phẩm dựa trên sở thích thể hiện qua các bình luận, hoặc ưu tiên hỗ trợ những khách hàng đang có trải nghiệm tiêu cực. Đây là chìa khóa để xây dựng lòng trung thành và duy trì lợi thế cạnh tranh trong thị trường hiện đại.

Trích đoạn nội dung tài liệu

Chương 1 Giới thiệu chung về nội dung của đề tài và tổng quan về báo cáo. Chương 2 Tôi sẽ trình bày về các lý thuyết nền tảng cần có để giải quyết bài toán phân tích cảm xúc. Trong chương này tôi trình bày các kiến thức căn bản của Deep Learning, thế nào là Artificial Neural Network (mạng nơron nhân tạo - ANN), cách thức hoạt động và ưu nhươc điểm của nó. Theo sau đó là biến thể phức tạp hơn của ANN là CNN (Convolutional Neural Network - Mạng neron tích chập) và LSTM (Long Short Term Memory – mạng nơ-ron hồi quy bộ nhớ ngắn-dài).

Ngoài ra trong phần này còn trình bày một phương pháp chuyển đổi từ một từ sang một vector được sử dụng phổ biến trong các mô hình xử lý ngôn ngữ tự nhiên là word2vec. Đây là một trong những chương quan trọng nhất trong báo cáo này. Chương 3 Một số công trình liên quan nổi tiếng về phân tích cảm xúc trong văn bản ứng dụng kỹ thuật Deep Learning sẽ được trình bày trong chương này. Chương 4 Trong chương này tôi trình bày về một mô hình mà tôi đề xuất.

Thực hiện thí nghiệm đánh giá mô hình này trên nhiều tập dữ liệu và đạt được kết quả khá tốt so với các phương pháp hiện đại khác. Trực quan hóa lên website. Chương 5 Tôi sẽ giới thiệu các công nghệ được tôi sử dụng để hoàn thành đề tài này bao gồm các ngôn ngữ lập trình, các framework, library và các công cụ liên quan. Chương 6 Tổng kết và nêu ra những điểm còn tồn tại của đề tài cũng như hướng cải tiến trong tương lai.1: Tổng quan các chương của báo cáo 9 Chương 2.

Kiến thức nền tảng 2.1 Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) 2.1 Giới thiệu Mạng nơ-ron nhân tạo hay thường được gọi ngắn gọn là mạng nơ-ron được giới thiệu năm 1943 bởi Warren McCulloch và Walter Pits là một mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các nơ-ron được gắn kết để xử lý thông tin. Trong mạng nơ-ron nhân tạo, mỗi nơ-ron là một đơn vị tính toán có đầu vào và đầu ra là các đại lượng vô hướng. Mỗi đầu vào có một trọng số tương ứng với nó. Nơ-ron nhân mỗi đầu vào của nó với trọng số tương ứng, cộng tất cả đầu vào lại, áp dụng một hàm phi tuyến tính để cho ra kết quả ở đầu ra.

Các nơ-ron được kết nối với nhau, thành lập một mạng lưới: đầu ra của nơ-ron này có thể được truyền cho đầu vào của một hay nhiều nơ- ron khác. Nếu các trọng số được thiết lập chính xác, một mạng nơ-ron có thể tính toán xấp xỉ nhiều hàm toán học phức tạp.1: Mạng nơ-ron nhân tạo với 2 lớp ẩn Kiến trúc chung của một ANN gồm 3 thành phần đó là đầu vào (input layer), tầng ẩn (hidden layer) và đầu ra (output layer). Trong hình 1, minh họa một mạng nơ-ron cơ bản với 2 tầng ẩn. Mỗi vòng tròn là một nơ-ron, các mũi tên đi vào là các đầu vào và các mũi tên đi ra là các kết quả đầu ra của nơ-ron đó.

Các nơ-ron được sắp xếp thành các tầng, biểu diễn luồng thông tin đi qua mạng. Tầng dưới cùng không có bất kỳ mũi tên đi vào, và là đầu vào của mạng. Tương tự, tầng trên cùng không có bất kỳ mũi tên đi ra, và là đầu ra của mạng. Các tầng khác được gọi là tầng "ẩn".

Ký hiệu ∫ bên trong các nơ-ron biểu diễn hàm phi tuyến tính (hàm kích hoạt) sigmoid = (1/(1 + e−x)) được áp dụng vào giá trị 10 của nơ-ron trước khi cho ra đầu ra. Mỗi nơ-ron đều kết nối tới tất cả các nơ-ron ở tầng tiếp theo - vì vậy nên được gọi là tầng "kết nối đầy đủ". Giá trị của mỗi tầng trong mạng nơ-ron có thể được xem là một vector. Trong hình 1, tầng đầu vào là một vector 4 chiều (x), và tầng trên nó là một vector 6 chiều (h1).

Tầng fully-connected có thể được xem là một phép biến đổi tuyến tính một vector từ 4 chiều thành 6 chiều. Một tầng fully-connected hiện thực một phép nhân ma trận: h = xW, trong đó trọng số của kết nối từ nơ-ron thứ i của tầng trước nó tới nơ-ron thứ j của nó là Wij. Giá trị của h sau đó được biến đổi bằng một hàm phi tuyến tính g và truyền cho tầng tiếp theo.2 Cơ sở toán học Mạng nơ-ron đơn giản nhất là perceptron, chỉ bao gồm một hàm tuyến tính của đầu vào: 𝑁𝑁𝑃𝑒𝑟𝑐𝑒𝑝𝑡𝑟𝑜𝑛 (𝑥) = 𝑥𝑊 + 𝑏 𝑥 ∈ 𝑅𝑑𝑖𝑛 , 𝑊 ∈ 𝑅𝑑𝑖𝑛×𝑑𝑜𝑢𝑡 , 𝑏 ∈ 𝑅𝑑𝑜𝑢𝑡 W là ma trận trọng số, và b là bias. Để loại bỏ tính chất tuyến tính, một tầng "ẩn" phi tuyến tính được tạo ra đó gọi là Multi Layer Perceptron (MLP) (trong hình 1 có 2 tầng như vậy).

Một mạng nơ-ron một tầng có dạng: 𝑁𝑁𝑀𝐿𝑃1 = 𝑔(𝑥𝑊 1 + 𝑏1 )𝑊 2 + 𝑏2 𝑥 ∈ 𝑅𝑑𝑖𝑛 , 𝑊 1 ∈ 𝑅 𝑑𝑖𝑛×𝑑1 , ∈ 𝑅 𝑑𝑜𝑢𝑡 Trong công thức trên, xW1 + b1 thể hiện sự biến đổi tuyến tính từ đầu vào x từ không gian din chiều sang không gian d1 chiều. g được áp dụng trên mỗi chiều trong d1 chiều và ma trận W2 cùng với bias b2 được sử dụng để biến đổi kết quả thành vector có d2 chiều. Hàm phi tuyến tính g có vai trò hết sức quan trọng trong mạng để biểu diễn những hàm phức tạp. Nếu không có hàm g, mạng nơ-ron chỉ có thể biểu diễn sự biến đổi tuyến tính của đầu vào.

Chúng ta cũng có thể kết hợp giữa biến đổi tuyến tính và biến đổi phi tuyến tính, kết quả là một MLP 2 tầng (mạng ở hình 1 thuộc dạng này): 𝑁𝑁𝑀𝐿𝑃2 = (𝑔2 (𝑔1 (𝑥𝑊 1 + 𝑏1 )𝑊 2 + 𝑏2 ))𝑊 3 Công thức trên có thể được viết lại rõ ràng hơn bằng cách sử dụng các biến trung gian: 𝑁𝑁𝑀𝐿𝑃2 = 𝑦 ℎ1 = 𝑔1 (𝑥𝑊 1 + 𝑏1 ) ℎ2 = 𝑔2 (ℎ1 𝑊 2 + 𝑏2 ) 𝑦 = ℎ2 𝑊 3 11 Các vector có được từ kết quả của các phép biến đổi tuyến tính được gọi là một tầng. Kết quả của phép biến đổi ở ngoài cùng được gọi là tầng đầu ra và kết quả của các phép biến đổi còn lại được gọi là tầng "ẩn" (hidden). Mỗi tầng "ẩn" đều có một activation phi tuyến tính theo sau. Trong một số trường hợp, ví dụ như tầng cuối cùng của mạng ở hình 1, vector bias bị gán bằng 0.

Các tầng có được từ kết quả của phép biến đổi tuyến tính còn được gọi là kết nối đầy đủ (fully-connected) hoặc affine. Khi mô tả một mạng nơ-ron phải nêu rõ chiều của các tầng lẫn đầu vào của nó. Một tầng luôn nhận một vector din chiều làm đầu vào, và biến đổi nó thành vector có dout chiều. Chiều của một tầng được quy ước bằng với chiều đầu ra của tầng đó.

Với một tầng kết nối đẩy đủ l(x) = xW + b với đầu vào và đầu ra có chiều lần lượt là din và dout thì chiều của x là 1 × din, của W là din × dout và của b là 1 × dout. Đầu ra của mạng nơ-ron là một vector có dout chiều. Trong trường hợp dout = 1, đầu ra của mạng là một đại lượng vô hướng. Những mạng như thế thường được dùng để hồi quy bằng giá trị của đầu ra, hoặc là phân loại nhị phân bằng dấu của đầu ra.

Còn các mạng có dout = k > 1 có thể được dùng để phân loại với k lớp, bằng cách gán mỗi chiều cho một lớp rồi tìm chiều với giá trị lớn nhất. Tương tự, nếu vector đầu ra có tất cả các phần tử là dương và tổng của chúng bằng 1 thì nó có thể xem là sự phân bố xác suất trên các lớp (đầu ra có dạng này là kết quả của việc áp dụng biến đổi softmax ở tầng đầu ra, sẽ được nói đến ở phần sau). Các ma trận và bias sử dụng trong các phép biến đổi tuyến tính gọi là các tham số của mạng. Tập hợp tất cả các tham số thường được ký hiệu là θ.

Các tham số được kết hợp với đầu vào để xác định đầu ra của mạng. Các giải thuật huấn luyện có nhiệm vụ chọn các giá trị của tham số sao cho kết quả tiên đoán của mạng là chính xác. Trong nhiều trường hợp, vector kết quả của tầng đầu ra cũng bị biến đổi. Một biến đổi thường được sử dụng là softmax: 𝑒 𝑥𝑖 𝑆𝑜𝑓𝑡𝑚𝑎𝑥 (𝑥𝑖 ) = 𝐾 , 𝑖 = 1, … , 𝑘.

∑𝑘=1 𝑒 𝑥𝑘 Kết quả là một vector chứa các số nguyên dương có tổng là 1, thể hiện phân bố xác suất rời rạc trên k kết quả có thể xảy ra. Biến đổi softmax thường được sử dụng khi chúng ta muốn mô hình một sự phân bố xác xuất trên tập các kết quả có thể xảy ra. Để đạt hiệu quả, nó thường được sử dụng kết hợp với một mục tiêu huấn luyện dạng xác suất (probabilistic training objective) như là cross-entropy. Khi biến đổi softmax được áp dụng cho đầu ra của mạng mà không có tầng ẩn nào, kết quả của nó là mô hình hồi quy logistic đa thức nổi tiếng, hay còn được gọi là bộ phân loại maximum-entropy.3 Các hàm kích hoạt thường dùng Có rất nhiều dạng hàm phi tuyến tính có thể sử dụng cho các tầng ẩn.

Hiện tại không có lý thuyết nào về việc sử dụng hàm phi tuyến tính nào trong trường hợp nào, và cách chọn hàm phi tuyến tính thích hợp cho một tác vụ cụ thể trong thực nghiệm. Trong số các hàm phi tuyến tính, các hàm sau được sử dụng nhiều nhất: sigmoid, tanh, hard tanh, và rectified linear unit (ReLU). 12 • Tanh 𝑒 2𝑥 −1 Hàm tanh có công thức tanh(𝑥) = 2𝑥 , nó có dạng chữ S, biến đổi giá trị x vào 𝑒 +1 miền [-1, 1].2: Đồ thị của hàm tanh • Hard tanh Hàm hard tanh là một biến thể của hàm tanh để đơn giản hóa việc tính toán và dễ dàng để đạo hàm hơn: −1 𝑥 < −1 ℎ𝑎𝑟𝑑𝑡𝑎𝑛ℎ(𝑥) = { 1 𝑥 > 1 𝑥 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 Hình 2.3: Đồ thị của hàm hard tanh • Sigmoid 1 Hàm sigmoid có công thức 𝜎(𝑥) = , nó có dạng chữ S, biến đổi giá trị x vào 1+𝑒 −𝑥 miền [0, 1].4: Đồ thị của hàm sigmoid 13 • ReLU Hàm ReLU[1], là một hàm phi tuyến tính đơn giản để sử dụng và cho kết quả rất tốt trong thực nghiệm. Hàm ReLU sẽ biến mỗi giá trị x < 0 thành 0.

Mặc dù đơn giản nhưng ReLU lại hiệu quả với nhiều tác vụ, đặc biệt là khi kết hợp với kỹ thuật dropout regularization.