Mở đầu. Trình bày lý do chọn đề tài, mục tiêu, đối tượng và phạm vi nghiên cứu của đề tải. Chương 2 - Cơ sở lý thuyết. Nêu lý thuyết các bài toán cần xử lý trong khóa luận này.
Phân tích và đánh giá các hướng nghiên cứu đã có hoặc liên quan tới các bài toán này của các tác giả/ nhóm tác giả trong và ngoài nước. Trình bày những vấn đề còn tồn động và những vấn đề mà khóa luận này cần tập trung giải quyết. Trình bày nội dung lý thuyết của những mô hình dựa trên kiến trúc Transformers là BERT, PhoBERT cho bài toán phân tích cảm xúc; va mô hình LDA cho bài toán mô hình chủ đề. Chương 3 — Thuật toán và giải pháp đề xuất: Giải thiệu bộ dữ liệu training.
Quy trình xử lý và các mô hình, công nghệ có thể sử dụng cho bài toán phân tích cảm xúc, đám mây từ, mô hình chủ đề và lí do chọn chúng. Chương 4-— Thiết kế và triển khai hệ thống: Trình bày thiết kế tổng quan, các thành phần trong hệ thông, nhiệm vụ và cách hoạt động của từng thành phần. Cách hệ thong hoạt động, giao tiếp giữa các thành phan với nhau và các bước triển khai hệ thống. Chương 5 - Kết luận và hướng phát triển.
Cuối cùng, tổng kết lại các kết quả quan trọng trong đề tài đã được nghiên cứu và thực hiện, đưa ra các hạn chế và hướng phát triên của dé tai. Tổng quan về bài toán phân tích Như đê cập ở phân 1.1, việc thâu hiêu cảm nhận của người dùng là chìa khóa quan trọng dé cải thiện trải nghiệm dịch vụ/sản phâm lý tưởng. Khi người dùng nhận thấy cảm xúc của mình được quan tâm, họ có xu hướng tin tưởng và muôn kết nôi dài lâu với doanh nghiệp/tô chức đó. Vì vậy, bài toán đặt ra là làm thế nào dé có thé hiểu được cảm nhận, ý kiên của người dùng.
Việc chỉ kêt luận mức độ cảm xúc ở mỗi câu bình luận là tích cực, trung lập hay tiêu cực thì không thực sự có hiệu quả trong việc hiêu được mong muôn của người dùng của mình. Do đó, bài toán phân tích ở đây, bên cạnh dự đoán nhãn ở mỗi câu bình luận, ta còn phân tích dựa trên nhiêu khía cạnh, cụ thê thì bài toán được chia thành ba bài toán nhỏ hơn như sau: Bài toán phân tích cảm xúc (Sentiment Analysis): làm nhiệm vụ dự đoán nhãn ở mỗi câu bình luận được. Nhãn ở đây gom 3 loại là tích cực, trung lập hoặc tiêu cực, được kí hiệu tương ứng thành 1, 0, -1. Bài toán đám mây từ (Word Cloud): làm nhiệm vụ hiển thi các từ/cụm từ có nghĩa trong văn bản với tần suất xuất hiện nhiều nhất.
Bài toán mô hình chủ dé (Topic Modeling): làm nhiệm vụ tìm các chủ đề ân trong văn bản. Mỗi chủ đề được thê hiện bằng các nhóm từ khóa và tần suất xuất hiện của chúng. Phân tích cảm xúc (Sentiment Analysis) e Định nghĩa: Phân tích cảm xúc (Sentiment Analysis), còn được gọi là khai thác ý kiến (Opinion Mining) là nhiệm vụ trích xuất và phân tích ý kiến, tình cảm, thái độ, nhận thức của mọi người,. về các thực thé khác nhau như chủ đề, sản phẩm và dịch vụ.
Sự phát triển nhanh chóng của các ứng dụng trên Internet như trang web, mạng xã hội và blog, khiến người dùng tạo ra rất nhiều ý kiến và đánh giá về sản phẩm, dịch vụ và các hoạt động hàng ngày. Phân tích tình cảm được coi II là một công cụ mạnh mẽ cho các doanh nghiệp, chính phủ và các nhà nghiên cứu đê trích xuât và phân tích tâm trạng và quan điêm của công chúng, có được cái nhìn sâu sắc về kinh doanh và đưa ra quyết định tốt hơn. e Tầm quan trọng: Phân tích cảm xúc là một trong những công tác quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Nó không chỉ có ý nghĩa trong học thuật, nghiên cứu mà còn đóng vai trò quan trọng trong các ngành công nghiệp - dịch vụ, cụ thể là việc nhận biết hành vi cũng như thái độ của khách hàng về sản phâm và dịch vụ mà họ sử dụng.
Chúng ta đang sống trong thời đại số, đặc biệt những năm gan đây, sự phát triển mang xã hội, các trang mạng điện tử với hàng triệu người dùng trên thế giới và lượng thông tin, nội dung được người dùng tạo ra hằng ngày cực kỳ lớn với sự đa đạng về văn hóa, quan điểm và trình độ. Thậm chí thông tin, sự kiện trực tuyến cũng có thé được thu thập trên các phương tiện truyền thông. Chính sự anh hưởng của các kênh truyền thông tới cuộc sống của chúng ta trên diện rộng thúc day sự ứng dụng việc phân tích cám xúc trong văn bản trên nhiều vào các lĩnh vực trong đời sống xã hôi như: Quản trị thương hiệu, khảo sát ý kiến khách hàng, phân tích tâm lý hành vi,. e Nguồn dữ liệu: Phân tích cảm xúc được sử dụng như một công cụ mạnh mẽ để tự động hóa quy trình phân tích và đánh giá ý kiến của người dùng.
Dữ liệu của bài toán này, tùy vào lĩnh vực phân tích mà có những nguồn dữ liệu khác nhau: đối với lĩnh vực nhà hàng, khách sạn, các ý kiến người dùng đó thường được thu thập từ các trang mạng xã hội, chăng hạn như Tripadvisor, Foody,. ; đối với lĩnh vực bán hàng online, ý kiến người dùng đó thường được thu thập từ các mạng xã hội, trang thương mại điện tử, các trang review sản phâm như Shopee, Tiki, Facebook, Reviewty. Ở các hệ thống đánh giá, thu thập ý kiến khách hàng thường thuộc dạng đánh giá trên thang điểm (ví dụ: 1-5 sao hoặc 1-10 sao) hoặc mức độ hài lòng (ví dụ: 12 rất không hài lòng, không hài lòng, bình thường, hài lòng, rất hài lòng) của khách hàng. Thang điểm hoặc mức độ này phản ánh sự hài lòng, quan điểm, ý kiến của khách hàng trên các giá trị cảm xúc tiêu cực, trung lập và tích cực.
Ngoài việc ghi nhận đánh giá thông qua thang điểm, hệ thống còn thu thập ý kiến thông dưới dạng văn bản do người dùng dé lại. “Phục vụ ở đây kém quá.” (The service here is too bad.1: Vi dụ minh họa về bài toán Sentiment Analysis e Muc tiêu cua bài toán phân tích cam xúc Mục đích của bài toán phân tích cảm xúc là quá trình xác định và phân loại văn bản thành các sentiment khác nhau như tích cực, tiêu cực hoặc trung lập; hoặc các emotion chăng hạn như vui, buồn, tức giận hoặc ghê sợ,. dé xác định thái độ của con người đối với chủ thé hoặc thực thé cu thé. Ở khóa luận này, đầu ra của bài toán là các câu bình luận được gán một trong ba loại nhãn, đó là: tích cực, tiêu cực hoặc trung lập.
Dam mây từ (Word Cloud) e Định nghĩa: Đám mây từ hay Word Cloud, về bản chất là các phương pháp cho phép chúng ta miêu tả, làm sáng tỏ các từ khóa được sử dụng nhiều nhất trong 1 đoạn văn bản. Đúng như tên gọi của nó, khi mô phỏng di liệu trong đoạn van bản này, dữ liệu sẽ được mô phỏng theo dạng hình đám mây từ ngữ - Word Cloud và diễn giải các từ được sử dụng nhiều nhất - các từ xuất hiện thường xuyên hơn trong văn bản gốc. Trong đó, các từ xuất hiện càng nhiêu, thì hình ảnh từ đó 13 trong đám mây từ càng lớn, càng đậm nét, điêu đó cũng có thê nói lên là từ đó càng phô biến và có ý nghĩa quan trong trong văn bản. 7 a l l e 102° liền an (S) Ch t e h ủu M d c hín h đớ"i CS " s B I N oe m nƠ U U.
r1 tt da bay we ngh ĩa D O N G :BY Q 2° no i y¡ inhấ t” 9tươiet T1 tuenOniatal, E:oO : .sansữa[L)ƯNG hi n " gA i s a § t ( iết 40 “Sthônngtải¡ttiế nộ i. CỰỨ C rừi tam TWP9 —mpuchia _- OQ Hình 2.2: Ví dụ minh họa khi trực quan dam mây từ Hình 2.2 là hình minh họa bài toán đám mây từ, trong đó nhờ nhìn vào từ “Việt”, “Đông”, “biển”,. thì ta cũng có thể đoán được văn bản đang đề cập tới vùng biên phía Đông của Việt Nam. Rõ ràng bài toán đâm mây rất hữu ích trong việc ø1úp đối tượng đọc kết quả phân tích biết được văn bản đang đề cập tới cái gì, như thé nao,.
e Stop word Nhu đề cập ở trên, nhiệm vụ của đám mây từ là lập danh sách các từ có trong văn bản đó cùng với số lượng lần xuất hiện các từ có trong văn bản đó. Nhờ đó danh sách đó mà chúng ta biết được các từ xuất hiện nhiều và các từ xuất hiện ít. Tuy nhiên, có những từ dừng — Stop word, ví dụ như: thì, ạ, à, hả, mà, là, .Các từ này chiếm khoảng 25% trong các văn bản. Các từ này thường mang ít giá trị ý nghĩa và không khác nhau nhiều trong các văn bản khác nhau.
Tưởng tượng nếu kết quả phân tích chỉ hiện ra toàn những từ “mình”, “này”, “dé”,. rõ ràng điều này ảnh hưởng tới kết quả phân tích và nó không giúp được gì cho đối tượng đọc kết quả phân tích. 14 FOr t h a t1 ana si BÀ Hình 2.3: Hình minh họa trực quan đám mây từ chưa xóa Stop word trong tiêng Anh Trong NLP, họ thường làm 1 bước là lọc các từ gây nhiễu, mà Stop word là một trong số chúng. Dé xóa Stop word trong văn bản, có rất nhiều cách dé loại bỏ Stop word nhưng có 2 cách chính là: - Dùng từ điển: ta sẽ tiến hành lọc văn bản, loại bỏ những từ xuất hiện trong từ điển Stop word.
- Dựa theo tần suất xuất hiện của từ: Với cách này, chúng ta tiến hành đếm số lần xuất hiện của từng từ trong văn bản, sau đó thực hiện loại bỏ những từ xuất hiện nhiều lần (cũng có thể là ít lần). Các nghiên cứu đã chứng minh được rằng các từ xuất hiện nhiều nhất thường là những từ không mang nhiều ý nghĩa. e Lợi ích của bài toán Word Cloud 15 Có nhiều cách đề chúng ta có thể mô phỏng, trực quan hóa dữ liệu, từ cách trình bay bảng thống kê với những dữ liệu số, những dữ liệu biéu đồ thì trình bày dữ liệu chữ có một sô nội dung sau có thé khái quát: - Su dụng phương pháp Word Cloud rất trực quan và trong sáng trong việc trình bay dữ liệu, dữ liệu có thé hiểu được ngay và rat dé hiểu. - Sử dụng phương pháp Word Cloud dễ sử dụng, dé dàng trực quan.