Chuyên Đề Tốt Nghiệp: Phân Tích Cảm Xúc Trên Twitter Bằng Mô Hình Hồi Quy Logistic

Chuyên đề tốt nghiệp ứng dụng mô hình hồi quy logistic để phân tích cảm xúc trên Twitter, giúp hiểu rõ xu hướng và phản ứng người dùng mạng xã hội.

Trường đại học

Đại học Kinh tế Quốc dân

Chuyên ngành

Toán Kinh tế

Người đăng

Ẩn danh

Thể loại

Chuyên đề tốt nghiệp

2022

55
4
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CAM ĐOAN

1. CHƯƠNG 1: TỔNG QUAN

1.1. Mục tiêu và nhiệm vụ

1.2. Bố cục

2. CHƯƠNG 2: CƠ SỞ LÝ LUẬN

2.1. Khái niệm phân tích cảm xúc

2.2. Tình hình nghiên cứu thế giới

2.3. Phương pháp học máy

2.3.1. Học có giám sát

2.3.2. Học không giám sát

2.4. Phương pháp tiếp cận dựa trên luật

2.5. Phương pháp tiếp cận dựa vào học máy

2.6. Phương pháp Hồi quy Logistic

2.6.1. Giới thiệu

2.6.2. Mô hình Logistic

3. CHƯƠNG 3: ỨNG DỤNG PHÂN TÍCH QUAN ĐIỂM VỚI BỘ DỮ LIỆU TIN NHẮN TWITTER

3.1. Hệ thống phân tích quan điểm

3.2. Tổng quan về bộ dữ liệu tin nhắn Twitter

3.3. Tiền xử lý dữ liệu và gán nhãn

4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ

4.1. Xây dựng mô hình

4.2. Phương pháp đánh giá mô hình

4.3. Kết quả thực nghiệm

5. CHƯƠNG 5: KẾT LUẬN

5.1. Kết quả đạt được

5.2. Hạn chế và định hướng trong tương lai

TÀI LIỆU THAM KHẢO

PHỤ LỤC

Tóm tắt

I. Tổng quan về ứng dụng mô hình hồi quy logistic phân tích cảm xúc trên Twitter

Phân tích cảm xúc là lĩnh vực quan trọng trong nghiên cứu và ứng dụng công nghệ thông tin, đặc biệt trong bối cảnh mạng xã hội phát triển mạnh mẽ. Mô hình hồi quy logistic được sử dụng để phân loại cảm xúc từ dữ liệu văn bản, cụ thể là các tin nhắn trên Twitter. Mục tiêu của nghiên cứu là xây dựng hệ thống tự động nhận diện cảm xúc tích cực, tiêu cực hoặc trung tính từ các bình luận của người dùng. Phân tích dữ liệu từ mạng xã hội giúp các doanh nghiệp hiểu rõ hơn về phản ứng của khách hàng đối với sản phẩm hoặc dịch vụ.

1.1. Mục tiêu và nhiệm vụ nghiên cứu

Nghiên cứu tập trung vào việc áp dụng mô hình hồi quy logistic để phân tích cảm xúc từ dữ liệu Twitter. Quá trình bao gồm thu thập dữ liệu, tiền xử lý, vectơ hóa và huấn luyện mô hình. Kết quả đánh giá hiệu quả của mô hình sẽ được thực hiện thông qua các chỉ số như độ chính xác và độ tin cậy. Nghiên cứu cũng đề xuất hướng phát triển trong tương lai để cải thiện hiệu suất của mô hình.

1.2. Tầm quan trọng của phân tích cảm xúc trên mạng xã hội

Với sự phát triển của mạng xã hội, việc phân tích cảm xúc trở thành công cụ quan trọng trong nghiên cứu thị trườngphân tích truyền thông. Các doanh nghiệp có thể tận dụng dữ liệu từ Twitter để đánh giá phản ứng của khách hàng, từ đó điều chỉnh chiến lược kinh doanh. Phân tích sentiment giúp tự động hóa quá trình thu thập và đánh giá ý kiến người dùng, tiết kiệm thời gian và chi phí.

II. Cơ sở lý luận và phương pháp nghiên cứu

Nghiên cứu dựa trên các lý thuyết về học máyphân tích ngữ nghĩa để xây dựng mô hình phân tích cảm xúc. Hồi quy logistic là phương pháp chính được sử dụng để phân loại dữ liệu văn bản. Quá trình nghiên cứu bao gồm các bước: tiền xử lý dữ liệu, trích xuất đặc trưng, huấn luyện mô hình và đánh giá kết quả. Các phương pháp tiếp cận dựa trên học có giám sáthọc không giám sát cũng được thảo luận chi tiết.

2.1. Khái niệm phân tích cảm xúc

Phân tích cảm xúc là quá trình xác định và phân loại văn bản thành các loại cảm xúc như tích cực, tiêu cực hoặc trung tính. Nghiên cứu tập trung vào cấp độ câu văn, nơi mục tiêu là phân loại từng câu bình luận. Phân tích cảm xúc không chỉ có ý nghĩa học thuật mà còn ứng dụng rộng rãi trong các ngành công nghiệp và dịch vụ.

2.2. Phương pháp hồi quy logistic

Hồi quy logistic là thuật toán học máy có giám sát, được sử dụng để phân loại dữ liệu nhị phân. Trong nghiên cứu này, mô hình được áp dụng để phân loại cảm xúc từ các bình luận trên Twitter. Hàm logistic và các tính chất của nó được phân tích chi tiết để hiểu rõ cách mô hình hoạt động và dự đoán kết quả.

III. Ứng dụng và thực nghiệm

Nghiên cứu tiến hành ứng dụng mô hình hồi quy logistic để phân tích cảm xúc từ bộ dữ liệu Twitter. Quá trình bao gồm tiền xử lý dữ liệu, gán nhãn và huấn luyện mô hình. Kết quả thực nghiệm được đánh giá thông qua các chỉ số như độ chính xác và độ tin cậy. Nghiên cứu cũng so sánh hiệu quả của hồi quy logistic với các phương pháp khác như Naive BayesSVM.

3.1. Tiền xử lý dữ liệu

Dữ liệu từ Twitter được thu thập và tiền xử lý để loại bỏ nhiễu và chuẩn hóa văn bản. Quá trình bao gồm tách từ, loại bỏ stop words và chuyển đổi văn bản thành dạng vectơ. Phân tích dữ liệu được thực hiện để hiểu rõ cấu trúc và đặc điểm của bộ dữ liệu.

3.2. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy mô hình hồi quy logistic đạt độ chính xác cao trong việc phân loại cảm xúc từ các bình luận trên Twitter. Nghiên cứu cũng chỉ ra các hạn chế của mô hình và đề xuất hướng cải thiện trong tương lai.

IV. Kết luận và định hướng phát triển

Nghiên cứu đã chứng minh hiệu quả của mô hình hồi quy logistic trong việc phân tích cảm xúc từ dữ liệu Twitter. Kết quả thực nghiệm cho thấy mô hình có khả năng ứng dụng cao trong phân tích mạng xã hộinghiên cứu thị trường. Tuy nhiên, nghiên cứu cũng chỉ ra một số hạn chế cần được khắc phục trong tương lai, như cải thiện độ chính xác và mở rộng phạm vi ứng dụng.

4.1. Kết quả đạt được

Nghiên cứu đã xây dựng thành công mô hình phân tích cảm xúc dựa trên hồi quy logistic, đạt độ chính xác cao trong việc phân loại các bình luận trên Twitter. Kết quả này có ý nghĩa quan trọng trong việc ứng dụng công nghệ vào phân tích dữ liệu xã hội.

4.2. Hạn chế và định hướng phát triển

Một số hạn chế của nghiên cứu bao gồm độ phức tạp của dữ liệu và khả năng mở rộng mô hình. Trong tương lai, nghiên cứu sẽ tập trung vào cải thiện độ chính xác và ứng dụng mô hình vào các lĩnh vực khác như phân tích văn bảndự đoán cảm xúc.

21/02/2025

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan về bài toán phân tích cảm xúc thông qua tin nhăn, bình luận trên mạng xã hội Twitter. Mục tiêu và nhiệm vụ cua bai chuyên dé Chương 2: Đưa ra các nghiên cứu trước đây liên quan tới việc phân lớp cảm xúc và đưa ra các lý thuyết về học máy, thuật toán Logistic Regression, các phương pháp biến đổi dữ liệu và các phương pháp đánh giá mô hình. Chương 3: Ứng dụng phân tích quan điểm với bộ dữ liệu Chương 4: Thực nghiệm và đánh giá. Xây dựng cài đặt mô hình, huấn luyện mô hình tiến hành thử nghiệm, đánh giá mô hình.

Kết luận: Tổng kết quá trình thực hiện luận văn, những kết quả đạt được và định hướng phát triển bài toán trong tương lai. CHƯƠNG 2: CƠ SỞ LÝ LUẬN 2. Khai niệm phân tích cảm xúc Trong những năm gần dây, phân tích cảm xúc (SA) được cộng đồng nghiên cứu thuộc lĩnh vực NLP được đông đảo cộng đồng trong lẫn ngoài nước rất quan tâm. Đây là quá trình xác định và phân loại văn bản thành các cảm xúc khác nhau, ví dụ cảm xúc tích cực, tiêu cực hoặc trung tính, hoặc cảm xúc chăng hạn như vui, buôn, tức giận hoặc ghê tom dé xác định thái độ của con người đối với chủ thê hoặc thực thể cụ thé.

Phân tích cảm xúc cũng là một trong những công tác quan trọng trong lĩnh vực NLP. Nó không chỉ có ý nghĩa quan trọng trong học thuật, nghiên cứu mà còn có ý nghĩa cực kì thiết yếu trong các ngành công nghiệp — dịch vụ, cụ thê là việc nhận biết hành vi và thái độ của khách hàng về sản phẩm và dịch vụ mà họ sử dụng. Với ngành công nghiệp - dịch vụ nói chung, SA được sử dụng như một công cụ mạnh mẽ để tự động hóa quy trình phân tích và đánh giá ý kiến của người dùng. Đối với các lĩnh vực kinh doanh hiện nay nói riêng, các ý kiến người dùng đó thường được thu thập từ các trang mạng xã hội, hoặc các trang thu thập nhận xét của khách hàng về chất lượng cũng như mức độ hài lòng.

Hiện nay, bài toán phân tích cảm xúc có ba cấp độ chính đó là cấp độ câu văn (sentence-level), văn bản (document-level), và khía cạnh (aspect-level). Ở cấp độ câu văn, mục tiêu của bài toán là phân loại một câu văn thành các lớp tiêu cực (negative), tích cực (positive), hoặc trung tính (neutral). Cấp độ văn bản được dùng dé xác định mức độ cảm xúc của một đoạn văn (gồm hai hay nhiều câu văn) là tiêu cực, tích cực, hay trung tính. Và cấp độ khía cạnh được dùng để xác định mức độ cảm xúc cho mỗi khía cạnh của thực thé đề cập trong một văn bản.

Trong phạm vi của khóa luận, giới hạn nghiên cứu nhóm sẽ chỉ năm ở mỗi khía cạnh cấp độ câu văn. _ Tình hình nghiên cứu thế giới Từ những năm 2000 cho đến nay, phân tích ý kiến cũng như phân tích ý kiến theo khía cạnh đã và đang thu hút được các nhà nghiên cứu quan tâm, phát triển và đưa vào ứng dụng thực tế. Khái niệm phân tích cảm xúc (sentiment analysis) xuất hiện lần đầu tiên trong công trình của Nasukawa và Yi. Khái niệm phân tích ý kiến (opinion mining) xuất hiện lần đầu tiên trong công trình của Dave, Lawrence and Pennock.

Tuy nhiên, nghiên cứu được xem là đầu tiên đặt nền móng cho phân tích ý kiến là nghiên cứu của Pang và các cộng sự. Ké từ đó các nghiên cứu trong bài toán này ngày càng được quan tâm và phát triển. Công trình đã tiến hành nghiên cứu về phân tích ý kiến từ các phản hồi của người dùng đối với miền dữ liệu điện ảnh (movie domain) với hai phân lớp được quan tâm đến trong nghiên cứu là tích cực và tiêu cực. Ba phương pháp máy học (Naive bayes, maximum entropy classification và support vector machine) được sử dung dé giải quyết van dé phân loại các ý kiến trong nghiên cứu này.

Năm 2010, Thet và các cộng sự tiễn hành thực hiện nghiên cứu không chỉ quan tâm đến việc phân tích ý kiến mà còn phân tích chỉ tiết các định hướng cảm xúc và sức mạnh của cảm xúc của đánh giá đối với các khía cạnh khác nhau trong miền dữ liệu điện ảnh. Phương pháp được dé xuất là sử dụng điểm số cảm xúc của bộ SentiWordNet dé tiến hành tính toán cảm xúc cho các khía cạnh khác nhau. Công trình của Kim Schouten và Flavius Frasincar giới thiệu tổng quan về bài toán phân tích ý kiến trên khía cạnh. Trong công trình này, tác giả đưa ra các bài toán con của bài toán phân tích ý kiến theo khía cạnh, cách phương pháp đánh giá và khảo sát các mô hình và kết quả thử nghiệm được đề xuất đưa vào nghiên cứu trước đó đối với các bài toán con khác nhau.

Haque va cộng sự đã sử dụng các bai đánh giá sản phẩm của Amazon trong ba lĩnh vực: điện thoại di động và phụ kiện, âm nhạc và thiết bị điện tử. Họ đã phân loại cảm xúc thông qua Linear SVM, Multinomial Na "1ve Bayes, Stochastic Gradient Descent, Random Forest, Hồi quy logistic và Cây quyết định. Singla và cộng sự đã thực hiện phân tích tình cảm các đánh giá về điện thoại di động trên Amazon, họ đã phân loại văn bản thành các phân cực bao gồm tích cực và tiêu cực, và cảm xúc tức giận, mong đợi, sợ hãi, vui vẻ, buồn bã, ghê tom, ngạc nhiên và tin tưởng. Việc phân loại được thực hiện thông qua Logistic Regression với đến độ chính xác là 84,85%.

Và, kết quả mang lại, thương hiệu Samsung nhận được nhiều phản hồi tích cực nhất từ khách hàng. Những kết quả này rất hữu ích cho các nhà sản xuât vì họ có thê làm việc trên các phản hôi đê cải thiện chât lượng sản phâm. Phuong pháp hoc máy Học máy là một lĩnh vực nhỏ của khai phá dữ liệu sử dụng các phương pháp thống kê, mô hình toán và sức mạnh tính toán của máy tinh dé giả lập phương pháp học của con người bang dữ liệu. Lượng dữ liệu càng lớn, độ chính xác cua mô hình khai pha dữ liệu càng cao.

Trong lịch sử của loài người, chúng ta luôn luôn học từ lỗi sai của mình hoặc tìm cách dé làm tốt hơn một van đề nhất định. Các chương trình máy tính thông thường hầu hết chỉ sử dụng logic và không thể sử dụng kết quả đầu ra để củng cố cho quá trình thực thi các câu lệnh, vậy nên các chương trình máy tính đó chỉ có thé trả lại một hoặc một vài thông tin có định từ một dữ liệu đầu vào. Đến năm 1952, Samuel là nhà khoa hoc đầu tiên phát minh ra một chương trình có thé tự chơi cờ ca-rô và có thé học được những nước cờ đề cho những lần sau có thể chơi tốt hơn (Claude Sammut, 2017, pp. Các phương pháp học máy có thê chia nhỏ hơn thành học có giám sát và học không giám sát, tuỳ thuộc vào yêu câu bài toán và dữ liệu dau vào.

Học có giám sát Học có giám sát (supervised learning) là quy trình học máy sử dung cả dữ liệu đầu vào (các biến độc lập) và dữ liệu của biến phụ thuộc hay còn gọi là nhãn của dữ liệu trong quá trình học dé xây dựng nên mô hình có thể đưa ra được đầu ra là biến phụ thuộc (Claude Sammut, 2017, pp. Đối với các bài toán hoc có giám sát, dữ liệu đầu vào của bài toán là tập m là mẫu dữ liệu vector x gới ¡ = 1,.,m và nhãn tương ứng được đánh chính xác qua quan sát thực tế y. Mục đích chính của phương pháp này là sử dụng dữ liệu đầu vào nói trên dé xây dựng một mô hình ƒ(x;Ø) = 67@. Bởi vì vectors Ø được tính toán trực tiếp từ tap x nên toàn bộ các vector đầu vào đều có ảnh hưởng it nhiều đến mô hình.

Vậy nên, việc trích chọn ra được các đặc trưng, biến tốt để có thê tăng khả năng chính xác của mô hình được xây dựng nên. Học không giám sát Học không giám sát (unsupervised learning) là quá trình sử dụng đữ liệu đầu vào dé tìm ra được câu trúc của dữ liệu, từ đó gợi ý ra được các quy luật, phân nhóm cho các 10 dữ liệu hiện tại và sau này (Claude Sammut, 2017, p. Việc học không giám sát là tìm ra một đại diện © cho mô hình ®(x). Từ đó ta có thể tối ưu được © dé các vectors đại diện @ = ®(z;®) được tối ưu hơn là dữ liệu đầu vào x.

Phương pháp tiếp cận dựa trên luật Các hệ thống này tự động thực hiện phân tích quan điểm dựa trên một tập hợp các luật được tạo thủ công do con người tạo ra giúp xác định tính chủ quan, quan điểm tích cực, quan điểm tiêu cực, trung tính hoặc chủ đề của một ý kiến. Các luật này có thé bao gồm các kỹ thuật NLP khác nhau được phát triển trong ngôn ngữ hoc tính toán như tạo mã nguồn, mã hóa, phân tích cú pháp và dựa vào danh sách từ điển và từ vựng (LexIcons). Cơ chế hoạt động cơ bản của hệ thống 16 dựa trên luật: 1. Xác định hai danh sách các từ phân cực, các từ tiêu cực như quá xấu, quá tệ, chat lượng quá kém, tồi qua.

và các từ tích cực như rất tốt, rất đẹp, thật tuyệt. Đếm số từ tích cực và tiêu cực xuất hiện trong một văn bản nhất định. Nếu số lần xuất hiện từ tích cực nhiều hơn số lần xuất hiện từ tiêu cực, hệ thống sẽ trả về cảm xúc tích cực và ngược lại. Nếu các con số là chăn, hệ thống sẽ trả về một cảm giác trung tính.

Các hệ thống dựa trên luật rất đơn giản vì chúng không tính đến cách các từ được kết hợp theo một trình tự. Tắt nhiên, các kỹ thuật xử lý nâng cao hơn có thé được sử dụng va các luật mới được thêm vào đề hỗ trợ các cách diễn đạt và từ vựng mới. Tuy nhiên, việc thêm các luật mới có thể ảnh hưởng đến các kết quả trước đó và toàn bộ hệ thống có thể trở nên rất phức tạp. Vì các hệ thống dựa trên luật thường yêu cầu tinh chỉnh và bảo trì, chúng cũng sẽ cần dau tư thường xuyên.

Phương pháp tiếp cận dựa vào học máy Các phương pháp tiếp cận dựa vào học máy không dựa trên các luật được tạo thủ công, mà dựa trên các kỹ thuật máy học. Một nhiệm vụ phân tích quan điểm thường được mô hình hóa như một bài toán phân lớp, theo đó một bộ phân lớp được cung cấp đầu vào là một văn bản và trả về đầu ra là một danh mục, ví dụ: tích cực, tiêu cực hoặc trung tính.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu "Ứng Dụng Mô Hình Hồi Quy Logistic Phân Tích Cảm Xúc Trên Twitter" tập trung vào việc sử dụng mô hình hồi quy logistic để phân tích và dự đoán cảm xúc từ các bài đăng trên Twitter. Phương pháp này giúp xác định các yếu tố ảnh hưởng đến cảm xúc của người dùng, từ đó hỗ trợ các doanh nghiệp và nhà nghiên cứu trong việc hiểu rõ hơn về phản ứng của cộng đồng mạng. Tài liệu cung cấp các bước chi tiết để xây dựng mô hình, đánh giá hiệu quả và ứng dụng thực tế, mang lại giá trị lớn cho những ai quan tâm đến phân tích dữ liệu và trí tuệ nhân tạo.

Để mở rộng kiến thức về các phương pháp phân tích văn bản và cảm xúc, bạn có thể tham khảo thêm Luận văn thạc sĩ khoa học máy tính sử dụng contextual valence shifters để phân loại cảm xúc cho các văn bản đơn giản trong một lĩnh vực, nghiên cứu này tập trung vào việc phân loại cảm xúc bằng cách sử dụng các công cụ ngôn ngữ học. Ngoài ra, Luận văn thạc sĩ khoa học máy tính phân loại văn bản dựa trên mô hình tiền xử lý transformer cung cấp cái nhìn sâu hơn về việc áp dụng mô hình transformer trong phân loại văn bản. Cuối cùng, Luận văn thạc sĩ khoa học máy tính ứng dụng học sâu vào xây dựng mô hình rút trích thông tin sẽ giúp bạn hiểu rõ hơn về cách học sâu được sử dụng để trích xuất thông tin từ dữ liệu phức tạp. Mỗi liên kết là cơ hội để bạn khám phá sâu hơn các chủ đề liên quan và nâng cao hiểu biết của mình.