Thu hồi quan điểm về thực thể trên mạng xã hội Twitter

Khóa luận: Thu hồi quan điểm về thực thể trên mạng xã hội Twitter - Đào Quốc Vương ĐH Công nghệ

• Tác giả: Đào Quốc Vương
• Người hướng dẫn: PGS.TS Hà Quang Thụy
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Thu hồi quan điểm về thực thể trên mạng xã hội Twitter
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2013
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về thu hồi quan điểm về thực thể trên mạng Twitter

Mạng xã hội phát triển tạo ra kho dữ liệu khổng lồ. Người dùng thường xuyên chia sẻ ý kiến cá nhân về sản phẩm hoặc sự kiện. Nghiên cứu năm 2013 tại Đại học Công nghệ tập trung vào bài toán thu hồi quan điểm. Đối tượng nghiên cứu chính là các bài đăng trên nền tảng Twitter. Dữ liệu văn bản này ngắn gọn và có cấu trúc phi hình thức. Hệ thống cần tự động phát hiện thông tin liên quan đến thực thể cụ thể. Nhiệm vụ bao gồm việc lọc nhiễu và phân tích tính chủ quan của câu chữ. Quá trình xử lý đối mặt với nhiều rào cản kỹ thuật phức tạp. Người dùng thường sử dụng từ lóng và viết tắt. Biểu tượng cảm xúc cũng xuất hiện với tần suất dày đặc. Do đó, việc ứng dụng xử lý ngôn ngữ tự nhiên là yêu cầu thiết yếu. Nghiên cứu đề xuất mô hình khai phá dữ liệu có hệ thống. Mô hình này giúp doanh nghiệp nắm bắt phản hồi từ cộng đồng nhanh chóng. Kết quả phân tích hỗ trợ đưa ra các quyết định kinh doanh chuẩn xác. Nền tảng học thuật này mở ra hướng tiếp cận mới cho bài toán phân tích quan điểm tại Việt Nam.

1.1. Khái niệm thu hồi quan điểm thực thể

Thu hồi quan điểm thực thể là quá trình trích xuất nhận định về một đối tượng mục tiêu. Đối tượng này có thể là thương hiệu, chính trị gia hoặc sản phẩm thương mại. Hệ thống thu thập các văn bản chứa từ khóa tương ứng từ luồng tin Twitter. Tiếp theo, thuật toán xác định câu văn mang ý kiến đánh giá hay chỉ cung cấp tin tức thuần túy. Việc tách biệt nội dung chủ quan và khách quan giữ vai trò then chốt. Công nghệ này kết hợp truy vấn thông tin với khai phá văn bản tự động. Mục tiêu cốt lõi là định lượng thái độ của số đông công chúng. Nghiên cứu thiết lập cơ sở lý thuyết vững chắc cho nhiệm vụ xử lý thông tin xã hội.

1.2. Bối cảnh nghiên cứu tại ĐH Công nghệ 2013

Đề tài được thực hiện bởi Đào Quốc Vương tại Trường Đại học Công nghệ. Nghiên cứu thuộc Đại học Quốc gia Hà Nội vào năm 2013. Giảng viên hướng dẫn là PGS.TS Hà Quang Thụy và NCS Vũ Ngọc Trình. Vào thời điểm này, mạng xã hội Twitter bùng nổ mạnh mẽ trên phạm vi toàn cầu. Tuy nhiên, các công cụ khai phá dữ liệu quan điểm tiếng Anh và tiếng Việt còn hạn chế. Nhóm nghiên cứu nhận thấy tiềm năng to lớn từ kho dữ liệu trực tuyến. Khóa luận tập trung giải quyết bài toán phân loại sắc thái cảm xúc. Nghiên cứu áp dụng các phương pháp học máy tiên tiến trên thế giới. Đây là bước đi nền móng góp phần xây dựng các hệ thống giám sát dư luận xã hội.

II. Phân tích thách thức thu hồi quan điểm về thực thể trên Twitter

Dữ liệu trên Twitter có đặc thù rất khác biệt so với văn bản thông thường. Mỗi thông điệp tweet bị giới hạn độ dài nghiêm ngặt. Người sử dụng có xu hướng dùng câu văn ngắn và cấu trúc ngữ pháp tự do. Lỗi chính tả và chữ viết tắt xuất hiện thường xuyên trong bài đăng. Nhiều ký tự đặc biệt cùng liên kết web làm tăng độ nhiễu thông tin. Tác giả trong bài đăng cũng hay dùng ngôn từ châm biếm sâu cay. Điều này gây khó khăn lớn cho các thuật toán xử lý tự động. Máy tính khó nhận biết ngữ cảnh thực tế của câu chữ. Thách thức tiếp theo nằm ở việc liên kết chính xác thực thể cần theo dõi. Một từ khóa có thể mang nhiều nghĩa khác nhau tùy vào ngữ cảnh. Ngoài ra, sự xuất hiện của các tài khoản ảo tạo ra nhiều tin rác. Khối lượng tweet khổng lồ đòi hỏi năng lực tính toán cực lớn. Việc phân biệt câu mang quan điểm chủ quan và câu thực tế khách quan rất phức tạp. Các mô hình truyền thống thường đạt hiệu suất thấp trên loại dữ liệu phi cấu trúc này.

2.1. Vấn đề phân loại chủ quan và khách quan

Tách lọc câu khách quan và câu chủ quan là bước xử lý khởi đầu. Câu khách quan chứa sự thật hiển nhiên hoặc thông tin thời sự đơn thuần. Ngược lại, câu chủ quan phản ánh cảm xúc, thái độ yêu ghét cá nhân. Nếu giữ lại câu khách quan, kết quả phân cực cảm xúc sẽ bị sai lệch nghiêm trọng. Nghiên cứu của Wiebe và Riloff năm 2005 chỉ ra sự cần thiết của các dấu hiệu chỉ dẫn quan điểm. Khóa luận vận dụng các manh mối từ vựng để nhận diện câu chủ quan. Sự tương đồng giữa các câu mang ý kiến thường cao hơn so với câu sự thật. Việc nhận diện chính xác câu mang quan điểm giúp thu hẹp phạm vi tính toán.

2.2. Nhiễu ngữ nghĩa từ đặc thù văn bản tweet

Dữ liệu mạng xã hội chứa đựng vô số yếu tố phi chuẩn mực. Người sử dụng Twitter liên tục sáng tạo các biến thể từ vựng mới. Các ký hiệu hashtag, đường link rút gọn và thẻ nhắc người dùng xuất hiện tràn lan. Biểu tượng cảm xúc hình ảnh biểu thị tâm trạng nhưng thiếu quy chuẩn ngữ pháp thống nhất. Barbosa và Feng năm 2010 đã đề xuất khai thác các đặc trưng này để phân loại. Sự xuất hiện của chữ in hoa hoặc dấu câu lặp lại phản ánh cường độ cảm xúc mãnh liệt. Tuy nhiên, nếu thiếu bước tiền xử lý cẩn trọng, mô hình học máy rất dễ rơi vào tình trạng quá khớp. Khóa luận phải xây dựng quy trình làm sạch dữ liệu chặt chẽ.

III. Phương pháp thu hồi quan điểm về thực thể trên Twitter hiệu quả

Tác giả Đào Quốc Vương đề xuất một quy trình thu hồi quan điểm theo nhiều giai đoạn rõ ràng. Hệ thống thu thập dữ liệu bằng công cụ Twitter Search API chính thức. Tập dữ liệu thực nghiệm bao gồm 253.711 bài đăng tiếng Anh xoay quanh mười từ truy vấn cụ thể. Sau bước thu thập, hệ thống tiến hành loại bỏ các ký tự vô nghĩa và chuẩn hóa văn bản. Bước tiếp theo áp dụng thuật toán Naive Bayes kết hợp trích xuất đặc trưng đa tầng. Các đặc trưng bao gồm mô hình ngôn ngữ n-gram như unigram, bigram và trigram. Hệ thống cũng thực hiện gán nhãn từ loại Part-of-Speech để nhận diện tính từ biểu cảm. Ngoài ra, việc đếm chuỗi từ ngữ mang định hướng phân cực đóng vai trò chủ chốt. Dữ liệu từ điển WordNet được tích hợp nhằm xác định quan hệ tương đồng giữa các khái niệm. Mô hình thực hiện hai pha phân loại độc lập: xác định câu chủ quan và phân cực tích cực hay tiêu cực. Phương pháp này tận dụng tối đa cấu trúc ngữ nghĩa phong phú của mạng xã hội.

3.1. Kỹ thuật trích xuất đặc trưng và n gram

Trích xuất đặc trưng là khâu mấu chốt quyết định độ chính xác học máy. Tác giả kết hợp unigram, bigram và trigram để bảo toàn trật tự từ vựng. Gán nhãn từ loại Part-of-Speech giúp tách biệt các tính từ mô tả trạng thái. Thuật toán SIMFINDER kết hợp cơ sở dữ liệu WordNet đo độ tương đồng ngữ nghĩa. Các đầu mối cú pháp mang tính chủ quan được phát hiện dựa trên quy tắc tiền định. Hệ thống ghi nhận số lượng từ mang định hướng cảm xúc tích cực hoặc tiêu cực. Thêm vào đó, các đặc tính mạng xã hội như lượt chia sẻ, biểu tượng cảm xúc và dấu câu nhấn mạnh được chuyển hóa thành trọng số. Bộ đặc trưng tổng hợp tạo ra biểu diễn dữ liệu toàn diện.

3.2. Phân lớp hai pha bằng Naive Bayes

Mô hình chia nhỏ quy trình xử lý thành hai pha chuyên biệt. Pha thứ nhất phân loại văn bản thành nhóm chủ quan hoặc khách quan. Bước này loại bỏ các dữ liệu thuần tin tức không chứa ý kiến. Pha thứ hai tiến hành phân lớp phân cực sắc thái cảm xúc. Dữ liệu chủ quan được chia thành hai nhóm tích cực hoặc tiêu cực. Thuật toán Naive Bayes tính toán xác suất có điều kiện dựa trên các đặc trưng đầu vào. Phương pháp này có tốc độ huấn luyện nhanh và phù hợp với tập dữ liệu lớn. Thiết kế phân tầng giúp giảm thiểu sai số lan truyền. Quy trình thực nghiệm chứng minh kiến trúc hai pha đem lại kết quả phân tích vượt trội.

IV. Ứng dụng mô hình thu hồi quan điểm về thực thể trên Twitter 2013

Kết quả thực nghiệm của khóa luận đạt độ chính xác phân lớp chủ quan 76.7%. Độ chính xác phân lớp phân cực đạt hơn 81% trên tập dữ liệu kiểm thử. Thành quả này khẳng định tính khả thi và hiệu quả của mô hình đề xuất. Đề tài mở ra tiềm năng ứng dụng thực tiễn to lớn cho nhiều lĩnh vực xã hội. Doanh nghiệp có thể áp dụng hệ thống để theo dõi danh tiếng thương hiệu tức thì. Bộ phận chăm sóc khách hàng phát hiện sớm các phàn nàn và xử lý khủng hoảng truyền thông kịp thời. Các tổ chức tiếp thị có thể phân tích phản ứng của người tiêu dùng đối với sản phẩm mới. Trong lĩnh vực quản lý nhà nước, hệ thống hỗ trợ nắm bắt nguyện vọng và dư luận nhân dân. Nền tảng thuật toán cũng cung cấp dữ liệu giá trị cho các nghiên cứu thị trường chuyên sâu. Mô hình đã chứng minh giá trị học thuật xuất sắc và tính ứng dụng công nghệ cao trong kỷ nguyên số.

4.1. Kết quả thực nghiệm trên bộ dữ liệu lớn

Thực nghiệm được triển khai nghiêm ngặt trên hơn 250.000 bài viết Twitter. Quá trình kiểm thử tập trung vào mười từ khóa truy vấn thuộc nhiều chủ đề. Kết quả đánh giá chỉ ra độ chính xác phân loại chủ quan đạt mức 76.7%. Trong khi đó, độ chính xác nhận diện phân cực cảm xúc đạt hơn 81%. Tỷ lệ này vượt trội so với nhiều giải pháp cơ bản cùng thời kỳ. Kết quả phản ánh tính đúng đắn của việc tích hợp n-gram và từ điển WordNet. Các tính năng đặc thù mạng xã hội như hashtag và biểu tượng cảm xúc đóng góp đáng kể. Thử nghiệm thực tế là bằng chứng rõ ràng cho tính khả thi của hệ thống.

4.2. Hướng phát triển và ứng dụng thực tiễn

Mô hình tạo nền móng vững chắc cho các công cụ lắng nghe mạng xã hội. Doanh nghiệp dễ dàng tích hợp thuật toán vào hệ thống chăm sóc khách hàng tự động. Nhờ đó, rủi ro truyền thông được kiểm soát ngay từ giai đoạn bùng phát ban đầu. Trong tương lai, hệ thống cần được mở rộng để xử lý dữ liệu đa ngôn ngữ. Việc tinh chỉnh thuật toán cho tiếng Việt là bước đi cấp thiết. Thêm vào đó, nhóm nghiên cứu có thể tích hợp kỹ thuật học sâu để nhận diện ngữ cảnh châm biếm. Khả năng phân tích đồ thị liên kết giữa các tài khoản cũng cần được khám phá. Những cải tiến này sẽ hoàn thiện giải pháp phân tích dữ liệu mạng xã hội.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển của các mạng xã hội trực tuyến tạo ra nguồn dữ liệu lớn phản ánh thái độ, cảm xúc và đánh giá của cộng đồng đối với các đối tượng trong đời sống. Trong đó, Twitter là một trong những mạng xã hội viễn thông (micro-blog) phát triển nhanh. Tính đến tháng 4 năm 2013, Twitter ghi nhận hơn 500 triệu người dùng, hơn 170 tỷ lượt tweet, hơn 200 triệu người dùng tích cực hàng tháng và trung bình mỗi ngày sản sinh hơn 400 triệu tweet.

Mạng xã hội Twitter sở hữu các đặc thù kỹ thuật riêng biệt so với các nền tảng khác:

• Cơ chế kết nối một chiều (following/follower): Người dùng có thể theo dõi một tài khoản khác mà không cần sự đồng ý hay giới hạn số lượng kết nối như giới hạn 5.000 bạn bè của Facebook thời điểm đó.
• Giới hạn độ dài thông điệp: Mỗi bài đăng (tweet) bị giới hạn tối đa 140 ký tự (xuất phát từ tiêu chuẩn tin nhắn SMS 160 ký tự, dành 20 ký tự cho định danh người gửi).
• Cấu trúc dữ liệu đặc thù: Xuất hiện nhiều cú pháp riêng như thẻ đề cập (@mention), thẻ chủ đề (#hashtag), liên kết rút gọn và cơ chế chia sẻ lại thông điệp (retweet - RT).

Xuất phát từ bối cảnh đó, bài toán thu hồi quan điểm (opinion retrieval) về một thực thể cụ thể trên Twitter trở nên cần thiết nhằm hỗ trợ người dùng và tổ chức nắm bắt góc nhìn tổng quan từ cộng đồng về sản phẩm hoặc dịch vụ.

Mục tiêu và nhiệm vụ nghiên cứu của khóa luận được xác định cụ thể:

1. Tìm hiểu, khảo sát và phân tích các công trình nghiên cứu liên quan về bài toán thu hồi và phân lớp quan điểm trên các miền dữ liệu văn bản và mạng xã hội.
2. Đề xuất mô hình thu hồi quan điểm về thực thể trên mạng xã hội Twitter, giải quyết các thách thức đặc thù của dữ liệu tweet.
3. Xây dựng quy trình xử lý bao gồm thu thập dữ liệu bằng Search API, tiền xử lý chuẩn hóa văn bản, phân lớp chủ quan/khách quan và phân lớp phân cực (tích cực/tiêu cực).
4. Xây dựng hệ thống thực nghiệm, đánh giá độ chính xác của mô hình trên tập dữ liệu thực tế và trực quan hóa kết quả theo chuỗi thời gian.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các thông điệp tweet tiếng Anh liên quan đến thực thể trên mạng xã hội Twitter.
• Phạm vi không gian và nguồn dữ liệu: Nền tảng Twitter thông qua giao diện lập trình ứng dụng Twitter Search API.
• Phạm vi ngôn ngữ và thời gian: Dữ liệu tiếng Anh thu thập trong khoảng thời gian hiệu lực của Twitter Search API (tối đa từ 6 đến 9 ngày tính từ thời điểm truy vấn).
• Phạm vi thử nghiệm: Thực hiện trên 10 từ khóa truy vấn tên thực thể công nghệ và thương mại (tiêu biểu như iPhone 5, Samsung, Acer...).

Khó khăn và thách thức:

• Dữ liệu tweet có độ dài rất ngắn (tối đa 140 ký tự), mật độ từ viết tắt, từ lóng, lỗi chính tả và cấu trúc ngữ pháp tự do cao, làm giảm hiệu năng của các công cụ xử lý ngôn ngữ tự nhiên (NLP) truyền thống.
• Dữ liệu chứa nhiều nhiễu, spam liên kết URL và có tỷ lệ trùng lặp nội dung rất lớn do cơ chế retweet.
• Dữ liệu viễn thông xã hội ít khi đề cập đa khía cạnh chi tiết và có độ tin cậy thấp hơn so với các bài đánh giá sản phẩm (product review) chuyên biệt.

Cơ sở lý thuyết và phương pháp

Khóa luận kế thừa và phối hợp các kỹ thuật học máy có giám sát, các độ đo tương đồng chuỗi và xử lý ngôn ngữ tự nhiên:

Khung lý thuyết phân lớp quan điểm: Bài toán được chia thành hai bài toán con kế tiếp nhau:

1. Phân lớp chủ quan/khách quan (Subjective/Objective Classification): Xác định xem một tweet có chứa quan điểm cá nhân hay chỉ đơn thuần là thông tin thực tế khách quan.
2. Phân lớp phân cực (Polarity Classification): Xác định hướng phân cực của các tweet chủ quan là tích cực (positive) hay tiêu cực (negative).

Thuật toán máy học Support Vector Machines (SVM): Khóa luận lựa chọn thuật toán SVM (do Vladimir Vapnik và Corinna Cortes đề xuất) thông qua gói công cụ LibSVM. SVM xây dựng mặt siêu phẳng quyết định $f(x) = w \cdot x + b = 0$ trong không gian đặc trưng nhiều chiều nhằm cực đại hóa khoảng cách lề (margin) giữa hai lớp dữ liệu mẫu dương ($y_i = +1$) và mẫu âm ($y_i = -1$). Các nghiên cứu tham chiếu chỉ ra SVM đạt hiệu năng cao và ổn định hơn so với Naïve Bayes hay Maximum Entropy đối với dữ liệu phân loại văn bản mạng xã hội.

Hệ thống các nhóm đặc trưng được trích xuất:

• Đặc trưng từ và n-gram: Các từ xuất hiện với tần suất lớn hơn 0,5% trong tập dữ liệu huấn luyện; biểu diễn dưới dạng trọng số nhị phân hoặc trọng số nghịch đảo tần suất.
• Đặc trưng từ loại (Part-of-Speech - POS): Sử dụng 36 nhãn từ loại (danh từ riêng NPS, NNS, động từ quá khứ, tính từ so sánh, đại từ nhân xưng PP, PP$...) dựa trên nhận định của Pak và cộng sự về sự khác biệt phân bố từ loại giữa câu chủ quan và khách quan.
• Đặc trưng từ mang quan điểm: Sử dụng bộ từ điển quan điểm gồm 10.222 từ tiếng Anh có gán điểm số định lượng từ 1 đến 9 (ví dụ từ "Love" có điểm 8,72).
• Đặc trưng mạng xã hội: Nhận diện ký tự tag người dùng (@), thẻ chủ đề (#), đường dẫn liên kết (URL), và chỉ số chuyển tiếp (retweet - RT).
• Đặc trưng biểu tượng cảm xúc (Emoticons): Phân loại biểu tượng cảm xúc thành 5 mức độ: tích cực mạnh (||EP||), tích cực (||P||), trung lập (||NU||), tiêu cực (||N||), tiêu cực mạnh (||EN||).
• Đặc trưng cú pháp và biến thể chữ viết: Độ dài tweet, số lượng dấu hỏi (?), dấu chấm than (!), số lượng từ viết hoa toàn bộ, các từ kéo dài ký tự liên tiếp phản ánh sắc thái biểu cảm (ví dụ: "Coooooooooooolllll").
• Đặc trưng phủ định: Nhận diện các từ phủ định ("no", "cannot", "n't").

Phương pháp lọc trùng lặp kết hợp hai độ đo tương đồng: Hiện tượng retweet làm phát sinh số lượng lớn tweet giống nhau hoặc gần giống nhau nhưng chỉ khác biệt về @mention hoặc hashtag. Khóa luận kết hợp hai độ đo:

1. Độ tương đồng Cosine (Cosine Similarity): Dựa trên không gian vector TF-IDF để đo lường mức độ trùng lặp từ vựng giữa hai văn bản.
2. Khoảng cách Levenshtein (Levenshtein Distance): Thuật toán quy hoạch động tính số phép biến đổi ký tự tối thiểu (chèn, xóa, thay thế) giữa chuỗi $s$ và $t$. Độ tương đồng Levenshtein được xác định theo công thức: $$Lenven_similarity(s,t) = 1 - \frac{LevenshteinDistance(s,t)}{\max(Length(s), Length(t))}$$

Quy tắc lọc dữ liệu: Một tweet bị loại bỏ nếu tồn tại một tweet trước đó thỏa mãn đồng thời hai điều kiện: độ tương đồng Cosine $\ge 0,7$ và độ tương đồng Levenshtein $\ge 0,8$.

Nguồn dữ liệu và giao thức: Thu thập tự động thông qua Twitter Search API với định dạng đầu ra JSON, bóc tách các trường: thời gian tạo (created_at), tên tài khoản (from_user), mã định danh người dùng (from_user_id), mã định danh tweet (id), nội dung thông điệp (text), và mã ngôn ngữ (iso_language_code).

Thiết kế và triển khai hệ thống

Hệ thống thu hồi quan điểm được tổ chức thành một quy trình tích hợp gồm 4 pha xử lý nối tiếp nhau:

Pha xử lý	Nhiệm vụ chính	Đầu vào / Công cụ	Đầu ra
Pha 1: Thu thập và Tiền xử lý	Thu thập dữ liệu theo từ khóa truy vấn; chuẩn hóa văn bản; khử trùng lặp.	Tên thực thể truy vấn; Twitter Search API; các bộ từ điển chuẩn hóa.	Tập dữ liệu tweet sạch đã chuẩn hóa và loại bỏ trùng lặp.
Pha 2: Phân lớp Chủ quan / Khách quan	Tách lọc các tweet mang ý kiến cá nhân khỏi các tweet thuần tin tức/sự kiện.	Tập dữ liệu tweet đã chuẩn hóa; mô hình SVM huấn luyện với 8 nhóm đặc trưng.	Tập tweet mang nhãn chủ quan (mang quan điểm).
Pha 3: Phân lớp Phân cực	Phân loại các tweet chủ quan thành hai hướng thái độ: tích cực hoặc tiêu cực.	Tập tweet chủ quan; 2 mô hình SVM con (có biểu tượng cảm xúc và không có biểu tượng cảm xúc).	Tập tweet được gán nhãn phân cực (tích cực/tiêu cực).
Pha 4: Trực quan hóa	Thống kê số lượng, tỷ lệ phần trăm và biến động xu hướng quan điểm theo thời gian.	Tập dữ liệu tweet đã gán nhãn phân cực; công cụ tạo biểu đồ thống kê.	Biểu đồ cột, biểu đồ đường biểu diễn phân bố quan điểm.

Chi tiết quy trình chuẩn hóa dữ liệu tại Pha 1:

• Giải mã ký tự HTML: Chuyển đổi các thực thể mã hóa như & thành &, < thành <, > thành >, " thành ", ' thành '.
• Thay thế các thành phần đặc thù bằng nhãn định danh: Biểu tượng cảm xúc được thay bằng các nhãn ||P||, ||EP||, ||N||, ||EN||, ||NU||; tài khoản @ thay bằng ||T||; hashtag # thay bằng ||H||; liên kết URL thay bằng ||U||.
• Chuẩn hóa từ vựng: Sử dụng từ điển chuẩn hóa để đưa các biến thể về từ gốc (ví dụ: "wooda" $\rightarrow$ "would", "luv" $\rightarrow$ "love", "hold'n" $\rightarrow$ "holding", "gqet" $\rightarrow$ "get"); sử dụng từ điển viết tắt để giải nghĩa các từ rút gọn (ví dụ: "gr8"/"gr8t" $\rightarrow$ "great", "lol" $\rightarrow$ "laughing out loud", "rotf" $\rightarrow$ "rolling on the floor", "bff" $\rightarrow$ "best friend forever").
• Xử lý từ kéo dài: Đưa các từ lặp ký tự biểu cảm về dạng chuẩn hóa gần nhất (ví dụ: "Cooooool" $\rightarrow$ "Coool").
• Giữ nguyên trạng thái viết hoa của từ sau khi chuẩn hóa để làm căn cứ cho đặc trưng cú pháp biểu cảm.

Thiết kế phân lớp phân cực phân nhánh tại Pha 3: Khóa luận chia tập dữ liệu huấn luyện thành hai không gian độc lập nhằm tối ưu hóa đặc trưng biểu cảm:

1. Mô hình con 1: Dành cho các tweet chứa biểu tượng cảm xúc, huấn luyện trên tập dữ liệu có biểu tượng cảm xúc với đầy đủ các đặc trưng (gồm 5 đặc trưng biểu tượng cảm xúc và 4 đặc trưng từ quan điểm).
2. Mô hình con 2: Dành cho các tweet không chứa biểu tượng cảm xúc, lược bỏ nhóm đặc trưng biểu tượng cảm xúc để tránh gán trọng số 0 hàng loạt làm loãng vector đặc trưng. Kết quả từ hai mô hình con được hợp nhất để tạo ra nhãn phân cực cuối cùng cho toàn bộ dữ liệu.

Nội dung chính theo từng chương

Chương 1. Khái quát bài toán thu hồi quan điểm về thực thể trên mạng xã hội Twitter

Chương này đặt nền móng lý thuyết và thực tiễn cho đề tài:

• Phân tích bức tranh tổng thể về mạng xã hội năm 2012–2013 và các số liệu phát triển của Twitter.
• Trình bày sự khác biệt giữa cơ chế kết nối một chiều của Twitter và cơ chế kết bạn hai chiều có giới hạn 5.000 người của Facebook.
• Giải thích nguồn gốc giới hạn 140 ký tự do tích hợp mạng viễn thông SMS (160 ký tự trừ 20 ký tự tên người gửi) và việc thiếu vắng cổng hỗ trợ SMS tại Việt Nam là lý do Twitter ít phổ biến trong nước thời điểm đó.
• Phát biểu bài toán thu hồi quan điểm tổng quát và bài toán thu hồi quan điểm về thực thể trên Twitter: đầu vào là tên thực thể (ví dụ: iPhone 5, Samsung), đầu ra là đánh giá định lượng quan điểm cộng đồng.
• Luận giải ý nghĩa thực tiễn của việc theo dõi biến động quan điểm về sản phẩm theo thời gian thực đối với người tiêu dùng và doanh nghiệp.
• Chỉ ra các thách thức kỹ thuật do dữ liệu ngắn, nhiều từ viết tắt, sai ngữ pháp, dữ liệu nhiễu và spam liên kết.

Chương 2. Cơ sở lý thuyết và các nghiên cứu liên quan

Chương 2 tổng thuật các nghiên cứu tiền đề và các công cụ toán học:

• Khảo sát các hướng tiếp cận phân lớp quan điểm chủ quan/khách quan: Phương pháp dựa trên độ tương tự câu và Naïve Bayes của Yu và Hatzivassiloglou (2003); phương pháp dựa trên luật cú pháp mẫu cố định AutoSlog-TS của Wiebe và Riloff (2005); phương pháp dựa trên các đặc trưng đặc thù Twitter của Barbosa và Feng (2010); nghiên cứu phân bố từ loại của Pak và cộng sự (2010).
• Khảo sát các phương pháp phân lớp phân cực: Nghiên cứu đo độ tương tự ngữ nghĩa PMI-IR kết hợp học bán giám sát của Turney (2002); nghiên cứu phân loại đa lớp tích cực/tiêu cực/trung lập trên Twitter bằng học có giám sát của Davidov, Tsur và Rappoport (2010).
• Trình bày cơ sở toán học của thuật toán SVM, phương trình mặt siêu phẳng $f(x) = w \cdot x + b = 0$ và cách giải bài toán cực đại hóa lề phân cách.
• Trình bày các độ đo tương đồng chuỗi: Độ tương đồng Cosine trên không gian vector TF-IDF và thuật toán quy hoạch động tính khoảng cách Levenshtein. Phân tích ví dụ thực tế chứng minh sự cần thiết phải kết hợp đồng thời cả hai độ đo để không loại bỏ nhầm các câu đảo ngữ khác nghĩa.
• Giới thiệu chi tiết Twitter Search API: Các tham số truy vấn (q, lang, rpp), cấu trúc trả về định dạng JSON và bảng tổng hợp các toán tử tìm kiếm nâng cao (OR, -, #, from:, to:, since:, until:, filter:links). Phân tích các hạn chế của Search API (chỉ lấy dữ liệu trong vòng 6–9 ngày, giới hạn 1.000 ký tự truy vấn, không hỗ trợ định danh tài khoản).

Chương 3. Mô hình đề xuất

Chương này mô tả chi tiết giải pháp kỹ thuật do tác giả đề xuất:

• Trình bày sơ đồ luồng hoạt động tổng thể của hệ thống từ truy vấn đầu vào đến bước trực quan hóa đầu ra.
• Chi tiết hóa 4 pha nghiệp vụ: Crawler & Tiền xử lý; Huấn luyện và phân lớp chủ quan/khách quan; Huấn luyện và phân lớp phân cực; Trực quan hóa dữ liệu.
• Xây dựng bảng quy tắc chuyển đổi các ký tự HTML và nhãn hóa các thành phần mạng xã hội (||T||, ||H||, ||U||, ||P||, ||EP||, ||N||, ||EN||, ||NU||).
• Thiết lập bảng từ điển chuẩn hóa biến thể từ và từ điển viết tắt chuyên dụng cho ngôn ngữ Twitter.
• Xác định bộ 8 nhóm đặc trưng đưa vào huấn luyện mô hình SVM cho bộ phân lớp chủ quan/khách quan và bộ phân lớp phân cực.
• Đề xuất kiến trúc phân lớp phân cực hai nhánh con dựa trên sự xuất hiện của biểu tượng cảm xúc nhằm nâng cao độ chính xác gán nhãn.

Chương 4. Thực nghiệm và đánh giá

Chương 4 kiểm chứng mô hình đề xuất trên môi trường thực nghiệm:

• Mô tả kịch bản thực nghiệm trên 10 từ khóa truy vấn thực thể bằng tiếng Anh.
• Thống kê dữ liệu thực nghiệm với tổng quy mô thu thập đạt 253.711 tweet thông qua Search API.
• Đánh giá hoạt động của bộ tiền xử lý và thuật toán lọc trùng lặp kết hợp Cosine - Levenshtein.
• Đánh giá định lượng hiệu năng phân loại của mô hình SVM trên hai giai đoạn phân lớp.
• Trực quan hóa kết quả phân tích quan điểm đối với thực thể thử nghiệm điển hình (điện thoại iPhone 5) dưới các dạng: biểu đồ phần trăm tỷ lệ tích cực/tiêu cực, biểu đồ tổng số lượng tweet, và biểu đồ chuỗi thời gian (cột và đường) thể hiện biến thiên quan điểm người dùng.

Kết quả và đóng góp

Kết quả định lượng đạt được:

• Khóa luận đã thu thập và xử lý thực nghiệm một bộ dữ liệu thực tế gồm 253.711 tweet tiếng Anh từ Twitter.
• Độ chính xác (Accuracy) của bộ phân lớp chủ quan/khách quan đạt xấp xỉ 76,7%.
• Độ chính xác của bộ phân lớp phân cực (tích cực/tiêu cực) đạt trên 81%.
• Hệ thống đã trực quan hóa dữ liệu quan điểm về thực thể iPhone 5 qua biểu đồ tỷ lệ phần trăm, biểu đồ số lượng và biểu đồ biến động theo các mốc thời gian.

Bảng tổng hợp các nhóm đặc trưng sử dụng trong hai bộ phân lớp SVM:

Nhóm đặc trưng	Bộ phân lớp Chủ quan / Khách quan	Bộ phân lớp Phân cực
Unigram	Từ xuất hiện với tần suất > 0,5%	Từ xuất hiện với tần suất > 0,5%
Từ loại (POS)	36 nhãn từ loại	36 nhãn từ loại
Từ mang quan điểm	2 đặc trưng: mang quan điểm / không mang quan điểm	4 đặc trưng: tích cực mạnh, tích cực, tiêu cực mạnh, tiêu cực (từ điển 10.222 từ)
Đặc trưng Tweet	4 đặc trưng: retweet, link, reply (@), hashtag (#)	4 đặc trưng: retweet, link, reply (@), hashtag (#)
Biểu tượng cảm xúc	2 đặc trưng: mang quan điểm / trung lập	5 đặc trưng: tích cực mạnh, tích cực, tiêu cực mạnh, tiêu cực, trung lập
Từ phủ định	Nhận diện "no", "cannot", "n't"...	Nhận diện "no", "cannot", "n't"...
Cú pháp	Số từ viết hoa, số dấu hỏi (?), số dấu cảm (!)	Số từ viết hoa, số dấu hỏi (?), số dấu cảm (!)
Từ kéo dài	Các từ lặp ký tự (ví dụ: coooooooll)	Các từ lặp ký tự (ví dụ: coooooooll)

Đóng góp của khóa luận:

1. Xây dựng hoàn chỉnh mô hình quy trình thu hồi và phân tích quan điểm về thực thể trên Twitter, tích hợp chặt chẽ từ khâu thu thập API, tiền xử lý ngôn ngữ mạng xã hội, phân lớp hai giai đoạn đến trực quan hóa.
2. Đề xuất phương pháp khử trùng lặp dữ liệu retweet hiệu quả bằng việc kết hợp đồng thời độ đo tương đồng Cosine (ngưỡng 0,7) và độ tương đồng khoảng cách Levenshtein (ngưỡng 0,8), giải quyết triệt để trường hợp câu tương đồng từ vựng nhưng khác biệt về trật tự ngữ nghĩa.
3. Đề xuất giải pháp phân nhánh mô hình phân lớp phân cực thành hai bộ phân lớp con độc lập (có và không có biểu tượng cảm xúc), giúp khai thác tối đa giá trị cảm xúc của biểu tượng mà không làm suy giảm hiệu năng trên các mẫu văn bản thông thường.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận từ văn bản:

• Phụ thuộc vào các giới hạn kỹ thuật của Twitter Search API: Chỉ truy xuất được các bài đăng trong phạm vi thời gian ngắn (từ 6 đến 9 ngày gần nhất), truy vấn bị giới hạn tối đa 1.000 ký tự và cơ chế tìm kiếm tập trung vào độ liên quan chứ không đảm bảo thu thập đầy đủ toàn bộ dữ liệu như Streaming API.
• Nghiên cứu mới chỉ tập trung xử lý và đánh giá trên miền dữ liệu ngôn ngữ tiếng Anh, chưa mở rộng sang các ngôn ngữ khác hoặc tiếng Việt do đặc thù người dùng Twitter tại Việt Nam thời điểm 2013 còn hạn chế.
• Một số đặc trưng thử nghiệm (như từ phủ định) khi kết hợp cùng các đặc trưng khác chỉ làm tăng nhẹ hoặc thậm chí làm giảm độ chính xác tổng thể trong một số cấu hình học máy.

Hướng nghiên cứu tiếp theo:

• Chuyển đổi hoặc kết hợp thu thập dữ liệu bằng Twitter Streaming API thay thế cho Search API nhằm thu thập dữ liệu thời gian thực liên tục với quy mô đầy đủ hơn.
• Nghiên cứu mở rộng hệ thống sang xử lý đa ngôn ngữ, đặc biệt là tiếng Việt.
• Bổ sung các phương pháp trích chọn đặc trưng ngữ nghĩa nâng cao và tinh chỉnh ngưỡng lọc tương đồng để tối ưu hóa hơn nữa hiệu năng phân loại của các bộ phân lớp con.

Giá trị tham khảo

Tài liệu khóa luận này mang lại giá trị tham khảo cụ thể cho sinh viên ngành Công nghệ thông tin, Khoa học dữ liệu, và các kỹ sư xây dựng hệ thống xử lý ngôn ngữ tự nhiên (NLP):

• Phần tiền xử lý và chuẩn hóa văn bản mạng xã hội (Mục 3.2.1): Là tài liệu tham khảo chi tiết về việc xây dựng các bộ từ điển chuẩn hóa biến thể, từ điển viết tắt, quy tắc xử lý thực thể HTML và chuẩn hóa từ kéo dài cho dữ liệu ngắn dạng micro-blog.
• Phương pháp lọc trùng lặp kết hợp (Mục 2.4 & 3.2.1): Cung cấp giải thuật thực tế và ngưỡng tham số cụ thể trong việc phối hợp giữa độ tương đồng vector (Cosine) và độ tương đồng cấu trúc chuỗi (Levenshtein) để xử lý dữ liệu mạng xã hội bị nhiễu do chia sẻ lại.
• Thiết kế phân nhánh bộ phân loại cảm xúc (Mục 3.2.3): Cung cấp giải pháp phân tách không gian dữ liệu huấn luyện dựa trên sự tồn tại của biểu tượng cảm xúc, hữu ích cho các đề tài phân tích quan điểm (Sentiment Analysis) trên các nền tảng mạng xã hội có mật độ biểu tượng cảm xúc cao.

Câu hỏi thường gặp

1. Khóa luận sử dụng tiêu chuẩn nào để lọc bỏ các bài đăng trùng lặp do cơ chế retweet? Tác giả áp dụng đồng thời hai độ đo tương đồng: độ đo Cosine và độ đo tương đồng dựa trên khoảng cách Levenshtein. Một bài đăng bị coi là trùng lặp và bị loại bỏ nếu so với bài đăng trước đó, nó có độ tương đồng Cosine lớn hơn hoặc bằng 0,7 và độ tương đồng Levenshtein lớn hơn hoặc bằng 0,8.

2. Tại sao bộ phân lớp phân cực lại được tách thành hai bộ phân lớp con riêng biệt? Dữ liệu tweet được chia thành hai nhóm: nhóm có chứa biểu tượng cảm xúc và nhóm không chứa biểu tượng cảm xúc. Việc xây dựng hai bộ phân lớp con tương ứng giúp nhóm bài đăng có biểu tượng cảm xúc tận dụng tối đa 5 đặc trưng biểu cảm chuyên biệt, trong khi nhóm không có biểu tượng cảm xúc không bị ảnh hưởng tiêu cực bởi các đặc trưng rỗng, từ đó nâng cao độ chính xác phân loại tổng thể.

3. Giới hạn thời gian thu thập dữ liệu của Twitter Search API trong khóa luận là bao lâu? Twitter Search API chỉ hỗ trợ truy xuất các tweet trong khoảng thời gian từ 6 đến 9 ngày gần nhất tính từ thời điểm thực hiện lệnh truy vấn, và không thể sử dụng để tìm kiếm các bài đăng cũ hơn một tuần.

4. Quy mô bộ dữ liệu thực nghiệm và kết quả phân loại đạt được trong khóa luận là bao nhiêu? Khóa luận đã thu thập tổng cộng 253.711 tweet tiếng Anh trên 10 từ khóa truy vấn tên thực thể. Kết quả thực nghiệm cho thấy bộ phân lớp chủ quan/khách quan đạt độ chính xác khoảng 76,7% và bộ phân lớp phân cực đạt độ chính xác hơn 81%.

5. Bộ từ điển quan điểm được khóa luận sử dụng có cấu trúc và quy mô như thế nào? Khóa luận sử dụng bộ từ điển quan điểm tiếng Anh gồm 10.222 từ. Mỗi từ trong từ điển được định lượng bằng một điểm số quan điểm là số thực nằm trong khoảng từ 1 đến 9 (điểm càng cao thể hiện mức độ tích cực càng lớn, điểm càng thấp thể hiện mức độ tiêu cực) kèm theo các chỉ số về mức độ phổ biến trên mạng xã hội.

Kết luận

Khóa luận của tác giả Đào Quốc Vương đã giải quyết bài toán thu hồi và phân tích quan điểm về thực thể trên mạng xã hội Twitter thông qua việc xây dựng một quy trình 4 pha từ thu thập dữ liệu API, tiền xử lý, phân lớp SVM hai giai đoạn đến trực quan hóa. Nghiên cứu đóng góp phương pháp lọc trùng lặp kết hợp Cosine - Levenshtein và mô hình phân lớp phân cực tách nhánh theo biểu tượng cảm xúc, đạt độ chính xác phân lớp chủ quan 76,7% và phân lớp phân cực trên 81% trên tập dữ liệu 253.711 tweet. Đây là tài liệu kỹ thuật có giá trị tham khảo rõ ràng cho các nghiên cứu và ứng dụng khai phá dữ liệu mạng xã hội và phân tích cảm xúc văn bản tiếng Anh.

Trích đoạn nội dung tài liệu

Chương 1 khóa luận đã giới thiệu về mạng xã hội twitter và bài toán thu hồi quan điểm, giới thiệu bài toán thu hồi quan điểm về thực thể trên mạng xã hội twitter, lý do sử dụng twitter để thu hồi quan điểm, cho biết tầm quan trọng của bài toán và những khó khăn thách thức gặp phải khi giải quyết bài toán. Chương tiếp theo khóa luận sẽ trình bày về các cơ sở lý thuyết và các ngiên cứu liên quan đến bài toán này. Cơ sở lý thuyết và các ngiên cứu liên quan Đã có rất nhiều công trình nghiên cứu của các tác giả[1,6,9,12,15,16,22] liên quan đến việc thu hồi quan điểm từ nhiều nguồn dữ liệu với các phương pháp khác nhau. Sự phát triển nhanh chóng của mạng xã hội twitter, thu hồi quan điểm trên twitter đã được nhiều sự quan tâm của tác giả[2,3,7,13,22].

Bên cạnh đó khóa luận cũng tham khảo các phương pháp khai phá quan điểm của nhiều tác giả[5,14,19,20] trên các dữ liệu khác để có thể học hỏi và nâng cao kết quả. Chương này khóa luận sẽ trình bày khái quát những phương pháp của các tác giả đã thực hiện. Hệ thống phân lớp quan điểm 2. Các đặc trưng phân lớp quan điểm Đặc trưng dựa trên từ và n-gram Mỗi từ xuất hiện trong câu phục vụ như một đặc trưng nhị phân với trọng số bằng đảo ngược số từ trong tập dữ liệu twitter.

Davidov và cộng sự[7] đã từng sử dụng từ 2-5 từ liên tiếp để làm đặc trưng với trọng số tương tự, do đó trọng số của đặc trưng n-gram luôn cao hơn trọng số các đặc trưng thành phần của nó, các từ hiếm có trọng số cao hơn các tự thông thường. Các từ hoặc n-gram xuất hiện chưa đầy 0.5% trong tập huấn luyện không phải là một đặc trưng. Các biểu tượng mặt cười ASCII và các dấu chấm khác có chứa hai hoặc nhiều hơn các biểu tượng dấu chấm câu liên tiếp được sử dụng như một đặc trưng, từ đặc trưng này gồm từ thay siêu từ trong link, nguồn(references) và hashtag. Đặc trưng từ loại Đặc trưng từ loại ((Part of speech)) là một đặc trưng phổ biển được rất nhiều các tác giả như Agarwal và cộng sự[1], Alec Go và cộng sự[2]sử dụng và nó góp phần tăng hiệu suất cao trong việc phân lớp chủ quan/khách quan, phân lớp tích cực/tiệu cực.

Đặc trưng từ loại thể hiện được từ loại trong câu với trọng số là tổng số từ loại đó xuất hiện trong câu. Theo Agarwal và cộng sự[1], việc sử dụng kết hợp POS với các đặc trưng khác cho nâng cao hiệu suất phân loại. Theo Alec Go và cộng sự[2]cảm thấy các đặc trưng POS sẽ là một đặc trưng hữu ích kể từ khi bạn sử dụng một từ cụ thể. Ví dụ, từ “Over” như một động từ mang ý nghĩ tiêu cực “Over” là danh từ.

Việc sử dụng phân loại Stanford Classifier chúng mang lại độ 12 chính các tăng 6%. Trong quá trình trên họ quan sát thấy rằng nó chỉ giảm độ chính xác xuống trong trường hợp NB. Đặc trưng từ mang quan điểm Từ mang quan điểm cũng được các tác giả[1,11] sử dụng làm đặc trưng cho phân lớp. Dùng từ điển quan điểm được gán nhãn tích cực, tích cực mạnh, tiêu cực, tiêu cực mạnh hoặc từ điển được đánh điểm số mang quan điểm trong phạm vi từ 1- 10 với càng thấp thì càng tiêu cực và ngược lại càng cao thì càng tích cực.

Đặc trưng mạng xã hội (twitter) Trong một tweet người ta thường sử dụng “@” trước tên người dùng để trả lời người dùng khác. Nội dung của tweet này có nhiều khả năng là “nội dung cá nhân”(personal content). Các nghiên cứu trước cho thấy “nội dung các nhân” trên toàn bộ chứa quan điểm nhiều hơn “nội dung chính thức”(personal content). (Gerani et al.

Chia sẻ link trong tweet là rất phổ biến trên twitter. Hầu hết các tweet chứa link thường có mục đích giới thiệu đến các liên kết (ví dụ tweet của quý vị được đăng bởi BBC News). Ngoài ra, spam trong twitter thường chứa link. Do đó sử dụng đặc trưng chứa link là một đặc trưng để xây dựng mô hình.

Hashtag là người dùng đánh dấu các chủ đề và bắt đầu bằng ký tự “#”. Sử dụng đặc trưng chứa hashtag là một đặc trưng để xây dựng mô hình Retweet (“RT”): chính là một trong những điểm mạnh của Twitter, thông tin lan truyền một cách nhanh chóng. Sử dụng retweet như một đặc trưng nhị phân. Đặc trưng biểu tượng cảm xúc Biểu tượng cảm xúc được sử dụng rất nhiều trong mạng xã hội, twitter cũng vậy, người dùng thường dùng các biểu tượng cảm xúc để thể hiện quan điểm.

Tác giả Agarwal và cộng sự [1] sử dụng bộ từ điển biểu tượng cảm xúc6, họ phân lớp các biểu tượng cảm xúc thành biểu tượng cảm xúc mang quan điểm tích cực, biểu 6 Nguồn http://en.org/wiki/List_of_emoticons 13 tượng cảm xúc mang quan điểm tích cực mạnh, biểu tượng cảm xúc mang quan điểm tiêu cực, biểu tượng cảm xúc mang quan điểm tiêu cực mạnh, biểu tượng cảm xúc mang quan điểm trung lập. Tùy theo phân lớp chủ quan/khách quan hay phân lớp quan điểm phân cực mà họ sử dụng các biểu tượng cảm xúc khác nhau. Phân lớp chủ quan/khách quansử dụng các biểu tượng cảm xúc mang quan điểm không trung lập(tích cực, tích cực mạnh, tiêu cực, tiêu cực mạnh) thành một đặc trưng và biểu tượng cảm xúc trung lập thành đặc trưng. Phân lớp quan điểm phân cực sử dụng các biểu tượng cảm xúc tích cực, tích cực mạnh, tiêu cực, tiêu cực mạnh mỗi loại là một đặc trưng.

Đặc trưng cú pháp Theo Davidov[7] sử dụng các đặc trưng sau:  Độ dài tweet  Tổng số dấu hỏi (?)  Tổng số dấu chấm than(!)  Tổng số từ viết hoa  Tổng số dấu ghi chú (‘, “) Tất cả các đặc trưng chia cho max giá trị trung bình của các nhóm đặc trưng. Như vậy max giá trị của các đặc trưng trên lên nhất là bằng giá trị trung bình trọng số của đặc trưng từ /n-gram. Đặc trưng từ kéo dài Trong twitter: chữ viết hoa, giữa 2 dấu ‘*’, lặp lại chữ cái (Coooooooooooolllll !!!). Và theo Samuel Brody- Nicholas Diakopoulos đã chứng minh từ kéo dài trên twitter là phổ biến và có sự liên quan đến thể hiện quan điểm[14].

Đặc trưng từ phủ định (not) Bằng cách sử dụng phân loại Stanford và phân loại SVM cơ sở, theo Alec Go và cộng sự[1,2] quan sát thấy rằng việc xác định lớp tiêu cực dường như khó khăn hơn so với lớp tích cực, chỉ bằng cách nhìn vào độ chính xác, độ hồi tưởng và độ đô F1 cho lớp này. Đây là lý do tại sao khóa luận quyết định thêm phủ nhận như một đặc trưng cụ thể được thêm vào khi "no" hoặc "n't" được quan sát thấy trong các bộ dữ liệu. Tuy nhiên 14 chúng ta chỉ quan sát thấy một sự gia tăng trong tổng thể chính xác trong khoảng 2% trong các phân loại học Stanford và khi được sử dụng kết hợp với một số tính năng khác, nó mang lại độ chính xác tổng thể xuống và do đó khóa luận loại bỏ nó. Tính năng chồng chéo có thể có được độ chính xác NB xuống, vì vậy khóa luận không quá quan tâm về sự sụt giảm với NB.

Tuy nhiên nó đã không cung cấp bất kỳ thay đổi mạnh mẽ với OpenNLP khác. Phân lớp quan điểm chủ quan/khách quan Xác định quan điểm của đối tượng cần phân lớp có mang quan điểm hay không mang quan điểm gọi là phân lớp chủ quan. Nếu đối tượng có thể hiện quan điểm sẽ thuộc vào lớp chủ quan, ngược lại nếu đối tượng không thể hiện quan điểm thì nó sẽ được phân vào lớp khách quan. Dưới đây là một số phương pháp và hướng tiếp cận của một số nghiên cứu về phân lớp chủ quan điển hình: Yu và Hatzivassiloglou, 2003[20] thực hiện phân lớp chủ quan sử dụng câu tương tự và phân lớp naïve Bayes.

Phương thức câu tương tự là dựa trên giả sử rằng các câu chủ quan hay câu quan điểm là thường có sự giống nhau hơn là các câu thực tế. Họ sứ dụng hệ thống SIMFNDER để đo độ tương tự của các câu dựa trên các từ, cụm từ và từ điển WordNet. Phân lớp naïve Bayes họ đã sử dụng unigram, bigrams, trigrams, gán nhãn (part to speech), các từ thể hiện quan điểm, số các từ định hướng có quan điểm của chuỗi các từ mang quan điểm (ví dụ “++” cho hai từ liên tiếp có định hướng mang quan điểm tích cực ) và số lượng các nhãn kết hợp với thông tin mang quan điểm (ví dụ “JJ+” cho tính từ tích cực). Trong nghiên cứu của Wiebe and Riloff (2005) [19], họ dựa trên luật để phân lớp chủ quan dựa trên nguyên tắc phân loại một câu là chủ quan nếu nó có chứa hai hoặc nhiều hơn đầu mối chủ quan (nếu không nó không có nhãn câu).

Ngược lại, phân lớp khách quan dựa trên luật nếu nó không có đầu mối chủ quan trong câu và một vài điều kiện khác. Hệ thống của họ được mô hình mới từ các câu khách quan sử dụng thông tin trích xuất từ hệ thống AutoSlog-TS, nó tìm ra các mô hình dựa trên các mẫu cú pháp cố định. Nghiên cứu điển hình về phân loại chủ quan trên Twitter của Barbosa and Feng (2010) [3] đã phân loại tính chủ quan của các tweets dựa trên các tính năng cụ thể của Twitter như retweets, hashtags, links, các từ viết hoa, biểu tượng cảm xúc, dấu chấn than 15 và dấu chấm hỏi. Họ đã sử dụng các tính năng đặc biệt đó để phân loại quan điểm chủ quan của các tweets.

Cũng trên dữ liệu Twiter, nhóm tác giả Pak và cộng sự 2010[13] đã thử nghiệm bộ phân lớp chủ quan/ khách quan với các đặc trưng từ loại. Trong quá trình lựa chọn đặc trưng, họ thấy rằng các từ loại không phân bố đều hai tập mang quan điểm và không mang quan điểm.Họ chỉ ra rằng các tweet khách quan thì thường chứa các danh từ riêng (NPS, NP, NNS), các động từ ở ngôi thứ 3 và thì quá khứ, các tính từ so sánh hơn. Trong khi đó trong các tweet chủ quan thì thường chứa các danh từ riêng (PP, PP$), động từ ở dạng nguyên thể. Phân lớp quan điểm phân cực Trong hệ thống phân tích quan điểm, phân lớp quan điểm phân cực là một bước quan trọng để xác định quan điểm được thể hiện là tích cực hay tiêu cực.

Ví dụ như câu: “The picture quality of this camera is amazing.” thì hệ thống sẽ cần phải xác định được quan điểm mà nó thể hiện. Trong nghiên cứu của Turney [2002] [17] đã thực hiện việc xác định quan điểm được thể hiện của mỗi văn bản là tích cực hay tiêu cực.