Bối cảnh và vấn đề nghiên cứu

Sự phát triển của các dịch vụ mạng xã hội trực tuyến, tiêu biểu như Twitter, Facebook và LinkedIn, đã biến Internet thành một không gian lưu trữ và trao đổi dữ liệu khổng lồ do chính người dùng tạo ra. Theo các dữ liệu thống kê năm 2012 được tác giả trích dẫn, Twitter đạt mốc hơn 500 triệu người dùng, sinh ra trên 340 triệu lượt tin nhắn (tweet) và xử lý khoảng 1,6 tỷ lượt truy vấn tìm kiếm mỗi ngày; cùng thời điểm, lưu lượng truy cập hàng tháng của Facebook đạt 750 triệu lượt, Twitter đạt 250 triệu và LinkedIn đạt 110 triệu. Khác với các bài đánh giá truyền thống trên blog hay diễn đàn thương mại, các thông điệp trên Twitter có độ dài ngắn, cấu trúc ngữ pháp tự do, sử dụng nhiều từ lóng, từ viết tắt, ký hiệu cảm xúc, thẻ người dùng (@user), thẻ chủ đề (#hashtag) và các liên kết ngoài.

Những đặc tính này đặt ra các rào cản kỹ thuật nghiêm ngặt đối với lĩnh vực khai phá quan điểm (opinion mining) – một hướng nghiên cứu đã thu hút hơn 7.000 công trình công bố cùng nhiều ứng dụng thương mại. Khai phá quan điểm ở cấp độ văn bản hay câu không thể chỉ rõ đối tượng cụ thể được khen ngợi hoặc phàn nàn. Do đó, bài toán trích xuất khía cạnh (aspect extraction) trở thành bước nền tảng để triển khai khai phá quan điểm ở cấp độ khía cạnh (aspect-based sentiment analysis), hỗ trợ xây dựng các hệ thống hỏi đáp quan điểm, tóm tắt đánh giá người dùng và hệ thống gợi ý sản phẩm.

Văn bản định nghĩa khía cạnh là các đặc trưng, thành phần hoặc tính năng của một thực thể được người dùng đưa ra nhận xét:

  • Khía cạnh tường minh (explicit aspect): Là các danh từ hoặc cụm danh từ chỉ rõ bộ phận, tính năng của thực thể (ví dụ: "picture quality", "battery life").
  • Khía cạnh ẩn (implicit aspect): Là các từ ngữ không phải danh từ nhưng mang hàm ý chỉ một khía cạnh cụ thể (ví dụ: từ "expensive" gián tiếp biểu thị khía cạnh giá cả - "price").
  • Khía cạnh tổng quát (GENERAL): Được gán khi quan điểm hướng tới toàn bộ thực thể hoặc đưa ra đánh giá chung chung (ví dụ: "I love my camera").

Mục tiêu và nhiệm vụ nghiên cứu của khóa luận được phân định cụ thể như sau:

  1. Khảo sát bức tranh tổng quan về các phương pháp trích xuất khía cạnh trong khai phá quan điểm, đặc biệt là hướng tiếp cận dựa trên mô hình học máy chuỗi và mô hình chủ đề xác suất.
  2. Nghiên cứu cơ sở lý thuyết toán học của mô hình phân bổ Dirichlet ẩn (LDA) và trường điều kiện ngẫu nhiên (CRFs), làm rõ các ưu điểm và hạn chế so với các mô hình Markov tiền nhiệm.
  3. Đề xuất một mô hình lai ghép trích xuất khía cạnh dựa trên học máy giám sát CRFs, tích hợp thông tin phân bố chủ đề từ LDA cùng các đặc trưng từ loại và quan hệ cú pháp phụ thuộc.
  4. Xây dựng môi trường thực nghiệm, thiết kế bộ đặc trưng và đánh giá định lượng hiệu quả của mô hình đề xuất trên dữ liệu thực tế từ mạng xã hội Twitter.

Đối tượng nghiên cứu của khóa luận là các khía cạnh của thực thể trong bài toán khai phá quan điểm cấp độ khía cạnh. Phạm vi dữ liệu được giới hạn trên các bài đăng Twitter bằng tiếng Anh thu thập trong năm 2012–2013, tập trung vào hai đối tượng sản phẩm công nghệ là điện thoại thông minh iPhone 5 và máy tính bảng iPad.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng tính toán dựa trên hai mô hình học máy chủ đạo thuộc hai nhóm tiếp cận khác nhau:

1. Mô hình chủ đề xác suất LDA (Latent Dirichlet Allocation)

LDA là mô hình sinh xác suất không giám sát cấp từ được Blei và cộng sự đề xuất năm 2003, mở rộng từ các mô hình Naïve Bayes và pLSA. LDA giả định mỗi tài liệu $m$ trong tập ngữ liệu $M$ là một phân bố hỗn hợp trên $K$ chủ đề ẩn, và mỗi chủ đề là một phân phối đa thức trên tập từ vựng $V$. Quá trình sinh một văn bản được điều khiển bởi hai phân phối Dirichlet đồng thời:

  • Siêu tham số $\alpha$ điều khiển phân phối xác suất chọn chủ đề trong mỗi tài liệu ($\theta_m \sim \text{Dir}(\alpha)$).
  • Siêu tham số $\beta$ điều khiển phân phối xác suất của các từ xuất hiện trong từng chủ đề ($\phi_k \sim \text{Dir}(\beta)$).

Vì việc cực đại hóa trực tiếp hàm hợp lý (likelihood) trên toàn bộ dữ liệu có chi phí tính toán rất lớn, khóa luận sử dụng kỹ thuật lấy mẫu Gibbs (Gibbs sampling) – một dạng của chuỗi Markov Monte Carlo (MCMC). Thuật toán này cập nhật phân phối hậu nghiệm $P(Z|W)$ để ước lượng hai ma trận tham số $\Theta$ (tài liệu - chủ đề) và $\Phi$ (chủ đề - từ). Đối với một văn bản chưa biết $\tilde{m}$, mô hình LDA đã ước lượng tiếp tục sử dụng lấy mẫu Gibbs để tính toán vector phân bố chủ đề $u_{\tilde{m}}$.

2. Trường điều kiện ngẫu nhiên CRFs (Conditional Random Fields)

CRFs là mô hình học máy giám sát dạng phân biệt (discriminative) được Lafferty và cộng sự giới thiệu năm 2001, dùng cho bài toán gán nhãn và phân đoạn dữ liệu chuỗi. Khóa luận phân tích cấu trúc đồ thị để so sánh CRFs với hai mô hình truyền thống:

  • HMMs (Hidden Markov Models): Là mô hình sinh yêu cầu mô hình hóa phân phối đồng thời $p(X, Y)$, buộc phải đưa ra giả thiết độc lập nghiêm ngặt giữa các trạng thái quan sát, gây khó khăn khi tích hợp các đặc trưng phức tạp.
  • MEMMs (Maximum Entropy Markov Models): Sử dụng hàm số mũ để tính xác suất có điều kiện tại từng trạng thái nhưng mắc phải hiện tượng lệch nhãn (label bias problem). Do chuẩn hóa cục bộ tại mỗi bước chuyển, các trạng thái có ít lựa chọn chuyển tiếp tiếp theo sẽ chia sẻ toàn bộ trọng số mà không phản ánh đúng ảnh hưởng của chuỗi quan sát thực tế.
  • CRFs: Khắc phục triệt để hiện tượng lệch nhãn nhờ chuẩn hóa toàn cục trên toàn bộ chuỗi trạng thái. Hàm thế vị được xây dựng dựa trên nguyên lý cực đại entropy, kết hợp hai nhóm đặc trưng: đặc trưng chuyển tiếp $f_k(y_{i-1}, y_i, x, i)$ và đặc trưng trạng thái $g_k(y_i, x, i)$.

Để huấn luyện CRFs từ tập dữ liệu gán nhãn, tác giả áp dụng phương pháp tối ưu số bậc hai L-BFGS (Limited-memory BFGS) nhằm cực đại hóa hàm log-likelihood. Thuật toán này xấp xỉ ma trận nghịch đảo Hessian thông qua sự biến thiên của vector gradient qua từng vòng lặp, giúp tiết kiệm bộ nhớ và đạt tốc độ hội tụ nhanh. Trong giai đoạn suy diễn, giải thuật quy hoạch động Viterbi được triển khai để tìm chuỗi nhãn $y^*$ có xác suất điều kiện cao nhất.

3. Phương pháp nghiên cứu thực nghiệm

Nghiên cứu kết hợp phương pháp học máy không giám sát và có giám sát:

  • Tận dụng nguồn dữ liệu lớn chưa gán nhãn trên Twitter đưa qua LDA để rút trích các chủ đề ẩn.
  • Xây dựng bộ trích chọn đặc trưng đa tầng cho CRFs: từ vựng, nhãn từ loại (POS), các quan hệ cú pháp phụ thuộc (amod, nsubj, dobj, advmod) và đặc trưng xác suất chủ đề từ LDA.
  • Đánh giá hiệu năng bằng các độ đo học máy tiêu chuẩn: Precision (độ chính xác), Recall (độ hồi tưởng) và F1-measure.

Nội dung chính theo từng chương

Chương 1: Tổng quan về bài toán trích xuất khía cạnh khai phá quan điểm trên dữ liệu mạng xã hội

Chương này phân tích sự dịch chuyển của dữ liệu khai phá quan điểm từ các nguồn đánh giá tập trung sang mạng xã hội thời gian thực. Tác giả chỉ ra rằng dữ liệu tweet ngắn, cấu trúc phi ngữ pháp và chứa nhiều yếu tố phi chuẩn làm suy giảm nghiêm trọng độ chính xác của các bộ gán nhãn từ loại, phân tích cú pháp phụ thuộc và phân đoạn ngữ đoạn (chunking). Tác giả hệ thống hóa 4 hướng tiếp cận trích xuất khía cạnh trong y văn:

  1. Tiếp cận dựa trên danh từ và cụm danh từ phổ biến (phương pháp Hu và Liu, 2004).
  2. Tiếp cận khai thác mối quan hệ phụ thuộc giữa từ chỉ quan điểm và từ chỉ đích đến.
  3. Tiếp cận học máy giám sát dạng chuỗi.
  4. Tiếp cận dựa trên mô hình chủ đề xác suất.

Tác giả lập luận rằng phương pháp tần suất danh từ không phù hợp với Twitter do dữ liệu ngắn và nhiễu; phương pháp quan hệ quan điểm - đích gặp hạn chế do thiếu từ điển phù hợp và công cụ phân tích cú pháp hoạt động kém trên văn bản mạng xã hội. Vì vậy, kết hợp học máy giám sát và mô hình chủ đề là hướng đi khả dĩ nhất.

Chương 2: Mô hình chủ đề và học máy CRFs

Chương 2 trình bày chi tiết toán học của hai mô hình cốt lõi:

  • Xây dựng công thức phân bố đồng thời của LDA với các tham số Dirichlet $\alpha, \beta$ và quy trình lấy mẫu Gibbs để ước lượng phân phối chủ đề - từ và tài liệu - chủ đề.
  • Phân tích hiện tượng lệch nhãn trong MEMMs thông qua ví dụ đồ thị chuyển trạng thái và chứng minh toán học về tính chất chuẩn hóa toàn cục của CRFs.
  • Mô tả chi tiết hàm log-likelihood lồi của CRFs, phương pháp tính đạo hàm cấp một và giải thuật L-BFGS xấp xỉ ma trận đạo hàm cấp hai (Hessian) theo công thức biến thiên đường cong gradient, cùng quy trình quy hoạch động Viterbi tìm đường đi tối ưu.

Chương 3: Một số tiếp cận trích xuất khía cạnh trong khai phá quan điểm

Chương này đánh giá các mô hình nghiên cứu tiêu biểu:

  • Nhóm mô hình chủ đề mở rộng: Phân tích mô hình Sentiment-LDA của Li Fangtao và cộng sự (2010) (bổ sung tầng quan điểm giữa tầng chủ đề và từ), mô hình Dependency-Sentiment-LDA (bổ sung quan hệ phụ thuộc Markov giữa các từ thể hiện quan điểm liên tiếp), và mô hình kết hợp LDA-MaxEnt của Zhao Wayne Xin và cộng sự (2010) (sử dụng Maximum Entropy để tách các từ nền, từ khía cạnh chi tiết, từ quan điểm cụ thể và quan điểm chung).
  • Nhóm học máy giám sát: Đánh giá các công trình của Jin Wei và Ho Hung Hay, Jakob và Gurevych, Li Fangtao và cộng sự trong việc ứng dụng HMMs và CRFs với các tập đặc trưng cú pháp phụ thuộc (amod, nsubj, dobj, advmod). Tác giả chỉ ra nhược điểm của các phương pháp thuần giám sát là phụ thuộc hoàn toàn vào tập dữ liệu gán nhãn tốn kém, trong khi các mô hình chủ đề thuần túy lại gặp khó khăn trong việc tách biệt ranh giới từ loại của khía cạnh.

Chương 4: Phương pháp trích xuất khía cạnh trong khai phá quan điểm trên dữ liệu Twitter

Chương này đặc tả kiến trúc mô hình đề xuất:

  • Tận dụng văn bản Twitter không gán nhãn để chạy LDA, xác định phân bố xác suất chủ đề của từng văn bản.
  • Biểu diễn bài toán trích xuất khía cạnh dưới dạng bài toán gán nhãn chuỗi theo quy ước IOB (B-Aspect: bắt đầu khía cạnh, I-Aspect: bên trong khía cạnh, O: ngoài khía cạnh).
  • Thiết kế hệ thống đặc trưng đa dạng đưa vào mô hình học máy CRFs:
Nhóm đặc trưng Chi tiết đặc trưng sử dụng Mục đích kỹ thuật
Đặc trưng từ vựng Từ hiện tại $x_i$, các từ lân cận trong cửa sổ trượt ($x_{i-1}, x_{i+1}$) Nắm bắt ngữ cảnh cục bộ trực tiếp
Đặc trưng từ loại (POS) Nhãn từ loại của từ hiện tại và các từ xung quanh Nhận diện danh từ và cụm danh từ chỉ khía cạnh
Đặc trưng cú pháp Các quan hệ phụ thuộc cú pháp: amod, nsubj, dobj, advmod Ràng buộc quan hệ giữa tính từ quan điểm và danh từ khía cạnh
Đặc trưng chủ đề ẩn Vector xác suất chủ đề từ LDA; đặc trưng chủ đề có xác suất lớn nhất Đưa tri thức ngữ nghĩa toàn cục từ tập dữ liệu lớn vào chuỗi

Chương 5: Thực nghiệm và đánh giá

Chương 5 mô tả chi tiết quy trình thực nghiệm:

  • Thu thập dữ liệu tweet tiếng Anh về hai sản phẩm: iPhone 5 và iPad.
  • Tiền xử lý dữ liệu: chuẩn hóa chính tả thông qua từ điển chuẩn hóa, loại bỏ nhiễu, gán nhãn từ loại và định dạng dữ liệu đầu vào cho LDA và CRFs.
  • Xây dựng hệ thống baseline dựa trên các luật trích xuất danh từ và quan hệ phụ thuộc truyền thống.
  • Cài đặt thực nghiệm trên hệ thống phần cứng và công cụ phần mềm chuyên dụng; tiến hành thay đổi tham số số lượng chủ đề ẩn $K$ của LDA và thử nghiệm loại bỏ/bổ sung từng nhóm đặc trưng để đo lường mức độ đóng góp vào kết quả phân lớp.

Kết quả và đóng góp

Khóa luận công bố kết quả thực nghiệm định lượng cụ thể trên tập dữ liệu thử nghiệm về hai sản phẩm iPhone 5 và iPad:

  • Mô hình đề xuất kết hợp CRFs và đặc trưng chủ đề LDA đạt độ đo F1 là 77 (tương đương 77%).
  • Việc tinh chỉnh tham số số lượng chủ đề ẩn trong LDA cho thấy mô hình hoạt động ổn định và đạt kết quả tối ưu nhất tại giá trị $K = 10$ chủ đề ẩn.
  • Trong các dạng biểu diễn thông tin chủ đề, việc trích chọn đặc trưng chủ đề ẩn có xác suất lớn nhất trong mỗi dữ liệu mang lại tác dụng cải thiện độ chính xác rõ rệt nhất cho bộ phân lớp chuỗi CRFs.
Cấu hình mô hình thực nghiệm Thành phần kỹ thuật / Tham số Kết quả ghi nhận trong văn bản
Dữ liệu thực nghiệm Tập tweet tiếng Anh về iPhone 5 và iPad Thu thập, chuẩn hóa chính tả qua từ điển
Mô hình chủ đề (LDA) Số lượng chủ đề tối ưu: $K = 10$ Đặc trưng chủ đề xác suất lớn nhất hiệu quả nhất
Mô hình chuỗi (CRFs) Tối ưu hóa L-BFGS, giải mã Viterbi, nhãn IOB Đạt độ đo tổng hợp F1 = 77%
Hệ thống so sánh Hệ thống baseline dựa trên luật cú pháp và tần suất Kém hiệu quả do dữ liệu tweet ngắn và nhiễu

Đóng góp của khóa luận bao gồm:

  1. Đề xuất thành công mô hình lai ghép giải quyết bài toán trích xuất khía cạnh trên môi trường dữ liệu ngắn và nhiễu của Twitter bằng cách kết hợp học máy giám sát (CRFs) với mô hình chủ đề không giám sát (LDA).
  2. Khắc phục được các hạn chế cố hữu của các mô hình HMMs và MEMMs (đặc biệt là vấn đề lệch nhãn - label bias problem) trong bài toán trích xuất khía cạnh thực thể.
  3. Tận dụng hiệu quả lượng lớn dữ liệu chưa gán nhãn từ Twitter thông qua mô hình chủ đề để làm giàu không gian đặc trưng ngữ nghĩa cho mô hình học máy có giám sát, giúp nhận diện được cả những khía cạnh ít phổ biến.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế gắn liền với phạm vi nghiên cứu:

  • Chất lượng của các đặc trưng cú pháp phụ thuộc phụ thuộc nhiều vào các công cụ phân tích cú pháp (dependency parser) truyền thống, vốn đạt độ chính xác chưa cao khi xử lý câu ngắn, phi chuẩn và nhiều lỗi chính tả trên Twitter.
  • Thực nghiệm của khóa luận mới chỉ dừng lại ở phạm vi hai thực thể sản phẩm thuộc lĩnh vực công nghệ (iPhone 5 và iPad), chưa mở rộng kiểm chứng trên các miền thực thể phức tạp khác như dịch vụ công hay sự kiện xã hội.
  • Nghiên cứu tập trung giải quyết bài toán trích xuất khía cạnh tường minh (explicit aspect); bài toán trích xuất khía cạnh ẩn (implicit aspect) và gom nhóm các khía cạnh đồng nghĩa về cùng một nhóm khái niệm chưa được xử lý triệt để trong mô hình hiện tại.

Hướng nghiên cứu tiếp theo mà tác giả định hướng:

  • Cải tiến khâu tiền xử lý và xây dựng các bộ công cụ gán nhãn từ loại, phân tích phụ thuộc chuyên biệt cho miền dữ liệu mạng xã hội.
  • Mở rộng thực nghiệm mô hình trên nhiều dòng sản phẩm và các lĩnh vực đời sống khác nhau.
  • Tích hợp thêm pha gom nhóm khía cạnh (aspect clustering) và kết hợp đồng thời trích xuất khía cạnh với phân loại cực tính quan điểm (sentiment polarity classification) trong một khung làm việc thống nhất.

Giá trị tham khảo

Tài liệu này có giá trị học thuật và ứng dụng thiết thực đối với:

  • Sinh viên và học viên cao học ngành Công nghệ thông tin, Khoa học dữ liệu: Tài liệu trình bày rõ ràng, chi tiết nền tảng lý thuyết toán học xác suất của hai mô hình quan trọng là LDA (quá trình sinh Dirichlet, lấy mẫu Gibbs) và CRFs (nguyên lý cực đại entropy, hàm thế vị, giải thuật tối ưu L-BFGS và suy diễn Viterbi).
  • Người nghiên cứu về Khai phá quan điểm và Xử lý ngôn ngữ tự nhiên: Chương 3 cung cấp bức tranh so sánh chi tiết giữa các mô hình học máy chuỗi và mô hình chủ đề (Sentiment-LDA, Dependency-Sentiment-LDA, LDA-MaxEnt).
  • Kỹ sư triển khai hệ thống khai thác dữ liệu mạng xã hội: Chương 4 và Chương 5 cung cấp thiết kế bộ đặc trưng kết hợp (từ vựng, POS, cú pháp amod/nsubj/dobj/advmod và xác suất chủ đề) cùng quy trình chuẩn hóa dữ liệu tweet thực tế.

Câu hỏi thường gặp

1. Tại sao bài toán trích xuất khía cạnh trên Twitter lại phức tạp hơn so với trên dữ liệu đánh giá (review) truyền thống?

Dữ liệu Twitter có độ dài bị giới hạn (dạng thông điệp ngắn), cấu trúc ngữ pháp tự do, chứa nhiều lỗi chính tả, từ lóng, biểu tượng cảm xúc, ký hiệu @user, #hashtag và siêu liên kết. Độ dài ngắn khiến việc xác định ngữ cảnh khó khăn, làm giảm hiệu quả của các bộ phân lớp unigram, đồng thời cấu trúc phi chuẩn làm giảm độ chính xác của các công cụ phân tích cú pháp phụ thuộc và tách cụm từ.

2. Hiện tượng lệch nhãn (label bias problem) là gì và CRFs giải quyết vấn đề này như thế nào so với MEMMs?

Hiện tượng lệch nhãn xảy ra trong các mô hình trạng thái hữu hạn chuẩn hóa cục bộ như MEMMs: việc chuyển trạng thái chỉ dựa vào từng trạng thái riêng lẻ, khiến toàn bộ trọng số xác suất bị phân chia cục bộ cho các trạng thái tiếp theo khả dĩ. Những trạng thái có ít chuyển dịch kế tiếp sẽ ít hoặc không quan tâm đến chuỗi quan sát thực tế. CRFs khắc phục hoàn toàn hiện tượng này nhờ sử dụng mô hình hàm thế vị số mũ dựa trên nguyên lý cực đại entropy và thực hiện chuẩn hóa toàn cục trên toàn bộ chuỗi trạng thái.

3. Thông tin từ mô hình chủ đề LDA được tích hợp vào bộ học máy CRFs bằng cách nào?

Mô hình LDA không giám sát được huấn luyện trên lượng lớn dữ liệu Twitter để sinh ra phân bố xác suất chủ đề của từng văn bản. Khi đưa vào mô hình gán nhãn chuỗi CRFs, các thông tin phân bố này được mã hóa thành các đặc trưng trạng thái bổ sung cho từng từ, trong đó đặc trưng chọn ra chủ đề ẩn có xác suất lớn nhất trong văn bản mang lại hiệu quả đóng góp cao nhất cho việc phân định nhãn khía cạnh.

4. Kết quả thực nghiệm của khóa luận đạt được cụ thể là bao nhiêu và trên tập dữ liệu nào?

Khóa luận đã tiến hành thực nghiệm trên tập dữ liệu các bài đăng Twitter tiếng Anh bàn luận về hai sản phẩm công nghệ là iPhone 5 và iPad. Kết quả thực nghiệm cho thấy mô hình đề xuất kết hợp CRFs và LDA đạt điểm F1 tối ưu là 77 (tương đương 77%), với cấu hình số lượng chủ đề ẩn tốt nhất là $K = 10$.

5. Khóa luận đã phân tích những mô hình mở rộng tiêu biểu nào kết hợp chủ đề và quan điểm trước đó?

Tác giả đã phân tích ba mô hình tiêu biểu: mô hình Sentiment-LDA của Li Fangtao và cộng sự (2010) (bổ sung tầng quan điểm giữa tầng chủ đề và tầng từ), mô hình Dependency-Sentiment-LDA (bổ sung quan hệ phụ thuộc dạng chuỗi Markov giữa các từ quan điểm liên tiếp), và mô hình kết hợp LDA-MaxEnt của Zhao Wayne Xin và cộng sự (2010) (dùng Maximum Entropy để phân tách từ khía cạnh chi tiết, khía cạnh chung và từ quan điểm).

Kết luận

Khóa luận tốt nghiệp của tác giả Vũ Trọng Hóa đã nghiên cứu và giải quyết bài toán trích xuất khía cạnh trong khai phá quan điểm mạng xã hội Twitter thông qua việc kết hợp mô hình học máy giám sát CRFs và mô hình chủ đề xác suất LDA. Bằng việc phân tích sâu sắc các hạn chế về hiện tượng lệch nhãn của các mô hình Markov truyền thống và thách thức từ dữ liệu ngắn, tác giả đã xây dựng thành công bộ đặc trưng lai ghép đa tầng bao gồm từ vựng, từ loại, cú pháp phụ thuộc và phân bố chủ đề ẩn. Kết quả thực nghiệm trên dữ liệu tweet về iPhone 5 và iPad đạt điểm F1 là 77%, chứng minh tính đúng đắn và hiệu quả của phương pháp trong việc khai thác tri thức quan điểm từ các nguồn dữ liệu mạng xã hội phi cấu trúc.