Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ của các phương tiện truyền thông xã hội (Social Media) như Facebook và Twitter đã tạo ra một khối lượng dữ liệu khổng lồ (Big Data), phản ánh đa chiều hành vi người dùng, thông tin thị trường và tương tác doanh nghiệp. Tính đến tháng 9 năm 2012, Facebook ghi nhận hơn 1 tỷ thành viên truy cập hàng tháng trên toàn cầu; con số này đạt 1,35 tỷ người dùng tích cực vào tháng 9 năm 2014 và tăng lên 1,59 tỷ người vào tháng 8 năm 2015. Tại thị trường Việt Nam, số lượng người dùng truy cập Facebook mỗi ngày đạt trên 20 triệu người với khoảng 1 triệu trang mạng xã hội và cộng đồng (Fanpage). Các tổ chức, doanh nghiệp sử dụng Fanpage như một kênh truyền thông và tiếp thị trực tiếp. Tuy nhiên, dữ liệu thu thập từ mạng xã hội tồn tại nhiều giá trị dị biệt, bất thường (outlier) do lỗi kỹ thuật, sai số thống kê hoặc do sự biến động đột biến về mức độ tương tác của người dùng. Việc phát hiện chính xác các trang mạng có tương tác bất thường đóng vai trò then chốt giúp nhận diện các trường hợp tiếp thị thành công hoặc thất bại, từ đó tạo lập dữ liệu học phục vụ phân tích xu hướng.

Nhiệm vụ và mục tiêu nghiên cứu của khóa luận được xác định cụ thể như sau:

  1. Nghiên cứu tổng quan lý thuyết về bài toán phát hiện bất thường và các kỹ thuật khai phá dữ liệu áp dụng trên các dạng dữ liệu mạng xã hội khác nhau.
  2. Xây dựng mô hình quy trình phát hiện bất thường trên các trang mạng xã hội (Fanpage Facebook) dựa trên sự biến động mức độ tương tác của người dùng theo thời gian.
  3. Đề xuất các chỉ số đặc trưng đánh giá trang mạng gồm: Hệ số tương tác ($H$) và Hệ số phát triển ($H_t$).
  4. Thực nghiệm mô hình trên tập dữ liệu thực tế thu thập từ các Fanpage Facebook Việt Nam để phát hiện nhóm trang có hành vi dị biệt trong cùng một chủ đề.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Tập dữ liệu hoạt động và tương tác công khai của các Fanpage thương hiệu, tổ chức và cá nhân tại Việt Nam trên nền tảng mạng xã hội Facebook.
  • Phạm vi không gian: Các trang Fanpage hoạt động tại thị trường Việt Nam do công ty Datasection Vietnam thu thập và quản lý.
  • Phạm vi thời gian: Dữ liệu tương tác được trích xuất trong hai tháng liên tiếp gồm tháng 2 (01/02/2016 – 29/02/2016) và tháng 3 (01/03/2016 – 31/03/2016). Quá trình thực nghiệm chuyên sâu tập trung vào 1.031 Fanpage thuộc chủ đề "Actor" (Diễn viên).

Cơ sở lý thuyết và phương pháp

Khóa luận kế thừa và phát triển khung lý thuyết phát hiện bất thường trên luồng dữ liệu (Outlier Detection for Data Streams) từ các công trình nghiên cứu của Manish Gupta và cộng sự (2013, 2014), cùng các nghiên cứu nền tảng của P. Galeano và cộng sự (2006), D. Gao và cộng sự (2013, 2014). Tác giả hệ thống hóa ba loại điểm bất thường cơ bản:

  • Điểm giá trị bất thường (Point Outliers): Phần tử dữ liệu riêng lẻ có giá trị thuộc tính sai lệch rõ rệt so với toàn bộ phần còn lại trong không gian dữ liệu rời rạc.
  • Điểm ngữ cảnh bất thường (Context Outliers): Phần tử dị biệt trong một ngữ cảnh xác định, được định lượng thông qua thuộc tính ngữ cảnh (như thời gian, tọa độ không gian) và thuộc tính hành vi (như điểm số, lượng tương tác).
  • Điểm phân bố bất thường (Collective Outliers): Tập hợp con gồm nhiều phần tử có cấu trúc phân bố dị thường so với tổng thể.

Khóa luận phân loại bài toán phát hiện bất thường theo 5 cấu trúc dữ liệu: dữ liệu chuỗi thời gian (time series), luồng dữ liệu (data streams), luồng dữ liệu phân tán (distributed data streams), dữ liệu không-thời gian (spatio-temporal data) và dữ liệu đồ thị (graph). Đối với bài toán dữ liệu Facebook, tác giả tiếp cận dưới góc độ luồng dữ liệu đa chiều liên kết theo thời gian.

Về phương pháp khai phá dữ liệu, nghiên cứu áp dụng thuật toán phân cụm phẳng K-means ($k$-means clustering) thuộc nhóm học không giám sát (unsupervised learning). Thuật toán hoạt động theo quy trình lặp:

  1. Khởi tạo ngẫu nhiên $k$ trọng tâm cụm.
  2. Gán các phần tử vào cụm có độ tương đồng lớn nhất dựa trên độ đo khoảng cách hoặc tương quan.
  3. Cập nhật lại tọa độ trọng tâm cụm theo công thức trung bình: $$M_C = \frac{1}{|C|} \sum_{p \in C} p$$
  4. Lặp lại bước 2 và 3 cho đến khi trạng thái phân cụm hội tụ hoặc đạt giới hạn số vòng lặp định trước.

Độ phức tạp tính toán của thuật toán K-means là $O(tkn)$, trong đó $t$ là số lần lặp, $k$ là số cụm và $n$ là số lượng phần tử dữ liệu. Nghiên cứu khảo sát các độ đo tương đồng và khoảng cách cơ bản gồm: độ đo Jaccard, độ đo Cosine, khoảng cách Manhattan, khoảng cách Euclide, khoảng cách Minkowski và hệ số tương quan Pearson. Trong mô hình đề xuất, độ đo tương đồng Cosine được sử dụng làm thước đo chính để phân nhóm các vector thuộc tính Fanpage.

Để lượng hóa hành vi tương tác của người dùng, tác giả xây dựng hai công thức tính toán:

  1. Hệ số tương tác ($H$): Tỷ lệ giữa số lượng bài đăng và tổng số lượt tương tác trong tháng: $$H = \frac{\sum_{i=1}^m p_i}{\sum_{i=1}^m (l_i + c_i + s_i)}$$ Trong đó $p_i$ là số bài đăng của chính quản trị viên trang; $l_i, c_i, s_i$ lần lượt là số lượt thích (like), số lượt bình luận (comment, bao gồm cả sub-comment trả lời bình luận) và số lượt chia sẻ (share) của bài đăng thứ $i$.
  2. Hệ số phát triển ($H_t$): Tỷ lệ biến thiên mức độ tương tác giữa hai tháng liên tiếp nhằm theo dõi tốc độ phát triển theo thời gian: $$H_t = \frac{H_i}{H_{i-k}} \times 100$$ Trong đó $H_i$ là hệ số tương tác của tháng khảo sát và $H_{i-k}$ là hệ số tương tác của tháng trước đó.

Nguồn dữ liệu thực nghiệm do Công ty Datasection Vietnam cung cấp dưới định dạng JSON với quy mô ban đầu gồm 298.440 bản ghi Fanpage. Tác giả sử dụng thư viện phần mềm RestFB (Java) để kết nối Facebook Graph API, trích xuất các biến số định lượng theo khung thời gian thực tế.

Nội dung chính theo từng chương

Chương 1: Phát hiện bất thường trên mạng xã hội

Chương này tập trung trình bày các khái niệm nền tảng về dữ liệu mạng xã hội và định nghĩa toán học của điểm bất thường. Tác giả phân tích chi tiết ba phân loại: Point Outliers, Context Outliers và Collective Outliers kèm theo các ví dụ thực tiễn (như phát hiện gian lận nạp thẻ điện thoại hoặc biến động tiêu thụ nước sinh hoạt). Chương 1 cũng điểm luận các kỹ thuật khai phá dữ liệu phổ biến: phân lớp, phân cụm, láng giềng gần nhất, mật độ, thống kê và lý thuyết thông tin. Trọng tâm kỹ thuật được đặt vào thuật toán phân cụm K-means, phân tích ưu điểm về tốc độ xử lý trên cụm dạng cầu và hạn chế đối với dữ liệu thưa, nhiễu và độ nhạy cảm khi chọn tham số $k$ ban đầu. Cuối chương, tác giả phát biểu bài toán phát hiện bất thường trên mạng xã hội Facebook tại Việt Nam, nêu rõ thách thức khi xử lý tệp dữ liệu quy mô 298.440 dòng JSON.

Chương 2: Các mô hình phát hiện sự bất thường trên mạng xã hội dựa trên khai phá dữ liệu

Chương 2 phân tích chuyên sâu các mô hình phát hiện bất thường tương ứng với từng dạng biểu diễn dữ liệu:

  • Mô hình chuỗi thời gian: Phân biệt bài toán phát hiện chuỗi thời gian bất thường trong cơ sở dữ liệu (thông qua phân tích trực tiếp hoặc kỹ thuật cửa sổ trượt) và phát hiện điểm/khoảng thời gian bất thường trong một chuỗi đơn lẻ (như dữ liệu điện tâm đồ ECG).
  • Mô hình luồng dữ liệu (Data streams): Trình bày phương pháp phát triển mô hình dự báo và kỹ thuật phát hiện dựa trên khoảng cách giữa các điểm trong cửa sổ trượt.
  • Mô hình luồng dữ liệu phân tán (Distributed data streams): Cơ chế chia sẻ phần tử dữ liệu, chia sẻ điểm dị thường và chia sẻ điểm dị thường kèm phân phối dữ liệu dựa trên ước lượng mật độ hạt nhân.
  • Mô hình dữ liệu không-thời gian: Nhận diện ST-outliers dựa trên thuộc tính phi không gian và phi thời gian.

Từ các mô hình lý thuyết trên, tác giả đề xuất định hướng mô hình cho dữ liệu Facebook: xử lý luồng dữ liệu tương tác theo thời gian bằng cách kết hợp phân cụm K-means đa tham số $k$ với hai thuộc tính mới là Hệ số tương tác và Hệ số phát triển.

Chương 3: Mô hình chi tiết phát hiện bất thường trên mạng xã hội dựa trên khai phá dữ liệu

Chương 3 thiết lập quy trình triển khai mô hình đề xuất gồm 3 pha xử lý tuần tự:

  1. Pha 1: Trích xuất và tiền xử lý dữ liệu: Từ danh sách 298.000 ID Fanpage, hệ thống sử dụng RestFB trích xuất 5 biến số trong tháng 2 và tháng 3 năm 2016 (start_time và end_time của từng tháng) gồm: bài đăng (post), lượt thích (like), bình luận (comment), chia sẻ (share) và tổng tương tác. Dữ liệu được gom nhóm theo chuyên mục (category), lựa chọn các chủ đề có quy mô trên 500 trang: Book, Actor, Apps, Artist, Music, BabyGoods, Bags-Luggage.
  2. Pha 2: Tính toán hệ số phát triển: Áp dụng công thức (3.1) để tính Hệ số tương tác $H$ cho từng trang trong tháng 2 và tháng 3, sau đó áp dụng công thức (3.2) để xác định Hệ số phát triển $H_t$.
  3. Pha 3: Phát hiện bất thường và so sánh kết quả: Đưa các vector thuộc tính vào thuật toán K-means với độ đo Cosine, số lần lặp tối đa 100 lần. Cho tham số $k$ biến thiên từ 3 đến 6 ($k \in {3, 4, 5, 6}$). Tại mỗi giá trị $k$, các cụm có tỷ lệ phần tử chiếm dưới 3% tổng tập dữ liệu được gắn nhãn là cụm nghi ngờ bất thường. Cuối cùng, thực hiện phép lấy giao (intersection) danh sách các phần tử thuộc cụm nghi ngờ qua cả 4 giá trị $k$. Phần tử xuất hiện đồng thời trong cả 4 tập giao được kết luận là Fanpage có giá trị bất thường.

Chương 4: Khai thác dữ liệu, xử lý dữ liệu và kết quả thực nghiệm

Chương 4 mô tả toàn bộ quá trình thực nghiệm trên tập dữ liệu gồm 1.031 Fanpage thuộc chuyên mục "Actor" thu thập trong tháng 3 năm 2016. Tác giả ghi nhận một giới hạn thực nghiệm: do dữ liệu hai tháng liên tiếp chưa đủ độ dài thời gian để phản ánh biến động dài hạn, thực nghiệm phân cụm được thực hiện dựa trên 5 thuộc tính: tổng số bài đăng, tổng lượt thích, tổng bình luận, tổng lượt chia sẻ và hệ số tương tác (tạm hoãn đưa hệ số phát triển vào bước phân cụm thực tế).

Thuật toán K-means được thiết lập với 200 vòng lặp. Quá trình kiểm nghiệm với các giá trị $k$ từ 3 đến 6 ghi nhận phân bố các cụm như sau:

Giá trị tham số $k$ Nhận diện cụm và tỷ lệ phần tử Cụm có tỷ lệ < 3% (nghi ngờ dị thường) Số trang nghi ngờ
$k = 3$ Cụm 1: 3 trang (0,29%)
Cụm 2: 22 trang (2,13%)
Cụm 3: 1.006 trang (97,58%)		 Cụm 1, Cụm 2 25 trang
$k = 4$ Cụm 1: 3 trang (0,29%)
Cụm 2: 97 trang (9,41%)
Cụm 3: 917 trang (88,94%)
Cụm 4: 14 trang (1,36%)		 Cụm 1, Cụm 4 17 trang
$k = 5$ Cụm 1: 3 trang (0,29%)
Cụm 2: 104 trang (10,09%)
Cụm 3: 907 trang (87,97%)
Cụm 4: 14 trang (1,36%)
Cụm 5: 3 trang (0,29%)		 Cụm 1, Cụm 4, Cụm 5 20 trang
$k = 6$ Phân rã dữ liệu thành 6 cụm độc lập, tiếp tục sàng lọc các cụm có tỷ lệ dưới ngưỡng 3% Các cụm có tỷ lệ phần tử < 3% Tổng hợp qua phép giao

Sau khi thực hiện phép giao các tập phần tử nghi ngờ từ các lần phân cụm $k \in {3, 4, 5, 6}$, mô hình đã xác định chính xác danh sách gồm 26 Fanpage dị thường trong tập dữ liệu chủ đề Actor. Danh sách này bao gồm các trang có lượng tương tác hoặc tần suất bài đăng chênh lệch rất lớn so với mặt bằng chung, tiêu biểu như:

  • Songwenvn - Lâm Phong Tùng x Trần Ổn Việt Nam Fanpage (Page ID: 990325167692260)
  • Uyển Quỳnh Đan - Kingdom Yuen - Nữ hoàng ngây thơ, dịu hiền (Page ID: 413681695357219)
  • Phương Hinh / Fang Xin / Daisy 方馨 (Page ID: 576223025765724)
  • Hoắc Kiến Hoa & Triệu Lệ Dĩnh - Hoa Lệ VNFC (Page ID: 518231941615278)
  • Trang Phi (Page ID: 724100217733992)
  • Diễn viên Trung Hiếu (Page ID: 1422408528080690)
  • Decal4Bike Hà Nội (Page ID: 238837796236998)
  • Han Hyo Joo [.VietNam Fan's Club.] (Page ID: 153022261443138)
  • Chi Pu (Page ID: 1435066040049830)
  • Vinh Râu (Page ID: 853877677995406)
  • Đặng Siêu | Deng Chao | 邓超 (Page ID: 257325007631415)
  • Song Joong Ki (Page ID: 1544338015783450)

Kết quả và đóng góp

Khóa luận đã hoàn thành các mục tiêu nghiên cứu đề ra với các kết quả định lượng cụ thể:

  1. Xử lý tập dữ liệu lớn thực tế: Khai thác thành công tệp dữ liệu 298.440 bản ghi Fanpage Facebook Việt Nam từ Datasection Vietnam, tổ chức dữ liệu thành 6 chủ đề chính có quy mô trên 500 trang (Book, Actor, Apps, Artist, Music, BabyGoods/Bags-Luggage).
  2. Xây dựng chỉ số đặc trưng: Thiết lập Hệ số tương tác ($H$) phản ánh tương quan giữa số lượng bài đăng và lượng tương tác (Like, Comment, Share) và Hệ số phát triển ($H_t$) theo dõi tỷ lệ biến thiên tương tác qua các mốc thời gian.
  3. Mô hình phân cụm đa tham số lọc dị biệt: Đề xuất phương pháp phân cụm K-means kết hợp thay đổi tham số $k$ ($k=3$ đến $6$), sử dụng ngưỡng cụm thiểu số (< 3%) và phép toán giao tập hợp để loại trừ nhiễu ngẫu nhiên, giúp phát hiện tự động 26 trang dị biệt trong tổng số 1.031 trang thuộc chủ đề Actor mà không cần dữ liệu huấn luyện có gán nhãn.
  4. Đóng góp so với nghiên cứu trước: Khóa luận đã chuyển hóa các mô hình lý thuyết phát hiện bất thường luồng dữ liệu của Manish Gupta thành một quy trình tính toán phù hợp với dữ liệu truyền thông xã hội Facebook tại Việt Nam, cung cấp cơ sở dữ liệu học hữu ích phục vụ công tác đánh giá hiệu quả truyền thông trực tuyến.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận tự chỉ ra một số hạn chế kỹ thuật trong quá trình thực hiện:

  • Hạn chế về khung thời gian dữ liệu: Dữ liệu thu thập mới chỉ giới hạn trong hai tháng liên tiếp (tháng 2 và tháng 3 năm 2016). Khung thời gian ngắn khiến chỉ số Hệ số phát triển ($H_t$) chưa phản ánh được đầy đủ xu hướng dài hạn của trang mạng, dẫn đến việc tác giả phải tạm lược bỏ thuộc tính này trong bước phân cụm thực nghiệm tại Chương 4.
  • Phạm vi kiểm nghiệm: Nghiên cứu mới chỉ tiến hành phân cụm thực nghiệm trên 1 chuyên mục duy nhất là Actor (1.031 Fanpage), chưa triển khai thực nghiệm đối chiếu trên 5 chuyên mục còn lại đã trích xuất.
  • Hạn chế của thuật toán K-means: Giải thuật K-means nhạy cảm với việc chọn tâm ngẫu nhiên ban đầu và chỉ tối ưu đối với các cụm có dạng hình cầu, gặp khó khăn khi phân tách các mẫu dữ liệu có cấu trúc phân bố phức tạp hoặc quá thưa thớt.

Hướng phát triển tiếp theo được tác giả xác định:

  • Mở rộng phạm vi thu thập dữ liệu chuỗi thời gian dài hơn (tích hợp dữ liệu các tháng cuối năm 2015 và đầu năm 2016) để đưa Hệ số phát triển ($H_t$) vào làm thuộc tính đầu vào chính thức cho mô hình phân cụm.
  • Tiến hành thực nghiệm mở rộng trên toàn bộ các chủ đề khác trong bộ dữ liệu (Book, Music, Artist, Apps, v.v.).
  • Nghiên cứu kết hợp hoặc thay thế K-means bằng các thuật toán phân cụm khác (như phân cụm dựa trên mật độ DBSCAN hoặc phân cụm phân cấp) nhằm nâng cao độ chính xác khi xử lý các cụm dữ liệu phi hình cầu.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn cho các đối tượng:

  • Sinh viên và học viên chuyên ngành Công nghệ thông tin, Khoa học dữ liệu: Tài liệu cung cấp góc nhìn thực tế về quy trình khai phá dữ liệu mạng xã hội, phương pháp lập trình kết nối Facebook API qua thư viện RestFB và kỹ thuật xử lý dữ liệu lớn ở định dạng JSON/CSV.
  • Người nghiên cứu bài toán Outlier Detection: Cung cấp cách tiếp cận thực nghiệm trong việc giải quyết bài toán phát hiện bất thường khi thiếu tập nhãn giám sát, thông qua kỹ thuật quét đa tham số $k$ và phép giao cụm tỷ lệ nhỏ.
  • Chuyên viên truyền thông số và tiếp thị trực tuyến (Digital Marketing): Cung cấp phương pháp định lượng hiệu quả Fanpage thông qua Hệ số tương tác ($H$), giúp nhận diện các trang có hiệu suất tương tác cao đột biến hoặc suy giảm để tối ưu hóa chiến dịch truyền thông.

Câu hỏi thường gặp

1. Khóa luận sử dụng nguồn dữ liệu nào và quy mô thu thập ban đầu là bao nhiêu?
Nghiên cứu sử dụng tập dữ liệu công khai của các trang mạng xã hội tại Việt Nam do Công ty Datasection Vietnam cung cấp, bao gồm 298.440 bản ghi Fanpage ở định dạng JSON. Từ danh sách ID này, tác giả sử dụng thư viện RestFB để truy vấn các chỉ số tương tác thực tế trên Facebook trong tháng 2 và tháng 3 năm 2016.

2. Hệ số tương tác ($H$) và Hệ số phát triển ($H_t$) được định nghĩa như thế nào?
Hệ số tương tác ($H$) là tỷ số giữa số lượng bài đăng của quản trị viên trang trong tháng và tổng lượt tương tác của người dùng (tổng lượt thích, bình luận bao gồm cả sub-comment, và chia sẻ). Hệ số phát triển ($H_t$) là thương số giữa hệ số tương tác của tháng khảo sát ($H_i$) và hệ số tương tác của tháng trước đó ($H_{i-k}$) nhân với 100 đơn vị nhằm biểu thị độ tăng trưởng theo thời gian.

3. Tiêu chí nào được dùng để xác định một Fanpage là bất thường trong mô hình?
Mô hình chạy thuật toán K-means với số cụm $k$ biến thiên từ 3 đến 6. Ở mỗi giá trị $k$, các cụm có tỷ lệ phần tử nhỏ hơn 3% tổng số trang được đưa vào diện nghi ngờ. Sau đó, tác giả lấy giao của 4 tập nghi ngờ tương ứng với $k \in {3, 4, 5, 6}$; những Fanpage xuất hiện đồng thời trong cả 4 tập giao sẽ được kết luận là điểm bất thường.

4. Tại sao Hệ số phát triển ($H_t$) chưa được đưa vào chạy thực nghiệm trong Chương 4?
Do dữ liệu thu thập mới chỉ gói gọn trong 2 tháng (tháng 2 và tháng 3/2016), việc tính toán hệ số phát triển qua 1 tháng duy nhất chưa phản ánh đầy đủ chu vi biến thiên chuỗi thời gian dài hạn. Tác giả chủ động hoãn đưa thuộc tính này vào bước phân cụm thực nghiệm của khóa luận và đặt làm hướng phát triển khi có tập dữ liệu nhiều tháng liên tiếp.

5. Kết quả thực nghiệm trên chuyên mục "Actor" phát hiện được bao nhiêu Fanpage bất thường?
Trong tổng số 1.031 Fanpage thuộc chủ đề "Actor", mô hình đã phát hiện chính xác 26 trang mạng có chỉ số tương tác bất thường, ví dụ như các trang: Songwenvn, Uyển Quỳnh Đan, Phương Hinh, Diễn viên Trung Hiếu, Chi Pu, Vinh Râu, Đặng Siêu, Song Joong Ki.

Kết luận

Khóa luận của sinh viên Lê Xuân Đạo đã xây dựng thành công quy trình phát hiện bất thường trên mạng xã hội Facebook thông qua kỹ thuật phân cụm K-means đa tham số kết hợp độ đo Cosine và các chỉ số tương tác định lượng. Bằng việc thực nghiệm trên 1.031 Fanpage chủ đề Diễn viên trích xuất từ kho dữ liệu 298.440 trang của Datasection Vietnam, nghiên cứu đã phát hiện 26 trang có mức độ tương tác dị biệt dựa trên nguyên lý giao cụm thiểu số (< 3%). Công trình cung cấp giải pháp khai phá dữ liệu luồng thực tiễn, đóng góp cơ sở phương pháp luận cho việc phân tích hiệu quả tiếp thị số và mở ra hướng nghiên cứu sâu hơn trên các chuỗi thời gian dài hạn.