Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ của các phương tiện xã hội (social media) như Facebook hay Twitter đã tạo ra những kênh tương tác đa chiều, làm thay đổi căn bản cách thức chia sẻ và tiêu thụ thông tin trực tuyến. Theo các số liệu thống kê được tác giả trích dẫn, tính đến tháng 9 năm 2014, Facebook đã đạt 1,35 tỷ người dùng hoạt động hàng tháng (tăng 14% so với cùng kỳ năm 2013) với 864 triệu lượt người dùng hoạt động mỗi ngày; Twitter ghi nhận khoảng 500 triệu lượt tweet được phát sinh mỗi ngày; trong khi Wikipedia sở hữu hơn 4,67 triệu bài viết cùng hơn 23,56 triệu thành viên đăng ký. Lưu lượng tương tác khổng lồ này hình thành nên các cấu trúc liên kết phong phú, tạo ra các tập hợp người dùng có mối quan tâm chung hoặc cùng chia sẻ môi trường sinh hoạt, thường được định danh là các nhóm (groups) hoặc cộng đồng (communities).

Trong lĩnh vực khai phá dữ liệu, các hệ tư vấn truyền thống (Recommender Systems) chủ yếu tập trung vào bài toán cá nhân hóa: dự đoán sở thích của một người dùng đơn lẻ $u_i$ đối với một mục $i_j$ chưa được đánh giá trong ma trận đánh giá $R \in \mathbb{R}^{n \times m}$ (với $n$ là số người dùng và $m$ là số lượng mục). Tuy nhiên, trên thực tế nảy sinh nhiều tình huống mà đối tượng thụ hưởng tư vấn không phải là một cá nhân mà là một tập hợp gồm nhiều thành viên, ví dụ như một nhóm bạn cùng lên kế hoạch đi tham quan du lịch, một gia đình cùng chọn chương trình truyền hình để theo dõi, hoặc tổ chức Đoàn thanh niên – Hội sinh viên lựa chọn tựa trò chơi điện tử để tổ chức thi đấu cho cộng đồng sinh viên. Khi đó, các hệ tư vấn cá nhân bộc lộ hạn chế do không thể dung hòa trực tiếp sự khác biệt về thị hiếu giữa các thành viên.

Bài toán tư vấn nhóm (Group Recommendation) được đặt ra nhằm đề xuất các mục phù hợp nhất cho cả một tập thể dựa trên việc kết hợp các mô hình sở thích cá nhân. Vấn đề nghiên cứu trọng tâm mà khóa luận giải quyết là hiện tượng thưa thớt dữ liệu (data sparsity) trong không gian đánh giá (mật độ ma trận đánh giá thường dưới 1%), khiến các kỹ thuật phân cụm nhóm tự động gặp khó khăn trong việc xác định các cụm người dùng có độ tương đồng thực sự. Để khắc phục, tác giả tận dụng thông tin liên kết xã hội dạng quan hệ tin cậy (trust network) để bù đắp các giá trị đánh giá còn thiếu trước khi thực hiện phát hiện nhóm.

Nhiệm vụ và mục tiêu nghiên cứu của khóa luận được xác định cụ thể như sau:

  1. Nghiên cứu tổng quan về hệ tư vấn truyền thống, hệ tư vấn xã hội và các bài toán phân tích mạng xã hội liên quan.
  2. Khảo sát các hướng tiếp cận phát hiện nhóm và các kỹ thuật tư vấn nhóm tự động hiện có, đặc biệt là các mô hình tổng hợp sở thích và các chiến lược mô hình hóa nhóm.
  3. Đề xuất quy trình tư vấn nhóm tự động tích hợp: sử dụng quan hệ tin cậy để dự đoán đánh giá cá nhân thông qua lọc cộng tác dựa trên người dùng, phân cụm phát hiện nhóm tự động bằng thuật toán k-means với độ đo hệ số tương quan Pearson (PCC), và áp dụng chiến lược mô hình hóa Additive Utilitarian (AU).
  4. Xây dựng môi trường thử nghiệm và đánh giá định lượng mô hình trên tập dữ liệu chuẩn Epinions đối với danh mục Game.
  • Đối tượng nghiên cứu: Các thuật toán lọc cộng tác (Collaborative Filtering), kỹ thuật phân cụm trong không gian metric (k-means), độ đo tương quan Pearson, quan hệ tin cậy giữa người dùng, và các chiến lược mô hình hóa nhóm.
  • Phạm vi nghiên cứu: Dữ liệu thực nghiệm được giới hạn trong danh mục Game trích xuất từ tập dữ liệu Epinions, bao gồm 581 người dùng, 1.832 mục sản phẩm Game và 3.430 lượt đánh giá, cùng ma trận quan hệ tin cậy giữa các người dùng tương ứng.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết phân tích mạng xã hội và kỹ thuật hệ tư vấn. Về mặt lý thuyết xã hội, nghiên cứu vận dụng hai nguyên lý tương quan: nguyên lý đồng kết (homophily - người dùng có sở thích tương tự có xu hướng kết nối với nhau) và nguyên lý ảnh hưởng xã hội (social influence - người dùng có kết nối xã hội dễ chịu tác động dẫn đến thị hiếu tương đồng). Về mặt quan hệ tin cậy (trust), tác giả tiếp cận theo định nghĩa của Deutsch và các nghiên cứu của Jiliang Tang, Hao Ma: tin cậy bao gồm sự tin tưởng (belief) và sự cam kết hành động, trong đó quan hệ tin cậy giữa hai người dùng đóng vai trò như một quan hệ láng giềng tự nhiên để thu thập thông tin và dự đoán đánh giá.

Về phương pháp luận tính toán, nghiên cứu phân loại và đối sánh các mô hình tư vấn nhóm tự động thành năm kỹ thuật chính:

Tên viết tắt Tên đầy đủ tiếng Anh Thuật ngữ tiếng Việt tương đương Nguyên lý vận hành chính
MART Model-based Automatic Recommendation Technology Kỹ thuật tư vấn tự động dựa trên mô hình Phân cụm người dùng bằng thuật toán đồ thị, xây dựng mô hình nhóm rồi dùng lọc cộng tác dựa trên mục để dự đoán cho nhóm
SMART State-of-the-art Model-based Automatic Recommendation Technology Kỹ thuật tư vấn tự động dựa trên mô hình tiên tiến Cải tiến MART: dùng k-means để phân cụm, lọc top $n$ mục tương đồng để dự đoán đánh giá nhóm
APART Aggregated Preferences-based Automatic Recommendation Technology Kỹ thuật tư vấn tự động dựa trên tổng hợp các sở thích Dùng k-means gom nhóm, dự đoán đánh giá cá nhân bằng lọc cộng tác dựa trên người dùng, chọn top mục cao nhất rồi tổng hợp
BART Baseline Automatic Recommendation Technology Kỹ thuật tư vấn tự động dựa trên đường cơ sở Phân cụm bằng k-means trên dữ liệu gốc, dự đoán mọi đánh giá cá nhân rồi tổng hợp thành sở thích nhóm
HEART Highly Enhanced Automatic Recommendation Technology Kỹ thuật tư vấn tự động tăng cường thích hợp Dự đoán lấp đầy các đánh giá cá nhân trước, sau đó mới chạy k-means để gom nhóm và tổng hợp sở thích nhóm

Để chuyển đổi các đánh giá cá nhân thành đánh giá chung của tập thể, sáu chiến lược mô hình hóa nhóm (Group Modeling Strategies) được khảo sát chi tiết:

  • Additive Utilitarian (AU - Chiến lược trung bình): Đánh giá của nhóm đối với một mục bằng trung bình cộng các đánh giá cá nhân của các thành viên.
  • Borda Count (BC - Xếp hạng đánh giá): Gán điểm dựa trên thứ tự ưu tiên của từng người dùng (mục thấp nhất nhận 0 điểm, tăng dần lên trên), sau đó cộng dồn điểm của các thành viên.
  • Approval Voting (AV - Bầu cử dựa trên sự hài lòng): Mỗi thành viên bỏ 1 phiếu cho các mục có điểm đánh giá vượt qua một ngưỡng quy định; điểm của nhóm là tổng số phiếu bầu.
  • Least Misery / Misery Least (ML - Tối thiểu sự không hài lòng): Đánh giá của nhóm bằng giá trị đánh giá thấp nhất trong số các thành viên dành cho mục đó, nhằm tránh việc một cá nhân bị áp đặt mục họ phản đối.
  • Most Pleasure (MP - Chiến lược vừa lòng nhất): Đánh giá của nhóm lấy theo giá trị đánh giá cao nhất mà một thành viên đưa ra.
  • Average Without Misery (AWM - Trung bình bỏ qua sự không hài lòng): Tính trung bình cộng các đánh giá cá nhân, nhưng loại bỏ hoàn toàn các mục có bất kỳ đánh giá nào dưới ngưỡng chấp nhận.

Quy trình phương pháp thực nghiệm trong khóa luận áp dụng kỹ thuật HEART kết hợp độ đo tương tự hệ số tương quan Pearson (Pearson Correlation Coefficient - PCC). Để đưa giá trị PCC từ khoảng $[-1, 1]$ về không gian metric không âm $[0, 1]$ phục vụ thuật toán phân cụm k-means, tác giả sử dụng hàm ánh xạ:

$$f(x) = \frac{x + 1}{2}$$

Sai số của mô hình được kiểm chứng thông qua độ đo sai số căn bậc hai trung bình (Root Mean Squared Error - RMSE):

$$RMSE = \sqrt{\frac{\sum_{i=1}^n (r_{ui} - \hat{r}_{gi})^2}{n}}$$

Trong đó $r_{ui}$ là đánh giá thực nghiệm của người dùng $u$ cho mục $i$, $\hat{r}_{gi}$ là điểm dự đoán của nhóm $g$ cho mục $i$, và $n$ là tổng số mục kiểm thử.

Nội dung chính theo từng chương

Chương 1: Hệ tư vấn và tư vấn xã hội

Chương này tổng quan về các nguyên lý cơ bản của hệ tư vấn truyền thống và sự chuyển dịch sang hệ tư vấn xã hội. Tác giả phân tích cấu trúc ma trận đánh giá người dùng - mục $R \in \mathbb{R}^{n \times m}$ và phân loại ba hướng tiếp cận cổ điển: lọc dựa trên nội dung (Content-based), lọc cộng tác (Collaborative Filtering - gồm lọc dựa trên bộ nhớ và lọc dựa trên mô hình như nhân tử hóa ma trận Matrix Factorization, mạng Bayesian), cùng các phương pháp lai (Hybrid). Chương 1 phân tích đặc tính hai chiều của phương tiện xã hội, nơi người dùng vừa là đối tượng tiêu thụ vừa là nhà sản xuất nội dung. Các mối liên kết xã hội được mô hình hóa bằng ma trận kề $S$ hoặc ma trận quan hệ tin cậy $T$ ($T_{ij} = 1$ biểu thị $u_j$ tin cậy $u_i$). Chương này chỉ rõ ba bài toán cốt lõi trong tư vấn xã hội: tư vấn bạn bè (Friend recommendation), tư vấn nội dung (Content recommendation) và tư vấn địa điểm (Location recommendation).

Chương 2: Nhóm trong mạng xã hội

Chương 2 tập trung phân tích cấu trúc nhóm/cộng đồng và bài toán tư vấn nhóm. Tác giả chỉ ra rằng rất ít người dùng tự phân loại bạn bè vào các danh sách sẵn có trên mạng xã hội, dẫn đến sự thiếu hụt các nhóm định nghĩa sẵn. Tác giả chia các phương pháp phát hiện nhóm theo bốn hướng tiếp cận: tập trung nút (node-centric), tập trung nhóm (group-centric), tập trung mạng (network-centric) và cấu trúc phân cấp (hierarchy-centric); đồng thời phân biệt phân cụm trong không gian metric (k-means) và phân cụm đồ thị (thuật toán Louvain, Markov Clustering - MCL).

Khóa luận phân loại bốn dạng nhóm người dùng trong thực tế:

  1. Nhóm được thành lập: Thành viên tự nguyện tham gia vì sở thích lâu dài (các hệ thống minh họa: Grec_OC, Jukola, PartyVote, I-SPY, Glue, CAPS).
  2. Nhóm không thường xuyên: Hình thành vì mục đích nhất thời (các hệ thống minh họa: PolyLens, CATS, INTRIGUE, TravelDecision Forum, e-Tourism, Pocket RestaurantFinder, FIT, TV4M).
  3. Nhóm ngẫu nhiên: Các cá nhân chia sẻ cùng môi trường nhưng không cùng mục tiêu cụ thể (các hệ thống minh họa: AdaptiveRadio, Flytrap, MusicFX, Let'sBrowse, GAIN).
  4. Nhóm được phát hiện tự động: Nhóm được thuật toán trích xuất từ dữ liệu hành vi để phục vụ tư vấn trong bối cảnh danh mục gợi ý bị giới hạn.

Phần sau của chương trình bày chi tiết năm thuật toán tư vấn tự động (MART, SMART, APART, BART, HEART) cùng sáu chiến lược mô hình hóa nhóm (AU, BC, AV, ML, MP, AWM), làm cơ sở toán học để lựa chọn kỹ thuật tối ưu.

Chương 3: Một mô hình tư vấn nhóm xã hội dựa trên kĩ thuật tăng cường thích hợp

Chương 3 mô tả chi tiết thiết kế kỹ thuật của mô hình đề xuất. Quy trình xử lý gồm bốn bước tuần tự:

  1. Trích xuất và tiền xử lý dữ liệu: Tách lọc dữ liệu từ mạng Epinions, lấy ra không gian đánh giá thuộc danh mục Game gồm 581 người dùng và 1.832 mục, cùng cấu trúc liên kết tin cậy.
  2. Dự đoán đánh giá cá nhân: Khắc phục độ thưa của dữ liệu ban đầu bằng cách áp dụng lọc cộng tác dựa trên người dùng. Những người dùng có liên kết tin cậy với $u_i$ được xem là tập láng giềng; các đánh giá còn thiếu được ước lượng qua trung bình trọng số đánh giá của các láng giềng tin cậy.
  3. Phát hiện nhóm tự động: Áp dụng thuật toán k-means trên ma trận dữ liệu đã được làm dày (kết hợp đánh giá sẵn có và đánh giá dự đoán). Độ đo khoảng cách sử dụng hệ số tương quan Pearson (PCC) đã được chuẩn hóa qua hàm $f(x) = (x+1)/2$.
  4. Mô hình hóa và dự đoán cho nhóm: Áp dụng chiến lược Additive Utilitarian (AU) để tổng hợp các vector đánh giá cá nhân trong từng cụm thành vector sở thích đại diện cho nhóm, từ đó tính toán sai số RMSE trên tập kiểm thử.

Chương 4: Thực nghiệm và đánh giá

Chương 4 trình bày các thiết lập thử nghiệm và kết quả phân tích số liệu. Tác giả tiến hành phân cụm không gian người dùng thành $k = 20$ nhóm trên bộ dữ liệu Epinions Game. Các chiến lược mô hình hóa nhóm khác nhau (AU, Borda Count, Least Misery, Most Pleasure, Average Without Misery) được cài đặt trên cùng một kiến trúc HEART để so sánh hiệu năng. Kết quả đo lường độ lệch giữa đánh giá dự đoán của nhóm và đánh giá thực tế của các cá nhân được biểu diễn chi tiết qua biểu đồ và bảng dữ liệu sai số.

Kết quả và đóng góp

Khóa luận đã ghi nhận các kết quả thực nghiệm định lượng cụ thể trên tập dữ liệu Epinions:

  • Không gian thử nghiệm được chuẩn hóa bao gồm 581 người dùng, 1.832 sản phẩm Game và 3.430 lượt đánh giá thực tế cùng mạng lưới liên kết tin cậy (trust network).
  • Về độ chính xác dự đoán, tóm tắt khóa luận ghi nhận sai số chuẩn hóa NMAE đạt xấp xỉ 0. Trong thực nghiệm phân cụm với $k = 20$ nhóm, kỹ thuật HEART kết hợp chiến lược Additive Utilitarian (AU) duy trì sai số RMSE ở mức thấp (dao động quanh ngưỡng 0,5 đến 0,7 theo các biểu đồ phân tích thực nghiệm so với các nghiên cứu nền tảng của Ludovico Boratto).
  • So sánh giữa các chiến lược mô hình hóa nhóm trên kỹ thuật HEART:
Chiến lược mô hình hóa nhóm Đặc điểm xử lý dữ liệu Đánh giá sai số tương đối (RMSE)
Additive Utilitarian (AU) Tính trung bình cộng, giữ nguyên toàn bộ thông tin đánh giá Thấp nhất (tối ưu nhất trên mô hình HEART)
Borda Count (BC) Chuyển đổi điểm số thành thứ hạng điểm tích lũy Trung bình
Average Without Misery (AWM) Lọc bỏ các mục có điểm cá nhân dưới ngưỡng (ngưỡng = 3) Trung bình
Least Misery (ML) Lấy điểm đánh giá thấp nhất trong nhóm Sai số cao hơn do làm mất thông tin đa số
Most Pleasure (MP) Lấy điểm đánh giá cao nhất trong nhóm Sai số cao nhất do thiên lệch cực đại

Đóng góp khoa học và kỹ thuật mà tác giả tự khẳng định bao gồm:

  1. Hệ thống hóa toàn diện các lý thuyết về hệ tư vấn xã hội, các phương pháp phát hiện cộng đồng mạng và các mô hình tư vấn nhóm tự động từ các công trình quốc tế (Jiliang Tang, Hao Ma, Ludovico Boratto).
  2. Đề xuất quy trình kết hợp việc tận dụng quan hệ tin cậy để làm giàu dữ liệu cá nhân trước khi phân cụm (theo cơ chế của HEART), giải quyết trực tiếp thách thức thưa thớt dữ liệu trong các hệ tư vấn nhóm tự động.
  3. Ứng dụng thành công hàm chuẩn hóa tuyến tính đưa hệ số tương quan Pearson vào thuật toán k-means cho bài toán phân cụm sở thích.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận một số hạn chế dựa trên phạm vi triển khai thực tế:

  • Không gian thực nghiệm chỉ mới tập trung vào một danh mục dữ liệu đơn lẻ là Game trên mạng Epinions, chưa mở rộng kiểm chứng trên các tập dữ liệu xã hội đa dạng khác hoặc các miền sản phẩm có quy mô tương tác lớn hơn.
  • Mô hình phát hiện nhóm bằng k-means cố định số lượng cụm ($k = 20$), chưa tự động hóa việc xác định số lượng cụm tối ưu theo cấu trúc tự nhiên của mạng xã hội.
  • Nghiên cứu chưa xem xét đến yếu tố biến động theo thời gian (tính động của cộng đồng mạng xã hội), khi người dùng có thể thay đổi sở thích, gia nhập hoặc rời bỏ nhóm liên tục.

Hướng nghiên cứu tiếp theo được tác giả định hướng bao gồm:

  • Mở rộng thử nghiệm mô hình HEART trên các miền dữ liệu khác nhau ngoài danh mục Game.
  • Nghiên cứu cơ chế tích hợp các đặc trưng mạng không đồng nhất (nhiều loại thực thể và liên kết khác nhau như video, tag, bình luận).
  • Phát triển các giải pháp phát hiện nhóm động thích ứng với sự thay đổi theo thời gian của cấu trúc mạng xã hội.

Giá trị tham khảo

Công trình là tài liệu tham khảo hữu ích cho:

  • Sinh viên và học viên ngành Công nghệ thông tin, Khoa học dữ liệu: Nắm bắt phương pháp luận nghiên cứu hệ tư vấn, từ các mô hình lọc cộng tác truyền thống đến các kỹ thuật khai phá liên kết mạng xã hội (Social Network Analysis).
  • Người nghiên cứu về hệ tư vấn nhóm (Group Recommender Systems): Tham khảo trực tiếp bức tranh tổng quan phân loại các hệ thống tư vấn nhóm trong thực tế (PolyLens, INTRIGUE, CATS, Let'sBrowse...), cùng phân tích so sánh chi tiết giữa năm kỹ thuật tự động (MART, SMART, APART, BART, HEART).
  • Phần đáng tham khảo nhất: Chương 2 và Chương 3, nơi trình bày chi tiết công thức toán học của sáu chiến lược mô hình hóa nhóm (Bảng ví dụ minh họa trực quan cách tính điểm của AU, BC, AV, ML, MP, AWM) và cách biến đổi hệ số Pearson để tích hợp vào thuật toán phân cụm k-means.

Câu hỏi thường gặp

1. Tại sao khóa luận lại chọn kỹ thuật HEART thay vì MART hay BART?
Trả lời: Dựa trên các nghiên cứu của Ludovico Boratto (2011), ma trận đánh giá ban đầu rất thưa thớt khiến việc phân cụm trực tiếp (như trong MART, SMART, BART) cho kết quả kém chính xác. HEART đảo ngược quy trình: thực hiện dự đoán các đánh giá cá nhân còn thiếu trước bằng lọc cộng tác dựa trên người dùng, tạo ra một ma trận dày đặc dữ liệu sở thích rồi mới phân cụm k-means, từ đó đạt sai số RMSE thấp nhất.

2. Mối quan hệ tin cậy (trust) giữa các người dùng được sử dụng như thế nào trong mô hình?
Trả lời: Trong mạng Epinions, mối quan hệ tin cậy giữa hai người dùng được xem xét tương đương mối quan hệ láng giềng trong lọc cộng tác dựa trên người dùng. Đánh giá chưa biết của một người dùng đối với một tựa game được dự đoán dựa trên trọng số đánh giá của các người dùng nằm trong danh sách mà người đó tin cậy.

3. Tại sao hệ số tương quan Pearson (PCC) cần phải chuyển đổi qua hàm $f(x) = (x+1)/2$?
Trả lời: Hệ số PCC nguyên bản có miền giá trị thuộc đoạn $[-1, 1]$, trong đó giá trị âm thể hiện sự tương quan nghịch. Để áp dụng làm độ đo khoảng cách/độ tương tự trong không gian metric của thuật toán phân cụm k-means (yêu cầu khoảng cách không âm), hàm tuyến tính $f(x) = (x+1)/2$ được áp dụng để ánh xạ toàn bộ dải giá trị về đoạn chuẩn hóa $[0, 1]$.

4. Dữ liệu thực nghiệm cụ thể được sử dụng trong khóa luận gồm những thông số nào?
Trả lời: Khóa luận trích xuất tập dữ liệu từ Epinions trong phân mục Game, bao gồm chính xác 581 người dùng, 1.832 mục trò chơi (items), 3.430 lượt đánh giá (ratings) và mạng lưới liên kết tin cậy giữa các người dùng này. Số lượng nhóm thực nghiệm được thiết lập cố định là 20 nhóm.

5. Vì sao chiến lược Additive Utilitarian (AU) lại cho kết quả tối ưu hơn Least Misery (ML) hay Most Pleasure (MP) trong mô hình này?
Trả lời: Chiến lược AU lấy trung bình cộng tất cả các đánh giá của các thành viên nên bảo toàn trọn vẹn thông tin sở thích của tập thể. Ngược lại, Least Misery chỉ lấy giá trị nhỏ nhất (dễ bị bóp méo nếu chỉ có một người phản đối trong khi số đông ủng hộ) và Most Pleasure chỉ lấy giá trị cực đại, dẫn đến việc làm tăng sai số toàn cục khi so sánh với đánh giá thực tế của từng cá nhân.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Quỳnh Nga đã giải quyết bài toán tư vấn nhóm xã hội bằng cách kết hợp kỹ thuật tư vấn tăng cường thích hợp (HEART) với mạng quan hệ tin cậy. Bằng việc lấp đầy ma trận đánh giá thưa thớt thông qua lọc cộng tác láng giềng tin cậy trước khi phân cụm k-means bằng độ đo Pearson chuẩn hóa, mô hình nâng cao chất lượng phát hiện nhóm và độ chính xác dự đoán. Thử nghiệm trên tập dữ liệu Epinions Game khẳng định tính hiệu quả của chiến lược Additive Utilitarian, cung cấp một tài liệu tham khảo có cấu trúc chặt chẽ cho các nghiên cứu tiếp theo về hệ tư vấn trên nền tảng mạng xã hội.