Luận án tiến sĩ về các kỹ thuật phát hiện cấu trúc cộng đồng trên đồ thị mạng xã hội

Luận án tiến sĩ nghiên cứu các kỹ thuật phát hiện cấu trúc cộng đồng trên đồ thị mạng xã hội, ứng dụng trong phân tích dữ liệu và mạng lưới.

Chuyên ngành

Khoa học máy tính

Người đăng

Ẩn danh

Thể loại

luận án tiến sĩ

2023

146
5
0

Phí lưu trữ

35 Point

Mục lục chi tiết

LỜI CAM ĐOAN

LỜI CẢM ƠN

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

DANH MỤC CÁC THUẬT NGỮ

MỞ ĐẦU

1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỒ THỊ MẠNG XÃ HỘI VÀ BÀI TOÁN PHÁT HIỆN CẤU TRÚC CỘNG ĐỒNG TRÊN ĐỒ THỊ MẠNG XÃ HỘI

1.1. Giới thiệu chung

1.2. Mạng xã hội và đồ thị mạng xã hội

1.3. Một số đặc tính của mạng xã hội

1.4. Đồ thị mạng xã hội và cấu trúc cộng đồng của mạng xã hội

1.5. Một số độ đo quan trọng trên đồ thị mạng xã hội

1.5.1. Độ đo trung tâm theo bậc

1.5.2. Độ đo trung tâm theo vector riêng

1.5.3. Hệ số phân cụm đồ thị

1.6. Bài toán phát hiện cấu trúc cộng đồng trên đồ thị mạng xã hội

1.6.1. Nhóm thuật toán phát hiện cấu trúc cộng đồng truyền thống

1.6.2. Nhóm thuật toán phát hiện cấu trúc cộng đồng dựa trên tối ưu hóa độ đo đơn thể

1.6.3. Nhóm thuật toán phát hiện cấu trúc cộng đồng dựa vào độ đo trung gian

1.6.4. Nhóm thuật toán phát hiện cấu trúc cộng đồng dựa trên lan truyền nhãn

1.6.5. Nhóm thuật toán phát hiện cấu trúc cộng đồng dựa vào mạng học sâu

1.7. Các độ đo đánh giá thuật toán phát hiện cấu trúc cộng đồng trên đồ thị mạng xã hội

1.7.1. Thông tin tương hỗ chuẩn NMI

1.8. Tổng kết chương 1

2. CHƯƠNG 2: PHÁT HIỆN CẤU TRÚC CỘNG ĐỒNG RỜI NHAU TRÊN ĐỒ THỊ MẠNG XÃ HỘI

2.1. Phát hiện cấu trúc cộng đồng rời nhau bằng phương pháp phân cụm phổ (Spectral)

2.1.1. Những vấn đề cơ bản trong phương pháp phân cụm phổ (Spectral Clustering)

2.1.2. Bài toán và phương pháp phân cụm phổ

2.1.3. Thuật toán đề xuất

2.1.4. Các kết quả thực nghiệm

2.2. Cải tiến thuật toán lan truyền nhãn LPA

2.2.1. Thuật toán lan truyền nhãn LPA

2.2.2. Thuật toán lan truyền nhãn LPAMD với hàm f đề xuất

2.2.3. Kết quả thực nghiệm thuật toán LPAMD

2.3. Kết hợp rút gọn đồ thị và thuật toán lan truyền nhãn

2.3.1. Thuật toán LPARLV (LPA Reduce Leaf Vertex)

2.3.2. Kết quả thực nghiệm

2.4. Tổng kết chương 2

3. CHƯƠNG 3: PHÁT HIỆN CẤU TRÚC CỘNG ĐỒNG CHỒNG CHÉO TRÊN ĐỒ THỊ MẠNG XÃ HỘI

3.1. Khái quát về vấn đề cộng đồng chồng chéo

3.2. Hệ số phân cụm đồ thị và hệ số thuộc về cộng đồng

3.2.1. Hệ số phân cụm đồ thị

3.2.2. Hệ số thuộc về cộng đồng

3.3. Phát hiện cấu trúc cộng đồng chồng chéo theo lan truyền nhãn và dựa vào hệ số thuộc về cộng đồng

3.4. Độ phức tạp thuật toán COPA-BC

3.5. Kết quả thực nghiệm

3.6. Tổng kết chương 3

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN

DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CÓ LIÊN QUAN ĐẾN LUẬN ÁN

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Kỹ thuật phát hiện cấu trúc cộng đồng

Luận án tập trung vào kỹ thuật phát hiện cấu trúc cộng đồng trên đồ thị mạng xã hội, một lĩnh vực quan trọng trong phân tích mạng xã hội. Các phương pháp được đề cập bao gồm phân cụm phổ, lan truyền nhãn, và tối ưu hóa độ đo. Các kỹ thuật này giúp xác định các nhóm thực thể có mối quan hệ chặt chẽ trong mạng, từ đó hỗ trợ hiểu sâu hơn về cấu trúc và tương tác xã hội.

1.1. Phân cụm phổ

Phương pháp phân cụm phổ sử dụng ma trận Laplace để giảm chiều dữ liệu và tối ưu hóa hàm Min-cut. Kỹ thuật này hiệu quả trong việc phát hiện cấu trúc cộng đồng rời nhau trên đồ thị mạng xã hội. Thuật toán SCN (Spectral Clustering New) được đề xuất, kết hợp ý tưởng giảm chiều dữ liệu và tối ưu hóa hàm Min-cut, mang lại kết quả chính xác và thời gian tính toán nhanh.

1.2. Lan truyền nhãn

Lan truyền nhãn là phương pháp hiệu quả với thời gian tính toán gần tuyến tính. Tuy nhiên, nó có nhược điểm là kết quả không duy nhất và mang tính gần đúng. Luận án đề xuất cải tiến thuật toán LPA (Label Propagation Algorithm) bằng cách sử dụng hàm xác định nhãn tối ưu, giúp nâng cao tính ổn định và hiệu quả trong việc phát hiện cấu trúc cộng đồng rời nhau.

II. Phát hiện cộng đồng chồng chéo

Luận án cũng tập trung vào phát hiện cộng đồng chồng chéo, một vấn đề phức tạp nhưng có ý nghĩa thực tiễn cao. Các phương pháp như loại bỏ cạnh có độ trung gian cao, phát hiện đồ thị con dày đặc, và tối ưu hóa modul được nghiên cứu và cải tiến để xử lý hiệu quả các mạng lớn và dày đặc.

2.1. Phương pháp lan truyền nhãn chồng chéo

Phương pháp lan truyền nhãn chồng chéo được cải tiến bằng cách sử dụng hệ số phân cụm cải tiến. Thuật toán COPA-BC (Community Overlap Propagation Algorithm Based on New Belonging Coefficient) được đề xuất, giúp phát hiện nhanh và chính xác các cấu trúc cộng đồng chồng chéo trên đồ thị mạng xã hội.

2.2. Tối ưu hóa modul

Tối ưu hóa modul là phương pháp quan trọng trong việc xác định các cộng đồng chồng chéo. Luận án đề xuất cải tiến thuật toán PCB (Belief Propagation and Conflict) để giảm độ phức tạp thời gian và không gian, giúp xử lý hiệu quả các mạng lớn.

III. Ứng dụng và đánh giá

Luận án đánh giá hiệu quả của các thuật toán đề xuất thông qua thực nghiệm trên các bộ dữ liệu thực. Các độ đo như ModularityNMI (Normalized Mutual Information) được sử dụng để đánh giá chất lượng cộng đồng được phát hiện. Kết quả cho thấy các thuật toán đề xuất có hiệu suất vượt trội so với các phương pháp truyền thống.

3.1. Thực nghiệm và kết quả

Các thuật toán SCN, LPAMD, và COPA-BC được thực nghiệm trên các bộ dữ liệu như Karate Club, Dolphin Group, và Email-Enron. Kết quả cho thấy các thuật toán này có thời gian tính toán nhanh và độ chính xác cao, đặc biệt trong việc phát hiện cấu trúc cộng đồng rời nhauchồng chéo.

3.2. Đánh giá độ đo

Các độ đo ModularityNMI được sử dụng để đánh giá chất lượng cộng đồng. Kết quả thực nghiệm cho thấy các thuật toán đề xuất đạt được giá trị Modularity và NMI cao hơn so với các phương pháp truyền thống, chứng tỏ hiệu quả vượt trội trong việc phát hiện cấu trúc cộng đồng.

13/02/2025

Trích đoạn nội dung tài liệu

Chương 1 Tổng quan về đồ thị mạng xã hội và bài toán phát hiện cấu trúc cộng đồng trên đồ thị mạng xã hội Đồ thị là công cụ phổ biến và quan trọng để biểu diễn mạng xã hội. Chương này giới thiệu một cách tổng quan những vấn đề lý thuyết liên quan đến đồ thị, đồ thị mạng xã hội, đến cấu trúc cộng đồng của mạng xã hội, các phương pháp phát hiện cấu trúc cộng đồng, các độ đo thường sử dụng trong quá trình phân tích, các tiêu chuẩn thường được áp dụng để đánh giá chất lượng cấu trúc cộng đồng, làm cơ sở cho việc đánh giá hiệu quả của các thuật toán đề xuất ở các chương sau.1 Giới thiệu chung Dữ liệu lớn tạo ra một sự bùng nổ các phương pháp, các kỹ thuật, các công nghệ khai phá dữ liệu và phát hiện tri thức, một phần bởi kích thước thông tin rất lớn, một phần bởi thông tin đa dạng, mở rộng hơn về các chủng loại phi cấu trúc và nội dung của dữ liệu. Đồ thị là công cụ đơn giản và hiệu quả giúp đặc tả thế giới vô cùng phong phú xung quanh ta. Ta có thể gặp hình thức biểu diễn bằng đồ thị cho hầu hết các sự vật, hiện tượng trong tự nhiên và xã hội.

Cấu trúc dữ liệu đồ thị là một tập hợp 9 các nút có dữ liệu và được kết nối với các nút khác. Đồ thị chứa đỉnh (đại diện cho các đối tượng) và các cạnh nối các đỉnh (đại diện cho mối quan hệ giữa các đối tượng). Đồ thị được sử dụng trong vô vàn lĩnh vực nghiên cứu, từ khai phá dữ liệu, xử lý ngôn ngữ tự nhiên, mô phỏng thế giới thực, đến phân tích mạng xã hội và khai thác thông tin,. Về mặt lý thuyết, người ta thường đồng nhất mô hình dữ liệu đồ thị với khái niệm hệ thống mạng và mạng xã hội.1 Cấu trúc dữ liệu đồ thị có mặt ở khắp nơi: Mạng đồng biểu hiện; mạng xã hội; các luồng chương trình; trong hợp chất hóa học và cấu trúc protein,.

Bản thân mỗi đồ thị còn có thể hàm chứa rất nhiều thông tin giá trị cho các ứng dụng thực tiễn, vì vậy khai phá dữ liệu thực hiện tìm kiếm tri thức từ đó cũng là đòi hỏi đặt ra hết sức hấp dẫn và cấp thiết, đặc biệt 10 trong những thập kỷ gần đây. Khai phá đồ thị là một nhánh nghiên cứu trong khai phá dữ liệu. Đó là một trong những cách tiếp cận mới để khai thác tập dữ liệu được biểu thị bằng cấu trúc đồ thị. Khai phá đồ thị xuất hiện trong nhiều ứng dụng của các lĩnh vực xã hội, tự nhiên, bao gồm: tin sinh học, phản ứng hóa học, cấu trúc dòng chương trình, mạng máy tính, mạng xã hội,.

Trong khai phá dữ liệu đồ thị, việc phát hiện cấu trúc cộng đồng là một nhiệm vụ phổ biến và quan trọng bậc nhất, song cũng đầy thách thức, đặc biệt khi quy mô của đồ thị mạng xã hội ngày càng trở nên to lớn. Đã có nhiều thuật toán phát hiện cấu trúc cộng đồng trên đồ thị mạng xã hội được đề xuất, nhưng hầu hết chưa thực sự mang lại hiệu quả đối với các đồ thị mạng xã hội quy mô lớn. Luận án thực hiện đề xuất một số thuật toán mới phát hiện cấu trúc cộng đồng, bao gồm cả phát hiện cấu trúc cộng đồng rời nhau và cấu trúc cộng đồng chồng chéo.2 Mạng xã hội và đồ thị mạng xã hội 1.1 Mạng xã hội Theo Fortunato và các cộng sự [21] mạng xã hội là một tập hợp các thực thể được kết nối với nhau bằng một tập hợp các mối quan hệ, liên kết, như quan hệ bạn bè, gia đình, cộng sự hay trao đổi thông tin,. Các mối quan hệ giữa các thực thể có thể mang nhiều nội dung khác nhau từ sự tương trợ, trao đổi thông tin cho đến việc trao đổi hàng hóa, dịch vụ,.

Khi nghiên cứu về mạng xã hội, người ta còn gọi các thực thể này là các tác nhân (agent), bởi tính tương tác và ảnh hưởng của chúng đối với môi trường xung quanh (ít nhất là với các láng giềng của chúng). Các tác nhân luôn có xu hướng liên kết với nhau (có thể dựa trên tính tương đồng trong sự lựa chọn nào đó, hoặc mối quan hệ khăng khít về một lĩnh vực nào đó, hoặc sự đồng cảm theo sở thích/không thích, .) trong một nền tảng được chia sẻ và tạo thành các cụm ảo hoặc cộng đồng.2 Một số đặc tính của mạng xã hội Mạng xã hội có những đặc tính cơ bản [9, 10, 104] sau: • Dựa vào người dùng (User-based): Các mạng xã hội trực tuyến (Face- book, Twitter, Youtube,. ) được xây dựng và định hướng bởi chính người dùng. Người dùng thực hiện mở rộng các nội dung trao đổi, thảo luận với nhau trên mạng.

Nội dung đó được xác định bởi bất kỳ ai có tham gia vào tổ chức. • Tương tác (Interactive): Mạng xã hội hiện đại gồm các tác nhân thường xuyên tương tác thông qua các mối liên kết với nhau. Nghĩa là một mạng xã hội không chỉ là một bộ sưu tập các phòng chat, diễn đàn,. mà còn chứa các dịch vụ, chơi trò chơi, quảng cáo, tiếp thị, bán hàng online, quảng bá thông tin,.

Vì vậy, mạng xã hội càng ngày càng trở nên chuẩn mực, phổ biến, hấp dẫn và thu hút người dùng nhiều hơn bởi tính năng tương tác vượt trội so với sử dụng Internet thông thường. • Hướng đến cộng đồng (Community-driven): Mạng xã hội thể hiện hiệu ứng cộng đồng mạnh mẽ. Đó là, một nhóm những người có xu hướng tương tác với nhau nhiều hơn những người bên ngoài nhóm. Phát hiện các nhóm gắn kết trong một mạng xã hội (được gọi là phát hiện cấu trúc cộng đồng, gọi tắt là cộng đồng) là một vấn đề quan trọng và cốt lõi trong phân tích mạng xã hội.

• Các mối quan hệ (Relationships): Các mạng xã hội phát triển mạnh mẽ về các mối quan hệ. Càng có nhiều mối quan hệ trong mạng, các tác nhân càng thiết lập được vai trò trung tâm của mạng đó. Mạng xã hội cung cấp tiềm năng rất lớn về tương tác và giao tiếp giữa rất nhiều các thành viên trong mạng ở khắp mọi nơi, không phụ thuộc vào không gian địa lý, tạo môi trường cho việc tương tác và chia sẻ thông tin giữa các thành viên trong mạng. • Cảm xúc về nội dung (Emotion over content): Đặc điểm độc đáo của mạng xã hội là yếu tố cảm xúc và nhạy cảm.

Ngày nay, các trang web 12 thực sự mang đến cho người dùng về mặt cảm xúc và cảm giác rằng mối quan hệ, như bạn bè của họ luôn ở trong phạm vi kiểm soát. Khi mạng xã hội ngày càng trở nên phổ biến và nổi bật, câu hỏi rõ ràng đầu tiên đặt ra là: làm thế nào để trích xuất được những thông tin, tri thức có ý nghĩa từ những dữ liệu này? Để tìm kiếm câu trả lời, đòi hỏi phải có những phương pháp nghiên cứu và kỹ thuật phân tích phù hợp, hiệu quả nhất.3 Đồ thị mạng xã hội và cấu trúc cộng đồng của mạng xã hội Mạng xã hội thường được biểu diễn dưới dạng đồ thị liên thông, trong đó các tác nhân (cá nhân hoặc một tổ chức) được biểu diễn bằng các nút (đỉnh) và các kết nối giữa các tác nhân được thể hiện bằng liên kết hoặc các cạnh (cung) [34, 55, 82, 83]. Đồ thị mạng xã hội là đồ thị G = (V, E) [55], trong đó V là tập các nút (đỉnh) và E là tập các cạnh (cung). Tập V biểu diễn cho các thành viên (tác nhân) của mạng xã hội, tập E thể hiện mối quan hệ xã hội giữa các thành viên với nhau.

Đồ thị G = (V, E) là vô hướng nếu các cạnh (u, v) ∈ E không phân biệt thứ tự, ngược lại là đồ thị có hướng. Hai nút u và v trong đồ thị G được gọi là liền kề (lân cận) nếu (u, v) ∈ E , hoặc (v, u) ∈ E. Nếu e = (u, v) thì e gọi là cạnh liên thuộc với các nút u và v. Thông thường, đồ thị mạng xã hội là đồ thị đơn vô hướng và liên thông, ví dụ đồ thị mạng bạn bè trên Facebook.

Nhưng chúng cũng có thể là đồ thị có hướng, như đồ thị mạng xã hội những người theo dõi trên Twitter hoặc Google+. Việc phân tích đặc điểm tính chất của mỗi đồ thị mạng xã hội dựa nhiều vào lý thuyết đồ thị, bao gồm việc phân tích, xác định vai trò các nút và các cạnh trong đồ thị. Trong luận án có sử dụng một số định nghĩa và khái niệm cơ bản của lý thuyết đồ thị, cũng như hệ thống ký hiệu và cách biểu diễn thông thường cho một mạng xã hội theo các tài liệu tham khảo [55, 56, 57, 58]. Theo lý thuyết đồ thị, cho mạng xã hội G = (V, E), cấu trúc cộng đồng (community structure) [58] là một đồ thị con của G, có tập đỉnh 13 C là tập con các đỉnh của V, sao cho với mỗi đỉnh v ∈ C , có nhiều cạnh kết nối v với những đỉnh khác trong C (liên thông mạnh) và ít cạnh kết nối v với những đỉnh w khác thuộc V-C (liên thông yếu).

Nói cách khác một cấu trúc cộng đồng (gọi tắt là cộng đồng) được tạo ra bởi một tập hợp các tác nhân có tương tác thường xuyên với nhau hơn so với những tác nhân khác ngoài cộng đồng. Thực tế, cộng đồng có thể là một tập hợp các tác nhân như: bạn bè, đồng nghiệp, nhóm những người có cùng sở thích, cùng chuyên môn, cùng mối quan tâm,. trên mạng xã hội. Thường người ta chia làm hai loại cộng đồng: các cộng đồng rời nhau và các cộng đồng chồng chéo.

Những cộng đồng rời nhau khi mỗi tác nhân chỉ thuộc về một cộng đồng, còn những cộng đồng chồng chéo nhau khi có một tác nhân thuộc về nhiều hơn một cộng đồng. Phát hiện cấu trúc cộng đồng trên mạng xã hội có thể giúp ta khái quát ra những nét đặc trưng cho các tác nhân của cộng đồng đó. Phát hiện cấu trúc cộng đồng trên mạng xã hội là một lĩnh vực quan trọng trong khai phá dữ liệu đồ thị. Có thể kể ra rất nhiều ứng dụng sinh động ngay trong cuộc sống quanh ta.

Chẳng hạn, với các mối quan hệ hình thành từ các thông tin như sở thích của khách hàng, quan hệ bạn bè, hoặc lịch sử mua hàng, trình độ chuyên môn,. được mô tả bằng đồ thị; các cộng đồng trên đó có thể được hình thành và được phát hiện.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Luận án tiến sĩ "Kỹ thuật phát hiện cấu trúc cộng đồng trên đồ thị mạng xã hội" tập trung vào việc áp dụng các kỹ thuật phân tích đồ thị để nhận diện và phân tích các cộng đồng trong mạng xã hội. Tài liệu này không chỉ cung cấp cái nhìn sâu sắc về cách thức các cộng đồng hình thành và phát triển trong môi trường trực tuyến, mà còn giới thiệu các phương pháp và công cụ hữu ích cho việc phát hiện cấu trúc cộng đồng. Độc giả sẽ tìm thấy những lợi ích thiết thực từ việc hiểu rõ hơn về động lực của các mối quan hệ xã hội, từ đó có thể áp dụng vào các lĩnh vực như marketing, nghiên cứu xã hội, và phát triển công nghệ.

Để mở rộng kiến thức của bạn về các ứng dụng toán học trong phân tích và mô hình hóa, bạn có thể tham khảo thêm tài liệu Luận văn thạc sĩ toán ứng dụng toán tử đơn điệu và một số ứng dụng, nơi bạn sẽ tìm thấy các ứng dụng thực tiễn của toán học trong việc giải quyết các bài toán phức tạp. Ngoài ra, Luận văn thạc sĩ toán ứng dụng tích phân mờ và ứng dụng cũng sẽ cung cấp cho bạn cái nhìn sâu sắc về các phương pháp tích phân trong nghiên cứu và ứng dụng thực tiễn. Cuối cùng, Luận văn thạc sĩ toán ứng dụng phương trình giá trị cho mô hình ngẫu nhiên biến động sẽ giúp bạn hiểu rõ hơn về các mô hình ngẫu nhiên và cách chúng có thể được áp dụng trong phân tích dữ liệu xã hội. Những tài liệu này sẽ là nguồn tài nguyên quý giá cho những ai muốn đào sâu hơn vào lĩnh vực này.