Luận án tiến sĩ kỹ thuật nghiên cứu các thuật toán rút gọn đồ thị và ứng dụng để phát hiện cộng đồng trên mạng xã hội

Luận án tiến sĩ kỹ thuật nghiên cứu thuật toán rút gọn đồ thị, ứng dụng phát hiện cộng đồng trên mạng xã hội, đóng góp quan trọng trong lĩnh vực khoa học dữ liệu.

Chuyên ngành

Hệ thống thông tin

Người đăng

Ẩn danh

Thể loại

Luận án tiến sĩ

2021

130
4
0

Phí lưu trữ

35 Point

Mục lục chi tiết

LỜI CAM ĐOAN

1. CHƯƠNG 1: TỔNG QUAN RÚT GỌN ĐỒ THỊ VÀ PHÁT HIỆN CỘNG ĐỒNG TRÊN MẠNG XÃ HỘI

1.1. Một số hệ số đo quan trọng trên đồ thị mạng xã hội

1.2. Độ đo đơn thể mô đun Q

1.3. Độ đo dựa trên lý thuyết thông tin

1.4. Kết luận chương 1

2. CHƯƠNG 2: THUẬT TOÁN RÚT GỌN ĐỒ THỊ MẠNG XÃ HỘI DỰA VÀO ĐỘ ĐO TRUNG TÂM TRUNG GIAN VÀ NGUYÊN LÝ LAN TRUYỀN NHÃN

2.1. Các tính chất của độ đo trung tâm trung gian trên đồ thị mạng xã hội

2.2. Các lớp đỉnh treo tương đương

2.3. Các lớp đỉnh sườn tương đương

2.4. Các lớp đỉnh đồng nhất tương đương

2.5. Thuật toán rút gọn đồ thị dựa vào độ đo trung tâm trung gian

2.6. Thuật toán rút gọn đồ thị dựa vào nguyên lý lan truyền nhãn

2.7. Thuật toán lan truyền nhãn

2.8. Thực nghiệm và đánh giá

2.8.1. Bộ dữ liệu

2.8.2. Cài đặt thực nghiệm

2.8.3. Kết quả thực nghiệm

2.9. Kết luận chương 2

3. CHƯƠNG 3: ÁP DỤNG THUẬT TOÁN RÚT GỌN ĐỒ THỊ ĐỂ PHÁT HIỆN CỘNG ĐỒNG TRÊN MẠNG XÃ HỘI

3.1. Thuật toán tính nhanh độ đo trung tâm trung gian trên đồ thị mạng xã hội rút gọn

3.2. Duyệt đồ thị theo chiều rộng

3.3. Thuật toán tính nhanh độ đo trung tâm trung gian

3.4. Thuật toán phát hiện cộng đồng mạng xã hội trên đồ thị rút gọn dựa vào độ đo trung tâm trung gian

3.5. Thuật toán lan truyền nhãn phát hiện cộng đồng trên đồ thị mạng xã hội rút gọn

3.6. Thực nghiệm và đánh giá

3.6.1. Cài đặt thực nghiệm

3.6.2. Đánh giá thực nghiệm

3.7. Kết luận chương 3

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

DANH MỤC CÁC CÔNG TRÌNH CÓ LIÊN QUAN ĐẾN LUẬN ÁN

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về thuật toán rút gọn đồ thị và phát hiện cộng đồng mạng xã hội

Luận án tập trung vào việc nghiên cứu các thuật toán rút gọn đồ thị và ứng dụng của chúng trong việc phát hiện cộng đồng mạng xã hội. Mạng xã hội đã trở thành một phần không thể thiếu trong cuộc sống hiện đại, với sự phát triển mạnh mẽ của các nền tảng như Facebook, Twitter, và Instagram. Phân tích mạng xã hội (SNA) là một lĩnh vực quan trọng, giúp hiểu rõ cấu trúc và mối quan hệ giữa các thực thể trong mạng. Phát hiện cộng đồng là một nhiệm vụ then chốt trong SNA, giúp xác định các nhóm có mối liên kết chặt chẽ trong mạng. Tuy nhiên, với quy mô ngày càng lớn của các mạng xã hội, việc áp dụng các thuật toán đồ thị truyền thống trở nên kém hiệu quả. Do đó, việc rút gọn đồ thị để giảm thiểu độ phức tạp tính toán là cần thiết.

1.1. Cộng đồng mạng xã hội và tầm quan trọng

Cộng đồng mạng xã hội là nhóm các thực thể có mối liên kết chặt chẽ, chia sẻ sở thích, mục tiêu hoặc đặc điểm chung. Việc phát hiện các cộng đồng này giúp hiểu rõ cấu trúc mạng và hỗ trợ các ứng dụng trong xã hội học, kinh tế, và khoa học máy tính. Các thuật toán phát hiện cộng đồng truyền thống thường gặp khó khăn khi xử lý các mạng có quy mô lớn, dẫn đến nhu cầu phát triển các phương pháp mới hiệu quả hơn.

1.2. Bài toán rút gọn đồ thị

Rút gọn đồ thị là quá trình giảm thiểu số lượng đỉnh và cạnh trong đồ thị mà vẫn bảo toàn các tính chất quan trọng. Điều này giúp tăng hiệu quả tính toán trong các bài toán như phát hiện cộng đồng. Các thuật toán rút gọn đồ thị thường dựa trên các độ đo như độ đo trung tâm trung gian hoặc nguyên lý lan truyền nhãn để xác định các đỉnh tương đương và kết hợp chúng thành một đỉnh đại diện.

II. Thuật toán rút gọn đồ thị dựa trên độ đo trung tâm trung gian

Chương này tập trung vào việc đề xuất và thực nghiệm các thuật toán rút gọn đồ thị dựa trên độ đo trung tâm trung gian. Độ đo trung tâm trung gian là một chỉ số quan trọng trong việc xác định vai trò của các đỉnh trong mạng. Các đỉnh có cùng giá trị độ đo này được coi là tương đương và có thể kết hợp thành một đỉnh đại diện. Thuật toán REG (Reduce Equivalence Graph) được đề xuất để thực hiện quá trình này, giúp giảm đáng kể kích thước đồ thị mà vẫn bảo toàn cấu trúc cộng đồng.

2.1. Tính chất của độ đo trung tâm trung gian

Độ đo trung tâm trung gian đo lường mức độ quan trọng của một đỉnh trong việc kết nối các đỉnh khác trong mạng. Các đỉnh có giá trị độ đo cao thường đóng vai trò trung gian trong các đường đi ngắn nhất. Việc xác định các đỉnh tương đương dựa trên độ đo này giúp tạo ra các lớp đỉnh có thể kết hợp mà không làm mất đi tính chất cộng đồng của mạng.

2.2. Thuật toán REG và thực nghiệm

Thuật toán REG được thiết kế để rút gọn đồ thị bằng cách kết hợp các đỉnh tương đương dựa trên độ đo trung tâm trung gian. Các thực nghiệm được thực hiện trên các bộ dữ liệu mạng xã hội lớn cho thấy thuật toán này giảm đáng kể số lượng đỉnh và cạnh mà vẫn duy trì được cấu trúc cộng đồng ban đầu. Kết quả so sánh với các thuật toán truyền thống cũng cho thấy sự cải thiện về hiệu suất tính toán.

III. Ứng dụng thuật toán rút gọn đồ thị trong phát hiện cộng đồng

Chương này trình bày việc áp dụng các thuật toán rút gọn đồ thị vào bài toán phát hiện cộng đồng mạng xã hội. Các thuật toán như CDAB (Community Detection Algorithm based on Betweenness centrality)LPAA (Label Propagation Algorithm on Abridged graph) được đề xuất để cải thiện hiệu suất phát hiện cộng đồng trên các đồ thị đã được rút gọn. Các thực nghiệm cho thấy các thuật toán này không chỉ giảm thời gian tính toán mà còn duy trì được chất lượng của các cộng đồng được phát hiện.

3.1. Thuật toán CDAB và hiệu quả

Thuật toán CDAB sử dụng độ đo trung tâm trung gian để phát hiện các cộng đồng trên đồ thị rút gọn. Kết quả thực nghiệm cho thấy thuật toán này cải thiện đáng kể thời gian tính toán so với các thuật toán truyền thống như Girvan-Newman (GN), đồng thời duy trì được độ chính xác trong việc phát hiện cộng đồng.

3.2. Thuật toán LPAA và ứng dụng

Thuật toán LPAA dựa trên nguyên lý lan truyền nhãn để phát hiện cộng đồng trên đồ thị rút gọn. Các thực nghiệm cho thấy thuật toán này không chỉ giảm thời gian tính toán mà còn đạt được kết quả tương đương hoặc tốt hơn so với các thuật toán truyền thống như Label Propagation Algorithm (LPA). Điều này khẳng định tính hiệu quả của việc áp dụng rút gọn đồ thị trong bài toán phát hiện cộng đồng.

Tóm tắt và mô tả trên trang này được tạo với sự hỗ trợ của AI từ nội dung tài liệu gốc; tài liệu do người dùng đóng góp và được kiểm duyệt trước khi xuất bản. Báo lỗi nội dung.

01/03/2025
Luận án tiến sĩ kỹ thuật nghiên cứu các thuật toán rút gọn đồ thị và ứng dụng để phát hiện cộng đồng trên mạng xã hội

Trích đoạn nội dung tài liệu

chương 1 là trình bày tổng quan về mạng xã hội, cộng đồng mạng xã hội và các phân tích, đánh giá về các thuật toán rút gọn đồ thị, thuật toán phát hiện cộng đồng trên mạng xã hội và các ứng dụng trong các lĩnh vực khác nhau. Một số các độ đo được giới thiệu để sử dụng đánh giá tính hiệu quả của thuật toán rút gọn đồ thị và thuật toán phát hiện cộng đồng trên mạng xã hội. Thuật toán rút gọn đồ thị mạng xã hội dựa vào độ đo trung tâm trung gian và nguyên lý lan truyền nhãn. Chương 2 nghiên cứu các tính chất của lớp đỉnh tương đương dựa vào độ đo trung tâm trung gian, đề xuất thuật toán REG rút gọn đồ thị dựa trên thay thế các lớp đỉnh tương đương theo độ đo trung tâm trung gian, đề xuất này nhằm mục tiêu giảm thiểu không gian tính toán của đồ thị, từ đó giảm thiểu độ phức tạp tính toán của bài toán so với các phương pháp trước đây.

Đồng thời trong chương này cũng nghiên cứu các tính chất của lớp đỉnh tương đương dựa vào nguyên lý lan truyền nhãn, từ đó đề xuất thuật toán LREN rút gọn đồ thị dựa trên thay thế các lớp đỉnh tương đương. Các thực nghiệm khẳng định hiệu quả của thuật toán đề xuất trong bài toán rút gọn đồ thị mạng xã hội. Nội dung trình bày trong chương được công bố trong [CT1], [CT3], [CT4]. Áp dụng thuật toán rút gọn đồ thị để phát hiện cộng đồng trên mạng xã hội.

Chương 3 đề xuất thuật toán FBC cải tiến thời gian tính độ đo trung tâm trung gian trên đồ thị mạng xã hội. Đề xuất này nhằm mục tiêu giảm thiểu thời gian tính toán độ đo khoảng cách trên đồ thị mạng xã hội phục vụ cho thuật toán đề xuất phát hiện cấu trúc cộng đồng CDAB trên đồ thị mạng xã hội rút gọn. Đồng thời trong chương này cũng đề xuất thuật toán LPAA phát hiện các cộng đồng trên đồ thị mạng xã hội rút gọn. Đề xuất này nhằm mục tiêu giảm thiểu thời gian tính toán cho thuật toán phát hiện các cộng đồng trên đồ thị mạng xã hội rút gọn.

7 Các thực nghiệm khẳng định hiệu quả của thuật toán đề xuất trong bài toán phát hiện cộng đồng mạng xã hội. Nội dung trình bày trong chương được công bố trong [CT2], [CT3]. Cuối cùng là kết luận và các hướng phát triển tiếp theo. TỔNG QUAN RÚT GỌN ĐỒ THỊ VÀ PHÁT HIỆN CỘNG ĐỒNG TRÊN MẠNG XÃ HỘI Chương này giới thiệu tổng quan về mạng xã hội, cộng đồng trên mạng xã hội, các thuật toán phát hiện cộng đồng mạng xã hội và các thuật toán rút gọn đồ thị cho nhiều ứng dụng khác nhau.

Trong nội dung chương cũng thực hiện phân tích, đánh giá rõ những mặt hạn chế, tồn tại của mỗi phương pháp từ đó xác định hướng phát triển thuật toán rút gọn đồ thị và ứng dụng để cải tiến thuật toán phát hiện cộng đồng trên mạng xã hội. Cuối chương trình bày một số độ đo phổ biến được sử dụng để đánh giá hiệu quả của các thuật toán rút gọn đồ thị và thuật toán phát hiện cộng đồng trên mạng xã hội. Mạng xã hội Mạng xã hội là một cấu trúc xã hội được tạo ra từ các thực thể, các tác nhân hoặc các tổ chức được liên kết, kết nối bởi một hoặc nhiều quan hệ với nhau [8], [42], [102]. Theo Fortunato và các cộng sự [31] mạng xã hội là một tập hợp các thực thể được kết nối với nhau bằng một tập hợp các mối quan hệ, liên kết, như quan hệ bạn bè, gia đình, cộng sự hay trao đổi thông tin, … Các mối quan hệ giữa các thực thể có thể mang nhiều nội dung khác nhau từ sự tương trợ, trao đổi thông tin cho đến việc trao đổi hàng hóa, dịch vụ, … Mạng xã hội cung cấp nhiều cách khác nhau để các tổ chức thu thập thông tin, cạnh tranh với nhau trong việc thiết lập giá kinh doanh hoặc chính sách, … Mạng xã hội thường có những đặc tính như sau [9], [34], [68], [102]: • Dựa vào người dùng (User-based): Trước khi các mạng xã hội như Facebook, Twitter, MySpace, … phổ biến trở thành chuẩn mực, các trang web dựa trên nội dung được cập nhật bởi người dùng và được người sử dụng truy cập trên mạng Internet để đọc, tham khảo thông tin.

Các mạng xã hội trực tuyến được xây dựng và định hướng bởi chính người dùng. Người dùng thực hiện các cuộc hội thoại và các nội dung trao đổi với nhau trên mạng. Hướng của nội dung đó được xác định bởi bất kỳ ai tham gia vào cuộc thảo luận. Vì vậy, mạng xã hội trở nên rất 9 hấp dẫn, thu hút bởi tính năng tương tác nhiều hơn đối với người dùng Internet thông thường.

• Tương tác (Interactive): Một đặc điểm khác của các mạng xã hội hiện đại là các thực thể thường xuyên tương tác thông qua các mối liên kết. Điều này có nghĩa là một mạng xã hội không chỉ là một bộ sưu tập các phòng chat, diễn đàn, …, trang web như Facebook mà còn chứa các ứng dụng chơi trò chơi, quảng cáo, bán hàng online, tin tức, … Các mạng xã hội ngày nay đang phát triển nhanh chóng và được người dùng lựa chọn nhiều hơn so với truyền hình bởi vì nó không chỉ là giải trí, học tập, trao đổi công việc mà đó còn là cách thức để mọi người kết nối, tương tác với nhau. • Hướng đến cộng đồng (Community-driven): Mạng xã hội được xây dựng và phát triển từ các khái niệm về cộng đồng. Điều này có nghĩa là các cộng đồng hoặc các nhóm xã hội trên toàn thế giới được thành lập dựa trên thực tế là các thành viên có những sở thích, những quan điểm chung,.

• Các mối quan hệ (Relationships): Không giống như các trang web trong quá khứ, các mạng xã hội phát triển mạnh về các mối quan hệ. Càng có nhiều mối quan hệ trong mạng, các thực thể càng thiết lập được vai trò trung tâm của mạng đó. Mối quan hệ giữa các thực thể như mối quan hệ hai người có thể là bạn bè hoặc không quen biết nhau. Tồn tại tính địa phương, mối quan hệ giữa các thực thể có xu hướng tạo thành các cụm (cộng đồng).

Mạng xã hội cung cấp tiềm năng rất lớn về tương tác và giao tiếp giữa rất nhiều các thành viên trong mạng ở khắp mọi nơi, không phụ thuộc vào không gian địa lý. Đồng thời tạo môi trường cho việc tương tác và chia sẻ thông tin giữa các thành viên trong mạng như người thân, đồng nghiệp, gia đình, bạn bè, người hâm mộ, … [68]. • Cảm xúc về nội dung (Emotion over content): Một đặc điểm độc đáo khác của mạng xã hội là yếu tố cảm xúc. Mặc dù các trang web trong quá khứ tập trung chủ yếu vào việc cung cấp thông tin cho người truy cập, nhưng mạng xã hội ngày nay thực sự mang đến cho người dùng sự an toàn về mặt cảm xúc và cảm giác rằng dù có chuyện gì xảy ra, bạn bè của họ vẫn ở trong tầm kiểm soát.

10 Hiện nay, mạng xã hội đang phát triển nhanh chóng, với số lượng người dùng và số lượng các mối quan hệ giữa các thành viên trong mạng rất lớn. Từ đó, yêu cầu khách quan đặt ra đòi hỏi phải có những phương pháp nghiên cứu và kỹ thuật phân tích mạng xã hội phù hợp. Một số hệ đo quan trọng trên đồ thị mạng xã hội Phân tích mạng xã hội (Social Network Analysis) [8], [9], [28], [42], [102], [105] dựa vào lý thuyết đồ thị là một tập hợp các phương pháp lựa chọn mẫu, thu thập và xử lý dữ liệu, phân tích các khái niệm, sử dụng lý thuyết đồ thị để mô tả và phân tích các mối quan hệ giữa các thực thể, các tác nhân trong mạng, xác nhận các quy luật hình thành và biến đổi của những mối quan hệ đó, và nhất là làm sáng tỏ những ảnh hưởng của các mối quan hệ xã hội (hay cấu trúc của mạng) đối với hành vi của các tác nhân. Mục tiêu chính của phân tích mạng xã hội là: • Xác định những thực thể, tác nhân quan trọng nhất trong mạng xã hội: Độ đo trung tâm (centrality) là một độ đo điển hình để xác định tầm quan trọng của một tác nhân trong mạng, đồng thời giúp chúng ta hiểu được tầm ảnh hưởng và quyền lực của một cá nhân trong xã hội.

• Phát hiện các cộng đồng trên mạng xã hội: Một số thực thể trong mạng xã hội có liên kết chặt chẽ với nhau tạo thành từng cụm, và giữa các cụm đó được nối với nhau chỉ bằng một số ít cạnh khác. Nhiệm vụ xác định các cộng đồng mạng xã hội được thực hiện thông qua nghiên cứu cấu trúc mạng xã hội và cấu trúc liên kết giữa các thực thể trên mạng xã hội. Mục này trình bày khái niệm đồ thị mạng xã hội và một số hệ đo quan trọng được sử dụng phổ biến trên đồ thị mạng xã hội. Mạng xã hội thường được mô hình hóa, trực quan hóa và biểu diễn dưới dạng một đồ thị, chỉ giữ lại các thành viên và mối quan hệ giữa các thành viên trên mạng có tồn tại hay không.

Thông thường đồ thị mạng xã hội là đồ thị vô hướng, ví dụ như đồ thị mạng bạn bè trên mạng xã hội Facebook, … Nhưng chúng cũng có thể là đồ thị có hướng như đồ thị mạng xã hội những người theo dõi nhau (followers) trên mạng xã hội Twitter hoặc Google +. Đồ thị mạng xã hội là đồ thị G = (V, E), trong đó V là tập các đỉnh (nút) và E là tập các cạnh (cung). Tập V biểu diễn cho các thành viên (tác nhân) của mạng xã hội, còn tập E thể hiện mối quan hệ xã hội giữa các thành viên với nhau. Dựa vào lý thuyết đồ thị, cấu trúc mạng xã hội cũng có thể được biểu diễn thông qua ma trận liền kề A = (Aij) ∈ Rn×n, với n = |V|, R = {0, 1} và Aij = 1 nếu hai đỉnh i và j có cạnh nối giữa chúng (có liên kết - quan hệ trực tiếp với nhau), ngược lại thì Aij = 0.

Để áp dụng được kỹ thuật khai phá dữ liệu trong phân tích mạng xã hội, thì trước tiên phải định nghĩa được độ đo khoảng cách (distance measure) giữa các đỉnh, cạnh của đồ thị. Khi các cạnh của đồ thị được gắn nhãn thì các nhãn này có thể được sử dụng như là độ đo khoảng cách, tùy thuộc vào những gì mà chúng đại diện. Nhưng khi các cạnh không có nhãn, như đồ thị “bạn bè” thì cần phải định nghĩa độ đo khoảng cách giữa các đỉnh.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu "Nghiên cứu thuật toán rút gọn đồ thị và ứng dụng phát hiện cộng đồng mạng xã hội" cung cấp cái nhìn sâu sắc về các thuật toán rút gọn đồ thị, một công cụ quan trọng trong việc phân tích và phát hiện các cộng đồng trong mạng xã hội. Bài viết không chỉ giải thích các phương pháp rút gọn đồ thị mà còn chỉ ra cách chúng có thể được áp dụng để nhận diện các nhóm người dùng có mối liên hệ chặt chẽ, từ đó giúp các nhà nghiên cứu và doanh nghiệp hiểu rõ hơn về hành vi và tương tác của người dùng trên các nền tảng mạng xã hội.

Để mở rộng kiến thức của bạn về các thuật toán và phương pháp phân tích dữ liệu, bạn có thể tham khảo thêm tài liệu Luận văn thạc sĩ nghiên cứu một số thuật toán học máy để phân lớp dữ liệu và thử nghiệm, nơi bạn sẽ tìm thấy các thuật toán học máy hữu ích trong việc phân loại dữ liệu. Ngoài ra, tài liệu Luận văn thạc sĩ khoa học máy tính cải tiến giải thuật kmeans cho bài toán gom cụm dữ liệu chuỗi thời gian sẽ giúp bạn hiểu rõ hơn về các phương pháp gom cụm dữ liệu, một khía cạnh quan trọng trong phân tích mạng xã hội. Cuối cùng, bạn cũng có thể tìm hiểu về Luận văn thạc sĩ hệ thống thông tin nghiên cứu về các phương pháp học biểu diễn dữ liệu, để nắm bắt các phương pháp học biểu diễn có thể áp dụng trong nhiều lĩnh vực khác nhau. Những tài liệu này sẽ giúp bạn mở rộng hiểu biết và ứng dụng các thuật toán trong nghiên cứu và thực tiễn.