Mô hình đồ thị học sâu và xác suất phân loại chủ đề bài viết mạng xã hội

Luận văn về mô hình đồ thị học sâu kết hợp xác suất cho bài toán phân loại chủ đề bài viết mạng xã hội. Tìm hiểu phương pháp và kết quả thực nghiệm.

• Tác giả: Đinh Xuân Trường
• Người hướng dẫn: Pgs. Phạm Văn Hải
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Mô hình đồ thị học sâu kết hợp xác suất cho bài toán phân loại chủ đề bài viết mạng xã hội
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Phân loại Chủ đề Bài viết Mạng Xã Hội

Trong thời đại số hiện nay, mạng xã hội đã trở thành một nền tảng khổng lồ cho việc chia sẻ thông tin và tương tác cộng đồng. Lượng dữ liệu khổng lồ được tạo ra hàng ngày từ các bài viết, bình luận và chia sẻ đe dọa khả năng quản lý thông tin hiệu quả. Phân loại chủ đề bài viết đã trở thành một bài toán quan trọng trong xử lý ngôn ngữ tự nhiên và học máy. Việc tự động phân loại các bài viết theo chủ đề không chỉ giúp tổ chức dữ liệu mà còn cải thiện trải nghiệm người dùng. Các phương pháp truyền thống thường gặp hạn chế trong việc xử lý dữ liệu phi cấu trúc và không tận dụng được các mối quan hệ phức tạp giữa các bài viết.

1.1. Thách thức trong Phân loại Chủ đề

Phân loại bán giám sát trên mạng xã hội phải đối mặt với nhiều thách thức như lượng dữ liệu đã gán nhãn hạn chế, sự đa dạng về ngôn ngữ và ngữ cảnh, cũng như các mối liên kết phức tạp giữa các bài viết. Dữ liệu không cân bằng và sự thay đổi nhanh chóng về xu hướng chủ đề cũng là những vấn đề khó khăn trong việc xây dựng mô hình hiệu quả.

1.2. Tầm quan trọng của Mô hình Đồ thị Học Sâu

Mô hình đồ thị học sâu (Graph Neural Networks) cung cấp một cách tiếp cận mới để khắc phục những hạn chế này bằng cách tận dụng cấu trúc đồ thị của dữ liệu. Những mô hình này có khả năng học được các biểu diễn phức tạp từ các mối liên kết và đặc trưng của các nút trong đồ thị.

II. Nền tảng Lý thuyết Mô hình Đồ thị Học Sâu

Mô hình đồ thị học sâu là một lớp các mạng nơron được thiết kế để hoạt động trên dữ liệu có cấu trúc đồ thị. Những mô hình này kết hợp thông tin từ các nút lân cận để tạo ra các biểu diễn phức tạp. Mạng nơron đồ thị kết hợp xác suất Bayes (Bayesian-GCNN) mở rộng khái niệm này bằng cách đưa vào yếu tố không chắc chắn thông qua các phân phối xác suất. Điều này cho phép mô hình không chỉ đưa ra dự đoán mà còn đánh giá độ tin cậy của những dự đoán đó. Kỹ thuật này đặc biệt hữu ích cho các bài toán phân loại bán giám sát khi dữ liệu được gán nhãn là sparser.

2.1. Cơ chế Truyền Thông Điệp trong Đồ thị

Truyền thông điệp (Message Passing) là cơ chế cốt lõi của các mô hình đồ thị học sâu. Mỗi nút học để tập hợp thông tin từ các hàng xóm của nó thông qua hàm tập hợp và cập nhật đặc trưng của chính nó. Quá trình này lặp lại qua nhiều lớp, cho phép thông tin truyền đi xa trong đồ thị.

2.2. Tích hợp Xác suất Bayes

Phương pháp Bayesian trong mô hình đồ thị giúp mô hình tính toán các phân phối xác suất trên các tham số và dự đoán. Điều này cung cấp một cách để định lượng độ không chắc chắn của mô hình, một yếu tố quan trọng trong học bán giám sát nơi dữ liệu được gán nhãn hạn chế.

III. Ứng dụng Xây dựng Mô hình cho Phân loại Chủ đề

Khi áp dụng mô hình đồ thị học sâu cho bài toán phân loại chủ đề bài viết, đầu tiên cần xây dựng cấu trúc đồ thị từ các bài viết mạng xã hội. Mỗi bài viết được biểu diễn như một nút, và các cạnh được tạo ra dựa trên độ tương tự giữa các bài viết (ví dụ: chia sẻ các từ khóa chung hoặc có liên kết trực tiếp). Tiền xử lý dữ liệu tiếng Việt là bước quan trọng bao gồm chuẩn hóa, loại bỏ các từ dừng và phân tích từ vựng. Sau đó, mô hình được huấn luyện trên dữ liệu được gán nhãn một phần để học ánh xạ từ các bài viết đến các nhãn chủ đề tương ứng.

3.1. Xây dựng Đồ thị từ Bài viết Mạng Xã hội

Quá trình xây dựng đồ thị bài viết bắt đầu với việc trích xuất các đặc trưng từ mỗi bài viết như từ vựng, chủ đề và thông tin siêu dữ liệu. Các bài viết tương tự được kết nối dựa trên độ tương tự cosine hoặc các phép đo khoảng cách khác, tạo ra một cấu trúc mạng phức tạp.

3.2. Quá trình Huấn luyện và Đánh giá Mô hình

Mô hình được huấn luyện bằng cách tối ưu hóa hàm mất mát kết hợp độ chính xác (Accuracy), điểm F1 (F1-score) và hàm mất mát (Loss). Quá trình đánh giá sử dụng tập dữ liệu kiểm thử độc lập để đảm bảo mô hình có khả năng khái quát hóa tốt trên dữ liệu mới.

IV. Kết quả và Hướng Phát triển Tương lai

Các kết quả thực nghiệm cho thấy mô hình đồ thị học sâu kết hợp xác suất đạt hiệu suất vượt trội so với các phương pháp truyền thống trong phân loại chủ đề bài viết mạng xã hội. Mô hình có khả năng học được các mối liên kết phức tạp giữa các bài viết và tận dụng dữ liệu được gán nhãn một phần một cách hiệu quả. Hướng phát triển tương lai bao gồm tối ưu hóa cấu trúc đồ thị, tích hợp thêm các đặc trưng ngữ cảnh, và mở rộng phương pháp đến các ngôn ngữ khác. Ngoài ra, việc kết hợp các kỹ thuật học chuyển giao có thể giúp cải thiện hiệu suất khi dữ liệu được gán nhãn cực kỳ hạn chế.

4.1. Đánh giá Hiệu suất Mô hình

Kết quả thực nghiệm trên các bộ dữ liệu khác nhau cho thấy mô hình đạt độ chính xác cao và điểm F1 cân bằng tốt. So sánh với các mô hình cơ sở, Bayesian-GCNN cho thấy sự cải thiện đáng kể, đặc biệt trong các tình huống dữ liệu được gán nhãn sparser.

4.2. Triển vọng Nghiên cứu Tiếp theo

Các hướng phát triển tiếp theo bao gồm áp dụng mô hình đồ thị học sâu cho các bài toán liên quan khác như phát hiện spam, phân tích cảm xúc, và khuyến nghị nội dung. Việc tích hợp với các kỹ thuật học sâu hiện đại khác như mô hình chú ý sẽ mở ra những khả năng mới.

Trích đoạn nội dung tài liệu

CHƯƠNG 1.1 Giới thiệu chung Mạng xã hội đã có sự phát triển mạnh mẽ và vượt bậc trong những năm gần đây, nó không chỉ cung cấp một không gian mở để người dùng chia sẻ thông tin tức thì mà còn có tác động làm thay đổi hành vi và thói quen hằng ngày của con người trong xã hội hiện đại. Theo Statista Facebook được xếp hạng là một trong những nền tảng được nhiều người sử dụng nhất trên thế giới với 2.85 tỷ người đăng ký cho đến nay và nó cũng là nền tảng mạng xã hội được sử dụng phần lớn tại Việt Nam. Chính sự phát triển nhanh chóng về số lượng lớn người sử dụng đã dẫn đến những vấn đề như quản lý nội dung bài viết trên quy mô lớn, tìm kiếm và truy xuất thông tin cũng như các vấn đề liên quan đến việc phân tích và khai phá dữ liệu đồ thị mạng xã hội.1 Phân loại chủ đề bài viết mạng xã hội Phân loại chủ đề bài viết mạng xã hội là nhiệm vụ gán nhãn tập các chủ đề có trước cho một văn bản hoặc một bài viết. Việc phân loại này sẽ cung cấp các góc nhìn về tập các văn bản cần gán nhãn và điều này có các ứng dụng quan trọng trong các bài toán thực tế.

Những ứng dụng thực tế của phân loại chủ đề và phân loại văn bản phải kể đến như các bài toán về phát hiện cộng đồng, lọc thư rác và phân loại các nội dung riêng tư.2 Lợi ích của phân loại chủ đề bài viết mạng xã hội Mỗi ngày có hàng trăm, hàng nghìn các chủ đề khác nhau diễn ra trên mạng xã hội được người dùng bình luận và chia sẻ, đó là những vấn đề xung quanh cuộc sống như các chủ đề về công nghệ, giáo dục, giải trí, du lịch, tài chính và nhiều các chủ đề khác. Việc phân loại các chủ đề bài viết mạng xã hội không chỉ hữu ích cho việc nắm bắt thông tin mà còn đóng vai trò quan trọng trong phân tích mạng xã hội như trích xuất từ khóa, tìm kiếm bài viết xu hướng, tóm tắt mạng xã hội theo chủ đề hoặc từ chủ đề bài viết mà người dùng tương tác có thể phân tích được hành vi, thói quen cũng như dự đoán mối quan tâm của người dùng trên mạng xã hội. Điều này rất hữu ích cho doanh nghiệp khi muốn tiếp cận đến khách hàng của mình nhằm thấu hiểu hành vi và thói quen của các người dùng này. Đồng thời, bằng việc phân loại chủ đề mạng xã hội, phân tích những người dùng theo từng nhóm khác nhau, ta có thể tập hợp những người dùng này thành một cộng đồng và tìm những người có tầm ảnh hưởng trong một cộng đồng nhóm nhỏ ấy cho các chiến lược truyền thông.3 Các yếu tố ảnh hưởng Phân loại chủ đề bài viết mạng xã hội có vai trò và ý nghĩa quan trọng trong thực tế, tuy nhiên bên cạnh những lợi ích mà nó mang lại thì nó cũng chứa đựng nhiều khó khăn thách thức.

Dưới đây là những thách thức chính của trong quá trình nghiên cứu luận văn: 11 - Thách thức về thu thập dữ liệu do những hạn chế về chính sách của các nền tảng mạng xã hội và dữ liệu mạng xã hội là rất lớn. - Trên mạng xã hội hành vi và ngôn ngữ của người dùng luôn thay đổi và cập nhật liên tục theo các hiện tượng và xu hướng mới. - Bài viết trên mạng xã hội không có một quy chuẩn và chuẩn mực nào và tự do theo phong cách của người dùng.2 Động lực và mục tiêu nghiên cứu 1.1 Động lực nghiên cứu Nghiên cứu xuất phát từ hai động lực chính: - Các mô hình học sâu mạng nơron trên đồ thị đạt được nhiều hiệu quả trong việc học bán giám sát trong việc phân loại nút bởi khả năng tổng quát hóa trên đồ thị của mô hình. Mạng nơron đồ thị Graph Neural Network (GNN) học cách tổng hợp các đặc trưng của đồ thị bằng cách lặp đi lặp lại việc tổng hợp thông tin từ các nút hàng xóm lân cận trên đồ thị.

GCNN là một mạng nơron tích chập đồ thị có hiệu quả trong việc tính toán nhiều lớp, GCNN học cách biểu diễn dữ liệu với nhiều cấp độ trừu tượng hơn. Tuy nhiên, các mô hình xác suất với bản chất Bayes và suy diễn thể hiện tính linh hoạt hơn cho việc biểu diễn các dữ liệu mới. Do vậy, để đạt được sự vượt trội bao gồm cả trừu tượng trong các mô hình mạng nơron và suy diễn bằng mô hình xác suất cần mô hình tích hợp các mô hình Bayes dựa trên quy tắc xác suất và mạng nơron mạng này được gọi là học sâu trên đồ thị với xác suất Bayes hay Bayesian-GCNN. Học sâu có thể thúc đẩy hiệu suất suy luận trừu tượng cấp cao hơn và ngược lại phản hồi từ quá trình suy diễn có thể nâng cao nhận thức về dữ liệu để xây dựng mô hình làm gia tăng tính chính xác cho kết quả sát với thực tế dữ liệu.

Việc tìm hiểu và làm chủ mô hình Bayesian-GCNN sẽ giải quyết cho các bài toán bán giám sát trên đồ thị, tăng cường hiệu năng của nhiệm vụ phân loại trên đồ thị và giảm tải quá trình gán nhãn dữ liệu trong các bài toán thực tế so với các phương pháp nghiên cứu phân loại chủ đề bài viết có giám sát coi các bài viết như những văn bản độc lập. - Áp dụng mô hình đồ thị học sâu với xác suất Bayes là Bayesian-GCNN cho bài toán phân tích chủ đề bài viết mạng xã hội bán giám sát, dựa vào tạo đồ thị có các nút là các bài viết và liên kết giữa các bài viết nếu chúng của cùng Người viết, cùng Nhóm hoặc cùng Trang trên mạng xã hội Facebook. Nhiệm vụ phân loại bán giám sát chủ đề bài viết hoàn thiện sẽ mở ra các bài toán mới trong phân tích mạng xã hội.2 Phát biểu và mô tả bài toán Luận văn nhằm giải quyết bài toán phân loại các chủ đề bán giám sát bài viết từ mạng xã hội Facebook cho ngôn ngữ Tiếng Việt. Để tiếp cận bài toán, luận văn tập trung vào các bài viết công khai do Người dùng và các Trang được tạo ra trên trang cá nhân hoặc trên các Nhóm công khai.

Từ đó, đề xuất hình thành một đồ thị các kết nối giữa các bài viết dựa trên mối quan hệ cùng nguồn gốc tạo ra các 12 bài viết này. Phương pháp Bayesian-GCNN sẽ được sử dụng từ dữ liệu sau khi xử lý thành đồ thi từ dữ liệu thu thập của Facebook để kiểm chứng cải thiện về độ chính xác của mô hình trong việc phân loại bán giám sát chủ để mạng xã hội. Độ chính xác của mô hình sẽ được kiểm chứng qua độ chính xác tổng thể Accuracy và F1-score. - Đầu vào của bài toán là các bài viết tiếng Việt trên mạng xã hội có nguồn gốc do Người dùng, Nhóm và Trang tạo ra trên Facebook với 19 chủ đề bao gồm Business, Parenting, Sport Fitness, Beauty, Science & Tech, Education, Travel, Entertainment, Food & Drink, Civic Community, Health, Fashion, Vehicle, Animal, Law Politic, Buy&sell, Relationship Identity, Artwork, Recruitment và một nhãn others cho các chủ đề khác không thuộc 19 chủ đề trên là 20 nhãn chủ đề.

- Đầu ra của bài toán là dự đoán các bài viết tiếng Việt trên mạng xã hội thuộc 20 chủ đề trên.3 Nghiên cứu liên quan Vào năm 2016, Jotikabukkana và cộng sự đã phát triển một số kỹ thuật để phân loại văn bản mạng xã hội bằng cách học bán giám sát sử dụng các từ được lấy trong các bài viết và sử dụng các từ khóa liên quan đến chủ đề của chúng dưới dạng vectơ từ với trọng số là TF-IDF và ma trận từ - bài viết Word Article Matrix (WAM). Cải tiến của WAM cung cấp một mô hình hiệu quả để phân loại bài viết xã hội với độ chính xác lên đến 98%, tuy nhiên các tiếp cận này chỉ hiệu quả với đoạn văn bản ngắn trên Twitter với số ký tự bị giới hạn và số lượng chủ đề nhỏ hơn 7 chủ đề [1]. Yaakov HaCohen-Kerner và cộng sự đã đề xuất một phương pháp phân loại dựa trên chủ đề thông qua unigram unmasking là phương pháp thay thế các thuộc tính không quan trọng mà ảnh hưởng đến độ chính xác của mô hình cho các chủ đề bài viết trên mạng xã hội thuộc năm chủ đề như tư vấn học tập, kinh tế tài chính, công nghệ thông tin, khoa học tự nhiên và toán học [2, 3]. Các thuật toán phân loại chủ đề bài viết hiện tại chủ yếu được phân loại theo ba phương pháp [4]: Nhóm phương pháp trích chọn đặc trưng như sử dụng tần số từ TF, chỉ số tần số từ - nghịch đảo tần suất văn bản TF-IDF, nhúng từ word- embedding; Nhóm phương pháp giảm chiều văn bản như phân tích thành phần chính PCA [5], phân bố tiềm ẩn Dirichlet LDA [6], t-SNE t-phân phối nhúng láng giềng ngẫu nhiên [7], các phương pháp này hữu ích trong trường hợp giảm độ phức tạp về thời gian và tính toán; sử dụng các thuật toán phân loại hồi quy logistic (LR) [8], phân loại Naïve Bayes (NBC)[9], k-hàng xóm gần nhất (KNN) [1, 8], máy vectơ hỗ trợ (SVM) [10], bộ phân loại cây quyết định (DTC) [11], rừng ngẫu nhiên Random Forest [8] và học sâu.

Đối với dữ liệu mạng xã hội, nhiều nghiên cứu đã áp dụng phương pháp xử lý như các văn bản độc lập đó là các mô hình học sâu như CNN và LSTM [12]. Các mô hình học sâu có hạn chế là thường yêu cầu nhiều dữ liệu hơn các thuật toán học máy truyền thống và không thể áp dụng cho việc phân loại trên tập dữ liệu nhỏ. 13 Về nghiên cứu phân loại bán giám sát với dữ liệu đồ thị, Bruna và cộng sự [13] là những người tiên phong sử dụng học sâu trên đồ thị, cấu trúc tổng thể của đồ thị được giải thích bằng sử dụng phổ Laplacian của đồ thị, từ đó tạo ra các lớp nhân chập tổng hợp thông tin cho bài toán phân loại. Frasconi, Gori và Sperduti vào năm 1998 đã tập trung xử lý cấu trúc của đồ thị bằng phương pháp đệ quy, biến đổi đồ thị thành một đồ thị xoay chiều được mã hóa, sau đó kế thừa các thuật toán suy luận và kết hợp mạng nơron với mô hình đồ thị xác suất để phân tích dữ liệu có cấu trúc đồ thị cùng các mối quan hệ giữa các nút trong đồ thị[14].

Scarselli và cộng sự vào 2009 đã đưa ra một mô hình nơron có thể xử lý đầu vào là đồ thị bằng cách tiếp cận mở rộng từ mô hình bước đi ngẫu nhiên - random walk [15].