Chương 1 đã giới thiệu về đề tài, ý nghĩa của đề tài, các đóng góp của đề tài với đề xuất mô hình GOWSeqStream gom cụm luồng văn bản, phạm vi nghiên cứu và các kết quả đạt được. 13 CHƯƠNG 2: TỔNG QUAN CÁC CÔNG TRÌNH ĐÃ NGHIÊN CỨU Chương 2 trình bày các công trình nghiên cứu liên quan, các khái niệm cơ bản, nghiên cứu có liên quan trực tiếp đến các công trình cũng như đóng góp chính của đề tài. Là một bài toán sơ khai của chủ đề khai phá văn bản, các thuật toán gom cụm cổ điển như K-means, Affinity Propagation (AP), Single Value Decomposition (SVD),. đã được áp dụng rất nhiều trong nhiều ứng dụng và đạt được những thành công đáng kể.
Tuy nhiên, các mô hình trước đây chỉ có thể xử lý kho ngữ liệu văn bản tĩnh dài với sự biết trước về một số chủ đề được đề cập. Cùng với sự phát triển của Internet, các framework học máy [23] [24] và xử lý đa lõi quy mô lớn phi tập trung [25] [26] để xử lý các luồng dữ liệu tốc độ nhanh, thế giới của chúng ta đã và đang chứng kiến sự gia tăng của các nền tảng xã hội đòi hỏi một cơ chế gom cụm phức tạp hơn nhiều để xử lý các luồng dữ liệu văn bản tốc độ cao. Gom cụm luồng văn bản là một nhiệm vụ thách thức do tính chất của nó liên quan đến độ dài vô hạn, đến liên tục và sự trôi dạt chủ đề của tài liệu trong các luồng. Gần đây, có những mô hình nổi bật đã được đề xuất để giải quyết vấn đề gom cụm luồng văn bản.
Theo các khảo sát chung của chúng tôi về lĩnh vực gom cụm luồng văn bản, các mô hình gom cụm luồng văn bản gần đây có thể được phân loại thành ba nhóm chính, đó là: phương pháp tiếp cận dựa trên mô hình chủ đề truyền thống, phương pháp tiếp cận dựa trên mô hình hỗn hợp và phương pháp tiếp cận dựa trên sự tương đồng về không gian véc tơ (VSS).1 tóm tắt ba cách tiếp cận gom cụm luồng văn bản phổ biến và các mô hình liên quan của chúng.1: Tiếp cận gom cụm luồng văn bản phổ biến và các mô hình nổi tiếng liên quan Tiếp cận gom cụm luồng Mô hình nổi tiếng văn bản Tiếp cận mô hình hóa chủ đề DTM [27], TOT [28], DMM [29], TTM [30] Tiếp cận dựa trên quá trình DHTM [31], TDPM [32], DP, mô hình hỗn hợp GSDMM [10], DPMFP [11], DPMM DCT [12], MStream [14], DP-BMM [15], OSDM [17], NPMM [18] Tiếp cận dựa trên tương CluStream [33], OSKM [34], đồng trong không gian véc DenStream [35], Sumblr [36] tơ 2.1 So sánh một số cách tiếp cận mới liên quan đến gom cụm luồng văn bản Các nghiên cứu gần đây về gom cụm luồng dữ liệu dạng văn bản có thể được phân thành ba loại chính, đó là phương pháp tiếp cận dựa trên mô hình chủ đề, phương pháp tiếp cận dựa trên mô hình hỗn hợp động và phương pháp tiếp cận dựa trên biểu diễn không gian véc tơ.1 Phương pháp tiếp cận dựa trên mô hình chủ đề truyền thống Là cách tiếp cận sớm nhất để gom cụm luồng văn bản, mô hình hóa chủ đề là một nhóm các thuật toán hỗ trợ khám phá các chủ đề/cấu trúc ẩn từ các tài liệu văn bản. Phân bổ Dirichlet ẩn (LDA) [37] là một trong những thuật toán mô hình hóa chủ đề nổi tiếng nhất, hỗ trợ suy ra các chủ đề ẩn từ một tập hợp các tài liệu văn bản dựa vào sự chênh lệch phân phối xác suất của các từ. LDA biểu diễn các chủ đề ẩn được khám phá dưới 15 dạng tập con của các từ và tài liệu được phân phối thành dạng tập con của các chủ đề ẩn được phân phối. Các nghiên cứu đã chứng minh rằng mô hình chủ đề có thể được áp dụng để mô hình hóa đặc tính theo thời gian của chủ đề trong luồng dữ liệu văn bản cũng như xử lý sự rời rạc của văn bản.
Nhiều nghiên cứu mở rộng dựa trên LDA đã được giới thiệu đáp ứng bản chất động của các chủ đề trong các loạt luồng văn bản khác nhau, chẳng hạn như chủ đề theo thời gian (TOT) [28], mô hình chủ đề động (DTM) [7], mô hình theo dõi chủ đề (TTM) [30],. Các mô hình được đề xuất này có thể hỗ trợ để suy ra các chủ đề động một cách hiệu quả từ tài liệu dài đã cho trong các luồng. Tuy nhiên, các mô hình dựa trên LDA này yêu cầu phải xác định trước số lượng chủ đề cho tất cả các lô tài liệu khác nhau trong một luồng. Điều này không phù hợp với sự thay đổi của các chủ đề theo thời gian.2 Phương pháp tiếp cận dựa trên mô hình hỗn hợp động Để đối phó với những thách thức liên quan đến sự thay đổi chủ đề và phân phối nhiều tài liệu-chủ đề tùy ý, mô hình hỗn hợp DP đã được đề xuất.
Thông thường, các mô hình dựa trên DP sử dụng phương pháp lập mô hình chủ đề Bayes không tham số để dự đoán số lượng chủ đề hiện có trong một luồng văn bản nhất định. Cho đến thời điểm này, phương pháp tiếp cận dựa trên mô hình hỗn hợp DP là cơ sở phổ biến nhất để phát triển hệ thống gom cụm luồng văn bản nhờ những ưu điểm của phương pháp này. Các mô hình dựa trên DP như DHTM [9] và TDPM [38] được đề xuất để xử lý sự thay đổi chủ đề bằng cách tự động tăng số lượng chủ đề theo dữ liệu văn bản đã cho. Tuy nhiên, DHTM và TDPM không được thiết kế để hoạt động tốt với tác vụ gom cụm văn bản ngắn.
Hơn nữa, hai mô hình này đều sử dụng tiếp cận ngoại tuyến nên không phù hợp với các luồng văn bản trực tuyến. Gần đây, có nhiều mô hình dựa trên DP tiên tiến, chẳng hạn như: GSDMM [10], DPMFP [11], DCT [12], MStream [14],. đã cho hiệu suất tốt trong gom cụm luồng văn bản ngắn. Mô hình nổi tiếng nhất MStream có thể hoạt động hiệu quả cả về gom cụm luồng văn bản một lần và loại bỏ các chủ đề lỗi thời qua các lô tài liệu trong luồng.
Dựa trên MStream, các mô hình dựa trên DP đa ngữ nghĩa gần đây như DP-BMM [15], OSDM [17] và NPMM [18] đã cải thiện hiệu suất của nhiệm vụ gom cụm luồng văn bản bằng cách tích hợp với các mối quan hệ đồng xuất hiện từ [17] và phương pháp tiếp cận học đặc trưng từ ẩn [18]. Tuy nhiên, các mô 16 hình dựa trên DP gần đây vẫn gặp phải những thách thức liên quan đến việc học các đặc trưng tuần tự của văn bản cũng như các mối quan hệ đồng xuất hiện ngữ nghĩa giữa các từ vốn là thông tin có giá trị để cải thiện hiệu suất của nhiệm vụ gom cụm văn bản.3 Phương pháp tiếp cận dựa trên biểu diễn không gian vectơ Tương tự như phương pháp gom cụm văn bản cổ điển dành cho ngữ liệu văn bản tĩnh, cho các tài liệu văn bản trong các luồng được chuyển đổi và biểu diễn dưới dạng vectơ đặc trưng, sau đó các độ đo dựa trên khoảng cách có sẵn như độ tương tự Cosin, khoảng cách Euclide,. được áp dụng để đo lường sự giống nhau giữa các tài liệu văn bản và các chủ đề đã cho. Từ lâu, cách tiếp cận dựa trên biểu diễn không gian vectơ (VSR) đã được nghiên cứu rộng rãi để xử lý tác vụ gom cụm luồng văn bản tốc độ cao với các mô hình gom cụm luồng văn bản dựa trên độ tương đồng nổi tiếng, chẳng hạn như: CluStream [39], OSKM [34], DenStream [40].
Tiếp cận theo một cách khác, OSKM đã sử dụng một cơ chế cập nhật trực tuyến linh hoạt để đánh giá sự thay đổi của các phần tử trung tâm của cụm dựa trên phương pháp học tập cạnh tranh “người thắng cuộc”. Các công trình tiếp theo của Churu C. Aggarwal and Philip S. Để đối phó với nhiệm vụ gom cụm luồng văn bản ngắn thực tế trong các mạng xã hội như Twitter, Shou L.
giới thiệu mô hình Sumblr [42] thừa kế từ mô hình của công trình [41]. Trong mô hình Sumblr, Shou L. đã đề xuất một cơ chế nén để chuyển đổi các tweet (trong Twitter) thành các vectơ đặc trưng được sử dụng cho nhiệm vụ gom cụm luồng văn bản ngắn. Tuy nhiên, các kỹ thuật gom cụm văn bản dựa trên VSR có hai hạn chế lớn.
Hạn chế đầu tiên liên quan đến thách thức về sự thay đổi chủ đề vì các thuật toán dựa trên cách tiếp cận này yếu cầu số lượng chủ đề nên được chỉ định trước. Hạn chế thứ hai của các mô hình dựa trên VSR liên quan đến việc yêu cầu phải xác định ngưỡng tương đồng từ đầu, ngưỡng tương đồng thích hợp để xác định một tài liệu văn bản mới từ một luồng nhất định sẽ thuộc về một chủ đề cụ thể hay không. Hơn nữa, số chiều của các vectơ được đại diện trong tài liệu cũng bị ảnh hưởng bởi độ dài của tài liệu. Do tồn tại những 17 thách thức nghiêm trọng này, cách tiếp cận dựa trên VSR ít được quan tâm hơn so với cách tiếp cận dựa trên mô hình hỗn hợp trong việc xử lý tác vụ gom cụm luồng văn bản.2 Kết chương Chương này trình bày và phân tích các ưu điểm và hạn chế của các công trình nghiên cứu liên quan đến đề tài về gom cụm luồng văn bản.
18 CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT VÀ KẾT QUẢ THỰC NGHIỆM Trong phần này, chúng tôi trình bày phương pháp luận của mô hình GOWSeqStream được đề xuất là mô hình gom cụm dựa trên DPMM cho các luồng văn bản ngắn. GOWSeqStream được đề xuất là một phương pháp gom cụm nhận biết ngữ nghĩa, kết hợp giữa các biểu diễn cấu trúc của bag-of-words (BOW) và graph-of-words (GOW) với GRU để tăng hiệu suất của tác vụ gom cụm luồng văn bản ngắn.1 Phương pháp 3.1 Kiến trúc tổng quát của mô hình GowSeqStream Trong đề tài này, chúng tôi phát triển một kỹ thuật gom cụm dựa trên mô hình hỗn hợp có thể nâng cao hiệu suất của các kết quả gom cụm bằng cách kết hợp nhiều phương pháp biểu diễn tính đặc trưng giàu ngữ nghĩa cho tài liệu tại một thời điểm cụ thể (t) (t) trong một luồng dữ liệu, bao gồm kỹ thuật BOW: Wi = {w1 , w2 , … , w|d(t)| }, kỹ thuật i (t) ⃗⃗⃗⃗⃗⃗⃗⃗⃗ (t) GOW: Gi′ = {g1 , g 2 , … , g |d(t)| }, một tập hợp các vectơ nhúng từ ẩn: 𝒲i = i ⃗⃗⃗⃗⃗⃗⃗ (t) {𝓌 ⃗⃗⃗⃗⃗⃗1 , ⃗⃗⃗⃗⃗⃗ 𝓌|d(t)| } và nhúng tuần tự mã hóa dựa trên GRU: 𝒹i .