Đặt vấn đề Những năm gần đây vấn đề bùng nổ thông tin đem lại nhiều cơ hội và thách thức cho các nhà khoa học. Lượng dữ liệu lớn khó kiểm soát do sự phát triển nhanh chóng của công nghệ thông tin, các thiết bị điện tử và cả con người. Những nguồn dữ liệu này chứa nhiều thông tin quý giá nhưng lại chưa có cách khai thác cụ thể nhằm đem lại sự hữu ích trong thực tiễn. Khoa học và công nghệ phát triển, đặc biệt là ngành khoa học máy tính đóng vai trò tích cực trong việc giải quyết vấn đề về dữ liệu lớn.
Bước đầu những nghiên cứu về xử lý ngôn ngữ tự nhiên nhất là trong khai thác, trích xuất đặc trưng từ dữ liệu đạt những kết quả hết sức ngạc nhiên và có những đóng góp to lớn cho nghiên cứu khoa học. Đặc biệt trong lĩnh vực nghiên cứu dữ liệu văn bản đạt được nhiều thành công lớn với những phương pháp và sự cải tiến không ngừng các phương pháp này nhằm đạt kết quả chính xác cao hơn. Vấn đề dữ liệu lớn được giải quyết trong khoa học, nhưng ứng dụng trong thực tiễn lại chưa rộng lớn. Quá trình từ khoa học đến thực tiễn còn trong sự khởi đầu, vẫn còn cần một thời gian dài để nghiên cứu, tuy nhiên những kết quả mà khoa học đã đem lại đã chứng minh tương lai đáng mong chờ.
Quay lại với việc áp dụng khoa học vào thực tiễn của xử lý ngôn ngữ tự nhiên. Hiện nay lượng dữ liệu trên các trang báo điện tử, mạng xã hội, diễn đàn online. đặc biệt là các bài viết thường liên quan đến thông tin đời sống hàng ngày, thông tin đặc sắc được người tham gia viết hoặc chia sẻ. Đứng dưới góc độ là một nhà khoa học dữ liệu, doanh nghiệp cần biết xu hướng 1 thị trường, chính phủ cần quan tâm đến dư luận xã hội hoặc những người có nhu cầu về khuynh hướng dữ liệu đang chuyển dịch sự chú ý trên các trang mạng, diễn đàn này.
Vấn đề đặt ra làm sao quan sát được sự chuyển dịch của luồng dư luận? Quá trình quan sát sự dịch chuyển này có thể được xử lý bởi con người, thực tế là có những người sử dụng phương pháp thống kê về số liệu đã và đang cố gắng giải quyết bài toán này. Để giúp đỡ con người, những thuật toán mới xuất hiện nhằm xây dựng những công cụ giải quyết bài toán này cũng được quan tâm, một trong số đó chính là làm sao gom cụm được dữ liệu, từ đó quan sát một số đặc tính, đặc trưng của dữ liệu được gom cụm. Sự chuyển dịch chú ý đi liền với khoảng thời gian mà cụm này lớn hơn(được chú ý) nhiều những cụm khác. Nói về gom cụm dữ liệu có thể định nghĩa như sau: "Gom cụm dữ liệu: dựa trên đặc trưng, thuộc tính mà các dữ liệu giống nhau thể hiện sự tương đồng nhau mà gom cụm chúng vào những tập hợp khác nhau".
Quá trình gom cụm này đã giải quyết được việc phát hiện được những tập hợp dữ liệu có cùng thuộc tính. Ứng dụng trong quan sát luồng dữ liệu ta có thể khai phá được rằng theo thời gian những cụm, chủ đề nào đang được dư luận chú ý bởi vì trọng số về tần suất xuất hiện những bài viết trên diễn đàn của các cụm này sẽ cao hơn hẳn các cụm khác trong khoảng thời gian đó. Quá trình gom cụm dữ liệu này đã được đề xuất trong rất nhiều các bài báo khoa học lâu đời từ những năm 1999 với thuật toán K-Means[36] là thuật toán cơ bản. Tuy nhiên sau hơn 20 năm phát triển trong việc nghiên cứu phân loại văn bản, các thuật toán mới cũng xuất hiện, các giải pháp đề xuất đem lại kết quả khả quan hơn các thuật toán đã cũ.
Nhận định rằng các thuật toán phân loại cũ kết hợp các phương pháp hiện đại sẽ đem lại kết quả tốt hơn nữa, do đó nhận thấy điểm yếu của phương pháp cũ từ đó dùng các phương pháp mới để khắc phục nhược điểm mong đợi kết quả thực nghiệm sẽ có những kết quả tốt. Trước vấn đề thực tiễn về quan sát, theo dõi sự thay đổi của luồng dư luận. Với phương án sử dụng thuật toán phân cụm cơ bản nhưng dựa trên mô hình phát hiện chủ đề cho văn bản kết hợp với véc-tơ sentence embedding. Đây là một phương án nhằm cải thiện khả năng của mô hình phát hiện chủ đề.
Với hi vọng sẽ đạt được những kết quả khả quan từ mô hình đề xuất. Nhận thấy đây là một vấn đề cần nghiên cứu vì vậy tôi lựa chọn đề tài luận văn: "Gom cụm văn bản dựa trên mô hình phát hiện chủ đề". Nhằm giải quyết vấn đề thực tiễn đã nêu, cơ hội áp dụng cho nhu cầu thực tế trong doanh nghiệp, cá nhân, tổ chức và tạo điều kiện cho các nghiên cứu khoa học sau này có tiền đề so sánh, đối chiếu hoặc áp dụng phát triển hơn nữa.2 Mục tiêu, đối tượng và phạm vi giới hạn của đề tài 1.1 Mục tiêu Về kiến thức • Hiểu được các phương pháp phân cụm dữ liệu và các mô hình phát hiện chủ đề thông dụng. Tập trung vào thuật toán K-Means++ và mô hình Dirichlet tiềm ẩn phân bổ(LDA).
• Hiểu về cách hình thành véc-tơ sentence embedding. Hiểu về kiến trúc và hoạt động của mô hình BERT, sinh véc-tơ sentence embedding từ mô hình BERT. Những khái niệm về RoBERTa và sự cải tiến so với BERT, mô hình PhoBERT đơn ngôn ngữ cho tiếng Việt. Về sản phẩm • Từ các ưu và nhược điểm của các mô hình đã tìm hiểu, đề xuất phương án để xây dựng mô hình khắc phục các điểm yếu và khai thác được điểm mạnh để tạo thành một mô hình phát hiện chủ đề có độ chính xác tốt hơn.
• Xây dựng mô hình trên phương pháp đã đề xuất. Kết hợp thực nghiệm với bộ dữ liệu đã được thu thập nhằm rút ra được những so sánh, đánh giá về khả năng của mô hình đã đề xuất so với các mô hình trước đó. Ngoài ra cũng nhìn nhận những nhược điểm còn tồn tại trong mô hình và đề xuất phương án cải thiện độ chính xác của mô hình đã đề xuất.2 Đối tượng và phạm vi giới hạn của đề tài Đối tượng nghiên cứu • Các phương pháp phân cụm dữ liệu. • Các mô hình phát hiện chủ đề.
• Các phương pháp thu giảm chiều dữ liệu. • Các mô hình hiện đại khai thác tính mạch lạc ngữ nghĩa. • Mô hình kết hợp dựa trên phương pháp đề xuất. • Đặc trưng của bài toán phân cụm dữ liệu.
3 Phạm vi giới hạn của đề tài • Một vài phương pháp phân cụm đặc trưng và chú trọng vào thuật toán Kmeans++. • Lịch sử sự phát triển của mô hình chủ đề, một số mô hình chủ đề nền tảng và trọng tâm vào nghiên cứu mô hình LDA. • Một số phương pháp thu giảm chiều dữ liệu trong đó chủ yếu làm rõ phương pháp AutoEn- coder. • Hai mô hình hiện đại khai thác tính mạch lạc ngữ nghĩa, trong đó bao gồm tìm hiểu cơ bản về Transformer, hai mô hình hiện đại là BERT và PhoBERT(Phát triển dựa trên RoBERTa).
• Dữ liệu thu thập trong khoảng thời gian hơn 3 tháng từ tháng 3 năm 2021 đến đầu tháng 6 năm 2021. Và tính thay đổi chủ đề theo thời gian trong hai tháng 4 và tháng 5 năm 2021.3 Phương pháp nghiên cứu Đề tài luận văn được thực hiện nghiên cứu dựa trên tổ hợp hai phương pháp là nghiên cứu lý thuyết và nghiên cứu thực nghiệm • Nghiên cứu lý thuyết: Tổng hợp các vấn đề lý thuyết liên quan từ các bài báo khoa học, sách khoa học, luận văn, luận án, giáo trình, Internet. • Nghiên cứu thực nghiệm: – Nghiên cứu cài đặt thực hành các công cụ hỗ trợ thuật toán. – Thu thập, xử lý, chọn lọc bộ dữ liệu trên các trang mạng xã hội để hình thành bộ dữ liệu và giải quyết bài toán phân cụm văn bản trên các thuật toán thông dụng.
– Dựa vào các yếu điểm của các thuật toán nền tảng đã đề xuất, chọn phương pháp giải quyết và tiến hành thử nghiệm mô hình đã cải tiến. – Đánh giá, nhận xét kết quả thông qua độ đo giữa mô hình đề xuất với các phương pháp chưa áp dụng cải tiến.4 Các thách thức gặp phải trong quá trình thực hiện luận văn • Nguồn dữ liệu được lấy từ các trang báo mạng, diễn đàn nên gặp một số vấn đề trong lọc dữ liệu ví dụ như các bài báo chỉ toàn hình ảnh, video, bài báo quảng cáo. Việc tiền xử lý dữ liệu chỉ đảm bảo rằng hơn 95% dữ liệu mang đến thông tin phù hợp cho thực nghiệm. • Dữ liệu tiếng Việt phức tạp trong quá trình xử lý ngữ nghĩa cho văn bản.
Số lượng dữ liệu chỉ đạt ngưỡng trung bình, trên 10000 bài báo. • Quá trình hiện thực và chạy mô hình trên Google Colab hạn chế nhiều trong việc sử dụng tài nguyên phần cứng. • Quá trình nghiên cứu lý thuyết chiếm trọn 1/2 thời gian hiện thực đề tài. Giới hạn về thời gian nghiên cứu nên thiếu sót trong việc tìm hiểu sâu về công thức toán học của các mô hình đã đề cập.5 Ý nghĩa của đề tài 1.1 Ý nghĩa khoa học Nghiên cứu về xử lý ngôn ngữ tự nhiên, đặc biệt trong phân cụm dữ liệu văn bản được các nhà khoa học trên thế giới quan tâm và nghiên cứu.
Đề tài hiện thực, đánh giá và đưa ra một mô hình gom cụm văn bản dựa trên bộ dữ liệu thực tế, qua đó góp phần cho sự nghiên cứu về vấn đề gom cụm văn bản thuộc các nghiên cứu chuyên ngành khoa học máy tính. Bên cạnh đó mô hình này thể hiện tính hiệu quả cho các tác vụ đến dán nhãn dữ liệu(phân loại dữ liệu). Có thể áp dụng cho quá trình tạo ra nguồn dữ liệu cho các nghiên cứu khoa học phát triển về trí tuệ thông minh nhân tạo khi mà quá trình thu thập dữ liệu, hoặc gán nhãn dữ liệu mất quá nhiều thời gian. Luận văn này góp phần làm quá trình nhận diện các yếu điểm của mô hình khai thác chủ đề hiện nay, đề ra phương pháp khắc phục các yếu điểm đó, kết hợp mô hình gom cụm hình thành nên một mô hình mới với mong muốn đạt kết quả khả quan hơn trong thực nghiệm và đánh giá.
Luận văn nghiêng về đóng góp cho khoa học thực tiễn trên phương diện thử nghiệm dữ liệu và 5 phương pháp thực tế.2 Ý nghĩa thực tiễn Kết quả của luận văn đem đến một phương pháp mới trong nghiên cứu gom cụm văn bản tiếng Việt.