NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÁT HIỆN TIN NHẮN RÁC TIẾNG VIỆT

Nghiên cứu chuyên sâu về các phương pháp phát hiện tin nhắn rác tiếng Việt. Phân tích đặc điểm và xây dựng mô hình hiệu quả, tối ưu hóa trải nghiệm người dùng.

• Tác giả: Vũ Minh Tuấn
• Người hướng dẫn: PGS. Trần Quang Anh
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên cứu các phương pháp phát hiện tin nhắn rác tiếng Việt
• Loại tài liệu: Luận án Tiến sỹ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TIN NHẮN SMS VÀ PHƯƠNG PHÁP PHÁT HIỆN TIN NHẮN RÁC TIẾNG VIỆT
• 1.1. TIN NHẮN SMS
• 1.1.1. Khái niệm tin nhắn SMS
• 1.1.2. Cấu trúc tin nhắn SMS
• 1.1.3. Cơ chế hoạt động cơ bản của tin nhắn SMS
• 1.2. TIN NHẮN RÁC VÀ CÁC ĐẶC TRƯNG
• 1.2.1. Đánh nghĩa tin nhắn rác
• 1.2.2. Quy định về tin nhắn rác
• 1.2.3. Đặc trưng của tin nhắn rác
• 1.3. TẬP DỮ LIỆU TIN NHẮN TIẾNG VIỆT
• 1.3.1. Nghiên cứu và tập dữ liệu tin nhắn
• 1.3.2. Xây dựng tập dữ liệu tin nhắn tiếng Việt
• 1.3.3. Mô tả và phân tích tập dữ liệu
• 1.4. BÀI TOÁN PHÁT HIỆN TIN NHẮN RÁC TIẾNG VIỆT
• 1.4.1. Phân tích mức độ ảnh hưởng của độ dài tin nhắn đến hiệu quả mô hình phát hiện tin nhắn rác
• 1.4.2. Xây dựng mô hình phát hiện tin nhắn rác với đặc điểm đa biến thể của tiếng Việt
• 2. CHƯƠNG 2: PHÂN TÍCH MỨC ĐỘ ẢNH HƯỞNG CỦA ĐỘ DÀI TIN NHẮN TỚI HIỆU QUẢ CỦA MÔ HÌNH PHÁT HIỆN TIN NHẮN RÁC
• 2.1. Vai trò của độ dài tin nhắn trong ngôn ngữ tiếng Việt
• 2.2. Vấn đề tồn tại và hướng giải quyết bài toán
• 2.3. Phân tích ảnh hưởng của độ dài tin nhắn tới hiệu quả của mô hình phát hiện tin nhắn rác
• 2.3.1. Dữ liệu thí nghiệm
• 2.3.2. Thiết kế thí nghiệm
• 2.4. So sánh và đánh giá kết quả
• 3. CHƯƠNG 3: PHƯƠNG PHÁP PHÁT HIỆN TIN NHẮN RÁC VỚI ĐẶC ĐIỂM ĐA BIẾN THỂ CỦA TIẾNG VIỆT
• 3.1. Đặc điểm đa biến thể của tiếng Việt
• 3.2. Vấn đề tồn tại và hướng giải quyết bài toán
• 3.3. Mô hình sâu học phát hiện tin nhắn rác tiếng Việt đơn thể
• 3.3.1. Giải thích mô hình
• 3.3.2. Thí nghiệm mô hình
• 3.4. Mô hình học sâu kết hợp kỹ thuật vector hóa phát hiện tin nhắn rác tiếng Việt đa biến thể
• 3.4.1. Giải thích mô hình
• 3.4.2. Thí nghiệm mô hình
• 3.5. Đánh giá và so sánh kết quả
• 3.6. Những khó khăn tồn tại của luận án
• 3.7. Đánh hướng phát triển
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Tin Nhắn Rác Tiếng Việt 55

Trong thế giới phẳng ngày nay, ứng dụng công nghệ thông tin để giao tiếp nhanh chóng, thuận tiện và hiệu quả là điều tất yếu. Cùng với điện thoại và thư điện tử, tin nhắn (SMS) đã tạo nên một cuộc cách mạng về trao đổi thông tin. Mặc dù ra đời sau thư điện tử nhưng tin nhắn SMS lại đang phát triển rất nhanh và đang có xu hướng chiếm ưu thế do một số đặc điểm đặc thù. Tin nhắn đã trở thành một phương tiện giao tiếp không thể thiếu, mang lại nhiều lợi ích đối với cả người dùng và các tổ chức. Khả năng truyền tải thông điệp nhanh chóng và hiệu quả đã biến tin nhắn thành công cụ quan trọng trong việc duy trì liên lạc cá nhân, kết nối kinh doanh và thậm chí là quảng cáo sản phẩm, dịch vụ thông qua chiến dịch marketing. Điều này không chỉ giúp người dùng tiết kiệm thời gian mà còn mở ra những cơ hội kinh doanh mới. Theo một báo cáo gần đây của Slicktext, trên 5 tỷ người trên thế giới chiếm 65% dân số toàn cầu đang sử dụng dịch vụ tin nhắn SMS [1].

1.1. Giới Thiệu Tổng Quan Về Tin Nhắn SMS Hiện Nay

Tin nhắn SMS (Short Message Service) đã trở thành một phương tiện liên lạc phổ biến và không thể thiếu trong cuộc sống hiện đại. Với khả năng truyền tải thông tin nhanh chóng và tiện lợi, SMS được sử dụng rộng rãi cho nhiều mục đích khác nhau, từ liên lạc cá nhân đến các hoạt động kinh doanh và marketing. Tuy nhiên, sự lạm dụng của tin nhắn, đặc biệt là tin nhắn rác, đã đặt ra một thách thức đối với tính hữu ích của nó. Theo thống kê, số lượng người dùng SMS trên toàn cầu liên tục tăng, điều này làm cho kênh truyền thông này trở thành mục tiêu hấp dẫn cho các hoạt động spam SMS và lừa đảo. Sự gia tăng của tin nhắn rác tiếng Việt gây ra nhiều phiền toái cho người dùng, đồng thời ảnh hưởng tiêu cực đến uy tín của các nhà mạng và các doanh nghiệp sử dụng SMS marketing chân chính.

1.2. Phân Tích Đặc Trưng Của Tin Nhắn Rác Tiếng Việt Chi Tiết

Tin nhắn rác không chỉ gây phiền toái mà còn tiềm ẩn nhiều nguy cơ bảo mật và lừa đảo. Các tin nhắn này thường chứa nội dung quảng cáo không mong muốn, thông tin sai lệch, hoặc các liên kết độc hại có thể dẫn đến việc đánh cắp thông tin cá nhân hoặc lây nhiễm phần mềm độc hại vào thiết bị di động của người dùng. Các đặc trưng thường thấy của tin nhắn rác bao gồm: nội dung quảng cáo quá mức, sử dụng ngôn ngữ giật gân hoặc lôi kéo, gửi từ số điện thoại lạ hoặc không rõ nguồn gốc, và yêu cầu cung cấp thông tin cá nhân nhạy cảm. Việc nghiên cứu tin nhắn rác giúp chúng ta hiểu rõ hơn về các phương thức tấn công và phát triển các biện pháp phòng ngừa hiệu quả hơn.

II. Thách Thức Trong Phát Hiện Tin Nhắn Rác Tiếng Việt 59

Tuy nhiên, sự lạm dụng của tin nhắn, đặc biệt là tin nhắn rác, đã đặt ra một thách thức đối với tính hữu ích của nó. Sự xuất hiện ngày càng nhiều của tin nhắn rác đã gây ảnh hưởng tiêu cực đến trải nghiệm người dùng. Không chỉ làm mất thời gian và tạo ra sự phiền hà, tin nhắn rác còn gây ảnh hưởng tới tính hợp pháp và độ tin cậy của tin nhắn. Ngoài ra, việc lạm dụng tin nhắn rác còn có thể gây nguy cơ về an toàn thông tin cá nhân, tạo ra sự lo ngại về quyền riêng tư, gây hại đến thiết bị của người dùng thông qua các liên kết độc hại và cả những hậu quả nghiêm trọng về tài chính cho cá nhân và doanh nghiệp [2]. Năm 2020, sau đại dịch Covid 19, chứng kiến sự tăng vọt của sự phát tán tin nhắn rác và các cuộc tấn công lừa đảo qua tin nhắn SMS (smishing), với tổng thiệt hại ở Mỹ đạt 86 triệu USD.

2.1. Những Khó Khăn Khi Xử Lý Ngôn Ngữ Tiếng Việt Đa Dạng

Tiếng Việt là một ngôn ngữ giàu sắc thái và biến thể, điều này gây ra nhiều khó khăn trong việc phát hiện tin nhắn rác. Sự đa dạng trong cách sử dụng từ ngữ, cú pháp, và cả các biến thể địa phương làm cho việc xây dựng các thuật toán phát hiện spam chính xác trở nên phức tạp hơn. Ngoài ra, các kỹ thuật tấn công spam ngày càng tinh vi, sử dụng các phương pháp che giấu nội dung hoặc sử dụng các ký tự đặc biệt để tránh bị phát hiện. Việc cập nhật và cải tiến liên tục các mô hình máy học phát hiện spam là rất quan trọng để đối phó với những thách thức này.

2.2. Sự Phát Triển Của Các Kỹ Thuật Spam SMS Tiếng Việt

Kỹ thuật spam SMS không ngừng phát triển và thích nghi, gây khó khăn cho các hệ thống bộ lọc tin nhắn rác. Các spammers thường xuyên thay đổi nội dung tin nhắn, sử dụng các ký tự unicode hoặc các phương pháp mã hóa để che giấu nội dung độc hại. Ngoài ra, việc sử dụng các số điện thoại ảo hoặc các botnet để gửi tin nhắn hàng loạt cũng làm tăng thêm sự phức tạp trong việc ngăn chặn tin nhắn rác. Việc nghiên cứu các phương pháp phát hiện tin nhắn rác mới và hiệu quả là rất cần thiết để bảo vệ người dùng khỏi những nguy cơ này.

2.3. Thiếu Hụt Dữ Liệu Đào Tạo Chất Lượng Cao Tiếng Việt

Một trong những thách thức lớn nhất trong việc phát triển các mô hình phát hiện tin nhắn rác hiệu quả là sự thiếu hụt cơ sở dữ liệu tin nhắn rác tiếng Việt chất lượng cao. Các mô hình máy học phát hiện spam cần được đào tạo trên một lượng lớn dữ liệu đã được gán nhãn chính xác để có thể nhận diện và phân loại tin nhắn rác một cách hiệu quả. Tuy nhiên, việc thu thập và gán nhãn dữ liệu tin nhắn tiếng Việt là một quá trình tốn kém và mất nhiều thời gian. Do đó, việc xây dựng và chia sẻ các cơ sở dữ liệu tin nhắn rác mở là rất quan trọng để thúc đẩy sự phát triển của các giải pháp chống spam hiệu quả hơn.

III. Phương Pháp NLP Phát Hiện Tin Nhắn Rác Tiếng Việt 58

Để giải quyết bài toán phát hiện tin nhắn rác tiếng Việt, nhiều phương pháp đã được đề xuất và áp dụng, trong đó có sự kết hợp giữa kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) và học máy. Việc áp dụng NLP giúp mô hình có thể hiểu được ý nghĩa và ngữ cảnh của tin nhắn, từ đó đưa ra quyết định chính xác hơn. Các kỹ thuật NLP phổ biến được sử dụng bao gồm: phân tích cú pháp, trích xuất đặc trưng, và phân loại văn bản. Ngoài ra, việc sử dụng các mô hình học sâu như CNN và LSTM cũng cho thấy nhiều tiềm năng trong việc cải thiện hiệu quả phân loại tin nhắn rác.

3.1. Sử Dụng Kỹ Thuật Phân Tích Cú Pháp và Ngữ Nghĩa

Phân tích cú pháp và ngữ nghĩa là một trong những kỹ thuật NLP quan trọng trong việc phát hiện tin nhắn rác. Bằng cách phân tích cấu trúc câu và ý nghĩa của từ ngữ, mô hình có thể nhận diện các dấu hiệu bất thường hoặc các mẫu câu thường được sử dụng trong tin nhắn rác. Ví dụ, các tin nhắn spam thường sử dụng các câu quảng cáo quá mức hoặc các lời mời chào hấp dẫn một cách không tự nhiên. Việc kết hợp phân tích cú pháp và ngữ nghĩa giúp mô hình có thể đưa ra quyết định chính xác hơn so với việc chỉ dựa vào các đặc trưng bề mặt như từ khóa.

3.2. Áp Dụng Mô Hình Word Embedding và Vector Hóa Văn Bản

Word embedding và vector hóa văn bản là các kỹ thuật quan trọng để biểu diễn văn bản dưới dạng số, giúp các mô hình học máy có thể xử lý và phân tích dữ liệu văn bản một cách hiệu quả. Các mô hình như Word2Vec, GloVe, và FastText có thể được sử dụng để tạo ra các vector biểu diễn từ ngữ, trong đó các từ có ý nghĩa tương tự sẽ có các vector gần nhau trong không gian vector. Sau đó, các vector từ ngữ có thể được sử dụng để tạo ra các vector biểu diễn cho toàn bộ tin nhắn, giúp mô hình có thể so sánh và phân loại tin nhắn rác dựa trên ý nghĩa của chúng.

3.3. Tối Ưu Thuật Toán Học Máy Với Dữ Liệu Tiếng Việt

Việc tối ưu các thuật toán học máy cho dữ liệu tiếng Việt là rất quan trọng để đạt được hiệu quả cao trong việc phát hiện tin nhắn rác. Các thuật toán như Naive Bayes, SVM, Random Forest, và Gradient Boosting có thể được sử dụng để phân loại tin nhắn rác dựa trên các đặc trưng đã được trích xuất. Tuy nhiên, cần phải điều chỉnh và tối ưu các tham số của thuật toán để phù hợp với đặc thù của ngôn ngữ tiếng Việt. Ví dụ, có thể sử dụng các kỹ thuật feature selection để chọn ra các đặc trưng quan trọng nhất và loại bỏ các đặc trưng không liên quan.

IV. Ứng Dụng Học Sâu Để Phát Hiện Spam SMS Tiếng Việt 59

Trong những năm gần đây, học sâu đã trở thành một phương pháp mạnh mẽ trong nhiều lĩnh vực, bao gồm cả phát hiện tin nhắn rác. Các mô hình học sâu như CNN và LSTM có khả năng tự động học các đặc trưng phức tạp từ dữ liệu văn bản, giúp cải thiện đáng kể hiệu quả phân loại tin nhắn rác. Việc áp dụng học sâu trong phát hiện tin nhắn rác tiếng Việt đã cho thấy nhiều tiềm năng, đặc biệt là trong việc xử lý các biến thể ngôn ngữ và các kỹ thuật spam tinh vi.

4.1. Xây Dựng Mô Hình CNN Cho Phân Loại Văn Bản Tiếng Việt

Mạng nơ-ron tích chập (CNN) là một kiến trúc học sâu phổ biến được sử dụng trong nhiều bài toán xử lý ảnh và văn bản. Trong phát hiện tin nhắn rác, CNN có thể được sử dụng để trích xuất các đặc trưng quan trọng từ dữ liệu văn bản, chẳng hạn như các cụm từ hoặc mẫu câu thường được sử dụng trong tin nhắn rác. Bằng cách sử dụng các lớp tích chập và gộp, CNN có thể tự động học các biểu diễn văn bản hiệu quả, giúp cải thiện đáng kể hiệu quả phân loại tin nhắn rác.

4.2. Sử Dụng LSTM Để Nắm Bắt Thông Tin Dài Hạn Trong Tin Nhắn

Mạng nơ-ron hồi quy dài-ngắn hạn (LSTM) là một loại mạng nơ-ron hồi quy (RNN) đặc biệt được thiết kế để xử lý các chuỗi dữ liệu dài hạn, chẳng hạn như văn bản. Trong phát hiện tin nhắn rác, LSTM có thể được sử dụng để nắm bắt các mối quan hệ giữa các từ ngữ trong tin nhắn, giúp mô hình hiểu rõ hơn về ngữ cảnh và ý nghĩa của tin nhắn. Điều này đặc biệt quan trọng trong việc phát hiện tin nhắn rác sử dụng các kỹ thuật che giấu hoặc biến thể ngôn ngữ.

4.3. Kết Hợp CNN và LSTM Để Nâng Cao Hiệu Quả Phát Hiện

Việc kết hợp CNN và LSTM có thể tận dụng ưu điểm của cả hai mô hình để nâng cao hiệu quả phát hiện tin nhắn rác. CNN có thể được sử dụng để trích xuất các đặc trưng quan trọng từ dữ liệu văn bản, trong khi LSTM có thể được sử dụng để nắm bắt các mối quan hệ dài hạn giữa các từ ngữ. Bằng cách kết hợp hai mô hình này, chúng ta có thể xây dựng một hệ thống phát hiện tin nhắn rác mạnh mẽ và hiệu quả hơn.

V. Đánh Giá Và Triển Khai Giải Pháp Chống Tin Nhắn Rác 55

Sau khi phát triển các mô hình phát hiện tin nhắn rác, việc đánh giá và triển khai chúng là rất quan trọng để đảm bảo hiệu quả trong thực tế. Việc đánh giá cần được thực hiện trên một tập dữ liệu kiểm tra độc lập để đảm bảo tính khách quan và độ tin cậy của kết quả. Ngoài ra, việc triển khai cần được thực hiện một cách cẩn thận để đảm bảo tính ổn định và khả năng mở rộng của hệ thống.

5.1. Tiêu Chí Đánh Giá Hiệu Quả Của Mô Hình

Để đánh giá hiệu quả của các mô hình phát hiện tin nhắn rác, cần sử dụng các tiêu chí đánh giá phù hợp. Các tiêu chí phổ biến bao gồm: độ chính xác (accuracy), độ phủ (recall), độ tin cậy (precision), và F1-score. Ngoài ra, cần xem xét cả thời gian xử lý và tài nguyên cần thiết để triển khai mô hình trong thực tế.

5.2. Thử Nghiệm Và So Sánh Các Mô Hình Trên Dữ Liệu Thực Tế

Việc thử nghiệm và so sánh các mô hình trên dữ liệu thực tế là rất quan trọng để đánh giá khả năng hoạt động của chúng trong môi trường thực tế. Cần thu thập dữ liệu tin nhắn từ nhiều nguồn khác nhau và thử nghiệm các mô hình trên dữ liệu này để đánh giá khả năng phát hiện tin nhắn rác của chúng. Ngoài ra, cần so sánh kết quả của các mô hình với các phương pháp truyền thống để đánh giá sự cải thiện hiệu quả.

5.3. Triển Khai API Và Ứng Dụng Chặn Tin Nhắn Rác

Sau khi đánh giá và chọn ra mô hình tốt nhất, cần triển khai nó vào thực tế. Có thể triển khai mô hình dưới dạng API để các ứng dụng khác có thể sử dụng, hoặc phát triển các ứng dụng di động để giúp người dùng ngăn chặn tin nhắn rác trực tiếp trên thiết bị của họ. Việc triển khai cần được thực hiện một cách cẩn thận để đảm bảo tính ổn định và khả năng mở rộng của hệ thống.

VI. Kết Luận Về Nghiên Cứu Tin Nhắn Rác Tiếng Việt 59

Bài toán phát hiện tin nhắn rác tiếng Việt là một thách thức phức tạp nhưng cũng rất quan trọng. Các phương pháp NLP và học sâu đã cho thấy nhiều tiềm năng trong việc giải quyết bài toán này. Tuy nhiên, cần tiếp tục nghiên cứu và phát triển các giải pháp hiệu quả hơn để bảo vệ người dùng khỏi những nguy cơ tiềm ẩn từ tin nhắn rác. Việc hợp tác giữa các nhà nghiên cứu, nhà mạng, và các cơ quan quản lý là rất quan trọng để xây dựng một môi trường truyền thông an toàn và tin cậy hơn.

6.1. Tổng Kết Các Phương Pháp Hiệu Quả Nhất

Trong quá trình nghiên cứu tin nhắn rác tiếng Việt, nhiều phương pháp đã được đánh giá và so sánh. Các phương pháp kết hợp NLP và học sâu, đặc biệt là CNN và LSTM, đã cho thấy hiệu quả cao trong việc phân loại tin nhắn rác. Tuy nhiên, cần lưu ý rằng không có một phương pháp nào là hoàn hảo, và việc lựa chọn phương pháp phù hợp cần dựa trên đặc điểm của dữ liệu và yêu cầu của bài toán.

6.2. Hướng Phát Triển Nghiên Cứu Trong Tương Lai

Trong tương lai, cần tiếp tục nghiên cứu và phát triển các giải pháp phát hiện tin nhắn rác tiên tiến hơn. Các hướng nghiên cứu tiềm năng bao gồm: sử dụng các mô hình transformer như BERT và GPT, phát triển các phương pháp học không giám sát để tận dụng dữ liệu chưa được gán nhãn, và nghiên cứu các kỹ thuật tấn công spam mới để đối phó với chúng.

6.3. Kêu Gọi Hợp Tác Để Chống Tin Nhắn Rác Tiếng Việt

Việc chống tin nhắn rác là một nhiệm vụ phức tạp đòi hỏi sự hợp tác của nhiều bên liên quan. Các nhà nghiên cứu cần tiếp tục nghiên cứu và phát triển các giải pháp hiệu quả hơn, các nhà mạng cần triển khai các biện pháp kỹ thuật để ngăn chặn tin nhắn rác, và các cơ quan quản lý cần ban hành các quy định pháp luật để xử lý các hành vi phát tán tin nhắn rác. Chỉ bằng cách hợp tác chặt chẽ với nhau, chúng ta mới có thể xây dựng một môi trường truyền thông an toàn và tin cậy hơn.

Trích đoạn nội dung tài liệu

HÞC VIàN CÔNG NGHà B¯U CHÍNH VIÞN THÔNG --------------------------------------- VŨ MINH TUẤN NGHIÊN CỨU CÁC PH¯ƠNG PHÁP PHÁT HIàN TIN NH¾N RÁC TIẾNG VIàT Chuyên ngành: Há thßng thông tin Mã số: 9.04 LUÀN ÁN TIẾN SỸ Hà THÞNG THÔNG TIN HÀ NỘI - 2024 HÞC VIàN CÔNG NGHà B¯U CHÍNH VIÞN THÔNG --------------------------------------- VŨ MINH TUẤN NGHIÊN CỨU CÁC PH¯ƠNG PHÁP PHÁT HIàN TIN NH¾N RÁC TIẾNG VIàT Chuyên ngành: Há thßng thông tin Mã số: 9.04 LUÀN ÁN TIẾN SỸ Hà THÞNG THÔNG TIN Ng°ời h°ớng d¿n khoa hßc: PGS. Trần Quang Anh TS. Nguyßn Xuân Th¿ng HÀ NỘI - 2024 MĀC LĀC MĂC LĂC. vi DANH MĂC KÝ HIàU VÀ VIÂT TÂT.

vii DANH MĂC CÁC BÀNG. ix DANH MĂC HÌNH VÀ VÀ Đâ THà. LÝ DO LĄA CHâN ĐÄ TÀI. MĂC TIÊU, ĐàI T¯ĀNG, PH¾M VI VÀ PH¯¡NG PHÁP NGHIÊN CĆU 4 2.

Đái t°āng và ph¿m vi nghiên cću. Ph°¢ng pháp nghiên cću. Ý ngh*a thąc tißn. NHIàM VĂ NGHIÊN CĆU VÀ KÂT QUÀ Đ¾T Đ¯ĀC.

8 Ch°¢ng 1 TäNG QUAN VÄ TIN NHÂN SMS VÀ PH¯¡NG PHÁP PHÁT HIàN TIN NHÂN RÁC TIÂNG VIàT. TIN NHÂN SMS. Khái niám tin nhÃn SMS. C¿u trúc tin nhÃn SMS.

C¢ chà ho¿t đáng c¢ bÁn cąa tin nhÃn SMS. TIN NHÂN RÁC VÀ CÁC ĐÀC TR¯NG. Đánh ngh*a tin nhÃn rác. Quy đánh vÅ tin nhÃn rác.

ĐÁc tr°ng cąa tin nhÃn rác. TÀP DĂ LIàU TIN NHÂN TIÂNG VIàT. Nghiên cću vÅ tÁp dă liáu tin nhÃn. Xây dąng tÁp dă liáu tin nhÃn tiÃng Viát.

Mô tÁ và phân tích tÁp dă liáu. BÀI TOÁN PHÁT HIàN TIN NHÂN RÁC TIÂNG VIàT. Phân tích mćc đá Ánh h°çng cąa đá dài tin nhÃn đÃn hiáu quÁ cąa mô hình phát hián tin nhÃn rác. Xây dąng mô hình phát hián tin nhÃn rác vãi đÁc điÇm đa biÃn thÇ cąa tiÃng Viát 36 1.

NGHIÊN CĆU TäNG QUAN VÄ PH¯¡NG PHÁP PHÁT HIàN TIN NHÂN RÁC TIÂNG VIàT. Nghiên cću vÅ mćc đá Ánh h°çng cąa đá dài tin nhÃn vãi hiáu quÁ cąa mô hình phát hián tin nhÃn rác. Nghiên cću vÅ ph°¢ng pháp phát hián tin nhÃn rác vãi đÁc điÇm đa biÃn thÇ cąa tiÃng Viát. CÁC Đà ĐO ĐÁNH GIÁ PHÂN LâP NHà PHÂN.

Precision và Recall. TäNG KÂT CH¯¡NG. 45 Ch°¢ng 2 PHÂN TÍCH MĆC Đà ÀNH H¯æNG CĄA Đà DÀI TIN NHÂN TâI HIàU QUÀ CĄA MÔ HÌNH PHÁT HIàN TIN NHÂN RÁC. Vai trò cąa đá dài tin nhÃn trong ngôn ngă tiÃng Viát.

V¿n đÅ tãn t¿i và h°ãng giÁi quyÃt bài toán. PHÂN TÍCH ÀNH H¯æNG CĄA Đà DÀI TIN NHÂN TâI HIàU QUÀ CĄA MÔ HÌNH PHÁT HIàN TIN NHÂN RÁC. Dă liáu thā nghiám. ThiÃt kà thā nghiám.

SO SÁNH VÀ ĐÁNH GIÁ KÂT QUÀ. TäNG KÂT CH¯¡NG. 70 Ch°¢ng 3 PH¯¡NG PHÁP PHÁT HIàN TIN NHÂN RÁC VâI ĐÀC ĐIÆM ĐA BIÂN THÆ CĄA TIÂNG VIàT. ĐÁc điÇm đa biÃn thÇ cąa tiÃng Viát.

V¿n đÅ tãn t¿i và h°ãng giÁi quyÃt bài toán. MÔ HÌNH SĀ DĂNG HâC SÂU PHÁT HIàN TIN NHÂN RÁC TIÂNG VIàT Đ¡N THÆ. Giãi thiáu mô hình. Thā nghiám mô hình.

MÔ HÌNH HâC SÂU KÂT HĀP K) THUÀT VECTOR HOÁ PHÁT HIàN TIN NHÂN RÁC TIÂNG VIàT ĐA BIÂN THÆ. Giãi thiáu mô hình. Thā nghiám mô hình. ĐÁNH GIÁ VÀ SO SÁNH KÂT QUÀ.

TäNG KÂT CH¯¡NG. Nhăng khó khăn tãn t¿i cąa luÁn án. Đánh h°ãng phát triÇn. 95 DANH MĂC CÁC CÔNG TRÌNH Đà CÔNG Bà.

97 TÀI LIàU THAM KHÀO. 98 iv LäI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cću do tôi thąc hián. Các sá liáu và kÃt quÁ trình bày trong luÁn án là trung thąc, ch°a đ°āc công bá bçi b¿t kỳ tác giÁ nào hay ç b¿t kỳ công trình nào khác. Tác giÁ Vũ Minh Tu¿n v LäI CÀM ¡N LuÁn án TiÃn s* này đ°āc thąc hián t¿i Hãc vián Công nghá B°u chính Vißn thông d°ãi są h°ãng d¿n khoa hãc cąa PGS.

TS TrÁn Quang Anh và TS. Nguyßn Xuân ThÃng. Tôi xin bày tß lòng biÃt ¢n sâu sÃc tãi các ThÁy vÅ đánh h°ãng khoa hãc, liên tăc quan tâm, t¿o điÅu kián thuÁn lāi trong suát quá trình nghiên cću hoàn thành cuán luÁn án này. Tôi xin đ°āc chân thành cÁm ¢n các nhà khoa hãc, tác giÁ các công trình công bá đã trích d¿n trong luÁn án vì đã cung c¿p nguãn t° liáu quý báu, nhăng kiÃn thćc liên quan, quan trãng trong quá trình nghiên cću hoàn thành luÁn án.

Tôi xin trân trãng cÁm ¢n Lãnh đ¿o Hãc vián Công nghá B°u chính Vißn thông, Hái đãng Khoa hãc, Hái đãng TiÃn s* cąa Hãc vián vì đã t¿o điÅu kián đÇ nghiên cću sinh đ°āc thąc hián và hoàn thành ch°¢ng trình nghiên cću cąa mình. Xin chân thành cÁm ¢n Khoa Đào t¿o sau đ¿i hãc và các nhà khoa hãc thuác Hãc vián Công nghá B°u chính Vißn thông cũng nh° các nghiên cću sinh khác vÅ są hß trā trên ph°¢ng dián hành chính, hāp tác có hiáu quÁ trong suát quá trình nghiên cću khoa hãc cąa mình. Tôi xin gāi låi cÁm ¢n tãi Ban giám hiáu Tr°ång Đ¿i hãc Hà Nái và các b¿n đãng nghiáp, b¿n bè thân hău, vì đã t¿o nhiÅu điÅu kián thuÁn lāi trong suát quá trình hãc tÁp. Cuái cùng là są biÃt ¢n tãi gia đình và nhăng ng°åi b¿n thân thiÃt vì đã liên tăc đáng viên đÇ duy trì nghá ląc, są cÁm thông, chia s¿ vÅ thåi gian, sćc khße và các khía c¿nh cąa cuác sáng trong cÁ quá trình đÇ hoàn thành luÁn án.

Hà Nái, tháng năm 2024 Tác giÁ Vũ Minh Tu¿n vi DANH MĀC KÝ HIÞU VÀ VI¾T TÀT Kí hißu Ti¿ng Anh Ti¿ng Vißt 3GPP Third Generation Partnership Project Dą án các đái tác thà há 3 Bidirectional Encoder BiÇu dißn mã hóa hai chiÅu tÿ BERT Representations from Transformers transformers BOW Bag of Words Túi tÿ CBOW Continuos Bag of Words Túi tÿ liên tăc Đa ng°åi dùng phân chia theo CDMA Code Division Multiple Access mã CMS Content Management System Há tháng quÁn lý nái dung CNN Convolutional Neural Network M¿ng n¢ ron tích chÁp DT Decision Tree ThuÁt toán cây quyÃt đánh European Telecommunications Vián tiêu chuẩn Vißn thông ETSI Standards Institute Châu Âu FN False Negatives Âm tính giÁ FP False Positives D°¢ng tính giÁ GB Gradient Boosting Tên mát thuÁt toán hãc máy Improved Adaptive Artificial Há tháng mißn dách nhân t¿o IA-AIS Immune System thích ćng cÁi thián IM Instant Message Tin nhÃn tćc thì k-NN k-Nearest Neighbor Tên mát thuÁt toán hãc máy LIWC Linguistic Inquiry and Word Count Truy v¿n ngôn ngă và đÃm tÿ LR Logistic Regression Tên mát thuÁt toán hãc máy LSTM Long-Short Term Memory Network M¿ng trí nhã ngÃn-dài h¿n vii ML Machine Learning Hãc máy MTM Message Topic Model Mô hình chą đÅ tin nhÃn NB Naïve Bayes Tên mát thuÁt toán hãc máy NCS Nghiên cću sinh NLP Natural Language Processing Xā lý ngôn ngă tą nhiên OTT Over The Top Ćng dăng lãp trên RF Random Forest Tên mát thuÁt toán hãc máy RNN Recurrent Neural Network M¿ng n¢-ron quy hãi SGD Stochastic Gradient Descent Tên mát thuÁt toán ThiÃt bá đánh danh ng°åi dùng SIM Subscriber Identity Module di đáng SMS Short Service Message Dách vă tin nhÃn ngÃn Trung tâm dách vă tin nhÃn SMSC Short Service Message Center ngÃn SVM Support Vector Machine Tên mát thuÁt toán hãc máy TDMA Time Division Multiple Access Đa truy cÁp theo thåi gian Term Frequency 3 Inverse Document TÁn su¿t thuÁt ngă - TÁn su¿t TF-IDF Frequency tài liáu nghách đÁo TN True Negatives Âm tính thÁt TP True Positives D°¢ng tính thÁt TP-PID Protocol Identifier Mã đánh danh giao thćc viii DANH MĀC CÁC BÀNG Bảng 1-1Danh sách đ¿c tính cÿa SMS. 17 Bảng 1-2 Danh sách 20 đ¿c trưng kết hợp LIWC. 19 Bảng 1-3 Bảng thống kê nguồn cung cấp dữ liệu tin nhắn. 30 Bảng 1-4 Số lượng tin nhắn sau khi xử lý trùng l¿p.

31 Bảng 1-5 Danh sách thông số trong độ đo đánh giá phân lớp nhị phân. 43 Bảng 2-1 Mô tả tập dữ liệu tin nhắn có độ dài khác nhau. 54 Bảng 2-2 Kết quả tại các ngưỡng khác nhau cÿa bộ luật cho tin nhắn SMS. 58 Bảng 2-3 Kết quả mô hình sử dụng bộ luật với ngưỡng 1.

59 Bảng 2-4 Kết quả thí nghiệm với học máy truyền thống với tập dữ liệu DS-Short. 61 Bảng 2-5 Kết quả thí nghiệm với học máy truyền thống với tập dữ liệu DS-Medium. 61 Bảng 2-6 Kết quả thí nghiệm với học máy truyền thống với tập dữ liệu DS-Long. 62 Bảng 2-7 Mô tả cấu trúc và tham số mạng CNN.

64 Bảng 2-8 Mô tả cấu trúc và tham số mạng LSTM. 66 Bảng 2-9 Kết quả thí nghiệm mô hình học sâu với ba tập dữ liệu tin nhắn có độ dài khác nhau. 67 Bảng 2-10 Bảng so sánh kết quả cÿa các mô hình với 3 tập dữ liệu tin nhắn có độ dài khác nhau. 68 Bảng 3-1 Kết quả thí nghiệm mô hình CNN với 3 tập dữ liệu tin nhắn biến thế.

77 Bảng 3-2 Tham số mạng CNN kết hợp cùng với các kĩ thuật vector hóa. 83 Bảng 3-3 Tham số mạng LSTM kết hợp cùng với các kĩ thuật vector hóa. 85 ix DANH MĀC HÌNH VẼ VÀ Đà THà Hình 1-1 Cấu trúc tin nhắn SMS. 11 Hình 1-2 Form thu thập tin nhắn rác.

26 Hình 1-3 Phân bổ số lượng tin nhắn theo độ dài. 32 Hình 1-4 Phân bổ số lượng tin nhắn rác theo độ dài. 33 Hình 2-1 Quy trình triển khai và so sánh hiệu quả mô hình phát hiện tin nhắn rác tiếng Việt đơn thể. 51 Hình 2-2 Mô tả dữ liệu thí nghiệm.

54 Hình 2-3 Mô hình triển khai phát hiện tin nhắn rác với bộ luật thống kê. 55 Hình 2-4 Giao diện phần mềm trên thiết bị di động. 57 Hình 2-5 Biểu đồ kết quả bộ luật ở ngưỡng 1. 60 Hình 2-6 Mô hình phát hiện tin nhắn rác với mạng CNN và các kĩ thuật vector hóa văn bản.

65 Hình 2-7 Kết quả so sánh Accuracy và F1 Score cÿa 2 thuật toán CNN & LSTM trên 3 tập dữ liệu. 68 Hình 2-8 So sánh māc độ phụ thuộc cÿa các mô hình và độ dài tin nhắn. 69 Hình 3-1 So sánh kết quả cÿa mô hình CNN trên 3 tập dữ liệu. 78 Hình 3-2 So sánh kết quả mô hình CNN khi kết hợp với các phép vector hoá.

84 Hình 3-3 So sánh kết quả mô hình LSTM khi kết hợp với các phép vector hoá. 86 Hình 3-4 Mô hình BERT NER [45]. 88 Hình 3-5 So sánh kết quả mô hình BERT NER chạy trên tập dữ liệu tiếng Anh và tiếng Việt đa biến thể. 89 Hình 3-6 So sánh kết quả các mô hình CNN và LSTM khi kết hợp với PhoBERT và BERT NER trên tập dữ liệu tiếng Việt đa biến thể .