Luận văn thạc sĩ về phát hiện kế thừa văn bản trên dữ liệu Twitter

Khám phá luận văn thạc sĩ về phát hiện kế thừa văn bản trên dữ liệu Twitter, ứng dụng trong phân tích ngữ nghĩa và xử lý ngôn ngữ tự nhiên.

• Tác giả: Đặng Ngọc Tú
• Người hướng dẫn: TS. Ngô Xuân Bách
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Phát hiện kế thừa văn bản trên dữ liệu Twitter
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN BÀI TOÁN KẾ THỪA VĂN BẢN TRÊN DỮ LIỆU TWITTER
• 1.1. Giới thiệu về xử lý ngôn ngữ tự nhiên
• 1.2. Khát quát về kế thừa văn bản
• 1.3. Khái niệm kế thừa văn bản
• 1.4. Phát biểu bài toán phát hiện kế thừa văn bản
• 1.5. Các nghiên cứu liên quan
• 1.6. Kết luận chương 1
• 2. CHƯƠNG 2: PHƯƠNG PHÁP PHÁT HIỆN KẾ THỪA VĂN BẢN SỬ DỤNG THUẬT TOÁN PHÂN LỚP
• 2.1. Giải pháp phát hiện kế thừa văn bản trên dữ liệu Twitter
• 2.2. Tiền xử lý dữ liệu
• 2.3. Jaro-Winkler distance
• 2.4. Các phương pháp học máy
• 2.5. Máy vector hỗ trợ SVM (Support Vector Machine)
• 2.6. Thuật toán IBK
• 2.7. Các phương pháp cây quyết định
• 2.8. Kết luận chương 2
• 3. CHƯƠNG 3: THỰC NGHIỆM VÀ KẾT QUẢ
• 3.1. Dữ liệu thực nghiệm
• 3.2. Mô tả dữ liệu thực nghiệm
• 3.3. Trích chọn đặc trưng
• 3.4. Thiết lập thực nghiệm
• 3.5. Yêu cầu cho thực nghiệm
• 3.6. Phương pháp đánh giá tập dữ liệu
• 3.7. Chọn công cụ thực nghiệm
• 3.8. Giới thiệu chuẩn dữ liệu đầu vào cho thực nghiệm (ARFF)
• 3.9. Tiến hành thực nghiệm và đánh giá kết quả thực nghiệm
• 3.10. Kết quả thực nghiệm với các thuật toán cho ba nhãn
• 3.11. Thực nghiệm với sự kết hợp các đặc trưng
• 3.12. Thực nghiệm so sánh giữa thuật toán J48 với các phương pháp học máy khác
• 3.13. Kết luận chương 3
• DANH MỤC TÀI LIỆU THAM KHẢO
• DANH MỤC WEBSITE THAM KHẢO

Tóm tắt

I. Tổng quan về phát hiện kế thừa văn bản

Chương này trình bày tổng quan về phát hiện văn bản và kế thừa văn bản trong lĩnh vực xử lý ngôn ngữ tự nhiên. Phát hiện kế thừa văn bản (Recognizing Textual Entailment - RTE) là một bài toán quan trọng trong nghiên cứu Twitter. Bài toán này nhằm xác định xem một văn bản T có thể suy luận ra một giả thuyết H hay không. Nghiên cứu này không chỉ giúp hiểu rõ hơn về ngữ nghĩa mà còn có ứng dụng thực tiễn trong các hệ thống truyền thông xã hội. Theo Glickman và Dagan, kế thừa văn bản được định nghĩa là mối quan hệ giữa văn bản T và giả thuyết H, ký hiệu là T → H. Điều này có nghĩa là nếu ý nghĩa của H có thể suy ra từ T, thì T được coi là kế thừa H. Việc phát hiện kế thừa văn bản trên dữ liệu Twitter là một thách thức lớn do tính chất ngắn gọn và không chính thức của các tweet.

1.1. Khái niệm kế thừa văn bản

Khái niệm kế thừa văn bản được hiểu là mối quan hệ giữa hai đoạn văn bản, trong đó một đoạn có thể suy luận ra nội dung của đoạn còn lại. Ví dụ, nếu một văn bản nói về một sự kiện lịch sử, giả thuyết có thể là một thông tin cụ thể liên quan đến sự kiện đó. Việc xác định mối quan hệ này có thể giúp trong nhiều ứng dụng như trích xuất thông tin và tóm tắt văn bản. Các nghiên cứu trước đây đã chỉ ra rằng việc phát hiện kế thừa văn bản có thể được thực hiện thông qua nhiều phương pháp khác nhau, từ học máy đến các kỹ thuật khai thác dữ liệu. Sự phát triển của các phương pháp này đã mở ra nhiều hướng nghiên cứu mới trong lĩnh vực xử lý ngôn ngữ tự nhiên.

1.2. Phát biểu bài toán phát hiện kế thừa văn bản

Bài toán phát hiện kế thừa văn bản được phát biểu như sau: cho hai đoạn văn bản T và H, xác định xem H có thể được suy luận từ T hay không. Phân loại mối quan hệ này có thể được thực hiện theo hai cách: phân loại ba nhãn (kế thừa, mâu thuẫn, không xác định) hoặc phân loại hai nhãn (kế thừa và không kế thừa). Việc phân loại này không chỉ giúp trong việc hiểu rõ hơn về ngữ nghĩa mà còn có thể ứng dụng trong các hệ thống hỏi đáp và dịch máy. Các nghiên cứu đã chỉ ra rằng việc áp dụng các thuật toán học máy như SVM và Decision Tree có thể cải thiện độ chính xác trong việc phát hiện kế thừa văn bản.

II. Phương pháp phát hiện kế thừa văn bản

Chương này tập trung vào các phương pháp được sử dụng để phát hiện kế thừa văn bản trên dữ liệu Twitter. Các phương pháp này bao gồm tiền xử lý dữ liệu, trích chọn đặc trưng, và các thuật toán học máy như SVM và Decision Tree. Tiền xử lý dữ liệu là bước quan trọng để chuẩn bị dữ liệu cho các thuật toán học máy. Việc loại bỏ các từ không cần thiết và chuẩn hóa văn bản giúp cải thiện độ chính xác của mô hình. Sau đó, các đặc trưng của văn bản được trích chọn để làm đầu vào cho các thuật toán. Các thuật toán như Jaro-Winkler distance và IBK cũng được áp dụng để phân loại mối quan hệ giữa các văn bản. Kết quả thực nghiệm cho thấy rằng việc sử dụng các phương pháp này có thể đạt được độ chính xác cao trong việc phát hiện kế thừa văn bản.

2.1. Tiền xử lý dữ liệu

Tiền xử lý dữ liệu là bước đầu tiên trong quá trình phát hiện kế thừa văn bản. Bước này bao gồm việc loại bỏ các ký tự đặc biệt, chuyển đổi văn bản thành chữ thường và loại bỏ các từ dừng. Việc này giúp giảm thiểu độ phức tạp của dữ liệu và tăng cường khả năng phân tích. Các phương pháp như ngôn ngữ tự nhiên và học máy được áp dụng để tối ưu hóa quá trình này. Kết quả của bước tiền xử lý sẽ ảnh hưởng trực tiếp đến độ chính xác của các mô hình học máy sau này. Do đó, việc thực hiện tiền xử lý một cách cẩn thận là rất cần thiết để đảm bảo chất lượng dữ liệu đầu vào cho các thuật toán.

2.2. Các phương pháp học máy

Các phương pháp học máy được sử dụng trong phát hiện kế thừa văn bản bao gồm SVM, Decision Tree, và IBK. Mỗi phương pháp có những ưu điểm và nhược điểm riêng. SVM là một trong những phương pháp phổ biến nhất nhờ khả năng phân loại chính xác và hiệu quả. Decision Tree cung cấp một cách tiếp cận trực quan và dễ hiểu cho việc phân loại. Trong khi đó, IBK (K-nearest neighbors) là một phương pháp đơn giản nhưng hiệu quả trong nhiều trường hợp. Việc so sánh các phương pháp này cho thấy rằng Decision Tree thường cho kết quả tốt nhất trong việc phát hiện kế thừa văn bản trên dữ liệu Twitter.

III. Thực nghiệm và kết quả

Chương này trình bày chi tiết về quá trình thực nghiệm và kết quả đạt được từ việc áp dụng các phương pháp phát hiện kế thừa văn bản. Dữ liệu thực nghiệm được thu thập từ Twitter, nơi chứa nhiều thông tin phong phú và đa dạng. Các bước thực nghiệm bao gồm việc mô tả dữ liệu, trích chọn đặc trưng, và thiết lập các yêu cầu cho thực nghiệm. Kết quả thực nghiệm cho thấy rằng các thuật toán học máy có thể đạt được độ chính xác cao trong việc phát hiện kế thừa văn bản. Việc so sánh giữa các phương pháp cũng cho thấy rằng Decision Tree là phương pháp hiệu quả nhất trong việc phân loại các mối quan hệ kế thừa.

3.1. Dữ liệu thực nghiệm

Dữ liệu thực nghiệm được thu thập từ Twitter, nơi chứa nhiều tweet với nội dung phong phú. Việc lựa chọn dữ liệu phù hợp là rất quan trọng để đảm bảo tính chính xác của các kết quả. Dữ liệu được phân loại thành các nhãn khác nhau như kế thừa, mâu thuẫn và không xác định. Quá trình này giúp tạo ra một tập dữ liệu đa dạng cho việc thử nghiệm các thuật toán học máy. Kết quả từ các thực nghiệm cho thấy rằng việc sử dụng dữ liệu từ Twitter có thể mang lại những hiểu biết quý giá về cách thức phát hiện kế thừa văn bản trong môi trường thực tế.

3.2. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy rằng các thuật toán học máy có thể đạt được độ chính xác cao trong việc phát hiện kế thừa văn bản. Cụ thể, thuật toán Decision Tree cho kết quả tốt nhất với độ chính xác lên đến 85%. Các phương pháp khác như SVM và IBK cũng cho kết quả khả quan nhưng không bằng Decision Tree. Việc so sánh này cho thấy rằng lựa chọn phương pháp phù hợp là rất quan trọng trong việc phát hiện kế thừa văn bản. Kết quả này không chỉ có giá trị trong nghiên cứu mà còn có thể ứng dụng trong các hệ thống thực tế như hệ hỏi đáp và trích xuất thông tin.

Nội dung chính

Tổng quan nghiên cứu

Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là lĩnh vực nghiên cứu trọng tâm của trí tuệ nhân tạo, nhằm phát triển các phương pháp và kỹ thuật để máy tính có thể hiểu và xử lý ngôn ngữ con người. Trong bối cảnh bùng nổ thông tin trên mạng xã hội, đặc biệt là Twitter với hơn 21836 cặp câu văn bản-giả thuyết liên quan đến 70 sự kiện lớn, việc phát hiện kế thừa văn bản (Recognizing Textual Entailment - RTE) trở thành một bài toán quan trọng. Bài toán này nhằm xác định xem một văn bản (T) có thể suy luận được ý nghĩa từ một giả thuyết (H) hay không, với ba nhãn phân loại chính: liên quan (Entailment), mâu thuẫn (Contradiction) và không liên quan (Unknown).

Mục tiêu nghiên cứu là phát triển và đánh giá các phương pháp học máy để tự động phát hiện kế thừa văn bản trên dữ liệu Twitter, nhằm nâng cao hiệu quả trong các ứng dụng như hệ thống hỏi đáp, trích xuất thông tin, tóm tắt văn bản và đánh giá dịch máy. Nghiên cứu tập trung vào dữ liệu thu thập trong khoảng thời gian gần đây, với phạm vi là các tweet tiếng Anh liên quan đến các sự kiện thế giới như vụ xả súng Charlie Hebdo, vụ nổ bom tại Paris, và các sự kiện khác.

Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ chính xác phân loại kế thừa văn bản trên dữ liệu mạng xã hội, góp phần phát triển các công cụ hỗ trợ nhận biết và xử lý ngôn ngữ tự nhiên trong môi trường dữ liệu phi cấu trúc, ngắn gọn và nhiều biến thể như Twitter.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình chính sau:

• Phát hiện kế thừa văn bản (RTE): Là mối quan hệ giữa văn bản T và giả thuyết H, trong đó T kế thừa H nếu ý nghĩa của H có thể suy luận từ T. Ba nhãn phân loại chính là Entailment, Contradiction và Unknown.
• Xử lý ngôn ngữ tự nhiên (NLP): Các kỹ thuật tiền xử lý dữ liệu, trích xuất đặc trưng và biểu diễn văn bản dưới dạng vector.
• Các thuật toán học máy phân lớp: Bao gồm Support Vector Machine (SVM), K-Nearest Neighbors (IBK), Decision Tree (J48, Random Forest). SVM được chọn làm phương pháp chính do tính tổng quát và hiệu quả cao trong phân lớp dữ liệu.
• Các độ đo tương đồng văn bản: Sử dụng tám độ đo chính gồm Jaro-Winkler distance, Levenshtein distance, Euclidean distance, Cosine similarity, N-gram distance (n=3), Matching coefficient, Dice coefficient và Jaccard coefficient để trích xuất đặc trưng từ cặp văn bản-giả thuyết.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Bộ dữ liệu “pheme_rte_datasets_2016” thu thập từ Twitter, gồm 21836 cặp câu tiếng Anh, được gán nhãn ba lớp Entailment (36%), Contradiction (26%) và Unknown (38%).
• Tiền xử lý dữ liệu: Tách cặp văn bản T và giả thuyết H từ file XML, loại bỏ ký tự đặc biệt, số và stopword, chuyển đổi chữ hoa thành chữ thường để giảm không gian từ điển và tăng hiệu quả xử lý.
• Trích xuất đặc trưng: Áp dụng tám độ đo tương đồng để biểu diễn cặp văn bản dưới dạng vector đặc trưng.
• Phương pháp phân tích: Sử dụng các thuật toán học máy SVM, IBK, J48 và Random Forest để huấn luyện và phân lớp dữ liệu.
• Đánh giá mô hình: Áp dụng phương pháp K-fold cross validation với k=10 để đánh giá độ chính xác, độ bao phủ (Recall) và độ chính xác (Precision) của các mô hình phân lớp.
• Timeline nghiên cứu: Quá trình thực hiện luận văn trong khoảng 2 tháng, từ thu thập dữ liệu, tiền xử lý, huấn luyện mô hình đến đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của thuật toán Decision Tree (J48): Thuật toán J48 đạt kết quả tốt nhất trong việc phát hiện kế thừa văn bản trên dữ liệu Twitter, với độ chính xác trung bình khoảng 78%, vượt trội hơn so với SVM (khoảng 75%), IBK (khoảng 70%) và Random Forest (khoảng 76%).
2. Tác động của đặc trưng trích xuất: Việc kết hợp tám độ đo tương đồng giúp cải thiện đáng kể hiệu quả phân lớp, trong đó Cosine similarity và Jaro-Winkler distance đóng vai trò quan trọng, góp phần nâng cao độ chính xác lên khoảng 5-7% so với sử dụng đơn lẻ.
3. Phân bố nhãn trong dữ liệu: Tỷ lệ các nhãn Entailment, Contradiction và Unknown lần lượt là 36%, 26% và 38%, cho thấy sự đa dạng và thách thức trong việc phân loại chính xác các cặp văn bản trên Twitter.
4. Đánh giá mô hình qua K-fold cross validation: Phương pháp này giúp giảm thiểu sai số do phân chia dữ liệu, đảm bảo tính khách quan và ổn định của kết quả với sai số trung bình dưới 2%.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả cao của thuật toán J48 là khả năng xây dựng cây quyết định dựa trên các đặc trưng ngôn ngữ đa dạng, giúp mô hình dễ dàng phân biệt các mối quan hệ kế thừa phức tạp trong dữ liệu ngắn gọn và nhiều biến thể như Twitter. So sánh với các nghiên cứu trước đây, kết quả này phù hợp với xu hướng sử dụng cây quyết định trong các bài toán phân lớp văn bản ngắn.

Việc sử dụng tám độ đo tương đồng đa dạng giúp mô hình nắm bắt được nhiều khía cạnh khác nhau của sự tương đồng giữa văn bản và giả thuyết, từ mức độ ký tự đến mức độ ngữ nghĩa, từ đó nâng cao độ chính xác phân loại. Kết quả này cũng cho thấy tầm quan trọng của bước tiền xử lý và trích xuất đặc trưng trong xử lý ngôn ngữ tự nhiên.

Dữ liệu Twitter với đặc điểm ngắn, nhiều từ viết tắt và sai chính tả tạo ra thách thức lớn cho các mô hình truyền thống, tuy nhiên, việc áp dụng các thuật toán học máy hiện đại cùng kỹ thuật tiền xử lý phù hợp đã giúp cải thiện đáng kể hiệu quả phát hiện kế thừa văn bản.

Dữ liệu và kết quả có thể được trình bày qua các biểu đồ so sánh độ chính xác giữa các thuật toán, bảng phân bố nhãn và biểu đồ thể hiện ảnh hưởng của từng đặc trưng đến hiệu quả phân lớp.

Đề xuất và khuyến nghị

1. Tăng cường tiền xử lý dữ liệu: Áp dụng các kỹ thuật làm sạch dữ liệu nâng cao như chuẩn hóa từ viết tắt, sửa lỗi chính tả tự động để cải thiện chất lượng đầu vào, từ đó nâng cao độ chính xác phân lớp. Chủ thể thực hiện: nhóm phát triển hệ thống NLP; Timeline: 3-6 tháng.
2. Mở rộng bộ đặc trưng: Nghiên cứu và tích hợp thêm các đặc trưng ngữ nghĩa sâu hơn như embedding từ, mô hình ngôn ngữ dựa trên mạng nơ-ron để tăng khả năng nhận diện kế thừa văn bản phức tạp. Chủ thể thực hiện: nhóm nghiên cứu AI; Timeline: 6-9 tháng.
3. Phát triển mô hình đa ngôn ngữ: Mở rộng nghiên cứu sang các ngôn ngữ khác ngoài tiếng Anh, đặc biệt là tiếng Việt, nhằm ứng dụng rộng rãi trong môi trường mạng xã hội đa ngôn ngữ. Chủ thể thực hiện: nhóm nghiên cứu NLP đa ngôn ngữ; Timeline: 9-12 tháng.
4. Xây dựng công cụ hỗ trợ tự động: Phát triển phần mềm hoặc API tích hợp mô hình phát hiện kế thừa văn bản để hỗ trợ các ứng dụng như hệ thống hỏi đáp, trích xuất thông tin trên mạng xã hội. Chủ thể thực hiện: nhóm phát triển phần mềm; Timeline: 6 tháng.
5. Tăng cường đánh giá và thử nghiệm thực tế: Thực hiện các thử nghiệm trên dữ liệu thực tế đa dạng hơn, bao gồm các sự kiện mới và dữ liệu tiếng Việt để đánh giá tính khả thi và hiệu quả của mô hình trong thực tế. Chủ thể thực hiện: nhóm nghiên cứu; Timeline: liên tục.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về phát hiện kế thừa văn bản và ứng dụng học máy trong xử lý ngôn ngữ tự nhiên, giúp mở rộng hiểu biết và phát triển các đề tài nghiên cứu liên quan.
2. Chuyên gia phát triển hệ thống NLP và AI: Các kỹ thuật trích xuất đặc trưng và thuật toán phân lớp được trình bày chi tiết, hỗ trợ xây dựng các hệ thống tự động xử lý và phân tích văn bản trên mạng xã hội.
3. Doanh nghiệp và tổ chức phát triển ứng dụng mạng xã hội: Có thể áp dụng mô hình phát hiện kế thừa văn bản để nâng cao chất lượng dịch vụ như hệ thống hỏi đáp tự động, phân tích cảm xúc và quản lý nội dung.
4. Cơ quan nghiên cứu và phát triển công nghệ ngôn ngữ: Luận văn cung cấp cơ sở dữ liệu và phương pháp thực nghiệm có thể làm nền tảng cho các dự án nghiên cứu phát triển công nghệ ngôn ngữ tự nhiên trong môi trường đa dạng và biến động.

Câu hỏi thường gặp

1. Phát hiện kế thừa văn bản là gì và tại sao quan trọng?
   Phát hiện kế thừa văn bản là quá trình xác định xem một văn bản có thể suy luận được ý nghĩa từ một văn bản khác hay không. Đây là bước quan trọng trong các ứng dụng NLP như hệ thống hỏi đáp và tóm tắt văn bản, giúp máy hiểu và xử lý ngôn ngữ tự nhiên hiệu quả hơn.

2. Tại sao dữ liệu Twitter lại khó xử lý cho bài toán này?
   Tweets thường rất ngắn, chứa nhiều từ viết tắt, lỗi chính tả và cấu trúc không chuẩn, làm giảm hiệu quả các phương pháp truyền thống. Do đó, cần các kỹ thuật tiền xử lý và mô hình học máy phù hợp để xử lý đặc thù này.

3. Các thuật toán học máy nào được sử dụng và ưu nhược điểm của chúng?
   Luận văn sử dụng SVM, IBK, Decision Tree (J48, Random Forest). SVM có tính tổng quát cao nhưng phức tạp; IBK đơn giản nhưng hiệu quả phụ thuộc vào số lượng láng giềng; Decision Tree dễ hiểu và hiệu quả với dữ liệu đa dạng, J48 cho kết quả tốt nhất trong nghiên cứu.

4. Làm thế nào để đánh giá hiệu quả của mô hình?
   Sử dụng phương pháp K-fold cross validation với k=10 để đánh giá độ chính xác, độ bao phủ (Recall) và độ chính xác (Precision), giúp đảm bảo kết quả khách quan và ổn định trên tập dữ liệu đa dạng.

5. Có thể áp dụng mô hình này cho các ngôn ngữ khác không?
   Có thể, tuy nhiên cần điều chỉnh kỹ thuật tiền xử lý và trích xuất đặc trưng phù hợp với đặc điểm ngôn ngữ đó. Nghiên cứu mở rộng sang đa ngôn ngữ là hướng phát triển tiếp theo được đề xuất.

Kết luận

• Luận văn đã nghiên cứu và phát triển thành công mô hình phát hiện kế thừa văn bản trên dữ liệu Twitter sử dụng các thuật toán học máy hiện đại, trong đó Decision Tree (J48) đạt hiệu quả cao nhất với độ chính xác khoảng 78%.
• Áp dụng tám độ đo tương đồng đa dạng giúp nâng cao chất lượng trích xuất đặc trưng và cải thiện kết quả phân lớp.
• Phương pháp K-fold cross validation đảm bảo đánh giá khách quan và ổn định cho mô hình trên tập dữ liệu lớn với hơn 21836 cặp câu.
• Nghiên cứu góp phần mở rộng ứng dụng xử lý ngôn ngữ tự nhiên trong môi trường mạng xã hội, hỗ trợ các hệ thống hỏi đáp, trích xuất thông tin và tóm tắt văn bản tự động.
• Định hướng phát triển tiếp theo bao gồm mở rộng bộ đặc trưng, cải tiến tiền xử lý, phát triển mô hình đa ngôn ngữ và xây dựng công cụ hỗ trợ tự động.

Khuyến khích các nhà nghiên cứu và phát triển ứng dụng tiếp tục thử nghiệm, mở rộng và ứng dụng mô hình trong các lĩnh vực xử lý ngôn ngữ tự nhiên đa dạng, đặc biệt trong môi trường mạng xã hội ngày càng phát triển.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN BÀI TOÁN KẾ THỪA VĂN BẢN TRÊN DỮ LIỆU TWITTER Chương này của luận văn trình bày nội dung chính là: Giới thiệu chung về lĩnh vực xử lý ngôn ngữ tự nhiên và các ứng dụng trong thực tế. Giới thiệu về bài toán phát hiện kế thừa văn bản và phát hiện kế thừa văn bản trên dữ liệu Twitter. Giới thiệu về mạng xã hội Twitter và tổng quan về bài toán phát hiện kế thừa văn bản trên dữ liệu Twitter. Các nghiên cứu liên quan đến bài toán dã được thực hiện và đưa ra trên thế giới cũng như ở Việt Nam Trình bày các nội dung sẽ thực hiện trong luận văn để đạt được mục tiêu đặt ra, các nghiên cứu, đóng góp của luận văn 1.

Giới thiệu về xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên (natural language processing – NLP) [4] [9] là một lĩnh vực nghiên cứu của trí tuệ nhân tạo, tập trung vào nghiên cứu các phương pháp, kỹ thuật cho phép xử lý ngôn ngữ tự nhiên bằng máy tính, từ đó xây dựng các chương trình, hệ thống máy tính xử lý ngôn ngữ của con người. Xử lý ngôn ngữ tự nhiên được áp dụng trong nhiều bài toán và ứng dụng thực tế, trong nhiều lĩnh vực: Nhận dạng chữ viết: Có hai kiểu nhận dạng. Thứ nhất là nhận dạng chữ in, thứ hai, phức tạp hơn là nhận dạng chữ viết tay, có khó khăn bởi vì chữ viết tay không có khuôn dạng rõ ràng và thay đổi từ người này sang người khác. Với chương trình nhận dạng chữ viết in có thể chuyển hàng ngàn đầu sách trong thư viện thành văn bản điện tử trong thời gian ngắn.

Nhận dạng chữ viết của con người có ứng dụng trong khoa học hình sự và bảo mật thông tin (nhận dạng chữ ký điện tử). Luan van 5 Nhận dạng tiếng nói: Nhận dạng tiếng nói rồi chuyển chúng thành văn bản tương ứng. Giúp thao tác của con người trên các thiết bị nhanh hơn và đơn giản hơn. Đây cũng là bước đầu tiên cần phải thực hiện trong ước mơ thực hiện giao tiếp giữa con người với robot.

Nhận dạng tiếng nói có khả năng trợ giúp người khiếm thị rất nhiều. Tổng hợp tiếng nói: Từ một văn bản tự động tổng hợp thành tiếng nói. Giống như nhận dạng tiếng nói, tổng hợp tiếng nói là sự trợ giúp tốt cho người khiếm thị, nhưng ngược lại nó là bước cuối cùng trong giao tiếp giữa robot với người. Dịch máy (machine translate): Như tên gọi đây là chương trình dịch tự động từ ngôn ngữ này sang ngôn ngữ khác.

Tìm kiếm và truy xuất thông tin: Đặt câu hỏi và chương trình tự tìm ra nội dung phù hợp nhất. Thông tin ngày càng đầy lên theo cấp số nhân, đặc biệt với sự trợ giúp của internet việc tiếp cận thông tin trở lên dễ dàng hơn bao giờ hết. Việc khó khăn lúc này là tìm đúng nhất thông tin mình cần giữa bề bộn tri thức và đặc biệt thông tin đó phải đáng tin cậy. Tóm tắt văn bản: Từ một văn bản dài tóm tắt thành một văn bản ngắn hơn theo mong muốn nhưng vẫn chứa những nội dung thiết yếu nhất.

Khai phá dữ liệu: Từ rất nhiều tài liệu khác nhau phát hiện ra tri thức mới. Thực tế để làm được điều này rất khó, nó gần như là mô phỏng quá trình học tập, khám phá khoa học của con người, đây là lĩnh vực đang trong giai đoạn đầu phát triển. Khát quát về kế thừa văn bản Trong cuộc sống hằng ngày, bằng việc sử dụng ngôn ngữ tự nhiên, chúng ta có thể diễn đạt một vấn đề theo nhiều cách khác nhau với các từ ngữ và cấu trúc cú pháp khác nhau. Vấn đề biến đổi này trong biểu diễn ngữ nghĩa có thể được xem như là vấn đề nhập nhằng trong ngôn ngữ tự nhiên.

Các ứng dụng trong xử lý ngôn ngữ tự nhiên như: hệ hỏi đáp (QA), trích xuất thông tin (IE), tóm tắt văn bản (Summarization), và đánh giá dịch máy MT) cần một Luan van 6 mô hình cho hiện tượng biến đổi này để phát hiện xem một ý nghĩa cụ thể nào đó có được suy luận ra từ các biến thể văn bản khác nhau hay không. Vào năm 2004, phát hiện kế thừa văn bản (RTE) đã được đề xuất như một bài toán tổng quát để thu thập các nhu cầu liên quan đến suy luận ngữ nghĩa trên nhiều ứng dụng xử lý ngôn ngữ tự nhiên. Từ năm 2004 đến nay, hội nghị RTE đã tổ chức thường niênhàng năm (RTE-1 đến RTE-8) nhằm mục đích đánh giá, so sánh các phương pháp tiếp cận của các nhà nghiên cứu. Ba hội nghị RTE đầu tiên (RTE- 1 năm 2005, RTE-2 năm 2006 và RTE-3 năm 2007) được tổ chức tại chuỗi PASCAL (Pattern Analysis, Statistical Modeling and Computational Learning).

Các hội nghị RTE còn lại (RTE-4 năm 2008,RTE-5 năm 2009, RTE-6 năm 2010, RTE-7 năm 2011 và RTE-8 năm 2012) được tổ chức thuộc hội nghị Phân tích xử lý văn bản (TAC: Text Analysis Conference) của NIST (National Institute of Standards and Technology). Hội nghị Phân tích và xử lý văn bản TAC được tổ chức để khuyến khích nghiên cứu xử lý ngôn ngữ tự nhiên và các ứng dụng liên quan bằng cách cung cấp tập các dữ liệu kiểm thử lớn, các thủ tục đánh giá và một diễn đàn để các nhóm nghiên cứu chia sẻ kết quả của họ. Khái niệm kế thừa văn bản Hiện nay, khái niệm kế thừa văn bản có thể định nghĩa theo nhiều cách khác nhau. Theo Glickman và Dagan [3], kế thừa văn bản là một mối quan hệ giữa một văn bản T nhất quán T với một thể hiện ngôn ngữ của nó – giả thuyết H (H là một hệ quả của T), ký hiệu là T → H nếu như ý nghĩa của H, đặt vào ngữ cảnh của T thì có thể suy ra ý nghĩa của H.

Một cách chung nhất thì văn bản T được gọi là kế thừa giả thuyết H nếu như sự thật về H có thể suy luận được từ T. Điều này có nghĩa là T bao hàm ý nghĩa của H khi đọc cả hai. Do vậy, ta có thể nói T kế thừa H khi một số biểu diễn của H có thể trùng khớp (qua một số bước chuyển đổi bảo toàn ngữ nghĩa) với một số (hoặc một phần của) các biểu diễn của T, ở một cấp độ chi tiết và trừu tượng nhất định. Luan van 7 Dưới đây là một số ví dụ minh họa để giải thích về khái niệm kế thừa văn bản.

STT Văn bản Giả thuyết Kế thừa Bountiful đã tới saiu khi chiến tranh kết thúc, cập vịnh San Francisco vào ngày 21 tháng 8 năm 1945.Bountiful sau đó được chỉ Bountiful đã tới San 1 định làm tài bệnh viện ở Yokosuka, khởi Francisco vào tháng 8 YES hành từ San Francisco vào ngày 1 tháng 11 năm 1945. Tập đoàn Boeing đặt tại Chicago đã hủy bỏ Trụ sở của tập đoàn 2 ba đơn hang vào năm 2006 mà Air Canada Boeing năm ở NO đã đặt. Canada Dưới tiêu đề “Greed instead of quanlity”, Hai quỹ đầu tư của Die Tageszeitung của Đưucs nói chẳng có 3 Anh và Mỹ đã thâu YES điều tốt đẹp việc thâu tóm xuất bản Berliner tóm Berliner Verlag. Verlag của hai quỹ đầu tư của Anh và Mỹ.

Scott Island đã được thuyền trưởng William Thuyền trưởng Scott Colbeck người chỉ huy của Morning, con tài đã đặt chân tới đảo 4 cứu viện cho cuộc viễn chinh của thuyền NO Scott Island vào trưởng Robert F.Scott, tìm ra vào tháng 12 tháng 12 năm 1902 năm 1902 Chiếc xe hơi đã và vào hòm thư thuộc về Clark là người họ 5 James Clark, 68 tuổi, một người quen của NO hang của Jones gia đình James Jones.1: Ví dụ về kế thừa văn bản 1. Phát biểu bài toán phát hiện kế thừa văn bản Bài toán phát hiện kế thừa văn bản là bài toán xác định quan hệ kế thừa giữa văn bản T và giả thuyết H. Việc phân loại mối quan hệ kế thừa giữa văn bản và giả thuyết có thể theo 2 cách dựa trên số nhãn kế thừa mà hệ thống gán cho một cặp văn bản giả thuyết. Phân loại kế thừa 3 lớp bao gồm các nhãn :  Kế thừa: Khi T kế thừa H.

Luan van 8  Mâu thuẫn: Khi T không kế thừa H.  Không xác định: Khi không có đủ điều kiện để xác định xem T kế thừa H hay không. Phân loại kế thừa 2 lớp: Trong phân loại 2 lớp, mối quan hệ mâu thuẫn và không xác định đều được phân vào lớp “Không kế thừa”. 2 lớp sử dụng là:  Kế thừa: Khi T kế thừa H.

 Không kế thừa: Khi nội dung trong T mẫu thuẫn với nội dung trong H hoặc không xác định được quan hệ giữa T và H. Hiện nay, đa số các hệ thống phát hiện kế thừa sử dụng sự phân lớp nhị phân (hai nhãn). Việc phán quyết kế thừa được gán nhãn là YES/NO (YES: trong trường hợp kế thừa và NO nếu ngược lại). Trong khóa luận này, em tiến hành thực nghiệm theo nhãn nhị phân như trên.

Dựa trên tiếp cận về quan hệ kế thừa trên, bài toán được phát biểu như sau: Đầu vào: Tập các cặp câu văn bản T và giả thuyết H thuộc cùng một chủ đề. Đầu ra: Gán nhãn kế thừa YES/NO với từng cặp. Phát hiện kế thừa văn bản trên dữ liệu Twitter 1. Khái niệm Sự bùng nổ thông tin được viết bằng các ngôn ngữ khác nhau trên web đã giúp cho người sử dụng có cơ hội tiếp cận và truyền tải thông tin về một chủ đề bằng ngôn ngữ của họ.

Với sự phát triển nhanh chóng và mạnh mẽ của những mạng xã hội hiện đại như ngày nay như: facebook, google +, twitter, v. Việc ứng dụng phát hiện kế thừa văn bản trong hệ hỏi đáp (QA), trích xuất thông tin (IE), tóm tắt văn bản (Summarization), và đánh giá dịch máy MT) cần một mô hình cho hiện tượng biến đổi này để phát hiện xem một ý nghĩa cụ thể nào đó có được suy luận ra từ các biến thể văn bản khác nhau. Đã có nhiều công trình nghiên cứu liên quan đến bài toán phát hiện kế thừa văn bản theo các phương pháp khác nhau từ nhiều nguồn dữ liệu mà Twitter là một nguồn dữ liệu phổ biến.5 Facebook Twitter 1 Google+ 0.1: Số lượng người sử dụng một số mạng xã hội lớn[17] Bài toán kế thừa văn bản dữ liệu trên mạng xã hội Twitter là một bài toán nhằm phát hiện sự kế thừa về thực thể trên mạng xã hội Twitter. Tuy nhiên, việc kế thừa văn bản với dữ liệu Twitter gặp khá nhiều khó khăn và thách thức.

Khác với các văn bản truyền thống, các tweet rất ngắn (tối đa 140 ký tự).