Luận văn thạc sĩ về hệ thống trích xuất và phân loại sự kiện từ Twitter

Luận văn thạc sĩ trình bày hệ thống trích xuất và phân loại sự kiện từ Twitter, ứng dụng công nghệ trong phân tích dữ liệu mạng xã hội.

• Tác giả: Nguyễn Nam Trung
• Người hướng dẫn: PGS. Từ Minh Phương
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Hệ Thống Trích Xuất Và Phân Loại Sự Kiện Từ Twitter
• Loại tài liệu: luận văn thạc sĩ kỹ thuật
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TRÍCH XUẤT VÀ PHÂN LOẠI SỰ KIỆN TỪ TWITTER
• 1.1. Giới thiệu về mạng xã hội Twitter
• 1.2. Các đặc trưng thông tin của Twitter
• 1.3. Các vấn đề của trích xuất sự kiện từ Twitter
• 1.4. Những khó khăn khi trích xuất thông tin từ Twitter
• 1.5. Ưu điểm của việc trích xuất thông tin từ Twitter
• 1.6. Những hướng tiếp cận trích xuất sự kiện từ Twitter
• 1.6.1. Cách tiếp cận miền tri thức cụ thể và với miền tri thức mở
• 1.6.2. Phương pháp tiếp cận không giám sát, phương pháp tiếp cận giám sát và phương pháp tiếp cận bán giám sát
• 1.7. Các vấn đề về phân loại sự kiện từ Twitter
• 1.8. Kết luận chương
• 2. CHƯƠNG 2: TRÍCH XUẤT VÀ PHÂN LOẠI SỰ KIỆN TRÊN TWITTER
• 2.1. Trích xuất thông tin sự kiện từ nội dung tweet
• 2.1.1. Kỹ thuật gán nhãn từ loại (POS Tagging) bằng mô hình trường ngẫu nhiên có điều kiện
• 2.1.2. Kỹ thuật nhận dạng thực thể có tên trong văn bản (NER)
• 2.1.3. Trích xuất mối quan hệ
• 2.1.4. Trích xuất thời gian
• 2.2. Phân lớp sự kiện sử dụng phương pháp Naive Bayes
• 2.2.1. Phân loại tweet sử dụng phân phối Naive Bayes
• 2.3. Kết luận chương
• 3. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Thu thập dữ liệu thử nghiệm
• 3.2. Thực nghiệm trích xuất sự kiện từ tweet
• 3.3. Thực nghiệm phương pháp phân lớp
• 3.3.1. Tiền xử lý dữ liệu
• 3.3.2. Thực nghiệm phân lớp
• 3.3.3. Đánh giá kết quả thực nghiệm phân lớp
• 3.3.4. Kết quả thực nghiệm phân lớp
• 3.4. Kết luận chương
• MỞ ĐẦU
• KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về trích xuất và phân loại sự kiện từ Twitter

Mạng xã hội Twitter đã trở thành một nguồn thông tin phong phú, với khoảng 500 triệu tweet được chia sẻ mỗi ngày. Việc trích xuất dữ liệu từ Twitter không chỉ giúp xác định các sự kiện quan trọng mà còn hỗ trợ trong việc phân loại thông tin theo các chủ đề khác nhau. Tuy nhiên, việc này cũng gặp nhiều thách thức do tính chất không cấu trúc của dữ liệu. Các tweet thường chứa thông tin không liên quan đến sự kiện thực tế, dẫn đến việc cần thiết phải lọc và phân loại thông tin một cách chính xác. Hệ thống phân loại sự kiện từ Twitter cần phải được thiết kế để nhận diện và phân loại các sự kiện theo thời gian và địa điểm, từ đó cung cấp thông tin hữu ích cho người dùng.

1.1 Giới thiệu về mạng xã hội Twitter

Twitter là một dịch vụ mạng xã hội cho phép người dùng gửi và nhận các tin nhắn ngắn gọi là tweet. Mỗi tweet có giới hạn 140 ký tự, giúp người dùng dễ dàng chia sẻ thông tin một cách nhanh chóng. Tính năng Twitter API cho phép các ứng dụng bên ngoài truy cập và tương tác với dữ liệu trên Twitter, mở ra nhiều cơ hội cho việc khai thác dữ liệu. Sự phát triển của Twitter đã tạo ra một nền tảng mạnh mẽ cho việc phân tích dữ liệu xã hội, giúp các nhà nghiên cứu và doanh nghiệp nắm bắt xu hướng và sự kiện trong thời gian thực.

1.2 Các đặc trưng thông tin của Twitter

Các tweet không chỉ đơn thuần là thông điệp văn bản mà còn có thể chứa các yếu tố như hashtag, mention và retweet. Hashtag giúp nhóm các tweet theo chủ đề, trong khi mention cho phép người dùng tương tác với nhau. Những đặc trưng này tạo ra một mạng lưới thông tin phong phú, nhưng cũng làm tăng độ phức tạp trong việc phân tích ngữ nghĩa. Việc phân tích cảm xúc từ các tweet cũng trở nên quan trọng, giúp xác định thái độ của người dùng đối với các sự kiện cụ thể. Do đó, việc phát triển các phương pháp machine learning để phân tích và phân loại thông tin từ Twitter là rất cần thiết.

1.3 Các vấn đề của trích xuất sự kiện từ Twitter

Trích xuất sự kiện từ Twitter gặp nhiều khó khăn do tính chất không cấu trúc của dữ liệu. Nhiều tweet không liên quan đến sự kiện thực tế, dẫn đến việc cần phải xác định và lọc thông tin một cách chính xác. Các yếu tố ngữ nghĩa như thời gian, địa điểm và người tham gia thường không được trình bày rõ ràng. Việc xử lý ngôn ngữ tự nhiên (NLP) trở thành một công cụ quan trọng trong việc xác định các sự kiện từ nội dung tweet. Hệ thống cần phải có khả năng nhận diện các sự kiện trong thời gian thực và phân loại chúng theo các tiêu chí khác nhau.

II. Trích xuất và phân loại sự kiện trên Twitter

Chương này tập trung vào các phương pháp cụ thể để trích xuất sự kiện từ nội dung tweet. Việc sử dụng các kỹ thuật như gán nhãn từ loại (POS Tagging) và nhận dạng thực thể có tên (NER) là rất quan trọng trong quá trình này. Các phương pháp này giúp xác định các thành phần ngữ nghĩa trong tweet, từ đó hỗ trợ cho việc phân loại sự kiện. Hệ thống cần phải được thiết kế để xử lý một lượng lớn dữ liệu, đồng thời đảm bảo tính chính xác trong việc phân loại các sự kiện theo các lĩnh vực khác nhau.

2.1 Trích xuất thông tin sự kiện từ nội dung tweet

Kỹ thuật gán nhãn từ loại (POS Tagging) giúp xác định các từ trong tweet thuộc loại từ nào, từ đó hỗ trợ cho việc trích xuất dữ liệu. Kỹ thuật nhận dạng thực thể có tên (NER) cho phép xác định các thực thể như người, địa điểm và tổ chức trong tweet. Việc trích xuất mối quan hệ giữa các thực thể cũng rất quan trọng, giúp xây dựng bức tranh tổng thể về sự kiện. Các phương pháp này cần được kết hợp với các thuật toán học máy để nâng cao độ chính xác trong việc phân loại sự kiện.

2.2 Phân lớp sự kiện sử dụng phương pháp Naive Bayes

Phương pháp Naive Bayes là một trong những kỹ thuật phổ biến trong việc phân loại sự kiện. Phương pháp này dựa trên xác suất để phân loại các tweet vào các loại sự kiện khác nhau. Việc sử dụng Naive Bayes giúp đơn giản hóa quá trình phân loại, đồng thời đảm bảo tính hiệu quả trong việc xử lý một lượng lớn dữ liệu. Hệ thống cần phải được huấn luyện với một tập dữ liệu lớn để cải thiện độ chính xác trong việc phân loại các sự kiện theo các chủ đề khác nhau.

2.3 Kết luận chương

Chương này đã trình bày các phương pháp cụ thể để trích xuất và phân loại sự kiện từ Twitter. Việc áp dụng các kỹ thuật như POS Tagging và NER là rất cần thiết để xác định các thành phần ngữ nghĩa trong tweet. Phương pháp Naive Bayes đã chứng minh được tính hiệu quả trong việc phân loại các sự kiện. Tuy nhiên, vẫn còn nhiều thách thức cần phải vượt qua để cải thiện độ chính xác và khả năng mở rộng của hệ thống.

III. Thử nghiệm và đánh giá

Chương này tập trung vào việc thu thập dữ liệu và thực hiện các thử nghiệm để đánh giá hiệu quả của hệ thống trích xuất và phân loại sự kiện. Việc sử dụng các thư viện có sẵn từ Twitter giúp đơn giản hóa quá trình thu thập dữ liệu. Các thử nghiệm được thực hiện để đánh giá độ chính xác của các phương pháp đã đề xuất trong chương trước. Kết quả thực nghiệm sẽ được so sánh với các phương pháp phân loại khác để xác định tính hiệu quả của hệ thống.

3.1 Thu thập dữ liệu thử nghiệm

Việc thu thập dữ liệu từ Twitter được thực hiện thông qua Twitter API, cho phép truy cập vào một lượng lớn tweet trong thời gian thực. Dữ liệu được thu thập sẽ được xử lý và phân loại theo các tiêu chí khác nhau. Quá trình này cần đảm bảo tính chính xác và đầy đủ của dữ liệu để phục vụ cho các thử nghiệm sau này. Việc thu thập dữ liệu cũng cần phải tuân thủ các quy định và chính sách của Twitter để đảm bảo tính hợp pháp.

3.2 Thực nghiệm trích xuất sự kiện từ tweet

Các thử nghiệm được thực hiện để đánh giá khả năng trích xuất sự kiện từ nội dung tweet. Hệ thống sẽ được kiểm tra với các tập dữ liệu khác nhau để xác định độ chính xác trong việc nhận diện các sự kiện. Kết quả sẽ được phân tích để xác định các yếu tố ảnh hưởng đến hiệu quả của hệ thống. Việc thực nghiệm này sẽ giúp cải thiện các phương pháp đã đề xuất và nâng cao độ chính xác trong việc phân loại sự kiện.

3.3 Kết luận chương

Chương này đã trình bày quy trình thử nghiệm và đánh giá hệ thống trích xuất và phân loại sự kiện từ Twitter. Việc thu thập dữ liệu và thực hiện các thử nghiệm là rất cần thiết để xác định tính hiệu quả của các phương pháp đã đề xuất. Kết quả thực nghiệm sẽ cung cấp thông tin quý giá để cải thiện hệ thống trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Twitter, một trong những mạng xã hội phát triển nhanh nhất toàn cầu, hiện có khoảng hơn 335 triệu người dùng hàng tháng và trung bình mỗi ngày tạo ra khoảng 500 triệu tweet. Với lượng dữ liệu khổng lồ này, việc trích xuất và phân loại sự kiện từ Twitter trở thành một thách thức lớn nhưng cũng đầy tiềm năng ứng dụng trong nhiều lĩnh vực như báo chí, dự báo thiên tai, và phân tích xã hội. Luận văn tập trung xây dựng hệ thống trích xuất và phân loại sự kiện từ Twitter, đặc biệt với các tweet tiếng Anh, nhằm giải quyết vấn đề quá tải thông tin và cung cấp thông tin sự kiện kịp thời, chính xác.

Mục tiêu nghiên cứu là phát triển một hệ thống có khả năng nhận diện các sự kiện quan trọng theo mốc thời gian, địa điểm và người liên quan, đồng thời phân loại các sự kiện này theo các chủ đề chính như chính trị, công nghệ và thể thao. Phạm vi nghiên cứu tập trung trên dữ liệu thu thập từ Twitter trong khoảng thời gian gần đây, sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên và học máy hiện đại. Ý nghĩa của nghiên cứu được thể hiện qua việc hỗ trợ phóng viên, nhà phân tích và các tổ chức khai thác hiệu quả nguồn thông tin thời gian thực từ mạng xã hội, góp phần nâng cao chất lượng và tốc độ xử lý thông tin sự kiện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn áp dụng ba lý thuyết và mô hình chính trong xử lý ngôn ngữ tự nhiên và học máy:

1. Mô hình Trường Ngẫu Nhiên Có Điều Kiện (Conditional Random Fields - CRF): Được sử dụng để gán nhãn từ loại (POS Tagging) và nhận dạng các thành phần ngữ nghĩa trong tweet. CRF cho phép mô hình hóa chuỗi dữ liệu với khả năng tích hợp nhiều đặc trưng quan sát, khắc phục nhược điểm của các mô hình Markov ẩn truyền thống.

2. Nhận dạng Thực Thể Có Tên (Named Entity Recognition - NER) với Labeled Latent Dirichlet Allocation (Labeled LDA): Phương pháp này giúp xác định và phân loại các thực thể như người, tổ chức, địa điểm, thời gian trong tweet. Labeled LDA cho phép xử lý tính mơ hồ của thực thể bằng cách phân phối chủ đề trên toàn bộ miền dữ liệu.

3. Phân loại sự kiện bằng thuật toán Naive Bayes: Thuật toán này được sử dụng để phân loại các sự kiện đã trích xuất vào các nhóm chủ đề như chính trị, công nghệ, thể thao dựa trên đặc trưng văn bản được biểu diễn dưới dạng Bag of Words và trọng số TF-IDF.

Các khái niệm chính bao gồm: tweet, sự kiện, thực thể có tên, biểu thức thời gian, phân loại sự kiện, và các đặc trưng ngôn ngữ như hashtag, mention, retweet.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các tweet tiếng Anh thu thập qua API của Twitter, với số lượng dữ liệu thử nghiệm khoảng hàng chục nghìn tweet từ các tài khoản theo chủ đề chính trị, công nghệ và thể thao. Dữ liệu được chia thành tập huấn luyện và tập kiểm thử theo tỷ lệ khoảng 70:30.

Phương pháp phân tích bao gồm:

• Tiền xử lý dữ liệu: loại bỏ stopword, chuẩn hóa từ, tokenization, xử lý hashtag, mention.
• Gán nhãn từ loại và nhận dạng thực thể bằng mô hình CRF và Labeled LDA.
• Trích xuất các phần tử ngữ nghĩa của sự kiện như thời gian, địa điểm, người tham gia.
• Phân loại sự kiện sử dụng thuật toán Naive Bayes với biểu diễn đặc trưng TF-IDF.
• Đánh giá kết quả bằng các chỉ số chính xác, độ thu hồi và F1-score.

Timeline nghiên cứu kéo dài trong khoảng 12 tháng, bao gồm các giai đoạn thu thập dữ liệu, xây dựng mô hình, thử nghiệm và đánh giá.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả trích xuất sự kiện: Mô hình CRF kết hợp với Labeled LDA đạt độ chính xác trung bình khoảng 85% trong việc nhận dạng thực thể và trích xuất các phần tử sự kiện như thời gian, địa điểm, người tham gia. Tỷ lệ lỗi chủ yếu do tính không chính thức và ngắn gọn của tweet.

2. Phân loại sự kiện: Thuật toán Naive Bayes với đặc trưng TF-IDF đạt độ chính xác phân loại sự kiện lên đến 82%, trong đó các sự kiện thể thao và công nghệ có tỷ lệ phân loại chính xác cao hơn (khoảng 85%) so với sự kiện chính trị (khoảng 78%).

3. Tác động của tiền xử lý: Việc loại bỏ stopword, chuẩn hóa từ và xử lý đặc trưng Twitter như hashtag, mention giúp tăng hiệu quả phân loại sự kiện lên khoảng 10% so với mô hình không tiền xử lý.

4. So sánh với các phương pháp khác: Phương pháp kết hợp CRF và Naive Bayes cho kết quả tốt hơn so với các phương pháp học máy truyền thống như SVM hoặc cây quyết định trong bối cảnh dữ liệu Twitter có nhiều nhiễu và ngắn gọn.

Thảo luận kết quả

Nguyên nhân của hiệu quả cao đến từ việc mô hình CRF tận dụng được các đặc trưng chuỗi và ngữ cảnh trong tweet, trong khi Labeled LDA giúp xử lý tính mơ hồ của thực thể. Phân loại sự kiện bằng Naive Bayes phù hợp với đặc điểm dữ liệu sparse và đa dạng của Twitter. Kết quả này tương đồng với các nghiên cứu gần đây trong lĩnh vực xử lý ngôn ngữ tự nhiên trên mạng xã hội, đồng thời khẳng định tính khả thi của việc ứng dụng các kỹ thuật học máy đơn giản nhưng hiệu quả trong môi trường dữ liệu phức tạp.

Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác phân loại giữa các chủ đề sự kiện và bảng thống kê các chỉ số đánh giá mô hình trích xuất thực thể. Điều này giúp minh họa rõ ràng hiệu quả của từng bước trong quy trình xử lý.

Đề xuất và khuyến nghị

1. Tăng cường thu thập dữ liệu đa dạng: Mở rộng phạm vi thu thập tweet theo nhiều chủ đề và ngôn ngữ khác nhau để nâng cao khả năng tổng quát của hệ thống, dự kiến thực hiện trong 6 tháng tới bởi nhóm phát triển dữ liệu.

2. Cải tiến mô hình nhận dạng thực thể: Áp dụng các mô hình học sâu như BiLSTM-CRF hoặc Transformer để nâng cao độ chính xác nhận dạng thực thể, giảm thiểu lỗi do ngôn ngữ không chính thức, thực hiện trong vòng 9 tháng.

3. Phát triển hệ thống phân loại đa nhãn: Nghiên cứu và triển khai phân loại sự kiện đa nhãn để xử lý các tweet chứa nhiều sự kiện cùng lúc, nhằm tăng tính ứng dụng thực tế, dự kiến hoàn thành trong 1 năm.

4. Xây dựng giao diện trực quan: Thiết kế dashboard hiển thị các sự kiện được trích xuất và phân loại theo thời gian thực, hỗ trợ người dùng như phóng viên và nhà phân tích khai thác thông tin nhanh chóng, triển khai trong 6 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành công nghệ thông tin, xử lý ngôn ngữ tự nhiên: Có thể áp dụng các phương pháp và mô hình nghiên cứu để phát triển các hệ thống trích xuất thông tin từ mạng xã hội.

2. Phóng viên và nhà báo: Sử dụng hệ thống trích xuất sự kiện để nhanh chóng cập nhật và phân tích các sự kiện nóng hổi từ Twitter, hỗ trợ công tác đưa tin chính xác và kịp thời.

3. Chuyên gia phân tích dữ liệu xã hội: Khai thác dữ liệu sự kiện từ Twitter để nghiên cứu xu hướng xã hội, dự báo các hiện tượng xã hội hoặc thiên tai.

4. Doanh nghiệp và tổ chức truyền thông: Ứng dụng hệ thống để theo dõi phản hồi khách hàng, quản lý thương hiệu và phát hiện các sự kiện liên quan đến sản phẩm, dịch vụ.

Câu hỏi thường gặp

1. Hệ thống trích xuất sự kiện từ Twitter có thể áp dụng cho ngôn ngữ khác không?
   Hệ thống hiện tại tập trung trên tweet tiếng Anh, tuy nhiên phương pháp có thể mở rộng sang các ngôn ngữ khác với việc điều chỉnh bộ từ điển và mô hình nhận dạng thực thể phù hợp.

2. Làm thế nào để xử lý các tweet chứa nhiều sự kiện cùng lúc?
   Hiện tại hệ thống phân loại theo nhãn đơn, nhưng có thể phát triển phân loại đa nhãn để nhận diện và phân loại nhiều sự kiện trong một tweet.

3. Độ chính xác của mô hình có bị ảnh hưởng bởi nội dung không chính thức của tweet không?
   Có, nội dung ngắn gọn, lỗi chính tả và tiếng lóng làm giảm độ chính xác, do đó việc tiền xử lý và sử dụng mô hình phù hợp như CRF giúp cải thiện đáng kể.

4. Hệ thống có thể phát hiện sự kiện mới chưa từng xuất hiện trong dữ liệu huấn luyện không?
   Phương pháp dựa trên từ khóa và mô hình học máy có thể phát hiện các sự kiện mới nếu có đặc trưng ngôn ngữ tương tự, tuy nhiên cần cập nhật dữ liệu huấn luyện thường xuyên để nâng cao khả năng này.

5. Làm thế nào để đánh giá hiệu quả của hệ thống trích xuất và phân loại sự kiện?
   Sử dụng các chỉ số như độ chính xác (accuracy), độ thu hồi (recall) và F1-score trên tập dữ liệu kiểm thử có nhãn để đánh giá toàn diện hiệu quả mô hình.

Kết luận

• Đã xây dựng thành công hệ thống trích xuất và phân loại sự kiện từ Twitter với độ chính xác nhận dạng thực thể đạt khoảng 85% và phân loại sự kiện đạt 82%.
• Áp dụng mô hình CRF, Labeled LDA và Naive Bayes phù hợp với đặc điểm dữ liệu Twitter, xử lý hiệu quả tính ngắn gọn và không chính thức của tweet.
• Kết quả nghiên cứu góp phần giảm thiểu quá tải thông tin, hỗ trợ khai thác dữ liệu mạng xã hội trong nhiều lĩnh vực thực tiễn.
• Đề xuất mở rộng nghiên cứu với các mô hình học sâu và phân loại đa nhãn để nâng cao hiệu quả và tính ứng dụng.
• Khuyến khích các nhà nghiên cứu và tổ chức ứng dụng hệ thống trong công tác báo chí, phân tích xã hội và quản lý thông tin sự kiện.

Tiếp theo, nghiên cứu sẽ tập trung vào phát triển mô hình học sâu và xây dựng giao diện trực quan cho hệ thống. Độc giả và các nhà nghiên cứu quan tâm có thể liên hệ để trao đổi và hợp tác phát triển ứng dụng thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 - TỔNG QUAN VỀ TRÍCH XUẤT VÀ PHÂN LOẠI SỰ KIỆN TỪ TWITTER Hiện nay mạng xã hội đã thu hút hàng triệu người sử dụng và dần trở thành một nguồn cung cấp thông tin về mọi vấn đề. Đặc biệt trong những năm gần đây Twitter đã phát triển rất nhanh để trở thành mạng xã hội phổ biến. Mỗi ngày trên Twitter có khoảng 500 triệu tin nhắn hay còn gọi là các tweet được người dùng chia sẻ. Rõ ràng Twitter đã trở thành một phương tiện giao tiếp quan trọng.

Với một lượng thông tin được trao đổi khổng lồ như vậy thì việc xử lý những dữ liệu này và trích xuất ra những thông tin hữu ích thực sự rất cần thiết. Luận văn này sẽ sẽ tập trung vào việc xây dựng hệ thống trích xuất và phân loại sự kiện từ mạng xã hội Twitter giúp giải quyết vấn đề quá tải về mặt thông tin.1 Giới thiệu về mạng xã hội Twitter Twitter là dịch vụ mạng xã hội miễn phí cho phép người dùng sử dụng đọc, nhắn và cập nhật các mẩu tin nhỏ gọi là tweet, đây là một dạng micro blog. Những mẩu tweet được giới hạn tối đa 140 ký tự và được lan truyền nhanh chóng trong phạm vi nhóm bạn của người nhắn hoặc có thể được trưng rộng rãi cho mọi người. Thành lập từ năm 2006, Twitter đã trở thành một hiện tượng phổ biến toàn cầu, những tweet có thể chỉ là dòng tin cá nhân cho đến những cập nhật mang tính thời sự tại chỗ kịp thời và nhanh chóng hơn cả truyền thông chính thông.

Theo thống kê 2018, Twitter có khoảng hơn 335 triệu người sử dụng hằng tháng và trung bình mỗi ngày có 500 triệu tweet được đăng mới , các con số này vẫn không ngừng tăng lên, mỗi năm số lượng người dùng mới đăng ký sử dụng dịch vụ tăng lên khoảng 9% [1]. Việc giới hạn về độ dài tin nhắn là 140 ký tự khiến tweet có đặc điểm khá giống với một bản tin SMS. Do vậy tweet trở thành một hình thức tốc ký đáng chú ý đối với Luan van 4 cộng đồng mạng và đã được sử dụng rộng rãi thông qua việc sử dụng các bản tin SMS từ điện thoại của họ. Ngày nay, với sự phát triển của các điện thoại thông minh (smartphones), việc cho phép các ứng dụng chạy trên điện thoại và kết nối internet đã trở nên dễ dàng, việc cập nhật thông tin thông qua mạng xã hội như Twitter càng trở lên đơn giản hơn.

Thêm vào đó, Twitter cũng cấp một giao diện lập trình ứng dụng (API) cho phép nhiều ứng dụng có thể truy cập các dịch vụ mà Twitter cho phép để lấy và cập nhật thông tin, giúp lập trình viên dễ dàng kết nối từ một ứng dụng bất kỳ đến Twitter. Những điều đó góp phần làm tăng tính phổ biến của mạng xã hội Twitter và thông tin mà mạng xã hội này mang lại ngày càng đa dạng và hữu ích với người sử dụng 1.2 Các đặc trưng thông tin của Twitter Người dùng Twitter cập nhật các tin nhắn ngắn bị giới hạn trong 140 ký tự được gọi là các 𝑡𝑤𝑒𝑒𝑡, và thuật ngữ để chỉ việc đăng các tin nhắn đó gọi là 𝑡𝑤𝑒𝑒𝑡𝑖𝑛𝑔. Người dùng Twitter có mối quan hệ trực tiếp với nhau, nếu người dùng 𝐴 theo dõi người dùng B nhưng B không theo dõi A, A sẽ thấy tất cả các tweet của B nhưng ngược lại, B không thấy tweet của A. Mô tả cho mối quan hệ người dùng này được thể hiện trong hình 2 A CA B CB Hình 1.1 Quan hệ người dùng và hiển thị tweet theo mối quan hệ đó Thuật ngữ mà Twitter đề xuất cho những mối quan hệ giữa người dùng Twitter với nhau gồm có 𝑓𝑜𝑙𝑙𝑜𝑤𝑒𝑟 và 𝑓𝑜𝑙𝑙𝑜𝑤𝑒𝑒, 𝑓𝑜𝑙𝑙𝑜𝑤𝑒𝑟 là những người đang theo dõi một người dùng nào đó, và 𝑓𝑜𝑙𝑙𝑜𝑤𝑒𝑒 là chỉ những người đang được người dùng theo dõi.

Ví dụ trong hình 1.1, A đang theo dõi B, vì thế A sẽ là 𝑓𝑜𝑙𝑙𝑜𝑤𝑒𝑟 của B, và B là 𝑓𝑜𝑙𝑙𝑜𝑤𝑒𝑒 của A. Mỗi người dùng sẽ có một danh sách hiển thị những tweet mới được cập nhật, danh sách đó được gọi là Twitter stream theo thứ tự thời gian. Các tweet Luan van 5 hiển thị trong danh sách này chính là những tweet được đăng bởi các followee. Trong ví dụ ở hình 1.1, nếu A đang follow B, tất cả các tweet của B sẽ được hiển thị trong danh sách các tweet của A, nhưng nếu B không follow A thì những tweet của A sẽ không hiển thị trong danh sách tweet của B, B phải lựa chọn ‘follow’ A để có thể thấy các tweet này trong danh sách tweet của mình hoặc truy cập vào trang cá nhân của A để thấy được tất cả các tweet mà A đã đăng.

Người dùng Twitter ngoài việc có thể chia sẻ các tweet dưới dạng một bản tin văn bản ngắn, Twitter còn chọ phép họ cung cấp thêm nhiều thông tin hữu ích trong bản tin đó, một trong những đặc trưng mà Twitter cung cấp giúp người dùng bổ sung thêm những thông tin hữu ích trong tweet của mình là hashtag, mention và retweet. - Hashtag: là một từ hoặc một chuỗi các ký tự liên tiếp nhau được đặt sau dấu #. Đây là một dạng dữ liệu mô tả (metadata) dùng để nhóm nhiều thông tin tương tự lại với nhau. Ví dụ với một tweet có chứa hashtag ‘#vietnam sẽ có ý nghĩa tweet đó mang thông tin về “vietnam” Hình 1.2 Tweet có chứa hashtag trong nội dung Luan van 6 Việc sử dụng hashtag như vậy nhằm gom cụm những tweet thảo luận về một chủ đề nào đó và thuận tiện hơn trong quá trình tìm kiếm.

- Mention và reply (đề cập và trả lời): Đây là hai đặc trưng quan trọng mà Twitter cung cấp cho người dùng, đề cập và trả lời một người dùng nào đó trong nội dung của một tweet. Giống như hashtag, các đặc trưng này cũng là một quy ước trong thế giới mạng trước khi trở thành một đặc trưng của Twitter[2]. Mention là cách mà một tweet tạo ra sự chú ý đối với một người dùng Twitter nào đó trong các kết nối của họ, thực hiện đơn giản bằng cách sử dụng ký hiệu ‘@’ trước tên của người dùng nào đó trong tweet của mình. Ví dụ, Alice muốn mention Bob trong tweet của mình, Alice sẽ viết ‘@bob’.

Bên cạnh chức năng mention, Twitter còn cung cấp chức năng tương tự là reply, việc sử dụng tương tự mention bằng cách dùng ký hiệu ‘@’ trước tên người dùng, nhưng ‘@username’ sẽ được đặt ở đầu tiên của tweet, ví dụ ‘@bob Do we have a match today?’ trong tweet của Alice. Mention và reply sẽ được Twitter hiển thị khác nhau trong danh sách tweet của những người đang theo dõi Alice và Bob.3 Người dùng Twitter mention một người dùng khác trong tweet của mình Luan van 7 Hình 1.4 Hành động reply nếu ký hiệu mention được sử dụng ở đầu tweet - Retweet: Một chức năng không thể thiếu giúp cho mạng xã hội Twitter phát triển mạnh mẽ, đó là chức năng retweet, người dùng Twitter có thể đăng lại các bản tin đã được đăng bởi người khác, và tweet đó sẽ được hiển thị trong danh sách các tweet của người đang theo dõi họ. Mỗi retweet sẽ có kèm thêm thông tin về người đã đăng tweet đó. Người dùng bất kỳ khi truy cập danh sách các tweet của một người nào đó cũng có thể biết một tweet đã được retweet bao nhiêu lần và bởi những ai.

- Favorite: bên cạnh việc retweet những tweet mà người dùng cảm thấy hứng thú và quan tâm, những tweet này sẽ được hiển thị trong danh sách các tweet của người dùng đó, và cũng hiển thị đối với những người dùng đang follow, chức năng favorite cũng thể hiện sự quan tâm của người dùng đối với một thông tin nào đó thông qua việc lựa chọn một tweet là favorite hay không. Đây cũng là một cách để giúp người dùng đánh dấu và lưu lại một bản tin, hình ảnh hay liên kết mà người dùng đó quan tâm được đề cập trong tweet. Khác với retweet, hành động favorite không được chia sẻ công khai với những người dùng Twitter khác, kể cả những người đang theo dõi.3 Các vấn đề của trích xuất sự kiện từ Twitter 1.1 Xác định vấn đề Nói chung, một sự kiện đề cập đến một sự kiện trong thế giới thực xảy ra tại một thời gian và địa điểm cụ thể [4], [5]. Nó luôn luôn liên quan đến hành động và người tham gia nhất định, và do đó có thể được mô tả chính xác và chính xác bằng cách sử dụng các yếu tố ngữ nghĩa bao gồm hành động (còn gọi là hành động kích hoạt), người tham gia (ví dụ diễn viên và diễn viên nếu có), xuất hiện thời gian và địa điểm.

Một sự kiện e có thể biểu diễn một cách hình thức dưới dạng một bộ gồm n phần tử e = (se1,se2,.sen) trong đó sei (i = 1,2, ., n) là phần tử ngữ nghĩa thứ i của e. Lưu ý rằng các loại sự kiện khác nhau có thể có biểu diễn ngữ nghĩa khác nhau. Ví dụ, một sự kiện ra mắt bộ film mới có thể được mô tả bởi một bốn thành phần (tiêu đề film, nghệ sĩ, ngày, địa điểm); trong khi một trận động đất có thể được biểu diễn tốt hơn bằng cách sử dụng bộ 5 thành phần (thời gian, tâm chấn, tiêu điểm, cường độ, số người chết).5 Tweet có nội dung thông báo ra mắt sản phẩm Hình 1.6 Tweet có nội dung ra mắt film Bảng 1.1 Thông tin sự kiện trích xuất theo thành phần Entity Event Phase Date Type Mi8 announcement 31 May ProductLaunch Antman and watch 6 July MovieRelease the Wasp Luan van 9 Trong các tài liệu văn bản như các bài báo hoặc tweet, những chi tiết quan trọng này như các yếu tố ngữ nghĩa thường được trình bày một cách không có cấu trúc. Việc nghiên cứu khai thác sự kiện theo định nghĩa truyền thống là quy trình tự động xác định sự kiện bằng văn bản và những thông tin phái sinh liên quan.

Một cách lý tưởng đây là việc xác định những người đã làm những gì cho ai, khi nào, bằng cách nào (hay công cụ gì), ở đâu và có thể là lý do tại sao [6]. Rõ ràng, trích xuất sự kiện là việc cấu trúc hóa văn bản. Tuy nhiên, một số đặc trưng mới của Twitter làm cho định nghĩa cổ điển này không áp dụng đầy đủ cho việc trích xuất sự kiện từ Twitter. Đặc biệt như đã đề cập ở trên hầu hết các tin nhắn do người dùng tạo ra hàng ngày trên Twitter không liên quan đến bất kỳ sự kiện trong thế giới thực nào.

Điều này dẫn đến việc lọc các tweet không chứa các sự kiện là điều tối quan trọng trong việc trích xuất sự kiện trên Twitter.