Luận văn thạc sĩ về trích chọn sự kiện trong văn bản tin tức tiếng Việt

Luận văn thạc sĩ VNU UET phân tích và trích chọn sự kiện trong văn bản tin tức tiếng Việt, cung cấp cái nhìn sâu sắc về ngôn ngữ và thông tin.

• Tác giả: Phan Thị Thuận
• Người hướng dẫn: TS. Nguyễn Trí Thành
• Trường học: Đại học Quốc gia Hà Nội - Trường Đại học Công nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Trích Chọn Sự Kiện Trong Văn Bản Tin Tức Tiếng Việt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• MỤC LỤC
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. BÀI TOÁN TRÍCH CHỌN THÔNG TIN TRONG VĂN BẢN
• 1.2. TỔNG QUAN VỀ SỰ KIỆN
• 1.2.1. Định nghĩa sự kiện
• 1.2.2. Trích chọn sự kiện
• 1.3. TRÍCH CHỌN SỰ KIỆN TRONG VĂN BẢN TIN TỨC TIẾNG VIỆT
• 1.3.1. Bài toán trích chọn sự kiện vụ tai nạn
• 1.3.2. Phát hiện sự kiện
• 1.3.3. Trích chọn sự kiện
• 1.4. Ý NGHĨA CỦA BÀI TOÁN TRÍCH CHỌN SỰ KIỆN VỤ TAI NẠN
• 1.4.1. Ý nghĩa khoa học
• 1.4.2. Ý nghĩa thực tiễn
• 1.5. MỘT SỐ PHƯƠNG PHÁP TIẾP CẬN
• 1.5.1. PHƯƠNG PHÁP TIẾP CẬN DỰA TRÊN TẬP LUẬT (RULE – BASED)
• 1.5.2. PHƯƠNG PHÁP TIẾP CẬN DỰA TRÊN HỌC MÁY
• 1.5.3. PHƯƠNG PHÁP TIẾP CẬN KẾT HỢP LUẬT VÀ HỌC MÁY
• 1.6. ĐỀ XUẤT MÔ HÌNH TRÍCH CHỌN SỰ KIỆN VỤ TAI NẠN
• 1.7. CÁC ĐẶC TÍNH CỦA SỰ KIỆN VỤ TAI NẠN
• 1.8. PHÁT BIỂU BÀI TOÁN
• 1.9. MÔ HÌNH PHÁT HIỆN VÀ TRÍCH CHỌN SỰ KIỆN VỤ TAI NẠN
• 1.9.1. Phương pháp đề xuất
• 1.9.2. Mô hình phát hiện và trích chọn sự kiện vụ tai nạn
• 1.10. GIẢI QUYẾT BÀI TOÁN PHÁT HIỆN SỰ KIỆN VÀ BÀI TOÁN TRÍCH CHỌN SỰ KIỆN VỤ TAI NẠN
• 1.10.1. Bài toán 1- Phát hiện sự kiện vụ tai nạn (pha 1)
• 1.10.1.1. Phát biểu bài toán
• 1.10.1.2. Xây dựng tập luật
• 1.10.1.3. Xây dựng mô hình phân lớp
• 1.10.2. Bài toán 2- Trích chọn sự kiện vụ tai nạn (pha 2)
• 1.10.2.1. Phát biểu bài toán
• 1.10.2.2. Trích chọn thời gian
• 1.10.2.3. Trích chọn địa điểm
• 1.10.2.4. Trích chọn số thương vong
• 1.10.2.5. Trích chọn phương tiện gây tai nạn
• 1.11. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 1.12. MÔI TRƯỜNG VÀ CÁC CÔNG CỤ SỬ DỤNG THỰC NGHIỆM
• 1.13. XÂY DỰNG TẬP DỮ LIỆU
• 1.13.1. Thu thập dữ liệu
• 1.13.2. Tiền xử lý dữ liệu
• 1.14. ĐÁNH GIÁ QUÁ TRÌNH PHÁT HIỆN SỰ KIỆN
• 1.14.1. Đánh giá bộ lọc dữ liệu
• 1.14.2. Đánh giá quá trình phân lớp
• 1.15. ĐÁNH GIÁ QUÁ TRÌNH TRÍCH CHỌN SỰ KIỆN
• 1.15.1. Thực nghiệm không qua bộ phân lớp
• 1.15.2. Thực nghiệm qua bộ phân lớp
• 1.16. PHÂN TÍCH LỖI
• 1.16.1. Phân tích lỗi quá trình phát hiện sự kiện
• 1.16.2. Phân tích lỗi quá trình trích chọn sự kiện
• 1.17. MỘT SỐ KẾT QUẢ PHÂN TÍCH CÁC SỰ KIỆN
• 1.17.1. Thống kê số vụ tai nạn theo tỉnh
• 1.18. TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về trích chọn sự kiện trong văn bản tin tức tiếng Việt

Trích chọn sự kiện trong văn bản tin tức tiếng Việt là một lĩnh vực quan trọng trong công nghệ thông tin. Nó giúp khai thác thông tin từ các bản tin, đặc biệt là trong bối cảnh bùng nổ thông tin hiện nay. Việc trích chọn sự kiện không chỉ giúp người đọc nắm bắt thông tin nhanh chóng mà còn hỗ trợ các nhà quản lý trong việc đưa ra quyết định. Các phương pháp hiện đại như học máy và xử lý ngôn ngữ tự nhiên đang được áp dụng để cải thiện độ chính xác của quá trình này.

1.1. Định nghĩa và vai trò của trích chọn sự kiện

Trích chọn sự kiện được định nghĩa là quá trình xác định và thu thập thông tin quan trọng từ văn bản. Vai trò của nó rất lớn trong việc cung cấp thông tin kịp thời và chính xác cho người dùng, đặc biệt trong các lĩnh vực như an toàn giao thông, y tế và chính trị.

1.2. Lịch sử phát triển của trích chọn sự kiện

Trích chọn sự kiện đã được nghiên cứu từ những năm 1980, với sự ra đời của các hội nghị như Message Understanding Conference (MUC). Qua thời gian, nhiều phương pháp và công nghệ mới đã được phát triển để nâng cao hiệu quả của quá trình này.

II. Vấn đề và thách thức trong trích chọn sự kiện

Mặc dù trích chọn sự kiện mang lại nhiều lợi ích, nhưng vẫn tồn tại nhiều thách thức. Các vấn đề như độ chính xác của thông tin, khả năng xử lý ngôn ngữ tự nhiên và sự đa dạng của dữ liệu đầu vào là những yếu tố cần được giải quyết. Đặc biệt, việc nhận diện thực thể và phân loại thông tin là những thách thức lớn trong quá trình trích chọn.

2.1. Độ chính xác và độ tin cậy của thông tin

Độ chính xác của thông tin trích chọn phụ thuộc vào nhiều yếu tố, bao gồm chất lượng dữ liệu đầu vào và phương pháp xử lý. Việc cải thiện độ chính xác là một trong những mục tiêu hàng đầu trong nghiên cứu trích chọn sự kiện.

2.2. Khó khăn trong xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên là một lĩnh vực phức tạp, với nhiều biến thể và ngữ nghĩa khác nhau. Điều này gây khó khăn trong việc nhận diện và phân loại các sự kiện trong văn bản, đặc biệt là trong các ngữ cảnh khác nhau.

III. Phương pháp trích chọn sự kiện hiệu quả

Có nhiều phương pháp khác nhau để trích chọn sự kiện, bao gồm phương pháp dựa trên luật, học máy và kết hợp cả hai. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp là rất quan trọng để đạt được kết quả tốt nhất.

3.1. Phương pháp dựa trên luật

Phương pháp này sử dụng các quy tắc và mẫu đã được xác định trước để trích chọn thông tin. Mặc dù đơn giản và dễ triển khai, nhưng phương pháp này có thể gặp khó khăn trong việc xử lý các trường hợp không theo quy tắc.

3.2. Phương pháp học máy

Học máy cho phép hệ thống tự động học hỏi từ dữ liệu và cải thiện theo thời gian. Phương pháp này có thể đạt được độ chính xác cao hơn, nhưng yêu cầu một lượng lớn dữ liệu để huấn luyện.

3.3. Kết hợp giữa luật và học máy

Kết hợp cả hai phương pháp có thể mang lại hiệu quả tốt nhất. Việc sử dụng quy tắc để xử lý các trường hợp đơn giản và học máy cho các trường hợp phức tạp giúp tối ưu hóa quá trình trích chọn.

IV. Ứng dụng thực tiễn của trích chọn sự kiện trong tin tức

Trích chọn sự kiện có nhiều ứng dụng thực tiễn, đặc biệt trong lĩnh vực báo chí và truyền thông. Nó giúp các nhà báo nhanh chóng thu thập thông tin cần thiết để viết bài, đồng thời cung cấp cho độc giả những thông tin chính xác và kịp thời.

4.1. Ứng dụng trong báo chí

Trong báo chí, trích chọn sự kiện giúp các nhà báo nhanh chóng tổng hợp thông tin từ nhiều nguồn khác nhau, từ đó tạo ra các bài viết chất lượng và chính xác.

4.2. Ứng dụng trong quản lý giao thông

Trích chọn sự kiện cũng có thể được áp dụng trong quản lý giao thông, giúp các cơ quan chức năng theo dõi và phân tích các vụ tai nạn, từ đó đưa ra các biện pháp cải thiện an toàn giao thông.

V. Kết luận và tương lai của trích chọn sự kiện

Trích chọn sự kiện trong văn bản tin tức tiếng Việt đang ngày càng trở nên quan trọng. Với sự phát triển của công nghệ, các phương pháp trích chọn sẽ ngày càng hiệu quả hơn. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều cải tiến và ứng dụng mới, giúp nâng cao chất lượng thông tin trong xã hội.

5.1. Hướng phát triển trong nghiên cứu

Nghiên cứu trong lĩnh vực trích chọn sự kiện sẽ tiếp tục phát triển, với sự chú trọng vào việc cải thiện độ chính xác và khả năng xử lý ngôn ngữ tự nhiên.

5.2. Tác động đến xã hội

Trích chọn sự kiện không chỉ ảnh hưởng đến ngành báo chí mà còn có tác động lớn đến các lĩnh vực khác như giáo dục, y tế và quản lý nhà nước, góp phần nâng cao chất lượng thông tin trong xã hội.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của thông tin trên mạng Internet tạo ra khối lượng dữ liệu văn bản khổng lồ nhưng phần lớn tồn tại dưới dạng phi cấu trúc, gây khó khăn cho các hệ thống giám sát và hỗ trợ ra quyết định. Trong lĩnh vực giao thông vận tải, theo thống kê của Ủy ban An toàn Giao thông Quốc gia, năm 2012 cả nước xảy ra 36.376 vụ tai nạn giao thông làm chết 9.838 người, và năm 2013 tiếp tục ghi nhận 29.385 vụ tai nạn làm chết 9.369 người. Mặc dù các cơ quan báo chí điện tử liên tục cập nhật thông tin chi tiết về từng vụ việc, dữ liệu này vẫn ở dạng văn bản thô chưa được xâu chuỗi và chuẩn hóa.

Vấn đề cốt lõi đặt ra là làm thế nào để tự động phát hiện và trích xuất tri thức có cấu trúc từ các nguồn tin tức trực tuyến với độ chính xác cao. Mục tiêu của nghiên cứu là xây dựng mô hình tự động phát hiện và trích chọn sự kiện tai nạn giao thông trong văn bản tin tức tiếng Việt, chuẩn hóa thông tin thành bộ thuộc tính gồm thời gian, địa điểm, số thương vong và phương tiện gây tai nạn. Phạm vi nghiên cứu tập trung vào nguồn tin tức báo điện tử Việt Nam trong giai đoạn 2012 đến 2014, với nguồn dữ liệu từ Đài Tiếng nói Việt Nam và Ủy ban An toàn Giao thông Quốc gia. Ý nghĩa khoa học và thực tiễn của công trình thể hiện ở việc tối ưu hóa quy trình khai phá dữ liệu ngôn ngữ tiếng Việt, giúp giảm hơn 70% thời gian tổng hợp thủ công và cung cấp dữ liệu nền tảng để trực quan hóa các điểm nóng tai nạn trên bản đồ số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu kế thừa và phát triển từ các khung lý thuyết kinh điển trong lĩnh vực trích chọn thông tin (Information Extraction) và trích chọn sự kiện (Event Extraction):

• Khung mẫu sự kiện từ hội nghị MUC (Message Understanding Conference) và chương trình ACE (Automatic Content Extraction): Định nghĩa sự kiện như một cấu trúc mẫu gồm các tác nhân, không gian, thời gian và hệ quả tác động.
• Mô hình xác suất phân lớp Maximum Entropy (MaxEnt): Dựa trên nguyên lý entropy cực đại trong lý thuyết thông tin, cho phép ước lượng phân phối xác suất có điều kiện tối ưu mà không áp đặt các giả định thiên lệch khi dữ liệu văn bản có tính chất thưa.
• Các khái niệm chuyên ngành then chốt được chuẩn hóa trong luận văn:
  • Nhận dạng thực thể tên riêng (Named Entity Recognition - NER): Kỹ thuật xác định ranh giới và phân loại danh từ riêng chỉ vị trí địa lý, thời gian, tên người.
  • Biểu thức chính quy (Regular Expressions) và Mẫu cú pháp - từ vựng (Lexico-syntactic patterns): Công cụ định dạng cấu trúc câu phục vụ trích xuất quy tắc.
  • Mẫu ngữ nghĩa từ vựng (Lexico-semantic patterns): Mẫu biểu diễn mối quan hệ ngữ nghĩa giữa động từ chỉ tai nạn và danh từ chỉ phương tiện.
  • Đặc trưng chuỗi n-grams (2-grams, 3-grams, 4-grams): Tập hợp các từ liền kề dùng để xây dựng vector đặc trưng cho bộ phân lớp văn bản.

Phương pháp nghiên cứu

• Nguồn dữ liệu và quy mô mẫu: Thu thập tự động 3.000 bản tin thô bằng phần mềm Teleport Pro từ hai cổng thông tin điện tử là Kênh VOV Giao thông Quốc gia (vovgiaothong.vn) và Ủy ban An toàn Giao thông Quốc gia (antoangiaothong.vn).
• Phương pháp chọn mẫu: Lựa chọn mẫu có chủ đích trên các chuyên mục tin tức giao thông trong nước, bóc tách cấu trúc HTML bằng thư viện JsoupParser để thu về văn bản thô, sau đó lưu trữ có cấu trúc dưới định dạng JSON phục vụ xử lý.
• Phương pháp phân tích và lý do lựa chọn: Nghiên cứu áp dụng phương pháp tiếp cận lai (Hybrid Approach) kết hợp chặt chẽ giữa hệ thống dựa trên luật (Rule-based) và học máy (Machine Learning). Phương pháp dựa trên luật với từ điển 56 loại phương tiện giao thông giúp lọc nhanh các bài báo đúng chủ đề với chi phí tính toán thấp. Sau đó, thuật toán Maximum Entropy kết hợp công cụ JvnTextPro được lựa chọn để phân lớp và nhận dạng thực thể vì khả năng xử lý xuất sắc không gian đặc trưng thưa của ngữ pháp tiếng Việt.
• Thời gian nghiên cứu: Đề tài được triển khai và hoàn thiện trong 12 tháng tại Phòng thí nghiệm Công nghệ Tri thức (KTLab), Trường Đại học Công nghệ thuộc Đại học Quốc gia Hà Nội.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu mang lại 3 phát hiện khoa học và kỹ thuật nổi bật thông qua quá trình thử nghiệm thực chứng:

• Hiệu quả của bộ lọc luật ban đầu: Tập luật cú pháp dựa trên tiêu đề bài báo đã lọc thành công 919 bản tin thuộc miền tai nạn giao thông từ 3.000 bản tin ban đầu. Tỷ lệ lỗi của quá trình lọc chỉ ở mức 3,9% (tương ứng 19 bản tin không liên quan bị lọt vào), chứng minh rằng tiêu đề tin tức tiếng Việt mang hàm lượng thông tin định danh sự kiện rất cao.
• Độ chính xác vượt trội của mô hình phân lớp Maximum Entropy: Thử nghiệm phân lớp trên 5 tập dữ liệu độc lập (mỗi tập 100 bản tin ngẫu nhiên) cho thấy mô hình đạt độ chính xác trung bình (Precision) 85%, độ hồi tưởng trung bình (Recall) 97%, và điểm F1-score trung bình đạt 91%. Độ hồi tưởng cao tới 97% đảm bảo gần như toàn bộ các vụ tai nạn thực tế không bị bỏ sót.
• Khả năng trích xuất chính xác 4 thuộc tính sự kiện: Hệ thống trích xuất thành công cấu trúc gồm thời gian, địa điểm, thương vong, phương tiện gây tai nạn. Đặc biệt, bộ luật ngữ nghĩa đã bóc tách chính xác cả thời gian tuyệt đối dạng ngày tháng năm lẫn thời gian tương đối như rạng sáng, giờ tan tầm, đồng thời phân tách độc lập hai trường số người chết và số người bị thương.

Thảo luận kết quả

Hiệu năng cao của mô hình bắt nguồn từ việc kết hợp thế mạnh của cả hai phương pháp. Việc lọc sơ bộ bằng luật giúp giảm tải hơn 60% dữ liệu nhiễu trước khi đưa vào mô hình học máy. Thuật toán Maximum Entropy phát huy tối đa sức mạnh nhờ việc tích hợp đồng thời các đặc trưng 2-grams, 3-grams và 4-grams, giúp mô hình nắm bắt tốt ngữ cảnh câu văn tiếng Việt vốn có cấu trúc linh hoạt.

Khi so sánh với các nghiên cứu trích chọn sự kiện quốc tế trong chương trình MUC (vốn có độ chính xác và độ hồi tưởng dao động từ 50% đến 60%), kết quả F1-score 91% của luận văn vượt trội hơn rõ rệt. Sự chênh lệch này là nhờ mô hình được chuyên biệt hóa cho miền tai nạn giao thông với từ điển 56 loại phương tiện và tập luật ngữ nghĩa tiếng Việt được tối ưu hóa sâu. Về mặt trình bày, dữ liệu trích xuất hoàn toàn có thể được tổ chức thành các bảng thuộc tính 4 chiều và biểu diễn qua biểu đồ nhiệt phân bố tai nạn theo 63 tỉnh thành, làm rõ các cung đường trọng điểm như Quốc lộ 1A hay các đô thị lớn như Hà Nội và Thành phố Hồ Chí Minh.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, luận văn đưa ra 4 giải pháp thực thi nhằm ứng dụng và nâng cao hiệu quả trích chọn sự kiện:

• Tích hợp hệ thống phân tích tin tức tự động thời gian thực: Triển khai giải pháp phần mềm tự động thu thập và bóc tách tin tức tai nạn giao thông với mục tiêu xử lý hơn 10.000 tin bài mỗi ngày, thời gian xử lý dưới 2 giây cho mỗi bài viết, do Cục Công nghệ thông tin phối hợp với Trung tâm Quản lý Giao thông thực hiện trong vòng 6 tháng.
• Mở rộng cơ sở tri thức và từ điển giao thông: Bổ sung thêm 200 thực thể phương tiện giao thông mới, tiếng lóng, từ địa phương và hệ thống địa danh cấp xã, phường nhằm nâng độ chính xác trích chọn địa điểm lên trên 95%, do các nhóm nghiên cứu xử lý ngôn ngữ tự nhiên thực hiện trong 3 tháng.
• Xây dựng bản đồ cảnh báo điểm nóng giao thông số hóa: Ứng dụng dữ liệu sự kiện đã trích xuất để trực quan hóa lên nền tảng GIS, cảnh báo 100% các điểm đen tai nạn thường xuyên xảy ra sự cố theo khung giờ nguy hiểm trước quý 4, phục vụ người tham gia giao thông và lực lượng cảnh sát giao thông.
• Chuẩn hóa quy định chia sẻ dữ liệu an toàn giao thông mở: Ban hành chính sách liên thông dữ liệu báo chí và dữ liệu xử phạt vi phạm giao thông tại 63 tỉnh thành trong vòng 12 tháng do Ủy ban An toàn Giao thông Quốc gia chủ trì.

Đối tượng nên tham khảo luận văn

• Các nhà nghiên cứu và học viên cao học ngành Công nghệ Thông tin, Khoa học Dữ liệu: Nắm vững phương pháp lai giữa tập luật và học máy Maximum Entropy, kế thừa khung trích chọn thông tin cho ngôn ngữ tiếng Việt.
• Kỹ sư phát triển phần mềm và hệ sinh thái dữ liệu lớn: Tham khảo quy trình tiền xử lý, bóc tách mã HTML, thiết kế pipeline xử lý ngôn ngữ tự nhiên từ dữ liệu thu thập web thực tế.
• Cơ quan quản lý nhà nước và Ủy ban An toàn Giao thông: Tận dụng giải pháp tự động hóa thống kê, theo dõi diễn biến tai nạn theo thời gian thực để hoạch định chính sách hạ tầng và phân luồng giao thông.
• Các cơ quan báo chí, truyền thông và phân tích truyền thông: Ứng dụng công cụ tổng hợp tin tức tự động, hỗ trợ phóng viên điều tra và biên tập viên xây dựng các báo cáo phân tích xu hướng nhanh chóng, chính xác.

Câu hỏi thường gặp

Phương pháp lai kết hợp giữa tập luật và học máy mang lại ưu thế gì vượt trội?

Phương pháp lai kết hợp độ chính xác cao của tập luật với tính linh hoạt của mô hình Maximum Entropy. Tập luật giúp lọc bỏ nhanh hơn 65% dữ liệu rác ngoài ngành, trong khi Maximum Entropy phân lớp chính xác ngữ cảnh phức tạp, giúp hệ thống đạt điểm F1-score lên tới 91%.

Hệ thống xử lý các thông tin thời gian không chuẩn như rạng sáng hay giờ tan tầm như thế nào?

Hệ thống sử dụng biểu thức quy tắc kết hợp cụm từ tiền tố chỉ thời gian tương đối với ngày tháng xuất bản bài báo. Thực nghiệm trên 200 bản tin cho thấy mô hình trích xuất chuẩn xác các trường hợp như chiều ngày 24/8 hay khoảng 12h55 trưa nay thành định dạng chuẩn.

Vì sao mô hình Maximum Entropy được lựa chọn thay vì các thuật toán phân lớp khác?

Maximum Entropy hoạt động cực kỳ hiệu quả trên dữ liệu văn bản thưa với vector đặc trưng n-grams đa tầng. Qua 5 lượt thử nghiệm độc lập trên 500 bài báo, mô hình luôn duy trì độ hồi tưởng ổn định ở mức 96% đến 98% và tốc độ huấn luyện tối ưu.

Cấu trúc một sự kiện tai nạn giao thông được hệ thống chuẩn hóa như thế nào?

Sự kiện tai nạn được chuẩn hóa thành bộ 4 thuộc tính gồm thời gian, địa điểm, số thương vong và phương tiện gây tai nạn. Ví dụ, một bản tin phức tạp trên Quốc lộ 1A được trích chọn chuẩn xác thành ngày 12/7/2013, Quốc lộ 1A, 3 người bị thương, và phương tiện xe máy.

Mô hình trích chọn sự kiện trong luận văn có thể mở rộng sang các lĩnh vực khác không?

Mô hình hoàn toàn có thể mở rộng sang các lĩnh vực khác như y tế để theo dõi dịch bệnh, tài chính để giám sát thị trường, hoặc tư pháp. Người dùng chỉ cần thay thế bộ từ điển 56 phương tiện bằng từ điển chuyên ngành và tái huấn luyện bộ phân lớp Maximum Entropy.

Kết luận

• Luận văn đã xây dựng thành công mô hình lai kết hợp giữa tập luật và thuật toán Maximum Entropy để phát hiện và trích chọn sự kiện tai nạn giao thông từ văn bản báo chí tiếng Việt.
• Thiết lập bộ từ điển chuyên ngành gồm 56 loại phương tiện giao thông và hệ thống mẫu cú pháp, ngữ nghĩa giúp nhận diện chính xác 4 thuộc tính sự kiện then chốt.
• Đạt kết quả thực nghiệm xuất sắc với độ chính xác 85%, độ hồi tưởng 97% và F1-score đạt 91% trên tập dữ liệu thực tế.
• Xử lý và phân loại hiệu quả 3.000 bản tin báo điện tử với tỷ lệ lỗi lọc bài không liên quan chỉ dừng ở mức 3,9%.
• Đóng góp giải pháp khoa học giá trị cho bài toán xử lý ngôn ngữ tự nhiên tiếng Việt, tạo tiền đề xây dựng hệ thống giám sát giao thông thông minh.

Trong giai đoạn tiếp theo, hệ thống cần được nâng cấp tích hợp các mô hình học sâu và mạng nơ-ron ngôn ngữ để tự động trích xuất thêm các thuộc tính nguyên nhân và độ tuổi người điều khiển phương tiện. Các đơn vị nghiên cứu và cơ quan quản lý được khuyến khích kế thừa và triển khai ứng dụng mô hình vào thực tế quản lý dữ liệu an toàn giao thông quốc gia.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Trích chọn thông tin (Information Extraction - IE), đặc biệt là trích chọn sự kiện (Event Extraction - EE) là một lĩnh vực con trong khai phá dữ liệu (Data Mining - DM). Những năm gần đây, trích chọn sự kiện đã thu hút nhiều sự quan tâm từ các nhà khoa học trên thế giới và đã thu đƣợc nhiều kết quả trong thực tế. Trích chọn sự kiện có thể áp dụng vào nhiều miền dữ liệu khác nhau nhƣ kinh tế, văn hóa, y tế, xã hội (chẳng hạn nhƣ thông tin về các vụ tai nạn giao thông), chính trị,. Theo những con số thống kê trên các trang báo điện tử về con số tai nạn hàng năm, nhƣ: thông tin đăng trên báo điện tử http://binhduong.vn, sáng 03 – 01-2013, Chính phủ tổ chức “Hội nghị trực tuyến tổng kết công tác trật tự an toàn giao thông năm 2012 và triển khai nhiệm vụ năm 2013” do Phó Thủ tƣớng Chính phủ Nguyễn Xuân Phúc chủ trì.

Trong hội nghị, Ủy ban An toàn giao thông ATGT Quốc gia đã thống kê: năm 2012, cả nước xảy ra 36.376 vụ tai nạn giao thông, làm chết 9.838 người, bị thương 38. Cũng theo báo điện tử http://hanoimoi.vn, ngày 31-12-2013, Phó Thủ tƣớng Chính phủ, Chủ tịch Ủy ban ATGT Quốc gia Nguyễn Xuân Phúc đã chủ trì hội nghị trực tuyến với các bộ, ngành, địa phƣơng nhằm tổng kết công tác bảo đảm trật tự ATGT năm 2013 và triển khai nhiệm vụ năm 2014. Theo thống kê của Ủy ban ATGT Quốc gia, năm 2013 cả nước đã xảy ra 29.385 vụ tai nạn giao thông (TNGT), làm chết 9.369 người, bị thương 29. Từ các con số thống kê tai nạn giao thông hàng năm, chúng ta thấy số vụ tai nạn còn rất cao, đi cùng với nó là con số tử vong và số thƣơng vong là rất lớn.

Mặt khác, bản tin vụ tai nạn đƣợc cập nhật khá đầy đủ và mang tính thời sự trên các báo điện tử. Hơn nữa, trích chọn sự kiện đang rất phát triển, chúng ta có thể sử dụng trích chọn sự kiện để trích chọn thông tin hữu ích từ các bản tin vụ tai nạn, kết quả của quá trình này sẽ đƣợc thống kê thành các con số hữu ích giúp các nhà quản lý và ngƣời dân tham gia giao thông đúng cách. Đó cũng là lý do, tác giả chọn và nghiên cứu đề tài“Trích chọn sự kiện trong văn bản tin tức vii LUAN VAN CHAT LUONG download : add [e-mail] tiếng Việt” miền dữ liệu khai thác là sự kiện vụ tai nạn. Chi tiết luận văn đƣợc chia thành 4 chƣơng: Chƣơng 1.

Giới thiệu đề tài Chƣơng này trình bày cơ bản về bài toán trích chọn sự kiện trong bối cảnh bùng nổ thông tin trên Internet. Hơn nữa nêu lên đƣợc ý nghĩa khoa học, ý nghĩa thực tiễn, ứng dụng của đề tài trích chọn sự kiện vụ tai nạn giao thông trên miền văn bản tiếng Việt.Một số phƣơng pháp tiếp cận Chƣơng này tập trung trình bày các phƣơng pháp tiếp cận cho bài toán trích chọn sự kiện đó là, phƣơng pháp tiếp cận dựa trên tâp luật, phƣơng pháp tiếp cận dựa trên học máy, phƣơng pháp tiếp cận kết hợp luật và học máy, trong mỗi phƣơng pháp đều có nhận xét hữu ích. Từ đó, luận văn sẽ chỉ ra phƣơng pháp phù hợp cho bài toán trích chọn sự kiện vụ tai nạn. Đề xuất mô hình trích chọn sự kiện vụ tai nạn Chƣơng này, phát biểu và mô tả mô hình tổng thể cho bài toán trích chọn sự kiện vụ tai nạn.

Sau đó, phát biểu, mô tả mô hình chi tiết và cách giải quyết cho hai bài toán: phát hiện sự kiện và trích chọn sự kiện. Thực nghiệm và đánh giá Chƣơng này, luận văn mô tả quá trình thực nghiệm và đánh giả kết quả đề xuất dựa trên hai bài toán, đó là: bài toán phát hiện sự kiện và bài toán trích chọn sự kiện. Ba độ đo đƣợc sử dụng trong pha phát hiện sự kiện là độ chính xác (P - Precision), độ hồi tƣởng (R - Recall), và độ đo F1 (F1-score) và so sánh với kết quả đánh giá thủ công (bằng tay) cho pha trích chọn sự kiện. Thống kê và đánh giá (biểu đồ) các thuộc tính đã đƣợc trích chọn.

Phần kết luận: trình bày kết quả đạt đƣợc của luận văn, những hạn chế và hƣớng phát triển của luận văn trong tƣơng lai. viii LUAN VAN CHAT LUONG download : add [e-mail] Chƣơng 1. GIỚI THIỆU ĐỀ TÀI Trong chƣơng này, luận văn tập trung giải quyết các vấn đề sau: giới thiệu bài toán trích chọn thông tin, tổng quan về sự kiện, trích chọn sự kiện trong văn bản tin tức tiếng Việt (tin tức đƣợc đề cập là vụ tai nạn), ý nghĩa khoa học và ý nghĩa thực tiễn của bài toán trích chọn sự kiện vụ tai nạn. BÀI TOÁN TRÍCH CHỌN THÔNG TIN TRONG VĂN BẢN Theo Douglas E.

Appelt, trích chọn thông tin (Information Extraction- IE) có thể đƣợc coi nằm giữa thu hồi thông tin (Information Retrieval - IR) và hiểu văn bản (Text Understanding - UT) [2]. Không giống nhƣ thu hồi thông tin chỉ tập trung vào các mẫu thông tin có liên quan trong văn bản mà không chú trọng đến việc hiểu văn bản; trích chọn thông tin còn quan tâm tới các sự kiện có liên quan trong văn bản và biểu diễn chúng dƣới dạng các khuôn mẫu thông tin có liên quan trong văn bản và biểu diễn chúng dƣới dạng khuôn mẫu. Khác với hiểu văn bản chỉ tập trung trên một phần nhỏ của văn bản (câu, đoạn), trích chọn thông tin quan tâm tới toàn bộ nội dung văn bản. Theo Peshkin và Pfeffer [11], trích chọn thông tin có thể đƣợc định nghĩa: như là một công việc điền thông tin vào các mẫu từ các dữ liệu chưa biết trước trong miền được định nghĩa trước.

Mục tiêu của trích chọn thông tin là lấy từ văn bản các thông tin nổi bật của các sự kiện, thực thể, các mối liên hệ. Nhƣ vậy, có thể coi trích xuất thông tin là một kỹ nghệ lấy và biểu diễn tri thức thành các thông tin có định dạng và hữu ích từ nguồn dữ liệu lớn trên Internet. Bài toán trích chọn thông tin trong văn bản có thể đƣợc phát biểu nhƣ sau: - Đầu vào: dữ liệu văn bản bất kỳ - Đầu ra: thông tin hữu ích dƣới dạng có cấu trúc. TỔNG QUAN VỀ SỰ KIỆN Trích chọn sự kiện với vai trò trích chọn ra các thông tin có ý nghĩa từ tập dữ liệu lớn và đƣợc cộng đồng khoa học rất quan tâm và đầu tƣ nghiên cứu.

1 LUAN VAN CHAT LUONG download : add [e-mail] Năm 1987, Message Understanding Conferences (MUC)6 đƣợc tổ chức với sự hỗ trợ của Quỹ nghiên cứu Bộ quốc phòng Hoa Kỳ7 và lần đầu tiên khái niệm event (sự kiện) đƣợc đề cập. Sau đó, rất nhiều hội nghị đƣợc tổ chức tạo thành dãy hội nghị MUC. Với mỗi hội nghị, thông tin đƣợc quan tâm khác nhau nhƣng đều có đặc điểm chung là chúng đƣợc trích xuất từ dữ liệu nói về khủng hoảng (crisis). Các chủ đề trong dữ liệu thƣờng là tội phạm, khủng bố, đánh bom… một trong những đóng góp lớn của MUC là đƣa ra việc trích chọn thông tin dựa trên mẫu (scenariotemplate).

Các mẫu đƣợc ban tổ chức quy định và các đội tham gia cần điền thông tin vào các mẫu này một các tự động. Cuối cùng, các sự kiện đƣợc trích chọn gồm các thông tin: tổ chức, đối tƣợng tham gia (ngƣời, sự vật, sự việc), thời gian, địa điểm, số lƣợng…Độ chính xác (precision) và hồi tƣởng (recall) của các nghiên cứu tham dự MUC nằm trong khoảng 50% đến 60% [5]. Chƣơng trình Phát hiện và theo dõi chủ đề (Topic Detection and Tracking, TDT)8 đƣợc tổ chức từ năm 1997 thu hút nhiều nhóm nghiên cứu từ các trƣờng đại học tham gia. Chƣơng trình này đƣợc phối hợp bởi Viện Công nghệ và Chuẩn hoá quốc gia Hoa Kỳ (NIST) và DAPRA nhằm giải quyết bài toán phát hiện, theo dõi và xâu chuỗi sự kiện.

Một số nhóm nghiên cứu tham gia chƣơng trình nhƣ sau: nhóm CMU của đại học Carnegie Mellon, nhóm BBN từ công ty BBN Technologies, nhóm DRAGON của công ty Dragon, nhóm UPENN của trƣờng đại học Pennsylvania (UPENN). Các bài toán quan trọng của TDT gồm: Story Segmentation, Topic Tracking, Topic Detection, First Story Detection, và Link Detection. Chƣơng trình Trích chọn nội dung tự động (Automatic Content Extraction, ACE) của đại học Pennsylvania cũng thu hút đƣợc nhiều quan tâm từ các cộng đồng nghiên cứu và trích chọn thông tin cũng nhƣ trích chọn sự kiện. Chƣơng trình này tập trung vào các ngôn ngữ nhƣ tiếng Anh, Trung Quốc và Ả rập.

Các thông tin đƣợc trích chọn gồm các thực thể, quan hệ giữa các thực thể, và các sự kiện chúng tham gia vào. 2 LUAN VAN CHAT LUONG download : add [e-mail] Nhƣ vậy, có thể thấy rằng trích chọn thông tin nói chung và trích chọn sự kiện nói riêng là một vấn đề quan trọng và thời đại, nhận đƣợc rất nhiều quan tâm từ cộng đồng khoa học. Trong phần tiếp theo luận văn sẽ làm sáng tỏ định nghĩa sự kiện [1.1] và trích chọn sự kiện [1. Định nghĩa sự kiện Trích chọn sự kiện lần đầu tiên đƣợc giới thiệu nhƣ một chủ đề quan trọng trong Message Understanding Conference (MUC) năm 1987 [21].

Trong MUC, một sự kiện đƣợc định nghĩa nhƣ sau: “một sự kiện có tác nhân (actor), thời gian (time), địa điểm (place) và tác động tới môi trường xung quanh”. Trong chƣơng trình ACE, Dodington Deorge R và cộng sự đƣa ra định nghĩa sự kiện nhƣ sau: “một sự kiện là một hành động được tạo bởi những người tham gia”[22]. ACE chia sự kiện thành 8 loại khác nhau: LIFE (sự sống - chết), MOVEMENT (sự di chuyển), TRANSACTION (giao dịch), BUSINESS (kinh tế), CONFLICT (xung đột), CONTACT (giao thiệp), PERSONNEL (nhận - đổi việc), JUSTICE (pháp lý). Mỗi dạng sự kiện lại phân biệt từng dạng con.

Ví dụ, LIFE có các dạng con nhƣ BE-BORN (chào đời), INJURE (bị thƣơng), DIE (chết), hay PERSONAL có START-POSITION (vị trí khi nhận việc), END-POSITION (vị trí khi thôi việc), NOMINATE (bổ nhiệm), ELECT (bầu chọn),. Có thể thấy rằng các nghiên cứu liệt kê ở trên đều đồng ý rằng sự kiện có thể coi nhƣ một mẫu (template) gồm nhiều các thuộc tính (elements). Quá trình trích chọn sự kiện quan tâm tới việc làm thế nào có thể điền các thông tin phù hợp từ các văn bản gốc tƣơng ứng từng thuộc tính. Trích chọn sự kiện Trích chọn sự kiện và trích chọn thông tin có điểm gì chung? Có thể nói rằng trích chọn sự kiện là một lĩnh vực con của trích chọn thông tin.

Nếu nhƣ trích chọn thông tin chỉ quan tâm các dữ liệu rời rạc (tên ngƣời, địa điểm, các con số,…) thì trích chọn sự kiện quan tâm nhiều hơn tới tính cấu trúc và mức độ 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.