Tài liệu: Trích chọn sự kiện tai nạn giao thông trong văn bản tin tức tiếng việt

Hệ thống trích xuất tự động thông tin tai nạn giao thông từ tin tức tiếng Việt bằng công nghệ xử lý ngôn ngữ tự nhiên và học máy hiện đại.

• Tác giả: Phùng Chí Quốc
• Người hướng dẫn: TS. Nguyễn Long Giang
• Trường học: Trường Đại học Công nghệ Thông tin & Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khai phá dữ liệu và học máy (Data mining and machine learning)
• Đề tài: Trích chọn sự kiện tai nạn giao thông trong văn bản tin tức tiếng Việt
• Loại tài liệu: Luận văn
• Năm xuất bản: 2016
• Địa điểm: Thái Nguyên

Tóm tắt

I. Khái niệm cơ bản về trích chọn sự kiện tai nạn giao thông

Trích chọn sự kiện tai nạn giao thông là quá trình xử lý thông tin từ các bản tin tức để xác định và trích xuất những sự kiện liên quan đến tai nạn giao thông. Đây là một bài toán quan trọng trong xử lý ngôn ngữ tự nhiên tiếng Việt, giúp tự động hóa việc thu thập và phân tích dữ liệu về các vụ tai nạn. Phương pháp này kết hợp các kỹ thuật xử lý dữ liệu, phát hiện sự kiện và trích chọn thông tin từ văn bản tin tức. Mục tiêu chính là tạo ra các cơ sở dữ liệu tự động từ các bản tin online, giúp các nhà quản lý giao thông có thể thống kê, phân tích và đưa ra các biện pháp phòng chống tai nạn hiệu quả. Bài toán này đã được nghiên cứu và phát triển thành một luận văn tốt nghiệp hoàn chỉnh với các thuật toán và phương pháp tiên tiến.

1.1. Định nghĩa sự kiện và tai nạn giao thông

Sự kiện tai nạn giao thông được định nghĩa là những vụ va chạm, rơi ngã hoặc sự cố liên quan đến các phương tiện giao thông trên đường bộ. Mỗi sự kiện bao gồm các thành phần như: thời gian, địa điểm, loại phương tiện, số lượng nạn nhân và nguyên nhân. Trích chọn sự kiện yêu cầu xác định chính xác các thông tin này từ văn bản tin tức không có cấu trúc.

1.2. Tầm quan trọng của trích chọn thông tin tự động

Trích chọn thông tin tự động giúp tiết kiệm thời gian và chi phí so với cách thủ công. Nó cho phép xử lý hàng nghìn bản tin mỗi ngày, tạo nên cơ sở dữ liệu tai nạn giao thông chi tiết và đầy đủ. Điều này hỗ trợ các quyết định chính sách an toàn giao thông dựa trên dữ liệu thực tế.

II. Các phương pháp trích chọn sự kiện hiện nay

Có ba phương pháp chính được sử dụng để trích chọn sự kiện tai nạn giao thông từ văn bản tiếng Việt. Thứ nhất là phương pháp dựa trên tập luật (rule-based), sử dụng các quy tắc được xây dựng thủ công bởi các chuyên gia. Thứ hai là phương pháp dựa trên học máy (machine learning), sử dụng các mô hình được huấn luyện từ dữ liệu. Thứ ba là phương pháp kết hợp luật và học máy, kết hợp ưu điểm của cả hai. Mỗi phương pháp có những ưu và nhược điểm riêng. Phương pháp dựa trên luật có độ chính xác cao nhưng cần công sức xây dựng luật lớn. Phương pháp học máy có khả năng thích nghi tốt nhưng cần dữ liệu huấn luyện lớn. Phương pháp kết hợp là xu hướng tương lai, mang lại hiệu quả tối ưu.

2.1. Phương pháp dựa trên tập luật

Phương pháp này sử dụng các luật xác định trước để nhận diện sự kiện tai nạn giao thông trong văn bản. Mỗi luật định nghĩa các mẫu từ khóa và cấu trúc câu đặc trưng của sự kiện. Ưu điểm là độ chính xác cao khi luật được xây dựng tốt, nhưng nhược điểm là khó điều chỉnh và mở rộng.

2.2. Phương pháp dựa trên học máy

Học máy cho phép hệ thống tự học các mẫu từ dữ liệu huấn luyện. Phương pháp này tự động phát hiện các đặc trưng quan trọng cho việc trích chọn sự kiện. Ưu điểm là có khả năng thích nghi cao, nhưng yêu cầu dữ liệu huấn luyện lớn và tính toán phức tạp.

2.3. Phương pháp kết hợp

Kết hợp luật và học máy mang lại kết quả tốt hơn. Phương pháp này sử dụng luật để xác định các trường hợp rõ ràng, sau đó dùng học máy để xử lý các trường hợp phức tạp. Đây là xu hướng hiện đại trong xử lý tin tức về tai nạn giao thông.

III. Mô hình phát hiện và trích chọn sự kiện hai pha

Luận văn đề xuất một mô hình hai pha cho việc trích chọn sự kiện tai nạn giao thông. Pha thứ nhất là phát hiện sự kiện, sử dụng các bộ lọc dữ liệu để xác định các bản tin có chứa thông tin về tai nạn giao thông. Pha thứ hai là trích chọn chi tiết, xử lý những bản tin được chọn để trích xuất các thông tin cụ thể. Mô hình này được kiểm tra trên cơ sở dữ liệu của hàng nghìn bản tin từ các trang web tin tức. Kết quả thử nghiệm cho thấy độ chính xác của bộ lọc dữ liệu là 98.6%, có nghĩa là hầu hết các bản tin chứa sự kiện tai nạn được phát hiện chính xác. Tuy nhiên, vẫn còn một số trường hợp bị bỏ sót do các biến thể trong cách viết tin tức.

3.1. Pha 1 Phát hiện sự kiện qua lọc dữ liệu

Giai đoạn phát hiện sự kiện sử dụng các bộ lọc để sàng lọc những bản tin liên quan đến tai nạn giao thông. Quá trình này loại bỏ những bản tin không liên quan, giúp giảm khối lượng dữ liệu xử lý. Độ chính xác 98.6% của bộ lọc cho thấy hiệu quả cao của phương pháp này.

3.2. Pha 2 Trích chọn chi tiết thông tin vụ tai nạn

Pha thứ hai tập trung vào trích chọn các thuộc tính chi tiết của mỗi vụ tai nạn giao thông, bao gồm thời gian, địa điểm, loại phương tiện và số lượng nạn nhân. Các thuộc tính này được lưu trữ vào cơ sở dữ liệu có cấu trúc để phục vụ phân tích thống kê.

IV. Ứng dụng và kết quả thực nghiệm

Kết quả thực nghiệm của hệ thống trích chọn sự kiện tai nạn giao thông cho thấy hiệu quả đáng kể. Hệ thống đã xử lý hàng ngàn bản tin và tạo được cơ sở dữ liệu chi tiết về các vụ tai nạn. Dữ liệu được phân loại theo nhiều tiêu chí khác nhau, cho phép phân tích toàn diện. Các kết quả thống kê bao gồm số vụ tai nạn giao thông theo tỉnh, theo địa điểm, theo tháng và theo loại phương tiện. Các biểu đồ thống kê cho thấy những xu hướng và mô hình của tai nạn giao thông trong thời gian theo dõi. Những phát hiện này có giá trị lớn cho việc xây dựng chính sách an toàn giao thông. Luận văn cũng chỉ ra những hạn chế của hệ thống hiện tại và đề xuất các hướng phát triển tương lai.

4.1. Thống kê và phân tích dữ liệu tai nạn

Hệ thống tạo được các báo cáo thống kê chi tiết về tai nạn giao thông theo nhiều khía cạnh: địa địa lý, thời gian và loại phương tiện. Dữ liệu được tổ chức trong cơ sở dữ liệu giúp dễ dàng truy vấn và phân tích. Các biểu đồ thống kê trực quan hóa các xu hướng, hỗ trợ quyết định chính sách.

4.2. Hạn chế và hướng phát triển tương lai

Mặc dù đạt được kết quả tốt, hệ thống vẫn còn một số hạn chế, chẳng hạn như khó xử lý các trường hợp tai nạn giao thông được mô tả theo nhiều cách khác nhau. Hướng phát triển tương lai bao gồm cải thiện độ chính xác, mở rộng phạm vi dữ liệu và tích hợp các công nghệ AI tiên tiến hơn.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan bài toán trích chọn thông tin va một số Tĩnh vực nghiên cứu liên quan. Chương 2: Trình bày một số phương pháp tiếp cận bài toán và chỉ ra một số ưu nhược điểm của từng phương pháp. Chương3: Tập trung vào bài toán trích chọn sự kiện các vụ tai nạn giao thông: tìm hiểu các đặc tính của sự kiện vụ tai nạn; pháp biểu bài toán, đề. xuất mô hình, cách giãi quy chỉ tiết hai bài toán quan trọng trong luận văn là bài toán phát hiện sự kiện vụ tai nạn và bài toán trích chọn sự kiện vụ tai nạn.

Chương 4 Trình bày về môi trường, công cụ, cũng như các gôi được. tác giả xây dựng và cải đặt, thử nghiệm mô hình trích chọn sự kiện tai nạn giao thông trên một số trang web đăng tin về tai nạn giao thông Việt trên mạng Internet. "Phần kết luận: Tôm tắt các kết quả đạt được và hướng phát triển tiếp của để tài 5 Chuong 1. TONG QUAN VE TRICH CHON THONG TIN 1.

Bài toán trích chọn thông tin trong văn bản (IE) Nhóm Camegie Group [22], vào thập kỹ 70 của thế kỹ trước cho rằng: Trong khi một chương trình máy tính có thể cung cấp sự biết đầy đủ các văn bản đầu vào bất kỳ vẫn còn là một giấc mơ xa vời, tức là cô thể xây đựng. hệ thống xử lý ngôn ngữ tự nhiên cung cấp một sự hiểu biết một phần của. một số loại văn bản với độ chính xác hạn chế. Hơn nữa, hệ thống như vậy có ‘thé cung cấp các giải pháp hiệu quả chỉ phí về các vấn đề kinh đoanh thương.

mại cô ý nghĩa. Họ đã mô tả một hệ thống như vậy gọi là JASPER. JASPER 1ä một hệ thống khai thác đã phát triển và triển khai bởi Camegie Group cho hang Reuters. JASPER si đụng một cách tiếp cận mẫu điều khiển, kỹ thuật hiểu biết một phân vàtìm ra các thủ tục để trích xuất một phin quan trong của thông tin từ một phạm vỉ giới hạn của văn ban.

Appelt, trich chon théng tin (Information Extraction- IE) cô thể được coi nằm giữa thu hồi thông tin (Iaformation Retrieval - IR) và hiểu văn bin (Text Understanding - UT) [2]. Không giống như thu hồi thông tin chỉ tập trung vào các mẫu thông tin có liên quan trong văn bản mà không chú trọng đến việc hiểu văn bản; trích chọn thông tin còn quan tâm tới các sự kiện có liên quan trong văn bản và biểu diễn chúng đưới đạng các khuôn mẫu. thông tin có liên quan trong văn bản và biểu diễn chúng đưới dang khuôn mẫu. Khác với hiểu văn bản chỉ tập trung trên một phần nhỏ của văn bản (câu, đoạn), trich chon théng tin quan tâm tới toàn bộ nội dung văn bản.

"Theo Peshkin và Pfeffr [9], trích chọn thông tin có thể được định nghĩa như là một công việc điền thông tin vào các mẫu từ các đữ liệu chưa biết trước trong miền được định nghĩa trước. Mục tiêu của trích chọn thông tín là lấy từ văn bản các thông tin nỗi bật của các sự kiện, thực thễ, các mồi liên hệ Như vậy, có thể coi trích xuất thông tin là một kỹ nghệ lấy và biểu điễn trí 6 thức thành các thông tin có định đạng và hữu ich từ nguồn dữ liệu lớn trên Intemet. Bài toán trích chọn thông tin trong văn bản có thể được phát biểu như sau: ~_ Đầu vào: dữ liệu văn bảnbất kỳ ~_ Đầu ra: thông tin hữu ích đưới đạng có cấu trúc. Các khái niệm cơ bản về sự kiện và trích chọn sự kiện (EE) Nam 1987, Hội nghi Message Understanding Conferences (MUC) [23] đã được khởi xướng và tài trợ bởi Quỹ nghiên cứu Bộ quốc phòng Hoa Kỷ dé khuyến khích sự phát triển các phương pháp mới và tốt hơn để trích chọn.

Sau đó, rất nhiều hội nghị được tổ chức tạo thành đấy hội nghị MUC. Với mỗi hội nghị, như là một diễn đàn cho các báo cáo đánh giá về hệ thống nhận biết, hi văn bản. Hội nghị đã đưa ra phương pháp trích chợn sự kiện theo khung mẫu với mục đích là trích chọn lấy các thông tin liên quan đến sự kiện. Chương trình phát hiện và theo đối (Topic Detection and Tracking - TDT) [24] được tổ chức từ năm 1997 là một sáng kiến do DARPA tài trợ đễ điều tra trạng thái của kỹ thuật trong việc tìm kiếm và theo dõi sự kiện mới.

Các vấn đề TDT gồm ba nhiệm vụ chính: (1) phân chia một chuỗi bài phát biểu ghỉ nhận vào những câu chuyện riêng biệt; (2) xác định những câu chuyện mới dé thảo luận về một sự kiện mới xây ra trong các bản tin; và (3) đưa ra một số lượng nhỏ các mẫu câu chuyện tin tức về một sự kiện, tìm kiếm tất cả những. cầu chuyện theo chuỗi các sự kiện. Một số nhóm nghiên cứu chính tham gia chương trình như: DARPA, Đại học Camegie Mellon, Dragon Systems, và Dai hoc Massachusetts tai Amherst. Cac bai toan quan trong cia TDT gồm: Story Segmentation, Topic Tracking, Topic Detection, First Story Detection, va Link Detection.

Chương trình Tríh chọn nội dung tự động (Automatic Content 7 Extraction, ACE) cia dai hoc Pennsylvania cing thu hút được nhiều quan tâm từ các công đồng nghiên cứu và trích chọn thông tin cũng như trích chon sự kiện. Chương trình này tập trung vào các ngôn ngữ như Anh, Trung Quốc và Ä rập. Các thông tin được trích chọn gồm các thực thể, quan hệ giữa. các thực thể, và các sự kiện chúng tham gia vào hư vậy, có thê thấy rằng trích chọn thông tin nói chung và trích chọn sự.

kiện nói riêng là một vẫn đề quan trong và thời đại, nhận được rắt nhiều quan tâm từ công \g khoa học. Trong phản tiếp theo luận văn sẽ làm sáng tỏ. định nghĩa sự kiện [1.1] và trích chọn sự kiện [1. Định nghĩa sự kiện Tay theo từng lĩnh vực và dữ liệu người ta cô nhiều cách định nghĩa sự kiện.

Trên miền tin tite, James Allan và cộng sự định nghĩa tin tức chứa sự kiện nếu nó có bổn ý tổ: hành vi, chủ thê, thời gian và địa điểm [19]. chọn sự kiện lần đầu tiên được giới thiệu như một chủ đề quan trong MUC năm 1987. Hội nghị MUC quan tâm đến._ các sự kiện như khủng bố, đầu tư mạo hiểm, tai nạn máy bay, quân sự .Một sự kiện được định nghĩa như sau: “một sự kiện có tác nhân (actor), thời gian (time), địa điểm (place) và tác động tới môi trường xung quanh”. Trong chương trinh ACE (Automatic Content Extraction) [25], mục tiêu nghiên cứu được xem là phát hiện với các đặc tính của thực thể, quan hệ, và sự kiện.

Sự kiện đơn giãn là một sự thay đổi trạng thai. Loại sự kiện và các thuộc tính sự kiện được quy định chặt chế hơn. Có tất cả tâm loại sự kiện được sử đụng bao gồm business (kinh tế), conflict (xung đột), contact (liên. Méi loai sự kiện sau đồ lại được chia thành từng dang con.

Ví dụ như sự kiện pháp lý bao gồm một số đạng như bắt giữ — bỏ tù, kết án, phạt. 8 "Thông thường các nghiên cứu thường chỉ tập trung vào giải quyết vin dé trong một lĩnh vực cụ thể. Yoko Nishihara quan tâm sự kiện trong lĩnh vực mạng xã hội [10]. Silja va Roman Yangaber quan tâm tới tăng cường tiếp cận với các báo cáo địch bệnh [5], trong khi K.

Bretonnel Cohen lại tập trùng vào sự kiện y sinh [12] 'Có thể thấy rằng các nghiên cứu liệt kê ở trên đều đông ý rằng sự kiện có thể coi như một mẫu (template) gồm nhiều các thuộc tinh (elements). Trong phạm vi khôa luận, tác gid quan tim đến sự kiện thuộc chủ dé tai nan giao 'thông trên một số trang tin tức tiếng Việt. Như vậy trích chọn sự kiện đề cập tới việc làm thế nào có thể điền các thông tin phù hợp từ các văn bản gốc tương ứng. Trích chọn sự kiện Trích chọn sự kiện là bài toán con cũa trích chọn thông tin với mục tiêu là trích lọc ra các sự kiện từ các nguồn số liệu.

Nếu như trích chọn thông tin chỉ quan tâm các đữ liệu rời rạc (tên người, địa điểm, các con số,.) thì trích. chọn sự kiện quan tâm nhiều hơn tới tính cấu trúc và mức độ liên quan của 'thông tin trong một sự kiện. Từ đó, người đọc có thễ đễ ràng suy luận ra các thông tin có ý nghĩa. Ví dụ, "chiều ngày 29/12, trên đường Thanh Xuân, Ha “Nội đã xây ra vụ tai nạn nghiêm trong làm 2 người đi xe máy bị thương nặng.

Nguyên nhân bước đầu được cho là đo người điều khiển xe máy vượt âu xe tải đi cùng chiều” Trong ví đụ này, trích chọn thông tin đưa ra các kết quả rời xạc như: 29/12, Hà Nội, 2 hoặc xe máy; trong khi đó trích chọn sự kiện thi quan tâm tới một bộ các thuộc tính biểu diễn cho sự kiện gồm {29/12, Hà Nội, 2 người bị thương, xe máy, xe tải). Rõ rằng, với tập dữ liệu trên, thông tin là hữu ích và đầy đủ hơn các thông tin rồi rac. Một cách tổng quát, đầu vào cũa trích chọn sự kiện là các văn bản lấy từ nhiều nguồn số liệu khác nhau như văn bản tin tức, mạng xã hội. đầu ra là 9 các trí thức biểu điễn đưới dạng thông tin có cấu trúc.

Những thông tin này rất hữu ích cho việc khai thác dữ liệu như: thống kê, hệ thống giám sắt, các hệ \g hỗ trợ ra quyết định. Trích chọn sự kiện có thể áp đụng cho một miễn. dữ liệu cụ thể như các vụ tai nạn giao thông, địch bệnh, các tour du lịch.và có nhiều ứng dung trong các lĩnh vực khác nhau của đời sống xã hội như kinh tế, văn hóa, y tế, giáo đục. "Trích chọn sự kiện thực sự là một bài toán khó.

Ngoài vấn đề xây dựng các bộ nhận dang sự kiện nô còn gặp phải vấn đề xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP). Dễ ràng nhận thấy trích chọn sự kiện phụ thuộc nhiều vào NLP, cụ thể lä bài toán nhận đạng thực thể (Named Entity Recognition - NER). Bén cạnh đó, theo David MeClosky cấu trúc sự kiện trong miền các văn bản mở thường là rất phức tạp và lồng nhau: một sự. kiện "tội phạm" có thê đẫn đến một sự kiện "điều tra", có thị lên một sự kiện "Bắt giữ" [13].

Chính vì thế đữ liệu đầu vào của trích chọn sự kiện rất đa. dang nên sẽ ảnh hưởng tới tinh hiệu quả của quá trình trích chọn. Ý nghĩa khoa học và thực tiễn cũa bài toán trích chọn sự kiện tai nạn giao thông 1. Ý nghĩa khoa học `Ý nghĩa khoa học của bài toán trích chọn sự kiện được rất nhiều các nhà khoa học quan tâm.