Nghiên cứu khoa học về sự kiện an toàn giao thông trong văn bản tiếng Việt

Chuyên khảo phân tích Đề tài nghiên cứu khoa học cấp trường trích chọn sự kiện an toàn giao thông trong văn bản sử dụng, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên

• Người hướng dẫn: ThS. Đào Ngọc Tú
• Trường học: Đại học Hải Phòng
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Trích chọn sự kiện an toàn giao thông trong văn bản sử dụng ngôn ngữ tiếng Việt
• Loại tài liệu: báo cáo tổng kết đề tài nghiên cứu khoa học cấp trường
• Năm xuất bản: 2024
• Địa điểm: Hải Phòng

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU
• 1.1. Bài toán trích chọn thông tin trong văn bản
• 1.2. Tổng quan về sự kiện
• 1.3. Định nghĩa sự kiện
• 1.4. Trích chọn sự kiện
• 1.5. Trích chọn sự kiện trong văn bản tin tức tiếng việt
• 1.6. Ý nghĩa khoa học
• 1.7. Ý nghĩa thực tiễn
• 2. CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP TIẾP CẬN
• 2.1. Phương pháp tiếp cận dựa trên tập luật (rule – based)
• 2.2. Luật ngữ nghĩa (lexico-semantic patterns)
• 2.3. Hình dạng và biểu diễn của tập luật (Form and Representation of Rules)
• 2.4. Phương pháp tiếp cận dựa trên học máy
• 2.5. 3 phương pháp tiếp cận kết hợp luật và học máy
• 3. CHƯƠNG 3: XÂY DỰNG MÔ HÌNH TRÍCH CHỌN SỰ KIỆN VỤ TAI NẠN
• 3.1. Các đặc tính của sự kiện vụ tai nạn
• 3.2. Phát biểu bài toán
• 3.3. Mô hình phát hiện và trích chọn sự kiện vụ tai nạn
• 3.4. Phương pháp đề xuất
• 3.5. Giải quyết bài toán phát hiện sự kiện và bài toán trích chọn sự kiện vụ tai nạn
• 3.5.1. Bài toán 1- Phát hiện sự kiện vụ tai nạn (pha 1)
• 3.5.2. Bài toán 2- Trích chọn sự kiện vụ tai nạn (pha 2)
• 3.5.2.1. Trích chọn thời gian
• 3.5.2.2. Trích chọn địa điểm
• 3.5.2.3. Trích chọn số thương vong
• 3.5.2.4. Trích chọn phương tiện gây tai nạn
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Môi trường và các công cụ sử dụng thực nghiệm
• 4.2. Xây dựng tập dữ liệu
• 4.3. Thu thập dữ liệu
• 4.4. Tiền xử lý dữ liệu
• 4.5. Đánh giá quá trình phát hiện sự kiện
• 4.6. Đánh giá bộ lọc dữ liệu
• 4.7. Đánh giá quá trình phân lớp
• 4.8. Đánh giá quá trình trích chọn sự kiện
• 4.9. Thực nghiệm không qua bộ phân lớp
• 4.10. Thực nghiệm qua bộ phân lớp
• 4.11. Phân tích lỗi
• 4.11.1. Phân tích lỗi quá trình phát hiện sự kiện
• 4.11.2. Phân tích lỗi quá trình trích chọn sự kiện
• 4.12. Một số kết quả phân tích các sự kiện
• 4.13. Thống kê số vụ tai nạn theo tỉnh
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về an toàn giao thông và sự kiện giao thông

Nghiên cứu tập trung vào việc trích chọn sự kiện an toàn giao thông từ các văn bản tiếng Việt, đặc biệt là các bản tin về tai nạn giao thông. Sự kiện giao thông được định nghĩa là các tình huống cụ thể liên quan đến tai nạn, bao gồm thời gian, địa điểm, số thương vong và phương tiện liên quan. Mục tiêu của nghiên cứu là xây dựng mô hình tự động trích xuất thông tin từ các bản tin để hỗ trợ thống kê tai nạn và đưa ra giải pháp an toàn giao thông.

1.1. Định nghĩa và tầm quan trọng của sự kiện giao thông

Sự kiện giao thông được coi là một mẫu (template) gồm các thuộc tính như thời gian, địa điểm, số thương vong và phương tiện. Việc trích chọn sự kiện giúp biến đổi thông tin từ dạng phi cấu trúc sang dạng có cấu trúc, hỗ trợ các hệ thống thống kê và giám sát an toàn giao thông. Ví dụ, từ bản tin 'Vụ tai nạn xảy ra lúc 8h ngày 30/4 tại Hà Nội, làm 2 người bị thương', mô hình sẽ trích xuất các thuộc tính: {30/4, Hà Nội, 2 người bị thương}.

1.2. Tình hình nghiên cứu và ứng dụng thực tiễn

Nghiên cứu về trích chọn sự kiện đã được phát triển từ các chương trình như MUC, TDT và ACE. Các phương pháp này tập trung vào việc trích xuất thông tin từ văn bản để hỗ trợ phân tích sự kiện và dự đoán xu hướng. Ứng dụng thực tiễn của nghiên cứu bao gồm việc xác định các điểm nóng tai nạn, thời gian có nguy cơ cao và đưa ra các giải pháp an toàn giao thông.

II. Phương pháp tiếp cận và mô hình trích chọn sự kiện

Nghiên cứu sử dụng kết hợp phương pháp dựa trên tập luật và học máy để xây dựng mô hình trích chọn sự kiện vụ tai nạn. Phương pháp dựa trên tập luật tập trung vào việc xác định các từ khóa và mẫu ngữ nghĩa, trong khi học máy sử dụng các kỹ thuật như phân lớp và nhận dạng thực thể (NER) để trích xuất thông tin.

2.1. Phương pháp dựa trên tập luật

Phương pháp này sử dụng các luật ngữ nghĩa để xác định các thuộc tính của sự kiện. Ví dụ, từ khóa 'tai nạn' kết hợp với các từ chỉ thời gian và địa điểm sẽ giúp xác định sự kiện. Các luật được xây dựng dựa trên khảo sát dữ liệu và có thể điều chỉnh để phù hợp với các văn bản tiếng Việt.

2.2. Phương pháp học máy

Phương pháp học máy sử dụng các bộ dữ liệu đã được gán nhãn để huấn luyện mô hình phân lớp. Mô hình này có thể xác định các văn bản chứa sự kiện tai nạn và trích xuất các thuộc tính như thời gian, địa điểm và số thương vong. Kỹ thuật NER được sử dụng để nhận dạng các thực thể như tên người, địa điểm và thời gian.

III. Thực nghiệm và đánh giá mô hình

Nghiên cứu tiến hành thực nghiệm trên các bản tin về tai nạn giao thông từ các báo điện tử uy tín. Mô hình được đánh giá dựa trên độ chính xác và khả năng trích xuất thông tin. Kết quả cho thấy mô hình kết hợp giữa tập luật và học máy đạt hiệu quả cao trong việc phát hiện và trích chọn sự kiện.

3.1. Xây dựng tập dữ liệu

Tập dữ liệu được thu thập từ các bản tin về tai nạn giao thông trong khoảng thời gian từ năm 2023 đến nay. Dữ liệu được tiền xử lý để loại bỏ thông tin không liên quan và chuẩn hóa định dạng. Tập dữ liệu được chia thành hai phần: huấn luyện và kiểm tra.

3.2. Đánh giá kết quả

Mô hình được đánh giá dựa trên các chỉ số như độ chính xác (precision), độ hồi tưởng (recall) và F1-score. Kết quả cho thấy mô hình đạt độ chính xác cao trong việc phát hiện sự kiện và trích xuất các thuộc tính như thời gian, địa điểm và số thương vong. Các lỗi chủ yếu liên quan đến việc nhận dạng thực thể trong các văn bản phức tạp.

IV. Giải pháp và ứng dụng thực tiễn

Nghiên cứu đề xuất các giải pháp an toàn giao thông dựa trên kết quả trích xuất thông tin từ các sự kiện tai nạn. Các giải pháp bao gồm việc xác định các điểm nóng tai nạn, thời gian có nguy cơ cao và đưa ra các biện pháp phòng ngừa. Kết quả nghiên cứu có thể được sử dụng để hỗ trợ các nhà quản lý trong việc giảm thiểu tai nạn giao thông.

4.1. Xác định điểm nóng tai nạn

Dựa trên thông tin trích xuất, nghiên cứu xác định các địa điểm thường xuyên xảy ra tai nạn. Các điểm nóng này được đánh dấu trên bản đồ để hỗ trợ việc đặt biển báo và tăng cường giám sát.

4.2. Giáo dục và nâng cao nhận thức

Nghiên cứu cũng đề xuất các chương trình giáo dục để nâng cao nhận thức của người dân về an toàn giao thông. Các thông tin về thời gian và địa điểm có nguy cơ cao được truyền tải đến người dân để họ có thể chủ động phòng tránh.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. TỔNG QUAN NGHIÊN CỨU Trong chương này, đề tài tập trung giải quyết các vấn đề sau: tổng quan về tình hình nghiên cứu; giới thiệu bài toán trích chọn thông tin; tổng quan về sự kiện; trích chọn sự kiện trong văn bản tin tức tiếng Việt (tin tức được đề cập là vụ tai nạn); ý nghĩa khoa học và ý nghĩa thực tiễn của bài toán trích chọn sự kiện vụ tai nạn. Bài toán trích chọn thông tin trong văn bản Theo Douglas E. Appelt, trích chọn thông tin (Information Extraction- IE) có thể được coi nằm giữa thu hồi thông tin (Information Retrieval - IR) và hiểu văn bản (Text Understanding - UT) [2].

Không giống như thu hồi thông tin chỉ tập trung vào các mẫu thông tin có liên quan trong văn bản mà không chú trọng đến việc hiểu văn bản; trích chọn thông tin còn quan tâm tới các sự kiện có liên quan trong văn bản và biểu diễn chúng dưới dạng các khuôn mẫu thông tin có liên quan trong văn bản và biểu diễn chúng dưới dạng khuôn mẫu. Khác với hiểu văn bản chỉ tập trung trên một phần nhỏ của văn bản (câu, đoạn), trích chọn thông tin quan tâm tới toàn bộ nội dung văn bản. Theo Peshkin và Pfeffer [11], trích chọn thông tin có thể được định nghĩa: như là một công việc điền thông tin vào các mẫu từ các dữ liệu chưa biết trước trong miền được định nghĩa trước. Mục tiêu của trích chọn thông tin là lấy từ văn bản các thông tin nổi bật của các sự kiện, thực thể, các mối liên hệ.

Như vậy, có thể coi trích xuất thông tin là một kỹ nghệ lấy và biểu diễn tri thức thành các thông tin có định dạng và hữu ích từ nguồn dữ liệu lớn trên Internet. Bài toán trích chọn thông tin trong văn bản có thể được phát biểu như sau: - Đầu vào: dữ liệu văn bản bất kỳ - Đầu ra: thông tin hữu ích dưới dạng có cấu trúc. Tổng quan về sự kiện Trích chọn sự kiện với vai trò trích chọn ra các thông tin có ý nghĩa từ tập dữ liệu lớn và được cộng đồng khoa học rất quan tâm và đầu tư nghiên cứu. Năm 1987, Message Understanding Conferences (MUC) được tổ chức với sự hỗ trợ của Quỹ nghiên cứu Bộ quốc phòng Hoa Kỳ7 và lần đầu tiên khái niệm event (sự kiện) được đề cập.

Sau đó, rất nhiều hội nghị được tổ chức tạo thành dãy hội nghị MUC. Với mỗi hội 2 nghị, thông tin được quan tâm khác nhau nhưng đều có đặc điểm chung là chúng được trích xuất từ dữ liệu nói về khủng hoảng (crisis). Các chủ đề trong dữ liệu thường là tội phạm, khủng bố, đánh bom… một trong những đóng góp lớn của MUC là đưa ra việc trích chọn thông tin dựa trên mẫu (scenariotemplate). Các mẫu được ban tổ chức quy định và các đội tham gia cần điền thông tin vào các mẫu này một các tự động.

Cuối cùng, các sự kiện được trích chọn gồm các thông tin: tổ chức, đối tượng tham gia (người, sự vật, sự việc), thời gian, địa điểm, số lượng…Độ chính xác (precision) và hồi tưởng (recall) của các nghiên cứu tham dự MUC nằm trong khoảng 50% đến 60% [5]. Chương trình Phát hiện và theo dõi chủ đề (Topic Detection and Tracking, TDT) được tổ chức từ năm 1997 thu hút nhiều nhóm nghiên cứu từ các trường đại học tham gia. Chương trình này được phối hợp bởi Viện Công nghệ và Chuẩn hoá quốc gia Hoa Kỳ (NIST) và DAPRA nhằm giải quyết bài toán phát hiện, theo dõi và xâu chuỗi sự kiện. Một số nhóm nghiên cứu tham gia chương trình như sau: nhóm CMU của đại học Carnegie Mellon, nhóm BBN từ công ty BBN Technologies, nhóm DRAGON của công ty Dragon, nhóm UPENN của trường đại học Pennsylvania (UPENN).

Các bài toán quan trọng của TDT gồm: Story Segmentation, Topic Tracking, Topic Detection, First Story Detection, và Link Detection. Chương trình Trích chọn nội dung tự động (Automatic Content Extraction, ACE) của đại học Pennsylvania cũng thu hút được nhiều quan tâm từ các cộng đồng nghiên cứu và trích chọn thông tin cũng như trích chọn sự kiện. Chương trình này tập trung vào các ngôn ngữ như tiếng Anh, Trung Quốc và Ả rập. Các thông tin được trích chọn gồm các thực thể, quan hệ giữa các thực thể, và các sự kiện chúng tham gia vào.

Như vậy, có thể thấy rằng trích chọn thông tin nói chung và trích chọn sự kiện nói riêng là một vấn đề quan trọng và thời đại, nhận được rất nhiều quan tâm từ cộng đồng khoa học. Trong phần tiếp theo đề tài sẽ làm sáng tỏ định nghĩa sự kiện [1.1] và trích chọn sự kiện [1. Định nghĩa sự kiện Trích chọn sự kiện lần đầu tiên được giới thiệu như một chủ đề quan trọng trong Message Understanding Conference (MUC) năm 1987 [21]. Trong MUC, một sự kiện được định nghĩa như sau: “một sự kiện có tác nhân (actor), thời gian (time), địa điểm (place) và tác động tới môi trường xung quanh”.

Trong chương trình ACE, Dodington Deorge R và cộng sự đưa ra định nghĩa sự kiện như sau: “một sự kiện là một hành động được tạo bởi những người tham gia”[22]. ACE chia sự kiện thành 8 loại khác nhau: LIFE (sự sống - chết), MOVEMENT (sự di chuyển), TRANSACTION (giao dịch), BUSINESS (kinh tế), CONFLICT (xung đột), CONTACT (giao thiệp), PERSONNEL (nhận - đổi việc), JUSTICE (pháp lý). Mỗi dạng sự kiện lại phân biệt từng dạng con. Ví dụ, LIFE có các dạng con như BE-BORN (chào đời), INJURE (bị thương), DIE (chết), hay PERSONAL có START-POSITION (vị trí khi nhận việc), END-POSITION (vị trí khi thôi việc), NOMINATE (bổ nhiệm), ELECT (bầu chọn),.

Có thể thấy rằng các nghiên cứu liệt kê ở trên đều đồng ý rằng sự kiện có thể coi như một mẫu (template) gồm nhiều các thuộc tính (elements). Quá trình trích chọn sự kiện quan tâm tới việc làm thế nào có thể điền các thông tin phù hợp từ các văn bản gốc tương ứng từng thuộc tính. Trích chọn sự kiện Trích chọn sự kiện và trích chọn thông tin có điểm gì chung? Có thể nói rằng trích chọn sự kiện là một lĩnh vực con của trích chọn thông tin. Nếu như trích chọn thông tin chỉ quan tâm các dữ liệu rời rạc (tên người, địa điểm, các con số,…) thì trích chọn sự kiện quan tâm nhiều hơn tới tính cấu trúc và mức độ liên quan của thông tin trong một sự kiện.

Từ đó, người đọc có thể dễ ràng suy luận ra các thông tin có ý nghĩa. Ví dụ, “ngay sáng ngày 30/4, trên đường Xuân Thuỷ, thủ đô Hà Nội đã xảy ra vụ tai nạn nghiêm trong làm 2 người trên xe máy bị thương nặng. Nguyên nhân bước đầu được cho là do tài xế tắc-xi đã tăng tốc khi nhận điểm nên đã xô thẳng vào xe máy đi cùng chiều.” Trong ví dụ này, trích chọn thông tin đưa ra các kết quả rời rạc như: 30/4, Hà Nội, 2 hoặc tắc xi; trong khi đó trích chọn sự kiện thì quan tâm tới một bộ các 4 thuộc tính biểu diễn cho sự kiện gồm {30/4, Hà Nội, 2 người bị thương, tắc-xi}. Rõ ràng, với tập dữ liệu trên, thông tin là hữu ích và đầy đủ hơn các thông tin rời rạc.

Một cách tổng quát, có thể coi trích chọn sự kiện trong văn bản nhận đầu vào là các văn bản phi cấu trúc và đầu ra là tri thức được biểu diễn dưới dạng thông tin có cấu trúc. Những thông tin này rất hữu ích cho việc khai thác dữ liệu như: thống kê, hệ thống giám sát, các hệ thống hỗ trợ ra quyết định. Trích chọn sự kiện có thể áp dụng cho một miền dữ liệu cụ thể như vụ tai nạn giao thông, thông tin các tour du lịch, bệnh dịch,… đồng thời đưa ra các thông tin xung quanh sự kiện đó thường bao gồm: Thời gian, địa điểm, số lượng, … Theo Grishman và cộng sự, trích chọn sự kiện là một bài toán khó do vấn đề xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) và đặc trưng dữ liệu [21]. Dễ ràng nhận thấy trích chọn sự kiện phụ thuộc nhiều vào NLP, cụ thể là bài toán nhận dạng thực thể (Named Entity Recognition - NER).

Bên cạnh đó, dữ liệu đầu vào của trích chọn sự kiện rất đa dạng nên sẽ ảnh hưởng tới tính hiệu quả của quá trình trích chọn. Trích chọn sự kiện trong văn bản tin tức tiếng việt 1. Bài toán trích chọn sự kiện vụ tai nạn Trích chọn thông tin (Information Extraction - IE), đặc biệt là trích chọn sự kiện (Event Extraction - EE) là một lĩnh vực con trong khai phá dữ liệu (Data Mining - DM). Những năm gần đây, trích chọn sự kiện đã thu hút nhiều sự quan tâm từ các nhà khoa học.

Nó là bước đi tốt cho việc khai thác tri thức trên văn bản. Trích chọn thông tin về sự kiện vụ tai nạn như: thời gian(giờ trong ngày), thời gian (dd/mm/yyyy), thứ/tuần, tháng/năm, địa điểm xảy ra vụ tai nạn, số thương vong, phương tiện tham gia trong vụ tai nạn, phương tiện gây tai nạn, độ tuổi của người điều khiển phương tiện gây tai nạn, ngành nghề, địa hình gây tai nạn, nguyên nhân gây tai nạn. Kết quả của quá trình trích chọn được làm đầu vào cho hệ thống khai thác như thống kê và trực quan hoá trên bản đồ Việt Nam những địa điểm nóng hay xảy ra tai nạn, thời gian nào trong ngày có nguy cơ xảy ra tai nạn nhiều hơn, tháng nào hay mùa nào trong năm có nguy cơ tai nạn giao thông nhiều hơn, độ tuổi có nguy cơ xảy ra tai nạn… Những điều đó giúp ích cho các nhà quản lý có biệt pháp giúp khắc phục để 5 giảm thiểu số vụ tai nạn, đặt bảng biển báo hiệu nơi có nguy cơ tai nạn cao, có biệm pháp giáo dục người dân khi tham gia giao thông. Mặt khác, giúp người dân biết cách tự phòng tránh không để mình là mạn nhân đáng tiếc trong các vụ tai nạn.

Bài toán trích chọn sự kiện vụ tai nạn được phát biểu như sau: Đầu vào: bản tin bất kỳ trên báo điện tử Đầu ra: trích chọn những thông tin của sự kiện vụ tai nạn (nếu có). Bài toán trích chọn sự kiện vụ tai nạn được chia thành hai bài toán. Bài toán thứ nhất, phát hiện sự kiện vụ tai nạn, đầu vào là bản tin bất kỳ trên báo điện tử, bài toán phải chỉ ra đâu là sự kiện vụ tai nạn.