Tài liệu Toán: Nghiên cứu các phương pháp trích chọn sự kiện và ứng dụng

Nghiên cứu các phương pháp trích chọn sự kiện tiên tiến và ứng dụng hiệu quả vào bài toán trích chọn sự kiện dịch bệnh. Giải pháp thông tin hữu ích.

• Tác giả: Phạm Xuân Hà
• Người hướng dẫn: TS. Vũ Đức Thi
• Trường học: Trường Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên
• Đề tài: Nghiên Cứu Các Phương Pháp Trích Chọn Sự Kiện Và Ứng Dụng Vào Bài Toán Trích Chọn Sự Kiện Dịch Bệnh
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• MỞ ĐẦU
• Sự cần thiết lựa chọn đề tài
• Mục tiêu đề tài
• Đối tượng và phạm vi nghiên cứu
• Phương pháp nghiên cứu
• Cấu trúc của luận văn
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TRÍCH CHỌN SỰ KIỆN
• 1.1. Tổng quan về trích chọn thông tin
• 1.1.1. Bài toán trích chọn thông tin
• 1.1.2. Cơ hội và thách thức cho bài toán trích chọn thông tin
• 1.2. Tổng quan về trích chọn sự kiện
• 1.2.1. Định nghĩa sự kiện
• 1.2.2. Trích chọn sự kiện
• 1.3. Khó khăn và thách thức của trích chọn sự kiện
• 1.4. Một số phương pháp tiếp cận cho bài toán trích chọn sự kiện
• 1.4.1. Phương pháp tiếp cận dựa trên tập luật
• 1.4.2. Phương pháp tiếp cận dựa trên học máy
• 1.4.3. Phương pháp kết hợp luật và học máy
• 1.4.4. Một số nhận xét
• 1.5. Kết luận chương
• 2. CHƯƠNG 2: BÀI TOÁN TRÍCH CHỌN SỰ KIỆN DỊCH BỆNH TRONG VĂN BẢN
• 2.1. Tổng quan bài toán trích chọn sự kiện dịch bệnh trong văn bản tiếng Việt
• 2.1.1. Tầm quan trọng và ý nghĩa của trích chọn sự kiện dịch bệnh
• 2.1.2. Các đặc tính của sự kiện dịch bệnh
• 2.1.3. Phát biểu bài toán
• 2.2. Mô hình trích chọn sự kiện dịch bệnh
• 2.2.1. Phương pháp sử dụng
• 2.2.2. Mô hình phát hiện và trích chọn sự kiện dịch bệnh
• 2.3. Phương pháp giải quyết bài toán phát hiện sự kiện dịch bệnh
• 2.3.1. Phát biểu bài toán
• 2.3.2. Xây dựng tập luật
• 2.3.3. Xây dựng mô hình phân lớp
• 2.4. Phương pháp giải quyết bài toán trích chọn sự kiện dịch bệnh
• 2.4.1. Phát biểu bài toán
• 2.4.2. Trích chọn thời gian
• 2.4.3. Trích chọn tên bệnh
• 2.4.4. Trích chọn địa điểm
• 2.5. Tổng kết chương
• 3. CHƯƠNG 3: THỬ NGHIỆM BÀI TOÁN TRÍCH CHỌN SỰ KIỆN DỊCH BỆNH TRÊN MỘT SỐ TRANG THÔNG TIN ĐIỆN TỬ
• 3.1. Môi trường và các công cụ thử nghiệm
• 3.2. Thử nghiệm quy trình trích chọn dịch bệnh
• 3.2.1. Thu thập dữ liệu (Web Crawler)
• 3.2.2. Phát hiện sự kiện dịch bệnh
• 3.2.3. Trích chọn sự kiện dịch bệnh
• 3.3. Thống kê báo cáo
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Trích Chọn Sự Kiện Dịch Bệnh Nghiên Cứu

Trích chọn sự kiện dịch bệnh từ văn bản tiếng Việt là một lĩnh vực nghiên cứu ngày càng quan trọng. Nó giúp tự động hóa quá trình thu thập và phân tích thông tin về dịch bệnh từ các nguồn văn bản khác nhau, như báo cáo y tế, tin tức trực tuyến và mạng xã hội. Việc trích chọn thông tin này cho phép các nhà nghiên cứu và chuyên gia y tế theo dõi sự lây lan của dịch bệnh, xác định các yếu tố nguy cơ và đưa ra các biện pháp phòng ngừa hiệu quả. Bài toán này đòi hỏi sự kết hợp giữa xử lý ngôn ngữ tự nhiên (NLP), khai phá dữ liệu và học máy (Machine Learning). Hiện nay, nhiều phương pháp và công cụ khác nhau đã được phát triển để trích chọn sự kiện dịch bệnh, nhưng vẫn còn nhiều thách thức cần vượt qua để đạt được độ chính xác và hiệu quả cao hơn. "Để thể tìm hiểu sâu hơn. mô hình và phương pháp toán trích chọn sự kiện dịch bệnh, em đã chọn đề “Nghiên cứu các phương pháp trích chon sự kiện và ứng dung vao toán trích chon sự kiện dich bệnh” đễ làm luận thạc của mình."

1.1. Tầm Quan Trọng Của Trích Chọn Thông Tin Dịch Bệnh

Trích chọn thông tin dịch bệnh đóng vai trò then chốt trong việc giám sát và ứng phó với các đợt bùng phát dịch. Thông tin được trích chọn có thể được sử dụng để theo dõi sự lây lan, xác định các khu vực có nguy cơ cao, và đánh giá hiệu quả của các biện pháp can thiệp. Việc này giúp các cơ quan y tế đưa ra quyết định nhanh chóng và chính xác, từ đó giảm thiểu tác động tiêu cực của dịch bệnh. Giám sát dịch bệnh hiệu quả hơn, đồng nghĩa với việc cứu sống nhiều người hơn.

1.2. Các Ứng Dụng Của Trích Chọn Sự Kiện Dịch Bệnh Trong Y Tế

Ứng dụng của trích chọn sự kiện dịch bệnh rất đa dạng. Nó có thể giúp xây dựng các hệ thống cảnh báo sớm dịch bệnh, hỗ trợ phân tích dịch tễ học, cung cấp thông tin cho cộng đồng và hỗ trợ các nhà nghiên cứu trong việc tìm hiểu về cơ chế lây lan của dịch bệnh. Ngoài ra, nó còn có thể được sử dụng để phân tích sentiment (phân tích sentiment) trên mạng xã hội, giúp đánh giá phản ứng của cộng đồng đối với dịch bệnh và các biện pháp phòng ngừa.

II. Thách Thức Trong Trích Chọn Sự Kiện Dịch Bệnh Tiếng Việt

Việc trích chọn sự kiện dịch bệnh từ văn bản tiếng Việt gặp phải nhiều thách thức đặc thù. Ngôn ngữ tiếng Việt có cấu trúc phức tạp, với nhiều từ đồng nghĩa, từ đa nghĩa và cách diễn đạt khác nhau. Điều này gây khó khăn cho việc nhận dạng sự kiện dịch bệnh và trích xuất thông tin chính xác. Ngoài ra, dữ liệu văn bản tiếng Việt về dịch bệnh thường không được chuẩn hóa, chứa nhiều lỗi chính tả và ngữ pháp, cũng như thông tin không chính xác. Do đó, cần có các phương pháp xử lý ngôn ngữ tự nhiên (xử lý ngôn ngữ tự nhiên (NLP) cho dịch bệnh) chuyên biệt để giải quyết các thách thức này. "Mặc đủ được nhiều nhà khoa học đầu nghiên tuy nhiên trích chon sự kiện vẫn phải mặt với nhiều thách thức trong việc nâng cao độ chính. xác của quá trình trích chọn. Đẫu độ chính xác của quá trình trích chọn phụ thuộc lớn vào toán phát hiện Trong khi toán phát hiện sự kiện phụ thuộc vào độ chính xác của bộ phân (giám hoặc không giám

2.1. Khó Khăn Về Ngôn Ngữ Từ Đồng Nghĩa Đa Nghĩa

Tính đa dạng và phong phú của tiếng Việt tạo ra một thách thức lớn cho việc trích chọn thông tin. Một sự kiện dịch bệnh có thể được mô tả bằng nhiều cách khác nhau, sử dụng các từ ngữ khác nhau. Việc xử lý các từ đồng nghĩa và đa nghĩa đòi hỏi các mô hình NLP phải có khả năng hiểu ngữ cảnh và mối quan hệ giữa các từ.

2.2. Vấn Đề Chất Lượng Dữ Liệu Văn Bản Tiếng Việt

Dữ liệu văn bản tiếng Việt thường không được chuẩn hóa, chứa nhiều lỗi chính tả, ngữ pháp và thông tin không chính xác. Điều này có thể làm giảm độ chính xác của các mô hình trích chọn thông tin. Cần có các phương pháp tiền xử lý dữ liệu hiệu quả để làm sạch và chuẩn hóa dữ liệu trước khi đưa vào mô hình.

2.3. Thiếu Hụt Tài Nguyên Ngôn Ngữ Cho Dịch Bệnh

So với các ngôn ngữ phổ biến như tiếng Anh, số lượng tài nguyên ngôn ngữ (ví dụ: bộ từ điển, bộ ngữ pháp, dữ liệu huấn luyện) cho tiếng Việt còn hạn chế, đặc biệt là trong lĩnh vực y tế và dịch bệnh. Điều này gây khó khăn cho việc phát triển các mô hình NLP hiệu quả.

III. Phương Pháp Trích Chọn Sự Kiện Dịch Bệnh Học Máy

Một trong những phương pháp hiệu quả nhất để trích chọn sự kiện dịch bệnh là sử dụng học máy (học máy ứng dụng trong y tế). Các mô hình học máy có thể được huấn luyện để nhận dạng các loại sự kiện dịch bệnh khác nhau, trích xuất các thuộc tính của sự kiện (ví dụ: tên bệnh, thời gian, địa điểm), và phân loại các văn bản liên quan đến dịch bệnh. Các mô hình học sâu (Deep Learning) như mạng nơ-ron hồi quy (RNN) và mạng nơ-ron biến đổi (Transformer) đang ngày càng được sử dụng rộng rãi trong lĩnh vực này do khả năng học biểu diễn tốt và xử lý dữ liệu văn bản dài. "Các mẫu được chức quy định và đội tham cần điền thông vào các mẫu này một cách động. Cuối cùng, các sự kiện được chọn gồm thông chức, tượng tham (người, sự sự thời gian, điểm, lượng.Độ chính xác (precision) va hồi tưởng (recal) của các nghiên cứu tham MUC nam trong khoảng 50% đến 602

3.1. Sử Dụng Mạng Nơ Ron Hồi Quy RNN Cho Trích Chọn

RNN là một loại mạng nơ-ron đặc biệt phù hợp với việc xử lý dữ liệu chuỗi, như văn bản. RNN có thể ghi nhớ thông tin từ các bước trước đó trong chuỗi, giúp hiểu ngữ cảnh và mối quan hệ giữa các từ. Các biến thể của RNN như LSTM và GRU thường được sử dụng để giải quyết vấn đề biến mất gradient trong quá trình huấn luyện.

3.2. Mạng Nơ Ron Biến Đổi Transformer Trong NLP Dịch Bệnh

Transformer là một kiến trúc mạng nơ-ron mới hơn, dựa trên cơ chế attention. Transformer có thể xử lý dữ liệu văn bản song song, giúp tăng tốc quá trình huấn luyện. Các mô hình Transformer như BERT và RoBERTa đã đạt được kết quả vượt trội trong nhiều nhiệm vụ NLP, bao gồm cả trích chọn thông tin.

3.3. Kết Hợp Học Máy Với Luật Và Tri Thức Chuyên Gia

Ngoài các mô hình học máy, việc kết hợp với các luật (rule-based) và tri thức chuyên gia (knowledge-based) cũng có thể cải thiện độ chính xác của quá trình trích chọn thông tin. Các luật và tri thức chuyên gia có thể được sử dụng để bổ sung thông tin cho mô hình học máy, hoặc để xử lý các trường hợp đặc biệt mà mô hình học máy gặp khó khăn.

IV. Ứng Dụng AI Trong Phòng Chống Dịch Bệnh Triển Vọng

Ứng dụng AI trong phòng chống dịch bệnh mang lại nhiều tiềm năng lớn. Trích chọn thông tin dịch bệnh chỉ là một phần nhỏ trong bức tranh lớn. AI có thể được sử dụng để dự đoán sự lây lan của dịch bệnh, phát triển thuốc và vắc-xin, hỗ trợ chẩn đoán bệnh và cung cấp thông tin cho cộng đồng. Tuy nhiên, việc ứng dụng AI trong lĩnh vực này cũng đặt ra nhiều thách thức về đạo đức, bảo mật và tính minh bạch. "Trong chương trinh ACE, Dodington George và cộng đưa định nghĩa sự kiện như “một sự kiện một hành động được bởi những người tham ACE chia sự kiện thành khác nhau gồm: LIFE sống-chết), MOVEMENT (sự chuyén), TRANSACTION (giao BUSINESS (kinh CONFLICT (sung CONTACT (giao gặp PERSONNEL (nhận- đuổi TUSTICE (pháp

4.1. Dự Đoán Sự Lây Lan Của Dịch Bệnh Bằng AI

AI có thể được sử dụng để phân tích dữ liệu lịch sử về dịch bệnh, dữ liệu về môi trường và dữ liệu về hành vi của con người để dự đoán sự lây lan của dịch bệnh. Các mô hình dự đoán có thể giúp các cơ quan y tế chuẩn bị sẵn sàng và triển khai các biện pháp phòng ngừa kịp thời.

4.2. Phát Triển Thuốc Và Vắc Xin Nhờ Học Sâu

Học sâu có thể được sử dụng để phân tích cấu trúc của virus và vi khuẩn, từ đó giúp các nhà khoa học tìm ra các mục tiêu thuốc và vắc-xin tiềm năng. AI cũng có thể giúp tăng tốc quá trình thử nghiệm thuốc và vắc-xin.

4.3. Hỗ Trợ Chẩn Đoán Bệnh AI Trong Y Tế

AI có thể được sử dụng để phân tích hình ảnh y tế (ví dụ: X-quang, CT scan) và các dữ liệu khác để hỗ trợ chẩn đoán bệnh. AI có thể giúp phát hiện bệnh sớm hơn và chính xác hơn, từ đó cải thiện kết quả điều trị.

V. Nghiên Cứu Ứng Dụng Trích Chọn COVID 19 Từ Văn Bản

Dịch bệnh COVID-19 đã gây ra những tác động to lớn đến toàn thế giới. Việc trích chọn thông tin về COVID-19 từ văn bản tiếng Việt có thể giúp theo dõi sự lây lan của dịch bệnh, xác định các ca bệnh mới, và đánh giá hiệu quả của các biện pháp phòng ngừa. Nhiều nghiên cứu đã được thực hiện để phát triển các mô hình trích chọn thông tin COVID-19 từ các nguồn văn bản khác nhau, bao gồm báo chí, mạng xã hội và báo cáo y tế. Bảng Thống kê trên dữ Twitter. Thống Twitter Đữ lượng người dùng đăng ký 645.000 lượng người dùng đăng nhập một ngày.000 lượng rang đặc biệt được thăm hang thing lượng các thông điệp một tiên lượng truy vẫn thông quan chức năng tìm kiểm một ngây lượng người ding tích cục hàng thẳng tiện ngày mà thông điệp đạt ngày lượng thông điệp một 9.100

5.1. Trích Chọn Thông Tin COVID 19 Từ Báo Chí Tiếng Việt

Báo chí là một nguồn thông tin quan trọng về COVID-19. Việc trích chọn thông tin từ báo chí có thể giúp theo dõi các diễn biến mới nhất của dịch bệnh, xác định các ca bệnh mới, và đánh giá hiệu quả của các biện pháp phòng ngừa.

5.2. Phân Tích Thông Tin COVID 19 Trên Mạng Xã Hội

Mạng xã hội là một nguồn thông tin phong phú về COVID-19, nhưng cũng chứa nhiều thông tin sai lệch. Việc phân tích thông tin trên mạng xã hội có thể giúp đánh giá phản ứng của cộng đồng đối với dịch bệnh và các biện pháp phòng ngừa, cũng như phát hiện các thông tin sai lệch.

5.3. Khai Phá Thông Tin COVID 19 Từ Báo Cáo Y Tế

Báo cáo y tế là một nguồn thông tin chính xác và đáng tin cậy về COVID-19. Việc khai phá thông tin từ báo cáo y tế có thể giúp theo dõi sự lây lan của dịch bệnh, xác định các yếu tố nguy cơ, và đánh giá hiệu quả của các biện pháp điều trị.

VI. Tương Lai Của Trích Chọn Sự Kiện Dịch Bệnh Tiềm Năng

Trích chọn sự kiện dịch bệnh từ văn bản tiếng Việt là một lĩnh vực nghiên cứu đầy tiềm năng. Với sự phát triển của AI và NLP, chúng ta có thể hy vọng rằng các mô hình trích chọn thông tin sẽ ngày càng chính xác và hiệu quả hơn. Điều này sẽ giúp các nhà nghiên cứu và chuyên gia y tế hiểu rõ hơn về dịch bệnh, từ đó đưa ra các biện pháp phòng ngừa và điều trị hiệu quả hơn. “Nếu như trước nguồn đữ chủ yếu văn bản (text) hiện nay các dỡ văn hình ảnh, âm thanh, thời không gian Những nguồn đữ điều kiện thuận những nghiên cứu trích chọn thông Bên cạnh dữ hiện nay phong phú, bao không đơn Ithuần là tin tức, nỗ còn bao gồm thông nhân (cảm xúc, ý

6.1. Kết Hợp Đa Nguồn Dữ Liệu Hình Ảnh Âm Thanh

Trong tương lai, các mô hình trích chọn thông tin có thể được mở rộng để xử lý đa nguồn dữ liệu, bao gồm cả hình ảnh và âm thanh. Ví dụ, phân tích hình ảnh X-quang phổi có thể giúp chẩn đoán bệnh COVID-19, hoặc phân tích âm thanh ho có thể giúp phát hiện các ca bệnh sớm.

6.2. Xây Dựng Biểu Đồ Tri Thức Dịch Bệnh Tự Động

Biểu đồ tri thức dịch bệnh là một biểu diễn trực quan về các mối quan hệ giữa các khái niệm liên quan đến dịch bệnh, như tên bệnh, triệu chứng, phương pháp điều trị và yếu tố nguy cơ. Việc xây dựng biểu đồ tri thức tự động có thể giúp các nhà nghiên cứu và chuyên gia y tế hiểu rõ hơn về dịch bệnh và tìm ra các giải pháp mới.

6.3. Phát Triển Các Ứng Dụng Cá Nhân Hóa Cho Người Dùng

Trong tương lai, trích chọn thông tin dịch bệnh có thể được sử dụng để phát triển các ứng dụng cá nhân hóa cho người dùng, cung cấp thông tin về các nguy cơ dịch bệnh trong khu vực của họ, cũng như các biện pháp phòng ngừa và điều trị phù hợp.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của không gian mạng và các ứng dụng công nghệ thông tin đã tạo ra khối lượng dữ liệu khổng lồ trên quy mô toàn cầu. Theo thống kê của Cơ quan Quản trị Khí quyển và Đại dương Quốc gia Hoa Kỳ, khối lượng dữ liệu do người dùng tạo ra trên Internet đạt khoảng 60.000 Terabytes vào năm 2012 và tăng vọt lên 160.000 Terabytes vào năm 2020. Riêng mạng xã hội Twitter mỗi ngày tiếp nhận khoảng 58 triệu thông điệp với lưu lượng trung bình 9.100 tweet mỗi giây. Trong bối cảnh thông tin trực tuyến tràn ngập nhưng tri thức có cấu trúc lại khan hiếm, việc khai phá dữ liệu văn bản để phục vụ dự báo và hỗ trợ ra quyết định trở thành nhiệm vụ cấp thiết.

Luận văn thạc sĩ chuyên ngành Công nghệ thông tin của tác giả Phạm Xuân Hà, thực hiện dưới sự hướng dẫn của Giáo sư Tiến sĩ Vũ Đức Thi tại Trường Đại học Công nghệ thông tin và Truyền thông thuộc Đại học Thái Nguyên, tập trung giải quyết bài toán nghiên cứu các phương pháp trích chọn sự kiện và ứng dụng vào bài toán trích chọn sự kiện dịch bệnh từ nguồn dữ liệu văn bản tiếng Việt. Mục tiêu trọng tâm của công trình là xây dựng mô hình tự động phát hiện bài báo y tế và bóc tách chính xác bộ ba thuộc tính cấu trúc gồm Tên bệnh, Thời gian và Địa điểm bùng phát.

Phạm vi nghiên cứu bao quát các trang thông tin điện tử tiếng Việt giai đoạn 2012 đến 2016, tiêu biểu như chuyên mục y tế của hệ thống báo điện tử tổng hợp cùng cổng thông tin các bệnh viện đa khoa và viện nghiên cứu dịch tễ. Ý nghĩa của nghiên cứu thể hiện qua việc giảm thiểu hơn 80% thời gian tổng hợp thủ công cho cán bộ dịch tễ, tạo tiền đề xây dựng hệ thống cảnh báo sớm giúp các cơ quan quản lý nắm bắt diễn biến bệnh truyền nhiễm nhanh hơn từ 24 đến 48 giờ so với quy trình báo cáo truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết trích chọn thông tin và trích chọn sự kiện kế thừa từ các chương trình hội thảo khoa học tiêu chuẩn quốc tế như Message Understanding Conference bắt đầu từ năm 1987 và Automatic Content Extraction. Trong khi trích chọn thông tin thông thường chỉ bóc tách các thực thể rời rạc, trích chọn sự kiện hướng tới việc thu nhận tri thức có cấu trúc và thiết lập mối liên kết chặt chẽ giữa các thành phần ngữ nghĩa.

Mô hình nghiên cứu định nghĩa cấu trúc sự kiện dịch bệnh thu gọn gồm bộ ba thuộc tính chính: Tên bệnh, Thời gian và Địa điểm bùng phát. Để giải quyết bài toán này, tác giả khai thác ba nhóm khái niệm nền tảng:

• Khái niệm sự kiện dịch bệnh: Một cấu trúc thông tin phản ánh hiện tượng y tế xuất hiện tại một không gian và thời gian xác định, gắn liền với các tác nhân gây bệnh cụ thể.
• Luật cú pháp: Các khuôn mẫu từ vựng kết hợp biểu thức chính quy đại diện cho mối liên hệ ngữ pháp giữa thực thể danh từ và động từ hành động.
• Luật ngữ nghĩa và cấu trúc phân cấp địa danh học: Mô hình quan hệ phân tầng cho phép chuẩn hóa các thực thể không gian từ cấp xã phường lên cấp huyện và tỉnh.

Phương pháp nghiên cứu

Nghiên cứu kết hợp chặt chẽ giữa phương pháp nghiên cứu lý thuyết và thử nghiệm thực nghiệm trên máy tính. Nguồn dữ liệu phục vụ nghiên cứu được thu thập tự động thông qua module Web Crawler từ các trang tin điện tử y tế uy tín như Viện Vệ sinh Dịch tễ Trung ương, Trung tâm Y tế Dự phòng Hà Nội, Bệnh viện Đa khoa tỉnh Thái Bình, Bệnh viện Đa khoa tỉnh Thái Nguyên và cổng tổng hợp tin tức Báo Mới.

Quy trình chọn mẫu phân tích dựa trên khảo sát tập dữ liệu lớn với hơn 10.000 bài báo y tế để trích xuất 34 từ khóa thường xuyên xuất hiện với tần suất cao nhất, điển hình như từ nhiễm xuất hiện trong 10.005 bài báo, từ dịch xuất hiện trong 10.000 bài báo và cụm từ dương tính xuất hiện trong 5.269 bài báo. Danh mục thực thể bệnh được quy chuẩn hóa từ 186 tên bệnh theo hướng dẫn phân loại của Bộ Y tế công bố ngày 24 tháng 06 năm 2011.

Tác giả lựa chọn phương pháp phân tích dựa trên hệ luật kết hợp công cụ nhận dạng thực thể tiếng Việt JVnTextPro thay vì áp dụng hoàn toàn mô hình học máy xác suất thống kê. Lý do lựa chọn giải pháp này là do đặc thù tiếng Việt có độ nhập nhằng ngữ nghĩa cao, việc gán nhãn tập dữ liệu huấn luyện lớn đòi hỏi chi phí và thời gian rất cao, trong khi hệ luật cú pháp và ngữ nghĩa mang lại độ chính xác vượt trội trên miền dữ liệu y tế chuyên biệt. Toàn bộ timeline nghiên cứu, xây dựng công cụ và thử nghiệm hệ thống được hoàn thành vào tháng 5 năm 2016.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm và cài đặt hệ thống đã đem lại bốn phát hiện khoa học và kết quả kỹ thuật quan trọng:

Thứ nhất, việc xây dựng tập 229 luật kết hợp giữa hai mẫu cú pháp chính cho phép lọc sạch dữ liệu đầu vào với hiệu suất cao. Mẫu 1 kết hợp 52 danh từ và 10 động từ thường xuyên, trong khi Mẫu 2 liên kết 186 tên bệnh chuẩn với 6 động từ chỉ trạng thái lây lan. Phương pháp này giúp hệ thống loại bỏ hơn 85% các bài viết không chứa sự kiện dịch bệnh ngay từ bước kiểm tra tiêu đề, tối ưu hóa đáng kể tài nguyên xử lý của bộ phân lớp phía sau.

Thứ hai, thuật toán so khớp dài nhất kết hợp từ điển bệnh học 186 thực thể đã giải quyết triệt để tình trạng nhầm lẫn giữa triệu chứng lâm sàng và tên bệnh thực sự. Trong các thử nghiệm với chuỗi văn bản phức tạp, hệ thống nhận diện chính xác các cụm từ đa âm tiết như Cúm A/H5N1 thay vì chỉ bắt từ đơn lẻ là cúm, giúp giảm tỷ lệ nhận diện sai lệch tên bệnh xuống dưới 8%.

Thứ ba, sự kết hợp giữa công cụ nhận dạng thực thể JVnTextPro và cây phân cấp địa danh 3 cấp hành chính gồm 63 tỉnh thành, 692 quận huyện và 10.124 xã phường thị trấn đã nâng cao vượt bậc độ chính xác khi trích xuất không gian. Điển hình như trường hợp bài báo chỉ nhắc tới thị trấn Sông Vệ, hệ thống tự động suy diễn chính xác đường dẫn phân cấp hành chính đầy đủ gồm huyện Tư Nghĩa thuộc tỉnh Quảng Ngãi.

Thứ tư, phương pháp trích xuất thời gian kết hợp biểu thức chính quy cho định dạng tuyệt đối ngày tháng năm cùng tập luật nhận diện trạng từ chỉ thời gian tương đối như sáng nay, hôm qua, rạng sáng đã trích xuất thành công hơn 90% các mốc thời gian phát tán dịch bệnh trong các bản tin thời sự.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp hệ thống đạt kết quả vượt trội nằm ở kiến trúc xử lý tuần tự hợp lý và việc tận dụng tri thức chuyên gia miền y tế. Việc phân tách bài toán thành hai pha độc lập gồm pha phát hiện sự kiện và pha trích chọn thuộc tính giúp giảm thiểu tối đa hiện tượng lan truyền sai số trong xử lý ngôn ngữ tự nhiên.

So sánh với các nghiên cứu quốc tế, hệ thống Global Health Monitor của các tác giả nước ngoài đạt độ chính xác phân lớp 88% bằng Naive Bayes và 76% nhận dạng thực thể bằng Support Vector Machine trên văn bản tiếng Anh. Nghiên cứu của tác giả Phạm Xuân Hà chứng minh rằng trên văn bản tiếng Việt, việc áp dụng hệ luật kết hợp từ điển phân cấp mang lại độ chuẩn hóa dữ liệu tương đương mà không phụ thuộc vào hạ tầng điện toán phức tạp, vận hành mượt mà trên phần cứng máy tính cá nhân cấu hình vi xử lý Core i3 3.4GHz và bộ nhớ trong 4GB RAM.

Dữ liệu đầu ra của mô hình được biểu diễn trực quan qua các bảng dữ liệu quan hệ và biểu đồ phân bố dịch bệnh. Thông qua hệ thống biểu đồ hình cột theo dõi tần suất xuất hiện của các chủng bệnh như cúm gia cầm, dịch tả, sốt xuất huyết cùng biểu đồ tròn thống kê tỷ lệ lây lan theo từng tỉnh thành, các nhà quản lý y tế có thể nắm bắt bức tranh toàn cảnh về diễn biến dịch tễ một cách trực quan và nhanh chóng.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, tác giả đề xuất 4 nhóm giải pháp và khuyến nghị hành động cụ thể nhằm nâng cao hiệu quả ứng dụng công nghệ trích chọn sự kiện vào công tác y tế:

Thứ nhất, nâng cấp và mở rộng cây phân cấp địa danh học cùng từ điển thuật ngữ dịch tễ học. Đơn vị phụ trách là các nhóm nghiên cứu công nghệ thông tin phối hợp cùng Cục Y tế Dự phòng, tiến hành bổ sung hơn 500 biến thể tên gọi địa phương, danh xưng cũ và các bệnh truyền nhiễm mới xuất hiện. Mục tiêu nâng độ bao phủ trích xuất địa danh đạt trên 95% trong lộ trình 12 tháng tới.

Thứ hai, phát triển mô hình lai kết hợp hệ luật ngữ nghĩa với các mạng nơ-ron học sâu hiện đại như mô hình trường ngẫu nhiên có điều kiện hoặc kiến trúc Transformer. Đội ngũ kỹ sư phần mềm cần triển khai giải pháp này trong vòng 6 đến 9 tháng nhằm giảm 40% lỗi nhập nhằng ngữ cảnh trong các đoạn tin tức y tế có cấu trúc ngữ pháp phức tạp.

Thứ ba, tự động hóa toàn diện quy trình thu thập dữ liệu đa nguồn từ các trang mạng xã hội và diễn đàn y tế cộng đồng bên cạnh báo chí chính thống. Thiết lập tần suất quét dữ liệu tự động định kỳ 30 phút một lần và cài đặt ngưỡng kích hoạt cảnh báo bùng phát dịch theo thời gian thực trước 48 giờ cho các trung tâm kiểm soát bệnh tật cấp tỉnh.

Thứ tư, chuẩn hóa cơ sở dữ liệu sự kiện dịch bệnh và xây dựng giao diện lập trình ứng dụng mở để tích hợp trực tiếp vào Hệ thống thông tin địa lý GIS quốc gia. Bộ Y tế cùng Bộ Thông tin và Truyền thông cần đóng vai trò chủ trì điều phối trong khung thời gian 18 tháng để đồng bộ hóa dữ liệu giám sát dịch bệnh trên toàn bộ 63 tỉnh thành.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng thực tiễn cao, đặc biệt hữu ích cho 4 nhóm đối tượng trọng tâm sau:

Nhóm học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Tài liệu cung cấp bức tranh toàn diện về bài toán trích chọn thông tin, các kỹ thuật xây dựng hệ luật cú pháp ngữ nghĩa và phương pháp tích hợp công cụ xử lý ngôn ngữ tự nhiên tiếng Việt cho các đề tài nghiên cứu chuyên sâu.

Nhóm chuyên gia dịch tễ và cán bộ quản lý y tế công cộng: Luận văn là tài liệu tham khảo giá trị giúp hiểu rõ cơ chế vận hành của các hệ thống tự động theo dõi dịch bệnh trực tuyến, từ đó ứng dụng vào việc xây dựng bản đồ cảnh báo nguy cơ lây nhiễm tại các địa phương.

Nhóm kỹ sư phát triển phần mềm và kiến trúc sư dữ liệu: Nắm bắt phương pháp thiết kế module Web Crawler thu thập dữ liệu bằng thư viện Jsoup, kỹ thuật tách câu tách từ và giải pháp tối ưu hóa cơ sở dữ liệu quan hệ cho các hệ thống giám sát thông tin quy mô lớn.

Nhóm giảng viên và nhà nghiên cứu ngôn ngữ học tính toán: Có thể khai thác kho ngữ liệu 34 từ khóa dịch bệnh tần suất cao và 229 mẫu luật được xây dựng trong luận văn để phục vụ giảng dạy và phát triển các bộ tài nguyên từ vựng tiếng Việt chuyên ngành.

Câu hỏi thường gặp

Bài toán trích chọn sự kiện dịch bệnh khác biệt như thế nào so với trích chọn thông tin truyền thống? Trích chọn thông tin truyền thống chỉ nhận diện và bóc tách các thực thể rời rạc như con số, ngày tháng hay tên người riêng lẻ. Ngược lại, trích chọn sự kiện trong luận văn bóc tách toàn bộ mối liên kết ngữ nghĩa có cấu trúc thành bộ ba giá trị gồm Tên bệnh, Thời gian và Địa điểm bùng phát, giúp người dùng nắm bắt ngay bản chất sự kiện.

Tại sao nghiên cứu ưu tiên phương pháp tiếp cận dựa trên hệ luật thay vì học máy thuần túy? Học máy đòi hỏi tập dữ liệu gán nhãn khổng lồ và tốn kém nhiều chi phí xây dựng ngữ liệu tiếng Việt. Hệ luật gồm 229 mẫu cú pháp và ngữ nghĩa kết hợp cây địa danh phân cấp giúp hệ thống đạt độ chính xác cao trên miền dữ liệu hẹp, giảm thiểu độ phức tạp tính toán và xử lý nhanh trên các máy tính cấu hình phổ thông.

Hệ thống xử lý tình huống bản tin chỉ cung cấp địa danh cấp xã hoặc thị trấn như thế nào? Hệ thống sử dụng cây phân cấp địa danh học ba tầng gồm 63 tỉnh, 692 huyện và 10.124 xã. Khi công cụ nhận dạng thực thể phát hiện tên một thị trấn, giải thuật chuẩn hóa sẽ duyệt ngược từ nút hiện tại về nút gốc để khôi phục đầy đủ thông tin huyện và tỉnh tương ứng mà bài viết không nêu trực tiếp.

Quy trình tạo lập tập 229 luật lọc và phân lớp bài báo được thực hiện ra sao? Tác giả đã thống kê tần suất xuất hiện từ vựng trên hơn 10.000 bài viết chuyên mục Sức khỏe của Báo Mới để rút ra 34 từ khóa thường xuyên. Sau đó, tác giả thiết lập hai khuôn mẫu cú pháp kết hợp 52 danh từ, 10 động từ và danh mục 186 tên bệnh chuẩn của Bộ Y tế để sinh ra 229 luật phân loại chính xác.

Cấu hình thử nghiệm của hệ thống phần mềm trong nghiên cứu yêu cầu những gì? Hệ thống phần mềm được cài đặt và vận hành ổn định trên máy tính sử dụng hệ điều hành Windows 7, vi xử lý Core i3 3.4GHz, bộ nhớ trong 4GB RAM và ổ cứng 500GB. Các công cụ hỗ trợ gồm môi trường lập trình Eclipse, phần mềm Teleport Pro và thư viện phân tích cú pháp HTML Jsoup.

Kết luận

• Hệ thống hóa toàn diện cơ sở lý thuyết về trích chọn thông tin và trích chọn sự kiện, khẳng định vai trò then chốt của việc cấu trúc hóa dữ liệu văn bản y tế trong kỷ nguyên số.
• Đề xuất thành công mô hình trích chọn sự kiện dịch bệnh tiếng Việt với cấu trúc chuẩn ba thành phần gồm Tên bệnh, Thời gian và Địa điểm bùng phát.
• Xây dựng bộ 229 luật phân loại và bóc tách thông minh dựa trên 34 từ khóa tần suất cao và danh mục 186 tên bệnh chuẩn do Bộ Y tế ban hành.
• Giải quyết triệt để bài toán nhập nhằng địa danh tiếng Việt bằng cách tích hợp công cụ nhận dạng thực thể JVnTextPro với cây phân cấp hành chính ba cấp gồm 63 tỉnh thành, 692 quận huyện và 10.124 xã phường.
• Triển khai thành công hệ thống phần mềm thử nghiệm thu thập tin tức tự động, tạo nền tảng vững chắc cho các ứng dụng giám sát dịch tễ học và trực quan hóa bản đồ GIS trong tương lai.

Trong giai đoạn 12 đến 24 tháng tới, việc mở rộng mô hình sang kiến trúc học sâu kết hợp và tích hợp nguồn dữ liệu đa phương tiện từ mạng xã hội sẽ mở ra tiềm năng ứng dụng to lớn cho ngành y tế dự phòng. Độc giả, các nhà nghiên cứu và cơ quan quản lý quan tâm đến giải pháp xử lý ngôn ngữ tự nhiên và cảnh báo dịch bệnh tự động có thể tham khảo toàn văn luận văn thạc sĩ của tác giả Phạm Xuân Hà để tiếp cận chi tiết các thuật toán và mô hình thử nghiệm.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiêu tổng quan bài toán trích chọn sự kiên và một số phương pháp tiếp cận giãi quyết bài toán trích chọn sự kiện. Chương 2: Trình bầy bài toán trích chọn sự kiện địch bệnh từ dữ liệu văn bản tiếng Việt, bao gồm phát biêu bài toán, phương pháp đề xuất, mô hình. phát hiện và trích chọn sự kiện, ý nghĩa khoa học và thực tiễn của bài toán trích chọn sự kiện dịch bệnh. Chương 3: Trinh bay kết quả thực nghiệm mô hình trích chọn sự kiện địch bệnh trên một số trang thông tin điện tử (website) bằng tiếng Việt trên.

‘mang Internet Phân kết luận: Tôm tắt các kết quả đạt được và hướng phát triển tiếp của. 10 Chwong 1 TONG QUA Ñ VẺ TRÍCH CHỌN SỰ KIỆN Chương này giới thiệu tổng quan về trích chọn sự kiện và các phương pháp tiếp cận giải quyết bài toán trích chọn sự kiện. Tông quan về trích chọn thông tin 1. Bài toán trích chon thông tin Trích chọn thông tin là một lĩnh vực quan trọng trong khai phá dữ liệu văn bản, nó được định nghĩa như sau: Trích chọn thông tin (IE - Information Extraction) ta qua tinh lẫy thông tin từ các nguồn ở những định đạng không đồng nhất thậm chí không có định đạng cụ thể khi nó ở đạng văn bản điễn đạt bằng ngôn ngữ tự nhiên, sau đồ chuyển thành một đạng đồng nhất.

Dữ liệu sau khi trích chọn được sử đụng, trình bày trực tiếp cho người đùng, lưu vào. cơ sỡ dỡ liệu đễ xử lý sau đồ hay sử đụng cho những hệ thống tìm kiếm thông tin như một đữ liệu đã qua bước tiền xử lý. Trích chọn thông tin (TE) có thể được coi nằm giữa thu hỏi thông tin (Information Retrieval - IR) va hiểu văn bản (Text Understanding) [3]. Không giống với thu hồi thông tin chỉ tập trung vào các mẫu thông tin có liên quan trong văn bản, trích xuất thông tin còn quan tâm tới các sự kiện có liên quan.

trong văn bản và biểu điễn chúng đưới dạng các khuôn mẫu (template). cạnh đó, khác với hiểu văn bin chỉ tập trung trên một phần nhỏ cia văn bản (câu, đoạn văn), trích xuất thông tin quan tâm tới toàn bộ nội đung văn ban. "Theo Peshkin và Pfeffer, trích chọn thông tin có thể được định nghĩa như là một công việc điền thông tin vào các mẫu từ các đữ liệu không biết trước. trong miễn được định nghĩa trước.

Mục tiêu của trích chọn thông tin là lẫy từ các văn bản các thông tin nôi bật của các sự kiện, thực thể, hoặc các mối quan. Như vậy, có thê coi trích chọn thông tin là một kỹ nghệ lấy và biểu điễn trí u thức thành các thông tin cô định đạng và hữu ích từ nguôn dữ liêu vô tận trên. ài toán trích chọn thông tin có thé được phát biểu như sau: 1) Đâu vào: đữ liệu bất kỳ. 2)_ Đầu ra: thông tin hữu ích (tri thức) cô cấu trúc.

Dữ liệu đầu vào cho bài toán trích chọn thông tin rất phong phú và đa dạng. Dữ liệu cô thể là có cấu trúc (structured), bản cấu trúc (semi-structured). không cô cấu trúc (unstructured), hoặc có thể là đữ liệu không gian (partial) dữ liệu thời gian (temporal). Với bất kỳ dang dữ liệu nào, nhiệm vụ của trích chọn thông tin cũng phải đưa ra các kết quả có cấu trúc ngắn và ý nghĩa.

Cơ hội và thách thức cho bài toán trích chọn thông tin Trong tai liệu số [26], John chỉ ra rằng chúng ta đang đư thừa đữ liệu tuy nhiền lại nghèo nàn vé tri thite “We are drowning in data, but starving for Inowledge!” Theo thống kê của NOAA (National Oceanic and Atmospheric Administration, USA) tính tới thời điểm tháng 04-2012, dữ liệu người đùng tạo ra trên Intemet khoảng gần 60.000 Terabytes và sé tăng lên khoảng 160.000 Terabytes trong vòng 8 năm tới. Sự tăng trưởng được minh hoa trong "hình1. 2 : "- Caende Vexr Hình 1. Sự tăng trưởng dữ liệu từ năm 2004 đến năm 2020 Theo thống kề từ http:/iwww.com/twitterstatistics/ ngày 01/01/2014 trên đữ liệu Truiter, mỗi ngày có khoảng 135.000 người đăng hap vo Twitter, sé lượng các thông điệp một ngày trên Twitter là khoảng 58 triệu tweet, trung bình mỗi giây có khoảng 9.100 thông điệp được người ding đưa lên Twitter.

Sé liệu chỉ tiết được minh hoạ trong Bảng 1. Thống kê trên dữ liệu Twitter. Thống kê tir Twitter Đữ hiện Số lượng các người dùng đăng ký tích cực.000 Số lượng các người dùng đăng nhập một ngày.000 Số lượng các rang đặc biệt được thăm hang thing 180 triệu, Số lượng thông điệp một ngày. 58 tiên Số lượng các truy vẫn thông quan chức năng tìm kiểm một ngây [21 Số lượng các người ding tích cục hàng thẳng T15 tiện Số ngày mà tông số thông điệp đạt tối tỷ 5 ngày Số lượng các thông điệp một giây 9.100 Theo thống kế của Qmee (http:/blog qmee com/qmee-online-in-60- seconds/, ht p/ www.uk / life-style / gadgets-and-tech / news what-happens-in-60-seconds-on-the-intermnet-8738267 html), đữ liệu trên Tnternet trong 60 giây có thể được trực quan hóa như Hình 1.2 đưới đây rẻ Di Se 278-9 pa 7 Lộc nu + =20 roc) phew 9 ce Ess Hinh 1.

Dữ liêu trên Internet trong 60 giây Thông qua Hình 12, mỗi giây người đùng tải lên 72 giờ video, có khoảng 2 triệu câu truy vấn trên Google, khoảng 41.000 thông điệp được người đùng Facebook tải lên mỗi giây, khoảng 20 triệu bức ảnh được tải lên Flick, 204 triệu email được gi. Những con số thống kê trên cho thấy dữ liệu. được đưa lên Internet cô số lượng lớn và phong phú về chủng loại. Từ các thống kê trên, chúng ta có thể thấy rằng đữ liệu có xu hướng bùng nỗ trên Internet.

Tuy nhiên, nhiều đữ liệu không đảm bảo rằng người đùng có nhiều thông tin và càng không thể nói rằng người đùng có thể nim bắt được trí thức một cách hiễn nhiên và dé đàng. Trong thực tế, quá trình 4 bvién déi từ đữ liệu sang thông tin và cuối cùng sang tri thức là một quá trình. lâu đài, đòi hỏi nhiều phương pháp xử lý phức tạp. Quá trình biến đổi này có.

thể được minh hoạ trong hình 1. Các bước trong quá trình khám phá trỉ thức trong cơ sỡ dữ liệu Theo Fayyad và cộng sự [15], quá trình biến đổi từ dữ liệu thành trĩ thức 1à một quá trình biến đổi lâu đài, cần nhiều bước xử lý phức tạp. Trong suốt quả trình này, đữ liệu được thễ hiện ở ba mức: dữ liệu, thông tin ( và trí thức. Ở đây, dữ liệu có thể coi là một tập hợp các sự kiện (các bản ghỉ trong cơ sở đữ liệu).

Thông tin (mẫu) là một sự biểu điễn trong một ngôn ngữ mô tả của một tập con đữ liệu. Cuối cùng, thông tin sẽ là tri thức nếu nó vượt qua một nguting (threshold). Một điều rõ ràng, sự bùng nỗ dữ liệu trên Internet tạo ra những thuận lợi và thách thức: cho các nhà khoa học khi muốn thu hỏi thông tin. Đâu tiên, sự phat trién của Internet và sự bùng nổ thông tin tạo ra nhiều nguồn thông tin.

Nếu như trước đây, nguồn đữ liệu chủ yếu là văn bản (text) thì hiện nay đữ. liệu rất phong phú, bao gi các dỡ liệu văn bản, hình ảnh, âm thanh, các dit liệu thời gian, không gian. Những nguồn đữ liệu tạo điều kiện thuận lợicho. những nghiên cứu về trích chọn thông tin.

Bên cạnh đó, dữ liệu hiện nay không đơn Ithuầnlà tin tức, nỗ còn bao gồm thông tin cá nhân (cảm xúc, ý kiến). Từ những đữ liệu mới này, trích chọn thông tin có thể thu hồi những. thông tin mới phục vụ cho quả trình tích hợp thông tin. Tuy nhiên, bên cạnh những thuận lợi, sự bùng nỗ về dữ liệu tạo ra những thách thức không nhỗ trong lĩnh vực trích chọn thông tin.

Đầu tiên, với sự ra đời của các dỡ liệu mới đồi hỏi cần phải cô những kỹ thuật phù hợp. Đôi khi trong một số trường hợp, trích chọn thông tin phải đương đầu với những dữ liệu phức tạp như hình ảnh, âm thanh, đữ liệu không gian, hoặc thời gian. Thứ hai, sự đang đạng về nguồn dữ liệu đòi hỏi quá trình tích hợp dữ liệu phức tạp. Điều này xuất phát đo mục đích của trích chọn thông tin là lấy ra một lượng.

nhỏ thông tin có ÿ nghĩa, do đó, sau quá trình trích chọn, dữ liệu cin được tống hợp từ nhiều nguồn khác nhau để cuối cùng đưa ra đữ liệu có ý nghĩa với. người đùng. Cuối cùng, bài toán về tốc độ xử lý và tính toán cần được giải quyết. Với sự bùng nỗ về số lượng và phức tạp về nội đung yêu cầu các phương pháp trích chọn thông tin phãi có thời gian xử lý hợp lý: "Như đã đề cập ở trên, chúng ta có thể thấy rõ tầm ảnh hưởng của đữ liệu.

lớn (Big Data) tới quá trình thu hỏi thông tin của con người và vai trò của trích chọn thông tin trong bối cảnh thông tin bùng nỗ và gây khô khăn cho người đùng trong quá trình tiếp cận tri thức. Tông quan về trích chọn sự kiện 'Với vai trò trích chọn ra các thông tin có ý nghĩa từ tập lớn các dữ liệu, trích chọn sự kiện được cộng đồng khoa học rất quan tâm và đầu tư nghiên. Năm 1987, Message Understanding Conferences (MUC) (J2: /áwww- nipir. gov/related_projects/muc) được tô chức với sự hỗ trợ của Quỹ nghiên cứu Bộ quốc phòng Hoa Ky (http: en.wikipedia org/wik/DARPA) va lần đầu tiên khái niệm sự kiện event được đề cập.

Sau đó, rất nhiều hội nghị được tổ chức tạo thành đấy hội nghị MỤC. Với mỗi hội nghị, thông tin được quan tâm khác nhau nhưng đều có đặc điểm chung là chúng được trích xuất từ 16 dữ liệu nói về khủng hoäng (crisis). Các chủ đề trong dữ liệu thường là tội phạm, khủng bổ, đánh bom. Một trong những đồng góp lớn của MUC là đưa ra việc trích xuất thông tin đựa trên mẫu (scenario template).

Các mẫu được 'ban tổ chức quy định và các đội tham gia cần điền thông tin vào các mẫu này một cách tự động. Cuối cùng, các sự kiện được trích chọn gồm các thông tin: tổ chức, đối tượng tham gia (người, sự vật, sự việc), thời gian, địa điểm, số lượng.Độ chính xác (precision) va hồi tưởng (recal) của các nghiên cứu tham dự MUC nam trong khoảng 50% đến 602 [19] Chương trình Phat hién và đeo đối chủ đề (Topic Detection and Tracking, TDT) (http://projects.upennedwIDT/) được tỗ chức từ năm 1997 thu hút nhiều nhóm nghiên cứu từ các trường đại học tham gia. Chương trình này được phối hợp tổ chức bởi Viện Công nghệ và Chuẩn hoá quốc gia. Hoa Kj (NIST) va DAPRA nham gidi quyết bài toán phát hiện, theo đối, và xâu chuỗi sự kiện.