Luận văn thạc sĩ: Nghiên cứu phương pháp trích xuất thông tin thời tiết từ văn bản tiếng Việt

Luận văn thạc sĩ nghiên cứu phương pháp trích chọn thông tin thời tiết từ văn bản tiếng Việt, cung cấp giải pháp hiệu quả cho việc xử lý dữ liệu.

• Tác giả: Vũ Thị Lý
• Người hướng dẫn: PGS. Nguyễn Trí Thành
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Phương Pháp Trích Xuất Thông Tin Thời Tiết Từ Văn Bản Tiếng Việt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu đề tài
• 1.2. Ý nghĩa khoa học
• 1.3. Ý nghĩa thực tiễn
• 1.4. Ứng dụng của đề tài
• 2. CHƯƠNG 2: BÀI TOÁN TRÍCH CHỌN THÔNG TIN THỜI TIẾT TRONG VĂN BẢN TIẾNG VIỆT
• 2.1. Mô tả bài toán và ý tưởng giải quyết
• 2.2. Xây dựng mô hình của hệ thống
• 2.3. Thu thập dữ liệu
• 2.4. Tiền xử lý và gán nhãn dữ liệu
• 2.5. Lựa chọn và trích chọn đặc trưng
• 2.6. Trích chọn đặc trưng và xây dựng mô hình
• 3. CHƯƠNG 3: MỘT SỐ PHƯƠNG PHÁP TIẾP CẬN GIẢI QUYẾT BÀI TOÁN TRÍCH CHỌN THÔNG TIN TRONG VĂN BẢN
• 3.1. Một số nghiên cứu về trích chọn thông tin từ các trang tin
• 3.2. Phương pháp trích chọn thông tin dựa biểu thức chính quy
• 3.3. Trích chọn thông tin dựa vào mô hình tuần tự
• 3.3.1. Mô hình Markov ẩn
• 3.3.2. Mô hình Maximum Entropy Markov
• 3.3.3. Trường ngẫu nhiên có điều kiện
• 3.4. Tóm tắt chương 2
• 4. CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Kết quả thực nghiệm
• 4.2. Thu thập dữ liệu
• 4.3. Tiền xử lý dữ liệu
• 4.4. Lựa chọn và trích chọn đặc trưng
• 4.5. Mô hình và kết quả với tập dữ liệu kiểm thử
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu đề tài

Thông tin thời tiết là một phần thiết yếu trong cuộc sống hàng ngày. Việc trích xuất thông tin từ các văn bản tiếng Việt giúp người dân có thể tiếp cận thông tin một cách nhanh chóng và chính xác. Luận văn này tập trung vào việc phát triển một hệ thống trích xuất thông tin thời tiết từ các nguồn dữ liệu có sẵn. Mục tiêu là xây dựng một mô hình có khả năng xử lý và phân tích dữ liệu thời tiết, từ đó cung cấp thông tin kịp thời cho người dùng. Hệ thống sẽ giúp giảm thiểu thời gian tìm kiếm thông tin và nâng cao hiệu quả trong việc tiếp cận dữ liệu thời tiết. Việc nghiên cứu phương pháp trích xuất này không chỉ có ý nghĩa khoa học mà còn mang lại giá trị thực tiễn cao cho cộng đồng.

1.1 Ý nghĩa khoa học

Việc trích xuất thông tin thời tiết có ý nghĩa lớn về mặt khoa học. Các thông tin được chọn lọc có thể được sử dụng để thống kê và lưu trữ, tạo cơ sở cho các nghiên cứu sau này. Việc lưu trữ thông tin thời tiết giúp giảm thiểu kích thước bản tin cần lưu trữ, đồng thời cho phép truy vấn thông tin một cách nhanh chóng. Điều này hỗ trợ các nhà quản lý trong việc đưa ra quyết định và xây dựng các biện pháp phòng tránh thiên tai hiệu quả.

1.2 Ý nghĩa thực tiễn

Thông tin thời tiết hiện nay rất đa dạng và miễn phí trên các trang tin tức tiếng Việt. Hệ thống trích xuất thông tin sẽ giúp người dân dễ dàng tiếp cận thông tin thời tiết mà họ quan tâm. Thay vì phải tìm kiếm thông tin trên nhiều trang khác nhau, người dùng có thể nhận được thông tin một cách tập trung và cụ thể. Điều này không chỉ tiết kiệm thời gian mà còn nâng cao khả năng ứng dụng thông tin trong cuộc sống hàng ngày.

1.3 Ứng dụng của đề tài

Các thông tin thời tiết được trích xuất có thể được cung cấp cho người dân và các tổ chức một cách kịp thời. Hệ thống có thể cho phép người dùng đăng ký nhận thông tin theo khu vực hoặc loại bản tin cụ thể. Ngoài ra, thông tin này cũng có thể được sử dụng để xây dựng các mô hình dự báo thời tiết, giúp người dùng có cái nhìn tổng quan và chi tiết hơn về tình hình thời tiết.

II. Bài toán trích chọn thông tin thời tiết trong văn bản tiếng Việt

Bài toán trích chọn thông tin thời tiết từ văn bản tiếng Việt bao gồm nhiều bước quan trọng. Đầu tiên, cần thu thập dữ liệu từ các trang tin tức. Sau đó, dữ liệu sẽ được xử lý để tăng hiệu suất của hệ thống. Việc xây dựng mô hình trích chọn thông tin sẽ được thực hiện theo mô hình CRF, một trong những mô hình hiệu quả nhất trong lĩnh vực này. Các bước tiền xử lý dữ liệu cũng rất quan trọng, bao gồm việc làm sạch dữ liệu và gán nhãn. Mỗi bước đều có vai trò quan trọng trong việc đảm bảo chất lượng và độ chính xác của thông tin được trích xuất.

2.1 Mô tả bài toán và ý tưởng giải quyết

Bài toán trích chọn thông tin thời tiết bao gồm các bước như thu thập dữ liệu, xử lý dữ liệu, xây dựng mô hình và kiểm nghiệm. Việc thu thập dữ liệu có thể thực hiện thông qua các công cụ hỗ trợ, giúp người dùng dễ dàng loại bỏ thông tin không cần thiết. Sau khi thu thập, dữ liệu sẽ được làm sạch và chuẩn hóa để đảm bảo tính nhất quán. Mô hình CRF sẽ được áp dụng để trích xuất thông tin một cách hiệu quả, từ đó cung cấp kết quả chính xác cho người dùng.

2.2 Xây dựng mô hình của hệ thống

Mô hình hệ thống sẽ được xây dựng dựa trên các thông tin thu thập được từ các trang tin tức. Việc xây dựng mô hình bao gồm việc xác định các thuộc tính cần thiết và cách thức trích chọn thông tin. Mô hình CRF sẽ được sử dụng để tối ưu hóa quá trình trích xuất thông tin. Các bước tiền xử lý dữ liệu cũng sẽ được thực hiện để đảm bảo rằng dữ liệu đầu vào là chính xác và đầy đủ, từ đó nâng cao hiệu suất của hệ thống.

III. Một số phương pháp tiếp cận giải quyết bài toán trích chọn thông tin

Trong nghiên cứu này, nhiều phương pháp khác nhau đã được xem xét để giải quyết bài toán trích chọn thông tin. Các phương pháp này bao gồm việc sử dụng biểu thức chính quy, mô hình Markov ẩn, và mô hình Maximum Entropy Markov. Mỗi phương pháp đều có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp sẽ phụ thuộc vào tính chất của dữ liệu và yêu cầu của bài toán. Việc áp dụng các phương pháp này sẽ giúp cải thiện độ chính xác và hiệu suất của hệ thống.

3.1 Phương pháp trích chọn thông tin dựa biểu thức chính quy

Phương pháp sử dụng biểu thức chính quy là một trong những cách đơn giản và hiệu quả để trích chọn thông tin. Phương pháp này cho phép người dùng định nghĩa các mẫu cụ thể để tìm kiếm thông tin trong văn bản. Tuy nhiên, phương pháp này có thể gặp khó khăn khi xử lý các văn bản phức tạp hoặc không đồng nhất. Do đó, cần kết hợp với các phương pháp khác để đạt được kết quả tốt nhất.

3.2 Mô hình Markov ẩn

Mô hình Markov ẩn là một trong những phương pháp mạnh mẽ trong việc trích chọn thông tin. Mô hình này cho phép xác định xác suất của các trạng thái khác nhau trong quá trình trích xuất thông tin. Việc áp dụng mô hình này giúp cải thiện độ chính xác của kết quả, đặc biệt trong các trường hợp dữ liệu có tính chất ngẫu nhiên cao. Tuy nhiên, việc xây dựng mô hình này đòi hỏi nhiều dữ liệu và thời gian tính toán.

Nội dung chính

Tổng quan nghiên cứu

Thông tin dự báo thời tiết đóng vai trò thiết yếu trong đời sống và sản xuất của người dân cũng như các tổ chức. Theo ước tính, hàng ngày có hàng nghìn bản tin thời tiết được cập nhật trên các trang tin tiếng Việt với nhiều dạng trình bày khác nhau như có cấu trúc, bán cấu trúc và phi cấu trúc. Tuy nhiên, việc khai thác và trích chọn thông tin thời tiết từ các văn bản này gặp nhiều khó khăn do dữ liệu không đồng bộ, thiếu nhất quán và có thể bị lỗi đánh máy. Mục tiêu của luận văn là xây dựng một hệ thống bán tự động trích chọn thông tin thời tiết từ các văn bản tiếng Việt, nhằm cung cấp dữ liệu chính xác, kịp thời và có cấu trúc cho các ứng dụng dự báo và quản lý khí tượng thủy văn. Phạm vi nghiên cứu tập trung vào các bản tin thời tiết tiếng Việt thu thập từ trang thông tin của Trung tâm Dự báo Khí tượng Thủy văn Trung ương trong năm 2015. Việc trích chọn thông tin thời tiết không chỉ giúp giảm kích thước dữ liệu lưu trữ mà còn nâng cao hiệu quả truy vấn, thống kê và hỗ trợ các nhà quản lý trong việc xây dựng các biện pháp phòng tránh thiên tai. Ngoài ra, hệ thống còn có thể cung cấp thông tin tập trung, nhanh chóng cho người dùng cá nhân và các tổ chức có nhu cầu theo dõi thời tiết theo khu vực cụ thể.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình xử lý ngôn ngữ tự nhiên và học máy, tập trung vào bài toán trích chọn thông tin (Information Extraction - IE) từ văn bản phi cấu trúc và bán cấu trúc. Các khái niệm chính bao gồm:

• Trích chọn thông tin (IE): Quá trình tự động nhận dạng và trích xuất các thực thể, thuộc tính từ văn bản không có cấu trúc hoặc bán cấu trúc.
• Nhận dạng thực thể tên (Named Entity Recognition - NER): Phân loại các từ hoặc cụm từ trong văn bản thành các loại thực thể như địa điểm, hiện tượng thời tiết, thời gian, số liệu đo lường.
• Mô hình chuỗi tuần tự: Bao gồm các mô hình Markov ẩn (HMM), mô hình Markov cực đại entropy (MEMM), và trường ngẫu nhiên có điều kiện (CRF), được sử dụng để gán nhãn chuỗi từ trong văn bản.
• Biểu thức chính quy (Regular Expressions): Phương pháp dựa trên mẫu để trích chọn các thực thể có đặc trưng định dạng rõ ràng như nhiệt độ, lượng mưa.

Mô hình CRF được lựa chọn làm nền tảng chính do khả năng học các đặc trưng phức tạp, xử lý ngữ cảnh tốt hơn so với các mô hình truyền thống như HMM hay MEMM. CRF cho phép mô hình hóa xác suất có điều kiện của chuỗi nhãn dựa trên chuỗi quan sát, đồng thời giảm thiểu vấn đề nhãn mờ thường gặp ở MEMM.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ trang web của Trung tâm Dự báo Khí tượng Thủy văn Trung ương, bao gồm các bản tin thời tiết tiếng Việt dưới dạng văn bản và bảng biểu. Tổng số mẫu dữ liệu thu thập khoảng vài nghìn bản tin trong năm 2015. Quá trình nghiên cứu gồm các bước:

1. Thu thập dữ liệu: Sử dụng công cụ thu thập dữ liệu tự động, loại bỏ các phần không liên quan như hình ảnh, thẻ HTML, và các bản tin tiếng Anh.
2. Tiền xử lý dữ liệu: Làm sạch dữ liệu, loại bỏ dữ liệu trùng lặp, xử lý dữ liệu thiếu và không đồng nhất. Tách từ và gán nhãn từ loại, nhãn đối tượng bằng phương pháp thủ công có hỗ trợ công cụ.
3. Lựa chọn đặc trưng: Xây dựng tập đặc trưng dựa trên từ loại, vị trí từ trong câu, các mẫu biểu thức chính quy, và các đặc trưng kết hợp theo mẫu của thư viện CRFSharp.
4. Xây dựng mô hình: Sử dụng thư viện CRFSharp để huấn luyện mô hình CRF chuỗi tuyến tính với tập dữ liệu đã gán nhãn.
5. Đánh giá mô hình: Kiểm thử trên tập dữ liệu kiểm thử, so sánh kết quả với các phương pháp biểu thức chính quy và các mô hình chuỗi khác.

Cỡ mẫu huấn luyện và kiểm thử được lựa chọn đảm bảo tính đại diện và độ tin cậy, với tỷ lệ phân chia khoảng 80% dữ liệu dùng huấn luyện và 20% dùng kiểm thử. Phương pháp chọn mẫu là chọn ngẫu nhiên có kiểm soát để đảm bảo đa dạng về loại bản tin và thực thể.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả trích chọn thông tin: Mô hình CRF đạt độ chính xác trung bình trên 85% trong việc nhận dạng các thực thể thời tiết như nhiệt độ, lượng mưa, địa điểm và hiện tượng thời tiết, vượt trội hơn so với phương pháp biểu thức chính quy chỉ đạt khoảng 70%.
2. Khả năng xử lý dữ liệu phi cấu trúc: Mô hình CRF thể hiện ưu thế rõ rệt trong việc xử lý các bản tin phi cấu trúc và bán cấu trúc, với tỷ lệ nhận dạng chính xác các thực thể phức tạp tăng khoảng 15% so với HMM và MEMM.
3. Tác động của tiền xử lý dữ liệu: Việc làm sạch và gán nhãn dữ liệu chính xác giúp tăng hiệu suất mô hình lên khoảng 10% so với dữ liệu chưa qua xử lý kỹ lưỡng.
4. Khả năng mở rộng và thích nghi: Mô hình CRF cho phép tích hợp các đặc trưng mới dễ dàng, giúp hệ thống thích nghi tốt với các mẫu dữ liệu mới phát sinh trên các trang tin khác nhau.

Thảo luận kết quả

Kết quả cho thấy mô hình CRF là lựa chọn phù hợp cho bài toán trích chọn thông tin thời tiết từ văn bản tiếng Việt do khả năng học các đặc trưng ngữ cảnh và xử lý chuỗi nhãn hiệu quả. So với phương pháp biểu thức chính quy, CRF giảm thiểu được các lỗi do mẫu dữ liệu không đồng nhất và các biến thể trong cách trình bày thông tin. Kết quả này phù hợp với các nghiên cứu gần đây trong lĩnh vực xử lý ngôn ngữ tự nhiên và trích chọn thông tin. Việc tiền xử lý dữ liệu kỹ càng, đặc biệt là gán nhãn chính xác, đóng vai trò then chốt trong việc nâng cao hiệu quả mô hình. Các biểu đồ so sánh độ chính xác giữa các mô hình và các loại thực thể có thể minh họa rõ ràng sự vượt trội của CRF, đồng thời bảng thống kê chi tiết kết quả từng loại thực thể giúp đánh giá sâu hơn về điểm mạnh và hạn chế của từng phương pháp.

Đề xuất và khuyến nghị

1. Phát triển hệ thống tự động hóa tiền xử lý: Áp dụng các kỹ thuật xử lý ngôn ngữ tự nhiên nâng cao để tự động hóa bước tách từ và gán nhãn, giảm thiểu sự can thiệp thủ công, nâng cao tốc độ xử lý và độ chính xác. Thời gian thực hiện dự kiến trong 12 tháng, do nhóm phát triển công nghệ thông tin thực hiện.
2. Mở rộng tập dữ liệu huấn luyện: Thu thập thêm dữ liệu từ nhiều nguồn tin tức khác nhau để tăng tính đa dạng và khả năng tổng quát của mô hình, hướng tới nâng cao độ chính xác trên 90%. Kế hoạch thực hiện trong 18 tháng, phối hợp với các trung tâm dự báo khí tượng.
3. Tích hợp hệ thống vào các ứng dụng dự báo thời tiết: Cung cấp API cho các tổ chức dự báo và ứng dụng di động để cập nhật thông tin thời tiết nhanh chóng, chính xác theo khu vực người dùng quan tâm. Thời gian triển khai dự kiến 6 tháng, do nhóm phát triển phần mềm thực hiện.
4. Nâng cao khả năng xử lý đa ngôn ngữ: Nghiên cứu mở rộng mô hình cho các bản tin thời tiết tiếng Anh và các ngôn ngữ khác, phục vụ nhu cầu đa dạng của người dùng và các tổ chức quốc tế. Kế hoạch dài hạn 24 tháng, phối hợp với các chuyên gia ngôn ngữ và học máy.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Hệ thống Thông tin: Có thể áp dụng các phương pháp và mô hình trong luận văn để phát triển các hệ thống trích chọn thông tin từ văn bản phi cấu trúc.
2. Các cơ quan dự báo khí tượng thủy văn: Sử dụng kết quả nghiên cứu để cải thiện quy trình thu thập và xử lý dữ liệu thời tiết, nâng cao chất lượng dự báo và cảnh báo thiên tai.
3. Doanh nghiệp phát triển ứng dụng di động và web: Tận dụng mô hình trích chọn thông tin để cung cấp dịch vụ cập nhật thời tiết cá nhân hóa, tăng trải nghiệm người dùng.
4. Các tổ chức quản lý thiên tai và môi trường: Áp dụng dữ liệu trích chọn được để phân tích, thống kê và xây dựng các chiến lược phòng chống thiên tai hiệu quả hơn.

Câu hỏi thường gặp

1. Phương pháp trích chọn thông tin thời tiết nào được sử dụng trong luận văn?
   Luận văn sử dụng mô hình Trường ngẫu nhiên có điều kiện (CRF) chuỗi tuyến tính để gán nhãn và trích chọn các thực thể thời tiết từ văn bản tiếng Việt, kết hợp với tiền xử lý dữ liệu và biểu thức chính quy hỗ trợ.

2. Tại sao mô hình CRF được ưu tiên hơn các mô hình khác như HMM hay MEMM?
   CRF cho phép học các đặc trưng phức tạp và xử lý ngữ cảnh tốt hơn, giảm thiểu vấn đề nhãn mờ và giả định độc lập có điều kiện khắt khe của HMM, từ đó nâng cao độ chính xác trích chọn thông tin.

3. Dữ liệu nghiên cứu được thu thập từ đâu và có quy mô như thế nào?
   Dữ liệu được thu thập từ trang web của Trung tâm Dự báo Khí tượng Thủy văn Trung ương, với vài nghìn bản tin thời tiết tiếng Việt trong năm 2015, bao gồm các dạng văn bản có cấu trúc, bán cấu trúc và phi cấu trúc.

4. Làm thế nào để xử lý dữ liệu thiếu hoặc không đồng nhất trong bản tin thời tiết?
   Luận văn áp dụng các kỹ thuật làm sạch dữ liệu như loại bỏ dữ liệu trùng lặp, bỏ qua các giá trị thiếu ít xuất hiện, và sử dụng các quy tắc điền giá trị dựa trên kinh nghiệm hoặc dữ liệu hỗ trợ để đảm bảo tính nhất quán.

5. Ứng dụng thực tiễn của hệ thống trích chọn thông tin thời tiết này là gì?
   Hệ thống giúp cung cấp thông tin thời tiết chính xác, kịp thời cho người dân và các tổ chức, hỗ trợ các ứng dụng dự báo, cảnh báo thiên tai, và có thể tích hợp vào các dịch vụ tin nhắn hoặc ứng dụng di động cá nhân hóa.

Kết luận

• Luận văn đã xây dựng thành công hệ thống bán tự động trích chọn thông tin thời tiết từ văn bản tiếng Việt với độ chính xác trên 85% nhờ ứng dụng mô hình CRF chuỗi tuyến tính.
• Việc tiền xử lý dữ liệu và gán nhãn chính xác đóng vai trò quan trọng trong nâng cao hiệu quả mô hình.
• Kết quả nghiên cứu góp phần giảm thiểu kích thước dữ liệu lưu trữ, tăng tốc độ truy vấn và hỗ trợ các ứng dụng dự báo thời tiết và quản lý thiên tai.
• Đề xuất mở rộng hệ thống tự động hóa tiền xử lý, tăng cường dữ liệu huấn luyện và tích hợp vào các ứng dụng thực tế trong thời gian tới.
• Khuyến khích các nhà nghiên cứu và tổ chức liên quan áp dụng và phát triển tiếp các phương pháp trích chọn thông tin dựa trên nền tảng này để nâng cao hiệu quả khai thác dữ liệu thời tiết.

Hành động tiếp theo là triển khai các giải pháp đề xuất nhằm hoàn thiện hệ thống và mở rộng phạm vi ứng dụng, đồng thời chia sẻ kết quả nghiên cứu để thúc đẩy phát triển khoa học công nghệ trong lĩnh vực xử lý ngôn ngữ tự nhiên và dự báo khí tượng thủy văn.

Trích đoạn nội dung tài liệu

Chương 1: GIỚI THIỆU ĐỀ TÀI 1. Giới thiệu đề tài Thông tin dự báo thời tiết là thông tin quan trọng cần được cập nhật hàng ngày cho mọi người.Nó ảnh hưởng rất lớn tới cuộc sống và sinh hoạt của người dân, cơ quan và các tổ chức.Việc dự báo thông tin gần đúng, kịp thời có vai trò vô cùng cần thiết quan trọng. Đối với cuộc sống hàng ngày, thông tin thời tiết giúp người dân có các chuẩn bị cần thiết trong đi lại. Đối với các ngành phụ thuộc vào thời tiết như đánh bắt thủy hải sản, nông nghiệp thì thông tin thời tiết giúp họ có chuẩn bị phù hợp trong quá trình sản xuất.

Do mức độ quan trọng của thông tin thời tiết, việc nghiên cứu phương pháp để trích chọn thông tin thời tiết, từ các văn bản, trang tin tức hàng ngày giúp ích cho rất nhiều người. Phạm vi của luận văn là nghiên cứu phương pháp trích chọn thông tin thời tiết từ các văn bản, trang tin tức tiếng Việt. Các thông tin thời tiết hiện nay có sẵn ở rất nhiều trang tin tức tiếng Việt, và được trình bày với nhiều dạng khác nhau [4]. Thông tin thời tiết có thể ở dạng có cấu trúc (bảng thông tin về lượng mưa, hoặc nhiệt độ ở các vùng miền trong cùng một thời điểm – Hình 1: Mẫu thông tin có cấu trúc), hoặc phi cấu trúc (như dạng bản tin tóm tắt, hoặc chi tiết thông tin thời tiết của một vùng miền tại một thời điểm – Hình 3: Mẫu thông tin phi cấu trúc), hoặc có thể ở dạng bán cấu trúc (danh sách các thông tin thời tiết chung chung, gồm cả nhiệt độ, độ ẩm, tình trạng nắng mưa của một số vùng miền – Hình 2: Mẫu thông tin bán cấu trúc).

Ngoài ra, thông tin thời tiết còn có thể được cung cấp không đầy đủ (một số thông tin không có), hoặc không đồng bộ (các đơn vị đo có thể khác nhau). Do đó, nhiệm vụ trích chọn thông tin khá phức tạp khi sự hoán đổi của các thuộc tính và lỗi đánh máy xảy ra trong quá trình đưa tin lên các trang tin. 1 z Hình 1: Mẫu thông tin có cấu trúc Hình 2: Mẫu thông tin bán cấu trúc 2 z Hình 3: Mẫu thông tin phi cấu trúc Mục tiêu của luận văn là xây dựng một hệ thống bán tự động, nhằm lấy thông tin từ các trang bản tin, và sau đó đưa vào hệ thống xử lý dữ liệu đầu vào, và xây dựng mô hình để trích chọn các thông tin thời tiết. Từ mô hình đó, các bản tin có thể được đưa vào và hệ thống sẽ cho ra kết quả liệt kê các đối tượng thời tiết mà chúng ta quan tâm.

Ý nghĩa khoa học Việc trích chọn thông tin thời tiết có ý nghĩa lớn về mặt khoa học.Từ các thông tin thời tiết được chọn lọc bởi mô hình, chúng có thể được dùng để thống kê và lưu trữ lại làm cơ sở tham khảo về sau.Việc lưu trữ thông tin thời tiết và các thông tin liên quan (thời gian xảy ra, địa điểm xảy ra các hiện tượng thời tiết), có ích cho việc đánh giá và đưa ra con số để xem xét thực tế. Ngoài ra, việc lưu trữ các thông tin thời tiết thay vì văn bản giúp chúng ta giảm thiểu kích thước bản tin cần được lưu trữ. Các thông tin đó có thể được thể hiện hoặc lưu trữ theo đối tượng, và do đó việc lưu trữ là dễ dàng và có thể truy cập lại một cách nhanh chóng theo các tiêu chí khác nhau. Các thông tin sau khi được trích chọn có thể lưu trữ theo dạng đối tượng, với các thuộc tính khác nhau (đối tượng thông tin lượng mưa có thể gồm địa điểm, thời điểm, số đo lượng mưa, đơn vị đo) và được lưu trữ dạng cơ sở dữ liệu rất dễ dàng.

Khi được lưu trữ ở dạng phù hợp, việc truy vấn thông tin để thống kê hoặc báo cáo cũng rất nhanh chóng và tiện lợi. Từ đó giúp các nhà quản lý và hoạch định có cái nhìn tổng quan và xây dựng biện pháp phòng tránh các thiên tai một cách hiệu quả. Việc rút ngắn bản tin cũng giúp cho tin nhắn được truyền đi hoặc thông báo vô cùng tiện lợi. Với kích thước bản tin đầy đủ, người dùng có thể phải mất thời gian để chọn lọc các thông tin cần thiết, và khó sử dụng khi nhắn tin khi mà điện thoại di động được 3 z sử dụng rất phổ biến như hiện tại.

Các bản tin ngắn giúp các tổ chức gửi thông tin dễ dàng và nhanh chóng hơn. Ý nghĩa thực tiễn Các thông tin thời tiết hiện nay được cung cấp miễn phí và rất đa dạng ở các trang tin tức tiếng việt.Mọi người có thể bắt gặp các thông tin thời tiết được cập nhật ở một góc nhỏ, do đó nguồn thông tin cho bài toán này là miễn phí và có sẵn. Hình 4: Ví dụ thông tin thời tiết trên trang tin tức Với kết quả của hệ thống, thông tin thời tiết có thể được cập nhật nhanh chóng hơn, tiện lợi hơn cho những người có nhu cầu. Thay vì vào các trang tin và tìm sâu hơn khi chúng ta quan tâm, hệ thống có thể cung cấp cho người dùng các thông tin cần thiết một cách tập trung và cụ thể.

Ứng dụng của đề tài Từ các thông tin thời tiết được trích chọn, chúng có thể được cung cấp cho người dân và những người quan tâm một cách kịp thời.Người dân có thể đăng ký nhận tin nhắn thời tiết mà họ quan tâm.Ví dụ, khi sinh sống ở khu vực nào đó, họ có thể chỉ quan tâm tới tình hình thời tiết về nơi mà họ sinh sống, hoặc các loại bản tin cảnh báo đặc biệt. Hệ thống xây dựng trên các thông tin được trích chọn có thể thực hiện việc lọc tin theo từng loại thuộc tính để cung cấp cho người dùng một cách tự động và ngay khi có tin tức mà họ cần biết. Đối với các hệ thống dự báo thời tiết, các thông tin được trích chọn sẽ làm cơ sở để họ xây dựng thêm, ví dụ như mô hình hóa các thông tin lên bản đồ một cách trực quan, sinh động.Các thông tin thời tiết cung cấp cho hệ thống thông tin địa lý (GIS) sẽ giúp cho người dùng có cái nhìn tổng quan rất sinh động, và chi tiết. 4 z Chương 2: BÀI TOÁN TRÍCH CHỌN THÔNG TIN THỜI TIẾT TRONG VĂN BẢN TIẾNG VIỆT 2.

Mô tả bài toán và ý tưởng giải quyết Bài toán trích chọn thông tin thời tiết cũng như nhiều bài toán trích chọn thông tin khác, gồm các bước chính: thu thập dữ liệu từ các trang tin, xử lý dữ liệu để tăng hiệu suất của hệ thống trích chọn thông tin, xây dựng mô hình để trích chọn thông tin một cách bán tự động, và cuối cùng là kiểm nghiệm và đánh giá mô hình. Phần trích chọn đặc trưng và xây dựng mô hình trong luận văn này sẽ được thực hiện theo mô hình CRF. Chương 3 sẽ đi giới thiệu các cách tiếp cận trong bài toán trích chọn thông tin và lý do tại sao hệ thống tiến hành thực nghiệm trên mô hình này, do những ưu điểm về mặt cơ sở lý thuyết so với các mô hình còn lại. Mặc dù với thông tin dữ liệu cụ thể trong bài toán này có thể đạt được bằng một trong các cách còn lại, nhưng về mặt tổng quan thì sẽ cần phải kiểm nghiệm một cách rộng rãi hơn trước khi quyết định áp dụng và ứng dụng kết quả trong ứng dụng thực tế.

Bước thu thập dữ liệu từ các trang tin được thực hiện bởi các công cụ đã rất tiện lợi và chia sẻ rộng rãi ngày nay [4, 23]. Việc thu thập thông tin được tiến hành với sự hỗ trợ của nguồn mở và cần người dùng can thiệp để loại bỏ các thông tin hoặc các trang tin không liên quan, không cần thiết. Sau đó, nguồn thông tin phải được xử lý làm sạch, với đầy đủ các bước của tiền xử lý dữ liệu trong khai phá dữ liệu, gồm làm sạch dữ liệu Bảng 1: Mẫu dữ liệu thông tin trên website I.BẢNG 1: SỐ LIỆU MỰC NƯỚC VÀ LƯU LƯỢNG TRÊN CÁC SÔNG CHÍNH Ở TRUNG, NAM BỘ VÀ TÂY NGUYÊN Sông Trạm Yếu tố đo Thực đo So sánh Dự So sánh với tuần TBNN báo TBNN Mã Lý Nhân H 245 <145cm 255 <140cm Cả Yên Thượng Q 45.2 <69% 55 <67% Tả Thượng Nhật Q 2.5 <47% Trạch Thu Bồn Nông Sơn Q 145 >93% 130 >75% Trà Trà Khúc H 93 <60cm 90 <66cm Khúc Kôn Bình Tường Q Ba Củng Sơn Q 47.T Đồng Trăng Q 4.7 <46% 19 <47% Srêpôk Bản Đôn Q 59 <25% 63 <28% Tiền Tân Châu Hmax 133 >21cm 125 >31cm 5 z Hmin -3 >6cm -5 <2cm Hậu Châu Đốc Hmax 146 >54cm 135 >38cm Hmin -6 >10cm -12 >2cm Ghi Yếu tố đo: H: mực nước (cm), Q: Lưu lượng ( m3/s) chú: Hmax: mực nước cao nhất tuần Hmin: mực nước thấp nhất tuần Dữ liệu được thu thập không hoàn chỉnh (ví dụ trong bảng 1, dữ liệu cho sông Kôn bị thiếu), nhiễu (có lỗi, hoặc các giá trị ngoại lai mà không như mong đợi), và không thống nhất (ví dụ: giá trị cột so sánh có 2 loại đơn vị khác nhau, và chỉ số cho cùng loại đơn vị đó cũng khác nhau). Dữ liệu không hoàn chỉnh, nhiễu, và không thống nhất là các thuộc tính phổ biến của các cơ sở dữ liệu và kho dữ liệu lớn, và thực tế.

Dữ liệu không hoàn chỉnh có thể xảy ra vì một số lý do. Thuộc tính mà chúng ta quan tâm có thể không phải lúc nào cũng sẵn có, như thông tin về sông Kôn.Dữ liệu liên quan có thể không được ghi lại vì hiểu lầm, hoặc bởi vì lỗi của thiết bị. Các bộ dữ liệu trùng lặp cũng cần phải được làm sạch.Các thủ tục làm sạch dữ liệu thực hiện việc làm sạch bằng cách điền các giá trị thiếu, làm trơn dữ liệu nhiễu, nhận dạng và loại bỏ các giá trị ngoại lai, và giải quyết sự không thống nhất.Dữ liệu không sạch có thể gây nhầm lẫn cho quá trình khai phá.Mặc dù hầu hết các thủ tục khai phá dữ liệu có một vài bước để giải quyết với dữ liệu không hoàn chỉnh hoặc nhiễu, nhưng chúng không đủ mạnh.Vì vậy, một bước tiền xử lý dữ liệu hữu ích là để lọc dữ liệu qua các thủ tục làm sạch dữ liệu.