Luận văn thạc sĩ phương pháp học bán giám sát cho bài toán trích chọn thông tin và ứng dụng trích chọn thực thể tên máy ảnh số

Luận văn thạc sĩ nghiên cứu phương pháp học bán giám sát trong trích chọn thông tin và ứng dụng cho nhận diện thực thể tên máy ảnh số.

• Tác giả: Trương Thị Phương Thảo
• Người hướng dẫn: TS. Nguyễn Trí Thành
• Trường học: Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phương Pháp Học Bán Giám Sát Trong Trích Xuất Thông Tin Và Ứng Dụng Cho Máy Ảnh Số
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Mục đích và ý nghĩa của bài toán trích chọn thông tin
• 1.2. Các bài toán trích chọn thông tin cơ bản
• 1.3. Ứng dụng của thực thể tên trong xử lý ngôn ngữ tự nhiên
• 1.4. Mục tiêu luận văn
• 2. CHƯƠNG 2: HỆ THỐNG TRÍCH CHỌN THÔNG TIN
• 2.1. Xây dựng hệ thống trích chọn thông tin
• 2.2. Công nghệ tri thức
• 2.3. Huấn luyện tự động
• 3. CHƯƠNG 3: MÔ HÌNH HỌC BÁN GIÁM SÁT TRÍCH CHỌN THỰC THỂ VÀ ỨNG DỤNG
• 3.1. Mô tả bài toán
• 3.2. Mô hình giải quyết bài toán
• 3.3. Mô hình hệ thống
• 3.4. Pha tiền xử lí
• 3.5. Pha sinh các mẫu
• 3.6. Pha sinh các bộ quan hệ mới
• 3.7. Môi trường thực nghiệm
• 3.8. Dữ liệu thực nghiệm
• 3.9. Đánh giá hệ thống
• 4. CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Bài viết này tập trung vào việc áp dụng phương pháp học bán giám sát trong trích xuất thông tin từ các tài liệu không có cấu trúc, đặc biệt là trong lĩnh vực máy ảnh số. Với sự bùng nổ thông tin trên Internet, nhu cầu trích xuất thông tin chính xác và nhanh chóng ngày càng tăng. Trích xuất thông tin (Information Extraction - IE) là quá trình rút ra các thông tin có cấu trúc từ văn bản không có cấu trúc. Hệ thống IE có thể nhận diện các thực thể tên và mối quan hệ giữa chúng, từ đó cung cấp thông tin hữu ích cho người dùng. Việc áp dụng học bán giám sát cho phép cải thiện độ chính xác của hệ thống mà không cần một lượng lớn dữ liệu đã được gán nhãn.

II. Hệ thống trích chọn thông tin

Hệ thống trích chọn thông tin có thể được xây dựng dựa trên hai hướng tiếp cận chính: công nghệ tri thức và huấn luyện tự động. Trong hướng tiếp cận công nghệ tri thức, một kỹ sư tri thức sẽ thiết lập các quy tắc để trích xuất thông tin từ văn bản. Tuy nhiên, phương pháp này phụ thuộc nhiều vào kỹ năng và kinh nghiệm của người viết quy tắc. Ngược lại, hướng tiếp cận huấn luyện tự động không yêu cầu kiến thức chi tiết về quy tắc, mà chỉ cần một tập dữ liệu đã được chú thích. Điều này giúp hệ thống có thể tự động học hỏi và cải thiện qua thời gian. Việc áp dụng học bán giám sát trong hệ thống này cho phép tận dụng cả dữ liệu đã gán nhãn và chưa gán nhãn, từ đó nâng cao hiệu quả trích xuất.

III. Mô hình học bán giám sát

Mô hình học bán giám sát được áp dụng trong bài toán trích chọn thực thể tên, đặc biệt là tên máy ảnh số. Mô hình này bao gồm các bước như tiền xử lý dữ liệu, sinh mẫu và sinh bộ quan hệ mới. Trong quá trình tiền xử lý, dữ liệu được làm sạch và chuẩn hóa để đảm bảo tính chính xác. Bước sinh mẫu giúp tạo ra các mẫu dữ liệu từ các quan hệ đã biết, trong khi bước sinh bộ quan hệ mới cho phép mở rộng các quan hệ tiềm năng từ dữ liệu chưa gán nhãn. Kết quả của mô hình này không chỉ giúp nhận diện tên máy ảnh mà còn cung cấp thông tin về nhà sản xuất và các thông số kỹ thuật liên quan.

IV. Đánh giá và ứng dụng

Đánh giá hệ thống trích chọn thông tin được thực hiện thông qua các chỉ số như Precision, Recall và F1-score. Kết quả thực nghiệm cho thấy mô hình học bán giám sát có khả năng trích xuất thông tin với độ chính xác cao, đặc biệt trong việc nhận diện tên máy ảnh số. Ứng dụng của hệ thống này không chỉ giới hạn trong việc trích xuất thông tin từ web mà còn có thể mở rộng sang các lĩnh vực khác như phân tích dữ liệu, tìm kiếm thông tin và hỗ trợ quyết định. Việc áp dụng công nghệ máy học trong trích xuất thông tin sẽ mang lại nhiều lợi ích cho người dùng trong việc tìm kiếm và xử lý thông tin.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ thông tin trên Internet, việc khai thác và trích chọn thông tin có cấu trúc từ các văn bản không cấu trúc trở thành một thách thức lớn. Theo ước tính, hàng tỷ trang web chứa lượng dữ liệu khổng lồ, trong đó thông tin về các sản phẩm công nghệ như máy ảnh kỹ thuật số rất đa dạng và phân tán. Bài toán trích chọn thực thể tên, đặc biệt là trích chọn các cặp quan hệ như <tên máy ảnh, hãng sản xuất> có ý nghĩa quan trọng trong việc hỗ trợ người dùng cập nhật thông tin, giúp các nhà kinh doanh đưa ra chính sách phù hợp và nâng cao hiệu quả tìm kiếm thông tin. Mục tiêu nghiên cứu của luận văn là xây dựng một mô hình học bán giám sát để trích chọn thực thể tên máy ảnh kỹ thuật số từ các tài liệu web, với phạm vi dữ liệu thu thập từ các trang web chuyên về máy ảnh kỹ thuật số trong khoảng thời gian gần đây. Nghiên cứu không chỉ tập trung vào việc phát triển thuật toán mà còn đánh giá hiệu quả thực nghiệm trên tập dữ liệu thực tế gồm hơn 6.000 trang web. Kết quả nghiên cứu góp phần nâng cao độ chính xác và khả năng mở rộng của hệ thống trích chọn thông tin, đồng thời giảm thiểu chi phí gán nhãn dữ liệu thủ công, đáp ứng nhu cầu ngày càng cao về xử lý và khai thác dữ liệu lớn trong lĩnh vực công nghệ thông tin.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình trích chọn thông tin trong xử lý ngôn ngữ tự nhiên, bao gồm:

• Trích chọn thông tin (Information Extraction - IE): Quá trình tự động rút trích các thực thể và quan hệ có cấu trúc từ văn bản không cấu trúc, tập trung vào các thực thể tên (Named Entity - NE) và các quan hệ giữa chúng.
• Học máy có giám sát, không giám sát và bán giám sát: Ba phương pháp học máy được áp dụng trong trích chọn quan hệ, trong đó học bán giám sát kết hợp ưu điểm của hai phương pháp còn lại, sử dụng một tập nhỏ dữ liệu có gán nhãn cùng với một tập lớn dữ liệu chưa gán nhãn để cải thiện hiệu quả học.
• Mô hình DIPRE (Dual Iterative Pattern Relation Extraction): Thuật toán học bán giám sát dựa trên tính đối ngẫu giữa mẫu (pattern) và quan hệ (relation), cho phép sinh mẫu và mở rộng tập quan hệ qua các vòng lặp lặp lại.
• Mô hình Snowball: Phương pháp trích chọn quan hệ dựa trên sinh mẫu mềm dẻo và đánh giá chất lượng mẫu, kết hợp với nhận dạng thực thể tên (NER) để nâng cao độ chính xác.
• Khái niệm chính: Thực thể tên (Named Entity), quan hệ hạt giống (seed relation), mẫu trích chọn (extraction pattern), độ chính xác (Precision), độ hồi tưởng (Recall), và chỉ số F1.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp học bán giám sát dựa trên thuật toán DIPRE để trích chọn các cặp quan hệ <camera, producer> từ tập dữ liệu thu thập trên web. Cụ thể:

• Nguồn dữ liệu: Hai tập dữ liệu chính gồm tập 1200 (1263 trang web) dùng để kiểm thử và tập 5000 (4934 trang web) dùng để huấn luyện và sinh mẫu.
• Phương pháp chọn mẫu: Bắt đầu với tập quan hệ hạt giống gồm 5 cặp quan hệ ban đầu, hệ thống tìm kiếm các câu chứa đồng thời tên máy ảnh và hãng sản xuất, phân tích ngữ cảnh để sinh mẫu trích chọn.
• Phương pháp phân tích: Áp dụng các bước tiền xử lý như loại bỏ thẻ HTML, tách câu, chuẩn hóa từ ngữ, loại bỏ từ dừng, sau đó sinh mẫu dựa trên ngữ cảnh giữa các thực thể, làm giàu mẫu bằng từ đồng nghĩa từ WordNet, thẩm định mẫu qua kết quả tìm kiếm Google.
• Timeline nghiên cứu: Quá trình thực nghiệm được tiến hành trên máy tính cấu hình Intel Core 2 Dual T5870, 2GB RAM, sử dụng ngôn ngữ lập trình C# và các thư viện hỗ trợ WordNet và Google Search API. Các vòng lặp trích chọn được thực hiện liên tục cho đến khi số lượng quan hệ mới không còn tăng đáng kể.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình học bán giám sát: Qua 5 vòng lặp trích chọn trên tập 1200, hệ thống đạt được độ chính xác (Precision) trung bình khoảng 85%, độ hồi tưởng (Recall) khoảng 78%, và chỉ số F1 đạt gần 81%, cho thấy mô hình có khả năng trích chọn chính xác các cặp quan hệ <camera, producer> từ dữ liệu web.
2. Tăng trưởng số lượng mẫu và quan hệ: Từ 5 quan hệ hạt giống ban đầu, hệ thống sinh ra được hơn 10 mẫu trích chọn có độ tin cậy cao, từ đó mở rộng tập quan hệ lên khoảng 200 cặp quan hệ mới, tương đương mức tăng trưởng trên 3.900% so với ban đầu.
3. Ảnh hưởng của ngưỡng hỗ trợ (τ_sup): Khi ngưỡng τ_sup được đặt ở mức 2, hệ thống loại bỏ các mẫu yếu, giữ lại các mẫu có khả năng sinh ra nhiều quan hệ chính xác, giúp cải thiện độ chính xác tổng thể của hệ thống.
4. So sánh với các phương pháp khác: Mô hình học bán giám sát kết hợp DIPRE và Snowball cho kết quả tốt hơn so với học có giám sát thuần túy do giảm thiểu chi phí gán nhãn và tăng khả năng mở rộng, đồng thời vượt trội hơn học không giám sát về độ chính xác nhờ sử dụng tập quan hệ hạt giống.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình đạt hiệu quả cao là do tận dụng được tính đối ngẫu giữa mẫu và quan hệ trong thuật toán DIPRE, cho phép hệ thống tự động sinh mẫu mới và mở rộng tập quan hệ qua các vòng lặp. Việc sử dụng WordNet để làm giàu tập mẫu giúp tăng khả năng nhận diện các ngữ cảnh đa dạng, trong khi thẩm định mẫu qua Google Search API đảm bảo chỉ giữ lại các mẫu có tính phổ biến và độ tin cậy cao. So với các nghiên cứu trước đây, kết quả này khẳng định tính khả thi và hiệu quả của học bán giám sát trong trích chọn thực thể tên từ dữ liệu web đa dạng và không đồng nhất. Biểu đồ thể hiện sự tăng trưởng của số lượng mẫu và quan hệ qua các vòng lặp, cùng với bảng so sánh Precision, Recall và F1 qua từng vòng lặp, sẽ minh họa rõ nét quá trình cải thiện hiệu suất của hệ thống.

Đề xuất và khuyến nghị

1. Mở rộng tập quan hệ hạt giống: Đề xuất bổ sung thêm các cặp quan hệ hạt giống đa dạng hơn về hãng sản xuất và mẫu máy ảnh để tăng độ bao phủ và cải thiện khả năng sinh mẫu, dự kiến thực hiện trong 6 tháng tới bởi nhóm nghiên cứu.
2. Tích hợp kỹ thuật nhận dạng thực thể nâng cao: Áp dụng các mô hình NER hiện đại dựa trên học sâu để nâng cao độ chính xác nhận dạng tên máy ảnh và hãng sản xuất, giảm thiểu sai sót do biến thể ngôn ngữ, thực hiện trong vòng 1 năm với sự phối hợp của chuyên gia NLP.
3. Phát triển giao diện người dùng tương tác: Xây dựng công cụ trực quan cho phép người dùng đánh giá và hiệu chỉnh các mẫu trích chọn, giúp hệ thống học liên tục và thích ứng với các thay đổi trong ngôn ngữ và thị trường, dự kiến hoàn thành trong 9 tháng.
4. Mở rộng ứng dụng sang các lĩnh vực khác: Áp dụng mô hình học bán giám sát vào trích chọn thực thể tên trong các lĩnh vực như y tế, tài chính, thương mại điện tử để khai thác tri thức từ dữ liệu phi cấu trúc, với kế hoạch triển khai thử nghiệm trong 2 năm tới.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Hệ thống Thông tin: Có thể áp dụng mô hình và thuật toán học bán giám sát để phát triển các hệ thống trích chọn thông tin trong các đề tài nghiên cứu và luận văn.
2. Chuyên gia phát triển hệ thống tìm kiếm và hỏi đáp: Tận dụng kết quả nghiên cứu để cải thiện khả năng nhận dạng thực thể và trích chọn quan hệ, nâng cao chất lượng trả lời truy vấn phức tạp.
3. Doanh nghiệp kinh doanh sản phẩm công nghệ: Sử dụng hệ thống trích chọn để tự động cập nhật thông tin sản phẩm, phân tích thị trường và hỗ trợ quyết định kinh doanh dựa trên dữ liệu web.
4. Nhà phát triển phần mềm xử lý ngôn ngữ tự nhiên: Áp dụng các kỹ thuật học bán giám sát và mô hình DIPRE để xây dựng các công cụ trích chọn thông tin đa ngôn ngữ, đa lĩnh vực với chi phí thấp.

Câu hỏi thường gặp

1. Học bán giám sát khác gì so với học có giám sát và không giám sát?
   Học bán giám sát kết hợp dữ liệu có gán nhãn và chưa gán nhãn, tận dụng ưu điểm của cả hai phương pháp để giảm chi phí gán nhãn và tăng hiệu quả học, trong khi học có giám sát chỉ dùng dữ liệu có gán nhãn và học không giám sát chỉ dùng dữ liệu chưa gán nhãn.

2. Tại sao chọn thuật toán DIPRE cho bài toán trích chọn thực thể tên máy ảnh?
   DIPRE tận dụng tính đối ngẫu giữa mẫu và quan hệ, cho phép sinh mẫu và mở rộng quan hệ qua các vòng lặp, phù hợp với dữ liệu web đa dạng và không đồng nhất, giúp tăng độ chính xác và khả năng mở rộng.

3. Làm thế nào để đánh giá độ tin cậy của các mẫu trích chọn?
   Luận văn sử dụng kết quả tìm kiếm Google để thẩm định các mẫu, chỉ giữ lại mẫu xuất hiện phổ biến trong các kết quả tìm kiếm đầu tiên, đồng thời áp dụng ngưỡng hỗ trợ τ_sup để loại bỏ mẫu yếu.

4. Phạm vi áp dụng của mô hình này có giới hạn không?
   Mô hình được thiết kế cho dữ liệu tiếng Anh trên web về máy ảnh kỹ thuật số, tuy nhiên phương pháp học bán giám sát và thuật toán DIPRE có thể mở rộng sang các lĩnh vực và ngôn ngữ khác với điều chỉnh phù hợp.

5. Có thể áp dụng mô hình này cho dữ liệu tiếng Việt không?
   Về nguyên tắc có thể, nhưng cần điều chỉnh các bước tiền xử lý, tách câu, chuẩn hóa từ ngữ và xây dựng tập quan hệ hạt giống phù hợp với đặc thù ngôn ngữ tiếng Việt để đảm bảo hiệu quả.

Kết luận

• Luận văn đã xây dựng thành công mô hình học bán giám sát dựa trên thuật toán DIPRE để trích chọn thực thể tên máy ảnh kỹ thuật số từ dữ liệu web đa dạng.
• Hệ thống đạt được độ chính xác trung bình trên 85% và chỉ số F1 gần 81% trên tập kiểm thử thực tế, chứng minh tính khả thi và hiệu quả của phương pháp.
• Việc kết hợp làm giàu mẫu bằng WordNet và thẩm định mẫu qua Google Search API giúp nâng cao chất lượng mẫu và quan hệ trích chọn.
• Mô hình có khả năng mở rộng và ứng dụng trong nhiều lĩnh vực khác nhau, giảm thiểu chi phí gán nhãn dữ liệu thủ công.
• Các bước tiếp theo bao gồm mở rộng tập quan hệ hạt giống, tích hợp kỹ thuật NER hiện đại và phát triển giao diện người dùng tương tác để nâng cao hiệu quả và tính ứng dụng thực tiễn.

Khuyến khích các nhà nghiên cứu và doanh nghiệp ứng dụng mô hình này trong các dự án khai thác dữ liệu lớn, đồng thời tiếp tục phát triển và hoàn thiện hệ thống để đáp ứng nhu cầu ngày càng đa dạng của thị trường.

Trích đoạn nội dung tài liệu

Mở đầu Trích chọn thực thể là bài toán cơ bản nhất trong các bài toán trích chọn thông tin nhƣng lại đóng vai trò khá quan trọng. Thực thể tên ngày càng đƣợc ứng dụng trong nhiều bài toán trong khai phá dữ liệu web cũng nhƣ nhiều các bài toán trong xử lý ngôn ngữ tự nhiên. Do đó việc xây dựng các giải thuật trích chọn các thực thể tên này từ web là bài toán có ý nghĩa quan trọng. Luận văn tập trung vào tìm hiểu việc xây dựng một mô hình trích chọn thực thể tên và ứng dụng vào trích chọn thực thể tên máy ảnh trên web.

Cấu trúc luận văn gồm 4 chƣơng: Chƣơng 1: Giới thiệu một cách khái quát nhất bài toán trích chọn thông tin, tính ứng dụng thực tiễn của bài toán. Chƣơng 2: Trình bày một số các khái niệm liên quan đến bài toán trích chọn thông tin, các phƣơng pháp trích chọn thông tin. Với mỗi phƣơng pháp trình bày một mô hình minh họa. Đây là cơ sở luận quan trọng để luận văn đề xuất một mô hình áp dụng với bài toán trích chọn thực thể.

Cụ thể luận văn lựa chọn hƣớng tiếp cận học bán giám sát. Chƣơng 3: Ứng dụng phƣơng pháp học bán giám sát vào hệ thống trích chọn tên máy ảnh kĩ thuật số. Chƣơng 4: Kết quả thực nghiệm của luận văn, đánh giá phƣơng pháp và kết quả đạt đƣợc. Phần kết luận: Tóm lƣợc những nội dung chính đạt đƣợc của luận văn đồng thời cũng chỉ ra những điểm cần khắc phục và đƣa ra những định hƣớng nghiên cứu trong tƣơng lai.

GIỚI THIỆU Với sự bùng nổ của Internet và các phƣơng tiện lƣu trữ đã tạo ra một lƣợng thông tin khổng lồ. Bên cạnh đó nhu cầu về tốc độ xử lý thông tin cũng nhƣ tính chính xác ngày càng tăng. Hiện nay, các máy tìm kiếm (search engine) thực hiện việc tìm những trang web phù hợp với yêu cầu câu hỏi ngƣời dùng. Mặc dù chất lƣợng của các máy tìm kiếm đã đƣợc cải thiện nhƣng kết quả trả về chỉ là những tài liệu có liên quan, chúng không dễ dàng gì rút ra đƣợc các mối quan hệ tiềm ẩn và tạo đƣợc các câu trả lời cho các truy vấn phức tạp, chẳng hạn nhƣ “danh sách các công ty liên doanh” hoặc “danh sách các nhà lãnh đạo quốc tế trên toàn thế giới”.

Ngƣời ta phân loại câu trả lời các truy vấn ở dạng: có phân tích các tài liệu liên quan để tập hợp những thông tin cần thiết. Nếu nhiều mối quan hệ nhƣ “Công ty A liên doanh với công ty B” đƣợc lƣu trong các tài liệu thì nó tự động tổng hợp và cấu trúc hóa, điều này rất tốt không chỉ cho các hệ thống truy vấn thông tin mà còn cho các hệ thống hỏi đáp tự động và tóm tắt văn bản. Do đó khai thác đƣợc những tri thức đó sẽ mang lại nhiều thông tin bổ ích. Đó là lĩnh vực mà “trích chọn thông tin” nghiên cứu.

Trích chọn thông tin (Information Extraction - IE) là công việc trích ra các thông tin có cấu trúc từ các văn bản không có cấu trúc. Nói cách khác, một hệ thống trích chọn thông tin rút ra những thông tin đã đƣợc định nghĩa trƣớc về các thực thể và mối quan hệ giữa các thực thể từ một văn bản dƣới dạng ngôn ngữ tự nhiên và điền những thông tin này vào một văn bản ghi dữ liệu có cấu trúc hoặc một dạng mẫu đƣợc định nghĩa trƣớc đó. Không giống nhƣ hiểu toàn bộ văn bản, các hệ thống trích chọn thông tin chỉ cố gắng nhận biết một số thông tin đáng quan tâm ở một lĩnh vực nào đó. Ví dụ hệ thống trích chọn các bộ quan hệ <tên máy ảnh, hãng sản xuất> từ các tài liệu web, bổ sung chúng vào cơ sở dữ liệu.

Canon has posted a firmware update for its EOS 7D digital SLR. Pentax has announced the Optio RS1500 compact camera with interchangeable, Producer Camera Canon EOS 7D user designable covers. Pentax Optio RS1500 Casio and Ricoh have released firmware Casio Exilim EX-H20G updates for the Exilim EX-H20G and Ricoh G700SE G700SE digital cameras respectively Hình 1: Minh họa về một hệ thống trích chọn thông tin z 8 Có rất nhiều mức độ cũng nhƣ nội dung công việc trích chọn thông tin khác nhau. Một số bài toán trích chọn có thể liệt kê nhƣ sau:  Trích chọn là thực thể tên (Named Entity –NE).

Một thực thể tên là một thực thể đƣợc đặt một tên riêng, ví dụ nhƣ “Barack Obama” là một thực thể tên ngƣời, “Microsoft Corporation” là thực thể tên công ty/ tổ chức [7, 17].  Trích chọn thông tin là đi tìm những quan hệ giữa các đối tƣợng có tên đƣợc chỉ định trƣớc. Ví dụ: từ một câu “Bill Gates là chủ tịch của Microsoft”, chúng ta muốn hệ thống có thể đƣa ra đƣợc kết quả: Bill Gates là một tên ngƣời, Microsoft là tên một tổ chức và Bill Gates ông chủ của Microsoft. Một số quan hệ khác có thể là: quan hệ sát nhập (affiliation); quan hệ vai trò (role); quan hệ về vị trí, địa điểm (location); quan hệ toàn thể-bộ phận (part-whole); quan hệ nhân quả (cause-effect); các mối quan hệ xã hội … giữa các cặp thực thể.

Ví dụ, câu “George Bush đƣợc bầu làm tổng thống của Mỹ.” Thì quan hệ, “George Bush” (Person) là “tổng thống” của “Mỹ”, có thể đƣợc rút ra. Mỗi khung mẫu bao gồm tập hợp các slot cần đƣợc lấp đầy bởi một hoặc nhiều giá trị. Những giá trị này có thể bao gồm văn bản thuần túy, các con trỏ trỏ tới các đối tƣợng khung mẫu khác [4, 9]. Dallas - Early last evening, a tornado swept through northwest Dallas.

The twister occurred without warning at about 7:15 pm and destroyed two mobile homes. The Texaco station at 102 Main St. was also severely damaged, but no injuries were reported.” Đoạn văn bản tóm tắt câu chuyện về thảm họa tự nhiên lốc xoáy, trích chọn các thông tin về ngày và thời gian xảy ra, và thiệt hại tài sản hay thƣơng tích về con ngƣời do sự kiện gây ra. Hệ thống có thể trích chọn ra khung mẫu sau: Event: tornado Date: 4/3/97 Time: 19:15 Location: “northwest Dallas”: Texas: USA Damage: “mobile homes” (đối tƣợng bị thiệt hại – Damaged Object) “Texaco station” (đối tƣợng bị thiệt hại)  Khai phá quan điểm (opinion mining): trong lĩnh vực này ta cần trích chọn ra các nhận định của ngƣời dùng về một đối tƣợng nào đó [14].

Hình 2 chỉ ra một trong các quan điểm mà ta có thể trích ra là thông tin z 9 ngƣời dùng nhận thấy “the colors of pictures” đƣợc chụp bởi sản phẩm Powershot là “great”. Opinion unit 1 Opinion holder (writer) Suject <Powershot> Part <picture> I just bought a Powershot a Attribute <colors> few days ago. I took some Evaluation <great> pictures using the camera. Condition <flash is used> Here are my feelings: (1) colors are so great even Opinion unit 2 when flash is used (2) easy to grip since the body Opinion holder (writer) has a grip handle Suject <Powershot> Part <> Attribute <> Evaluation <easy to grip> Condition <body has a grip handle> Hình 2: Ví dụ về khai phá quan điểm  Ngoài ra tùy vào từng ứng dụng cụ thể mà ta có thể cần trích chọn các đối tƣợng khác trong văn bản, chẳng hạn trích chọn các nguyên nhân dẫn đến một loại bệnh nào đó [10], … Con ngƣời, thời gian, địa điểm, các con số,.

là những đối tƣợng cơ bản trong một văn bản dù ở bất kì ngôn ngữ nào. Do đó thực thể tên là một đối tƣợng đƣợc quan tâm rất nhiều và ngày càng trở nên quan trọng, nó đang đƣợc khai thác và ứng dụng trong nhiều bài toán trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing) cũng nhƣ khai phá văn bản và khai phá web (Web Mining). Mục đích chính của bài toán nhận biết các loại thực thể là xác định những đối tƣợng này từ đó phần nào giúp cho chúng ta trong việc hiểu văn bản. Rõ ràng trƣớc khi có thể xác định đƣợc các mối quan hệ giữa các thực thể ta phải xác định đƣợc đâu là các thực thể tham gia vào mối quan hệ đó.

Ví dụ về một số ứng dụng của thực thể tên trong lĩnh vực xử lý ngôn ngữ tự nhiên và khai phá dữ liệu văn bản, web là:  Dịch máy (Machine Translation): khi chúng ta phát hiện ra đƣợc một thực thể tên trong một văn bản thì khi dịch sang ngôn ngữ mới ta thƣờng để nguyên thực thể tên đó chứ không dịch [12]. z 10  Tóm tắt văn bản: Khi xác định đƣợc nội dung của một văn bản nói về một thực thể tên nào đó thì chúng ta sẽ gán trọng số cao cho các câu có đề cập đến thực thể tên, cách này có thể làm tăng chất lƣợng của hệ tóm tắt [11].  Phân lớp văn bản: khi tìm ra đƣợc một thực thể tên thƣờng thuộc một phân lớp văn bản nào đó, thì đó sẽ là một thông tin quan trọng để giúp làm tăng chất lƣợng của các giải thuật phân lớp. Chẳng hạn nhƣ tin nói về tổng thống Obama thƣờng hay xuất hiện ở thể loại tin tức là: Thế giới [15].

 Tìm kiếm thực thể: đây là một hƣớng phát triển mới của các máy tìm kiếm. Khi nhu cầu ngƣời dùng tăng cao thì ngƣời ta muốn các máy tìm kiếm trở nên thông minh hơn, và ngƣời ta mong muốn có một hệ thống tìm kiếm có thể trả về các thực thể ngƣời ta cần chứ không phải là các văn bản chứa các thực thể nhƣ những máy tìm kiếm hiện tại [13].  Hệ thống hỏi đáp [16], chẳng hạn giúp trả lời các câu hỏi liên quan đến thực thể nhƣ “Ai là ngƣời đầu tiên đặt chân lên mặt trăng?” - Tên lửa đƣợc phóng ra từ đâu? - Ai là chủ nhân và điều khiển tên lửa đó? - Khối lƣợng chất nổ trong tên lửa? - Chất nổ sử dụng là gì?  Ứng dụng trong phân tích một đối tƣợng nào đó. Ví dụ nhƣ trong một tài liệu văn bản mô tả bằng ngôn ngữ tự nhiên, ta có thể tìm hiểu sự di chuyển của các giám đốc điều hành từ vị trí này đến vị trí khác ở các công ty khác nhau dựa vào các thực thể kiểu: Tên nhà điều hành, Tên công ty cũ, Vị trí cũ, Tên công ty mới, Vị trí mới, Ngày chuyển đi.

Thông tin này có ích trong việc phân tích, chẳng hạn nhƣ các phân tích liên kết, trình bày tiến trình thời gian, địa vị, và vẽ đồ thị của xu hƣớng.