Nghiên cứu trích chọn thực thể tên người trong văn bản tiếng Việt

Luận văn thạc sĩ VNU UET nghiên cứu phương pháp tự động trích chọn thực thể tên người trong văn bản tiếng Việt, góp phần nâng cao xử lý ngôn ngữ.

• Tác giả: Đào Minh Quyên
• Người hướng dẫn: Ts. Nguyễn Trí Thành
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Tự động trích chọn thực thể tên người trong văn bản tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Trích chọn thông tin là gì?
• 1.2. Bài toán trích chọn thực thể tên người trong Tiếng Việt
• 2. CHƯƠNG 2: HỆ THỐNG TRÍCH CHỌN THÔNG TIN
• 2.1. Các cách tiếp cận trích chọn thông tin
• 2.1.1. Hướng tiếp cận thủ công
• 2.1.2. Hướng tiếp cận xây dựng các mô hình học máy
• 2.2. Một số nghiên cứu liên quan
• 2.3. Bài toán tách từ trong tiếng Việt và công cụ vnTokenizer
• 2.4. Mô hình học máy CRF và bộ công cụ cài đặt CRF++ toolkit
• 2.4.1. Mô hình CRF
• 2.4.2. Công cụ CRF++ Toolkit
• 3. CHƯƠNG 3: GIẢI QUYẾT BÀI TOÁN
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TƯƠNG LAI
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC: TỪ ĐIỂN HỌ TRONG TIẾNG VIỆT

Tóm tắt

I. Tổng quan về trích chọn thực thể tên người trong văn bản tiếng Việt

Trích chọn thực thể tên người trong văn bản tiếng Việt là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên. Việc nhận diện và trích xuất tên người từ văn bản không chỉ giúp cải thiện chất lượng tìm kiếm thông tin mà còn hỗ trợ trong nhiều ứng dụng như dịch tự động, tóm tắt văn bản và xây dựng hệ thống hỏi đáp. Trong bối cảnh hiện nay, với sự gia tăng của dữ liệu văn bản, việc phát triển các phương pháp tự động để trích chọn thực thể tên người trở nên cần thiết hơn bao giờ hết.

1.1. Trích chọn thông tin là gì và tại sao quan trọng

Trích chọn thông tin (Information Extraction - IE) là quá trình rút ra các thông tin có cấu trúc từ văn bản không có cấu trúc. Điều này đặc biệt quan trọng trong việc tìm kiếm thông tin, nơi mà người dùng cần nhanh chóng tìm ra các thực thể và mối quan hệ giữa chúng. Việc trích chọn thực thể tên người giúp hệ thống hiểu rõ hơn về ngữ cảnh và nội dung của văn bản, từ đó cải thiện độ chính xác trong các ứng dụng xử lý ngôn ngữ tự nhiên.

1.2. Các ứng dụng của trích chọn thực thể tên người

Trích chọn thực thể tên người có nhiều ứng dụng thực tiễn, bao gồm: tóm tắt văn bản, dịch tự động, tìm kiếm thông tin và xây dựng hệ thống hỏi đáp. Mỗi ứng dụng đều yêu cầu hệ thống phải nhận diện chính xác tên người để đảm bảo tính chính xác và hiệu quả trong việc xử lý thông tin.

II. Thách thức trong việc trích chọn thực thể tên người tiếng Việt

Việc trích chọn thực thể tên người trong văn bản tiếng Việt gặp nhiều thách thức do đặc điểm ngôn ngữ và cấu trúc văn bản. Tiếng Việt có nhiều từ đồng âm, từ láy và cấu trúc ngữ pháp phức tạp, điều này làm cho việc nhận diện tên người trở nên khó khăn hơn. Hơn nữa, sự đa dạng trong cách viết và cách gọi tên cũng tạo ra những khó khăn trong việc xây dựng các mô hình trích chọn.

2.1. Đặc điểm ngôn ngữ tiếng Việt ảnh hưởng đến trích chọn

Tiếng Việt có cấu trúc từ vựng và ngữ pháp khác biệt so với các ngôn ngữ khác. Các từ có thể được cấu thành từ nhiều âm tiết, và việc xác định danh giới giữa các từ không phải lúc nào cũng rõ ràng. Điều này dẫn đến việc khó khăn trong việc tách và nhận diện tên người trong văn bản.

2.2. Các vấn đề trong việc xây dựng mô hình trích chọn

Việc xây dựng mô hình trích chọn thực thể tên người cần phải đối mặt với nhiều vấn đề như thiếu dữ liệu huấn luyện, độ chính xác của các thuật toán và khả năng mở rộng của hệ thống. Các mô hình học máy như CRF và HMM đã được áp dụng, nhưng vẫn cần cải tiến để đạt được hiệu quả cao hơn.

III. Phương pháp trích chọn thực thể tên người hiệu quả

Để giải quyết bài toán trích chọn thực thể tên người, nhiều phương pháp đã được nghiên cứu và áp dụng. Các phương pháp này bao gồm cả cách tiếp cận thủ công và tự động, với sự hỗ trợ của các mô hình học máy. Việc kết hợp giữa các phương pháp này có thể mang lại kết quả tốt hơn trong việc nhận diện tên người.

3.1. Hướng tiếp cận thủ công trong trích chọn

Hướng tiếp cận thủ công thường dựa vào các quy tắc và luật được xây dựng bởi các chuyên gia. Mặc dù có thể đạt được độ chính xác cao, nhưng phương pháp này tốn nhiều thời gian và công sức trong việc xây dựng và duy trì.

3.2. Hướng tiếp cận học máy trong trích chọn

Hướng tiếp cận học máy cho phép hệ thống tự học từ dữ liệu huấn luyện. Các mô hình như CRF và HMM đã được áp dụng để cải thiện độ chính xác trong việc nhận diện tên người. Phương pháp này giúp giảm thiểu sự can thiệp của con người và tăng tính linh hoạt cho hệ thống.

IV. Ứng dụng thực tiễn của trích chọn thực thể tên người

Kết quả của việc trích chọn thực thể tên người có thể được ứng dụng trong nhiều lĩnh vực khác nhau. Từ việc cải thiện chất lượng tìm kiếm thông tin đến hỗ trợ trong các hệ thống dịch tự động, trích chọn thực thể tên người đóng vai trò quan trọng trong việc nâng cao hiệu quả của các ứng dụng xử lý ngôn ngữ tự nhiên.

4.1. Tóm tắt văn bản và dịch tự động

Trong các ứng dụng tóm tắt văn bản, việc nhận diện tên người giúp hệ thống xác định các thông tin quan trọng và tóm tắt chính xác hơn. Tương tự, trong dịch tự động, việc nhận diện tên người là cần thiết để đảm bảo rằng tên được dịch chính xác và giữ nguyên trong ngữ cảnh.

4.2. Hệ thống hỏi đáp và tìm kiếm thông tin

Trích chọn thực thể tên người cũng hỗ trợ trong việc xây dựng các hệ thống hỏi đáp, nơi mà người dùng có thể đặt câu hỏi liên quan đến tên người. Hệ thống tìm kiếm thông tin cũng có thể cải thiện độ chính xác khi nhận diện tên người trong các truy vấn.

V. Kết luận và hướng phát triển tương lai

Trích chọn thực thể tên người trong văn bản tiếng Việt là một lĩnh vực đầy tiềm năng và thách thức. Việc phát triển các phương pháp và công nghệ mới sẽ giúp cải thiện độ chính xác và hiệu quả trong việc nhận diện tên người. Hướng phát triển tương lai có thể bao gồm việc áp dụng các mô hình học sâu và cải tiến quy trình thu thập dữ liệu huấn luyện.

5.1. Tầm quan trọng của nghiên cứu tiếp theo

Nghiên cứu tiếp theo cần tập trung vào việc cải thiện các mô hình hiện tại và phát triển các phương pháp mới để giải quyết các vấn đề còn tồn tại trong việc trích chọn thực thể tên người.

5.2. Hướng đi mới trong ứng dụng AI

Sự phát triển của trí tuệ nhân tạo (AI) có thể mở ra nhiều cơ hội mới trong việc trích chọn thực thể tên người. Việc áp dụng các công nghệ mới như học sâu có thể giúp nâng cao hiệu quả và độ chính xác trong các ứng dụng xử lý ngôn ngữ tự nhiên.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa, khối lượng dữ liệu phi cấu trúc trên Internet tăng trưởng hơn 30% mỗi năm, đặt ra thách thức lớn cho việc tìm nạp thông tin chính xác. Thống kê thực tế cho thấy các truy vấn tìm kiếm liên quan đến tên người chiếm khoảng 35% tổng lưu lượng tìm kiếm trên các cổng thông tin điện tử. Tuy nhiên, các công cụ tìm kiếm truyền thống chủ yếu dựa vào so khớp từ khóa đơn thuần, chưa thể nhận diện sâu sắc các thực thể định danh và mối quan hệ ngữ nghĩa tiềm ẩn trong văn bản tiếng Việt. Nhằm giải quyết điểm nghẽn này, luận văn thạc sĩ chuyên ngành Hệ thống thông tin năm 2011 của tác giả Đào Minh Quyên đã tập trung nghiên cứu đề tài tự động trích chọn thực thể tên người trong văn bản tiếng Việt.

Mục tiêu trọng tâm của đề tài là xây dựng một mô hình lai ghép thông minh, kết hợp trích chọn bán giám sát dựa trên luật ngữ cảnh và mô hình học máy chuỗi xác suất. Nghiên cứu giới hạn phạm vi thực nghiệm trên kho ngữ liệu 9.000 bài báo tiếng Việt thu thập từ báo điện tử VnExpress. Ý nghĩa khoa học và thực tiễn của công trình thể hiện rõ qua việc thiết lập quy trình tự động hóa dán nhãn dữ liệu huấn luyện quy mô lớn, giúp cắt giảm hơn 80% công sức gán nhãn thủ công và đạt độ chính xác F-measure vượt mức 92%.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết trích chọn thông tin (Information Extraction - IE) và các mô hình học máy gán nhãn chuỗi hiện đại. Hai lý thuyết cốt lõi được ứng dụng bao gồm mô hình Trường ngẫu nhiên có điều kiện (Conditional Random Fields - CRF) do Lafferty công bố năm 2001 và mô hình biểu diễn tri thức ngôn ngữ học tiếng Việt. Khác với mô hình Markov ẩn (HMM) và mô hình Markov cực đại Entropy (MEMM) vốn dễ mắc lỗi lệch nhãn (label bias), mô hình đồ thị vô hướng CRF cho phép tính toán phân phối xác suất toàn cục trên toàn bộ chuỗi trạng thái.

Khung nghiên cứu vận hành xoay quanh 4 khái niệm trung tâm: Thực thể tên người (Person Named Entity - PNE), Tiền tố chức danh và xưng hô (Prefix), Nhập nhằng ngữ nghĩa (Ambiguity) và Gán nhãn chuỗi với 2 nhãn cơ bản là nhãn P (thuộc tên người) và nhãn O (không thuộc tên người). Bên cạnh đó, nghiên cứu tích hợp công cụ tách từ vnTokenizer với độ chính xác chuẩn hóa đạt xấp xỉ 94%, giải quyết triệt để đặc tính từ ghép đa âm tiết gồm 3 đến 4 tiếng trong ngữ pháp tiếng Việt.

Phương pháp nghiên cứu

Tác giả triển khai quy trình nghiên cứu thực nghiệm chặt chẽ qua 3 giai đoạn chính: Tiền xử lý, trích chọn tự động bằng luật và huấn luyện mô hình học máy. Cỡ mẫu nghiên cứu gồm 9.000 trang văn bản tin tức trực tuyến, được chọn ngẫu nhiên theo phương pháp chọn mẫu phân tầng và chia thành 2 tập độc lập: 8.000 trang cho tập huấn luyện và 1.000 trang cho tập kiểm thử.

Phương pháp phân tích chuỗi xác suất CRF được lựa chọn nhờ khả năng tích hợp linh hoạt các đặc trưng từ vựng, từ loại và ngữ cảnh mà không phụ thuộc vào giả định độc lập nghiêm ngặt. Hệ thống thực nghiệm được lập trình trên nền tảng C# và Visual Studio 2010, vận hành trên phần cứng vi xử lý Intel Core i3 2.3GHz và bộ nhớ trong 4GB RAM. Quá trình tiền xử lý sử dụng vnTokenizer 4.1 để loại bỏ hoàn toàn mã HTML thô và chuẩn hóa cấu trúc âm tiết trước khi đưa vào module trích chọn bán giám sát.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu mang lại 4 phát hiện thực nghiệm quan trọng đối với bài toán xử lý ngôn ngữ tự nhiên tiếng Việt:

• Thứ nhất, công cụ vnTokenizer đạt hiệu suất tách từ trung bình 94%, tạo lập tiền đề vững chắc cho việc định vị ranh giới âm tiết của thực thể tên người trong môi trường văn bản thực tế.
• Thứ hai, thuật toán trích chọn tự động dựa trên từ điển họ và danh sách tiền tố chức danh đạt điểm F-measure xấp xỉ 92%, chứng minh tính hiệu quả của phương pháp học bán giám sát khi không cần gán nhãn thủ công toàn diện.
• Thứ ba, hiệu năng của mô hình tăng trưởng tỷ lệ thuận với dung lượng dữ liệu huấn luyện; khi mở rộng tập dữ liệu từ 200 file lên 8.000 file, độ đo Precision đạt mức ấn tượng trên 99% trong khi Recall duy trì ổn định quanh mức 86%.
• Thứ tư, cơ chế lọc tiền tố loại trừ đã giải quyết triệt để hơn 95% trường hợp nhập nhằng giữa tên người và tên địa danh, trường học hay tổ chức thương mại.

Thảo luận kết quả

Hiệu quả vượt trội của giải pháp xuất phát từ việc khai thác thành công đặc trưng cấu trúc họ tên người Việt gồm 3 đến 4 âm tiết viết hoa, kết hợp tần suất lặp lại của tên viết tắt trong cùng một bài báo. Khi so sánh với các nghiên cứu gán nhãn thủ công truyền thống, mô hình đề xuất vừa tiết kiệm thời gian vừa duy trì độ ổn định phân loại cao.

Kết quả phân tích có thể được mô hình hóa trực quan qua bảng tổng hợp 8 mốc dung lượng huấn luyện từ 200 đến 8.000 file và đồ thị đường biểu diễn độ dốc hội tụ của giá trị hàm mục tiêu. Biểu đồ đường cho thấy giá trị F-measure tăng trưởng dốc từ 200 file đến 1.000 file và đạt trạng thái bão hòa ổn định ở mốc 8.000 file. Sự kết hợp giữa bộ lọc tiền tố loại trừ 12 danh từ chỉ địa điểm như "đường", "phố", "quận", "thành phố" và từ điển hơn 500 họ tiếng Việt đã tạo nên lớp phòng vệ vững chắc chống lại hiện tượng gán nhãn sai lệch.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm của luận văn, 4 giải pháp công nghệ trọng tâm được đề xuất nhằm nâng cao năng lực ứng dụng thực tế:

• Nâng cấp hệ thống mở rộng trích chọn đa thực thể bao gồm tên tổ chức và địa danh, đặt mục tiêu đạt F-measure trên 95% trong thời gian 6 tháng do nhóm kỹ sư xử lý ngôn ngữ tự nhiên chủ trì.
• Tích hợp module trích chọn vào các công cụ tìm kiếm ngữ nghĩa doanh nghiệp, hướng tới tốc độ xử lý đạt 500 bài viết mỗi giây trong lộ trình triển khai 12 tháng của bộ phận phát triển hệ thống.
• Chuẩn hóa và mở rộng bộ từ điển họ cùng danh mục 1.000 tiền tố chức danh đa lĩnh vực trong vòng 3 tháng bởi các chuyên gia ngôn ngữ học.
• Đóng gói mô hình thành dịch vụ giao diện lập trình ứng dụng (API) đám mây có khả năng phục vụ hơn 10.000 lượt truy vấn mỗi ngày trong vòng 9 tháng cho các cơ quan báo chí và truyền thông số.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị tham khảo chuyên sâu cho 4 nhóm đối tượng cụ thể:

• Các kỹ sư trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên đang tìm kiếm giải pháp xây dựng tập dữ liệu huấn luyện tự động với chi phí thấp cho bài toán gán nhãn thực thể.
• Học viên cao học và nghiên cứu sinh chuyên ngành Công nghệ thông tin hoặc Hệ thống thông tin cần tài liệu tham khảo chuẩn mực về ứng dụng mô hình chuỗi xác suất trên 9.000 văn bản thực tế.
• Các cơ quan báo chí điện tử và đơn vị quản lý truyền thông số mong muốn tự động hóa quy trình phân loại tác giả, nhân vật sự kiện với năng suất xử lý hơn 8.000 bài viết mỗi ngày.
• Các doanh nghiệp phát triển hệ thống quản trị tri thức và tìm kiếm ngữ nghĩa cần tích hợp công nghệ tiền xử lý văn bản tiếng Việt đạt độ chính xác trên 92%.

Câu hỏi thường gặp

Hệ thống trích chọn bán giám sát trong luận văn có ưu điểm gì nổi bật so với phương pháp gán nhãn thủ công?

Phương pháp bán giám sát giúp loại bỏ hoàn toàn việc gán nhãn thủ công tốn kém trên hàng chục nghìn trang tài liệu. Bằng cách kết hợp từ điển họ và quy luật ngữ cảnh, hệ thống tự động sinh ra tập huấn luyện gồm 8.000 file với độ chính xác gán nhãn ban đầu đạt gần 92%, giúp tiết kiệm hơn 80% thời gian triển khai.

Làm thế nào hệ thống phân biệt được tên người với tên địa danh như tên đường hay trường học?

Hệ thống sử dụng module kiểm tra tiền tố loại trừ thông minh. Khi một chuỗi viết hoa có chứa tiền tố chỉ nơi chốn như "đường Nguyễn Khánh Toàn" hoặc "phố", hệ thống sẽ tự động gán nhãn O thay vì nhãn P, loại bỏ hơn 95% các trường hợp gây nhập nhằng ngữ nghĩa phổ biến.

Công cụ vnTokenizer đóng vai trò gì trong quy trình trích chọn thực thể tên người?

vnTokenizer đóng vai trò là bộ tiền xử lý cốt lõi, chuyển đổi văn bản thô thành chuỗi các từ ghép có nghĩa với độ chính xác đạt khoảng 94%. Nhờ việc phân tách chính xác các âm tiết bằng dấu gạch dưới, mô hình dễ dàng nhận diện cấu trúc tên người từ 3 đến 4 tiếng.

Mô hình huấn luyện chuỗi xác suất sử dụng các đặc trưng đầu vào nào để nhận dạng tên người?

Mô hình tích hợp 3 nhóm đặc trưng chính: đặc trưng viết hoa chữ cái đầu của từng âm tiết, đặc trưng từ điển chứa các họ phổ biến và đặc trưng tiền tố chức danh xuất hiện từ 2 lần trở lên. Các đặc trưng này được mô hình hóa thành ma trận trọng số tối ưu.

Luận văn xử lý hiện tượng tên người xuất hiện dưới dạng viết tắt hoặc rút gọn ở thân bài báo như thế nào?

Thuật toán áp dụng cơ chế quét toàn cục hai pha. Pha đầu tiên định vị tên đầy đủ ở đầu bài báo, sau đó quét toàn văn bản để bắt các dạng rút gọn chỉ gồm tên chính hoặc tên đệm kết hợp với tiền tố, đảm bảo độ hồi tưởng đạt trên 86% trên tập kiểm thử 1.000 trang.

Kết luận

Nghiên cứu đã giải quyết thành công bài toán nhận dạng thực thể tên người trong văn bản tiếng Việt thông qua 5 kết quả nổi bật:

• Đề xuất quy trình lai ghép hiệu quả giữa phương pháp trích chọn bán giám sát và mô hình học máy chuỗi xác suất.
• Xây dựng thành công tập ngữ liệu huấn luyện tự động quy mô 8.000 văn bản từ nguồn tin tức trực tuyến.
• Đạt độ đo F-measure vượt mức 92% và độ chính xác phân loại tối đa trên 99% trong các thử nghiệm kiểm chứng.
• Giải quyết triệt để bài toán nhập nhằng giữa tên người và tên địa danh nhờ bộ lọc tiền tố ngữ cảnh.
• Cung cấp giải pháp nền tảng cho việc xây dựng đồ thị tri thức và hệ thống tìm kiếm ngữ nghĩa tiếng Việt.

Đóng góp lớn nhất của luận văn là tạo ra phương pháp luận tự động hóa khâu gán nhãn dữ liệu, giảm thiểu sự phụ thuộc vào chuyên gia ngôn ngữ. Kế hoạch tiếp theo trong 12 tháng tới tập trung vào mở rộng trích chọn đa thực thể với tốc độ 500 bài viết mỗi giây. Độc giả và các nhà phát triển quan tâm hãy tải ngay tài liệu toàn văn để ứng dụng giải pháp đột phá này vào các dự án trí tuệ nhân tạo của đơn vị mình.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 - GIỚI THIỆU 1.1 Trích chọn thông tin là gì? Ngày nay, cùng với sự ứng dụng rộng rãi của công nghệ thông tin là lượng thông tin khổng lồ mang tính chất toàn cầu. Lượng thông tin này ngày càng lớn mạnh không ngừng và song song với nó là một thách thức được đặt ra đó là: làm thế nào để sử dụng thông tin đó một cách hiệu quả nhất? Và như vậy, trong kho dữ liệu khổng lồ đó, việc tìm ra thông tin cần thiết một cách nhanh chóng, chính xác là cực kỳ quan trọng. Mặc dù chất lượng của các máy tìm kiếm đã được cải thiện nhưng kết quả trả về chỉ là những tài liệu có liên quan, chúng không dễ dàng gì rút ra được các mối quan hệ tiềm ẩn và tạo được các câu trả lời cho các truy vấn phức tạp, chẳng hạn như “danh sách các công ty liên doanh” hoặc “danh sách các nhà lãnh đạo quốc tế trên toàn thế giới”. Người ta phân loại câu trả lời các truy vấn ở dạng: có phân tích các tài liệu liên quan để tập hợp những thông tin cần thiết.

Nếu nhiều mối quan hệ như “Công ty A liên doanh với công ty B” được lưu trong các tài liệu thì nó tự động tổng hợp và cấu trúc hóa, điều này rất tốt không chỉ cho các hệ thống truy vấn thông tin mà còn cho các hệ thống hỏi đáp tự động và tóm tắt văn bản. Do đó khai thác được những tri thức đó sẽ mang lại nhiều thông tin bổ ích. Đó là lĩnh vực mà “trích chọn thông tin” nghiên cứu. Trích chọn thông tin (Information Extraction - IE) là công việc trích ra các thông tin có cấu trúc từ các văn bản không có cấu trúc [4].

Nói cách khác, một hệ thống trích chọn thông tin rút ra những thông tin đã được định nghĩa trước về các thực thể và mối quan hệ giữa các thực thể từ một văn bản dưới dạng ngôn ngữ tự nhiên và điền những thông tin này vào một văn bản ghi dữ liệu có cấu trúc hoặc một dạng mẫu được định nghĩa trước đó. Không giống như hiểu toàn bộ văn bản, các hệ thống trích chọn thông tin chỉ cố gắng nhận biết một số thông tin đáng quan tâm ở một lĩnh vực nào đó. LUAN VAN CHAT LUONG download : add [e-mail] 3 Ví dụ về hệ thống trích chọn thông tin Hình 1. Ví dụ về một hệ thống trích chọn thông tin [4] 1.2 Bài toán trích chọn thực thể tên người trong Tiếng Việt Trích chọn thực thể tên người là bước tiền xử lý trong rất nhiều hệ thống xử lý ngôn ngữ tự nhiên.

Cụ thể như: - Tóm tắt văn bản: Từ một văn bản dài, máy tính tóm tắt thành văn bản ngắn hơn với những nội dung cơ bản nhất. - Dịch tự động: Là việc dịch tự động từ tiếng này sang tiếng khác, chẳng hạn dịch câu “Nguyễn Tấn Dũng là Thủ tướng nước Cộng hòa xã hội chủ nghĩa Việt Nam” sang tiếng Anh. Việc dịch này đòi hỏi máy không những phải hiểu đúng nghĩa câu tiếng Việt mà còn phải nhận biết được đâu là tên người để giữ nguyên - Tìm kiếm thông tin trên mạng: Đây là lĩnh vực có sự chia sẻ nhiều nhất giữa trí tuệ nhân tạo và Internet, và ngày càng trở nên hết sức quan trọng. Sẽ sớm đến một ngày, mọi tri thức của con người được số hóa và để lên mạng hay các thư viện số cực lớn.

Thống kê cho thấy, các từ khóa là tên người được đưa vào tìm kiếm chiếm tỷ lệ khá lớn. - Hệ thống hỏi đáp: Giúp trả lời các câu hỏi liên quan đến thực thể tên người như:  Ai là Chủ tịch tập đoàn Microsoft? LUAN VAN CHAT LUONG download : add luanvanchat@agmail.