Chương 1 giới thiện về động cơ, mục tiêu và phạm vì nghiên cửa, những đồng góp chỉnh và câu trúc của luận văn. Chương 2 giới thiệu Lỗng quan về bài toán trích rút thông tím, bắt toán trích rút thông tin cá nhân và các bài toán liên quan là bài toán trích rút thực thể và bải toán. trích rút mỗi quan hệ, để xuất phương pháp giải quyết bài toán trích rút thông tỉn cá nhân cũng như ứng dụng của bài toán này và phương pháp đánh giá kết quả Chương 3 trình bày một số phương pháp trích rút thực thế và trích rút quan hệ từ đó chọn ra phương pháp thích hợp ấp đựng cho bài toán trích rút thực thể từ văn ‘ban tiếng Việt. Luận văn sử dụng phương pháp tiếp cận sử dụng CRT.
Trinh bảy khai quát về biếu thức chính qui (Regularv Expression) và ứng dụng để trích rút quan hệ giữa cáo thục thể, Chương 4 trình bày thiết kế và xây đựng hệ thông trích rút thông tin cả nhân. từ trang web tiếng Việt wikipedia. Trình bay các kết quả đạt cải đặt thử rhiệm và đánh giá Chương 5 tông kết lại các kết quả dạt dược của luận văn và để xuất các hướng, xighiên cửu trong tương lai của luận văn.5 Ý nghĩa của luận văn Với kết quả đã đạt được, luận văn đá mang lại một số kết quả nghiên cứu nhật định trong việc trích rủt thạc thẻ, trích rút quan hệ đặc biệt lá kết phương pháp CRF, các luật đồng tham chiều vẻ tên và biểu thức chính qui đề giải quyết hải toán cụ thể 10 Tuuận văn Thạc sỹ Trích rút thông tin cá nhân từ vin ban tiéng Viet © _ Nghiên cứu các phương pháp trích rút thông tin từ đó lựa chọn một phương pháp phủ hợp với bải toản. © Xay dựng một hệ thống trích thông tin về cả nhân từ văn bản tiếng Việt được lẫy từ trang web wikipedia (http://v1.2 Phạm vi nghiên cứu Luan van tập trung vảo việc trích rút thông tin của cả nhân từ văn bản phi câu.
trúc tiếng Việt trên trang web http:/viwikipedia org, với giả định 01 văn bản chỉ dé cập đến thông tin của một người. Các văn bản nay sé được tiên xử lý trước khi thực hiện trích rút thông tin. Hệ thông sẽ trích rút từ văn bản phi cau trie nảy 04 thực thể: đên người, tên tổ chức, tên địa điểm. ngày tháng và từ đó, tìm môi quan hệ giữa thực thể người với các thực thể còn lại: ngây sinh (tên người-ngày tháng), nơi sinh (fên người — địa điểm), công việc (lên người-tên tổ chức), sống ở (lên người- tên địa điểm), quan hệ gia đình (tên người-tên người).
Cuôi cùng, hệ thông trích sẽ đưa ra bảng dữ liệu gồm các mẫu thông tin về từng cả nhân được lưu trong cơ sở dữ liệu Ví dụ: Lê Công linh (sinh ngày 10 tháng 12 năm 1985) tại Quỳnh Lâm, Quỳnh Lưu, Nghệ -n, là một cẩu thủ bóng đá Uiệt Nam hiện đang thì đấu cho câu lạc bộ Sông Lam Nghé An. Sẽ được trích rút như sau: 1.Họ tên: Lê Công Vnnh. Ngày sinh: 10 thang 12 nam 1985 3. Nơi sinh: Quỳnh Lâm, Quỳnh Lưu, Nghệ -An.
Công việc: Cầu thủ bóng đá, Câu lạc bộ Sông Lam Nghệ An.3 Nội dung nghiên cứu Trong luân văn này, đề giải quyết bài toán trích rút thông tin cá nhân, tác giả nghiên cứu phương pháp trích rút thực thẻ sử dụng trường ngầu nhiên có điều kiện. Nguyễn Cao Cường 9 Luận văn Thạc sỹ Trích rút thông tìn có nhân từ vẫn bản tiếng Việt CHƯƠNG1: MỚDẢU 1.1 Ly do chgn dé tai Llign nay, su bùng nỗ của Internet và phát triển mạnh mẽ của công nghệ thông tin — truyền thông, khả năng tiếp cận thông qua máy tính được kết nôi Internet với khối lượng lớn các kho đữ liệu văn bản khắp nơi trên thể giới là rất lớn. Tuy nhiên, chính khối lượng đữ liệu quá lớn có thể làm người đùng bị “chìm ngập” trong thông tin hoặc mắt quả nhiều thời gian để có được thông tín mong muốn. Vẫn để này được quan lâm giải quyết wong các hệ thống Irích rút thông lín theo miễn ứng dụng cụ thể Một lượng lớn các tải liệu chứa các thông tia về cá nhân tiếp tực dược tạo ra và xuất bản hàng ngày trên internet.
Các thông tin này luân chiếm một vị trí quan. trọng trong các máy tìm kiếm đữ liệu cũng như các trang web và thu hút sự quan tâm của người dùng, các nhả nghiên cửu cũng như của các nhà phát triển dich va web. Nếu các thông tin này được trích rút tự động vả lưu trữ trong các co sở đữ liệu có câu trúc thì chứng sẽ hỗ trợ lối. cho các nghiên cửu về cơn người và các Tĩnh vực liên quan như quảng cáo, nghiên cứu thị trường, thiết kế sản phẩm và đánh giá thói quen người đùng.
Ý thức được những lợi ich má các bài toán trích rút thông tin ca nhân, đồng, thời phát triển cha ngôn ngữ tiếng Việt, tác giả đã chọn hướng nghiên cứu nhằm. giải quyết bài toán trích rút thông lim cá nhân từ văn bản Lễng Việt làm để tải luận văn của mình. 12 Mục đích và phạm vi 1.1 Mục đích nghiên cứu Thông qua nghiên cửu để tài “Trích rút thông tia cá nhân từ văn bản tiếng Việt”, tác giả mong ruuốn dạt một. số kết quả Nguyẫn Cao Cuồng # Luan van Thạc sỹ Trích rút thông tìn có nhân từ vẫn bản tiếng Việt Tôi xin cøm doan, luận văn tết nghiệp Thaơ sỹ này là công trình nghiên cửu của bản thân tôi đưới sự hướng dẫn của PGS.
T8, Lê Thanh Hương, Các kết quả trong luận văn Lốt nghiệp là trung thực, không phải sao chép Loàn vấn của bắt kỳ sông trình nào kháe. Tôi xin chịu hoàn toàn trách nhiệm về nội đụng quyền luận văn nay. Tác giả Nguyễn Cao Cường Nguyẫn Cao Cuồng 4 Luan van Thạc sỹ Trích rút thông tìn có nhân từ vẫn bản tiếng Việt Tuiận văn dược hoàn thành tại trường Đại học Bách khoa Hà Nội. Để hoàn thành luận văn này, tác giá đã nhận được sự chỉ báo tận tỉnh, củng những yêu cầu.
nghiêm khắc ủa DŒ8. T§ Tiên sĩ ê Thanh Hương, người đã truyền đại rất nhiều kiến thức quí báu cũng nÏưư những kinh nghiệm nghiên cứu khoa học trong suốt thời gian táo giả theo học và nghiên cứu, Tác giả xin chân thành gửi lên biết ơn đến Ban lãnh dạo Viện Công nghệ thông, tin va Truyền thông, Viện Dào tạo Sau đại học và Bộ môn IIệ thống Thông tin, thuộc trưởng Đại học Bách khoa Hà Nội đã tạo điều kiên thuận lợi trong quá Bình học tập, nghiên cửa và hoàn thành luận văn. Với năng lực hạn chế của bãn thân cũng như những nguyên nhân chủ quan, khách quan, luận văn không Iránh những thiếu sói. Tác giã rải mong được sự gớpý của quý thây cả, các bạn bè và đồng nghiệp đề luận văn được hoàn thiện hon.
Cuối củng, tác giả muốn gởi lời cảm vô hạn tới gia định vá bạn bẻ, những, người thân yêu luôn bên cạnh và động viên tôi trong suốt quá trình thục hiện luận. ‘Tae giá Nguyễn Cho Cường Nguyẫn Cao Cuồng $ Luan van Thạc sỹ Trích rút thông tìn có nhân từ vẫn bản tiếng Việt CHƯƠNG1: MỚDẢU 1.1 Ly do chgn dé tai Llign nay, su bùng nỗ của Internet và phát triển mạnh mẽ của công nghệ thông tin — truyền thông, khả năng tiếp cận thông qua máy tính được kết nôi Internet với khối lượng lớn các kho đữ liệu văn bản khắp nơi trên thể giới là rất lớn. Tuy nhiên, chính khối lượng đữ liệu quá lớn có thể làm người đùng bị “chìm ngập” trong thông tin hoặc mắt quả nhiều thời gian để có được thông tín mong muốn. Vẫn để này được quan lâm giải quyết wong các hệ thống Irích rút thông lín theo miễn ứng dụng cụ thể Một lượng lớn các tải liệu chứa các thông tia về cá nhân tiếp tực dược tạo ra và xuất bản hàng ngày trên internet.
Các thông tin này luân chiếm một vị trí quan. trọng trong các máy tìm kiếm đữ liệu cũng như các trang web và thu hút sự quan tâm của người dùng, các nhả nghiên cửu cũng như của các nhà phát triển dich va web. Nếu các thông tin này được trích rút tự động vả lưu trữ trong các co sở đữ liệu có câu trúc thì chứng sẽ hỗ trợ lối. cho các nghiên cửu về cơn người và các Tĩnh vực liên quan như quảng cáo, nghiên cứu thị trường, thiết kế sản phẩm và đánh giá thói quen người đùng.
Ý thức được những lợi ich má các bài toán trích rút thông tin ca nhân, đồng, thời phát triển cha ngôn ngữ tiếng Việt, tác giả đã chọn hướng nghiên cứu nhằm. giải quyết bài toán trích rút thông lim cá nhân từ văn bản Lễng Việt làm để tải luận văn của mình. 12 Mục đích và phạm vi 1.1 Mục đích nghiên cứu Thông qua nghiên cửu để tài “Trích rút thông tia cá nhân từ văn bản tiếng Việt”, tác giả mong ruuốn dạt một. số kết quả Nguyẫn Cao Cuồng # Luan van Thạc sỹ Trích rút thông tìn có nhân từ vẫn bản tiếng Việt DANH MỤC CÁC BẢNG Bang 2-1: Các giá trị đánh piá một hệ thẳng trích rút thực thể 24 tảng 4-1: Mẫu ngữ cảnh về từ vụng: _ - 47 Bảng 42: Các từ điển được sử dụng .đỂ Tăng 4-3: Các đặc trưng chỉnh tả.
- - 49 Tăng 4-4: Dặc trưng chính qui và từ loại. - - 50 Bảng 45: Định dạng tên thực thể.51 Bang 46: Cac tham số trong quá trình huấn luyện nhận dạng thực thể 38 Bang 4-7: Dánh giá mức nhãn — Lần thực nghiệm cho kết quả tốt nhất. 59 Bang 48: Danh gia mire cum tir— Lan thực nghiệm cho kết quả tốt nhất. 59 Bang 49: Kết quả trích rút quan hệ - 60 DANH MỤC CÁC HÌXH Hình 2-1: Vi dụ về trích rút thông tỉn.
13 Hình 2-2: Kiến trúc của hệ thông trích rút thông tin - - 14 Linh 2-3: Trich rut thông tin cá nhân từ văn bản tiểu sử phi câu trúc. 16 Hình 2-4: Phân cấp các câu theo tác giá Sérgio Flipe. Hình 3-1: Đỗ thị có hướng mô tả mô bình HMM - - 37 Linh 3-2: Van dé “label bins”.3Ô Tình 3-3: Đỗ thị vô hướng mô tả CREs - 32 Hình 4-1: Kiến trúc hệ thông trích rút thông tin cá nhãn 45 Hình 4-2: Trích rút thực thể sử dụng CRE.4f Tình 4-3: Quá trình hậu xử lý - - - 31 Tình 4-4: Xử lý đồng tham chiéu - - - $6 Nguyẫn Cao Cuồng 7 Luan van Thạc sỹ Trích rút thông tin cá nhân từ văn bản tiếng Liệt BANG TU VIET TAT CRFs | Conditional Random Fields Em trường ngẫu nhiên có điều HMM.