BỘ GIÁO DỤC VÀ ĐÀO TẠO 'TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI. NGUYEN THE NU TOM TAT DA VAN BAN TIENG VIET DU'A VAO TRICI. XUAT CAU Chuyên ngành : Công nghệ thông tin LUẬN VĂN THẠC SĨ KỸ THUẬT Công nghệ thông tin NGƯỜI HƯỚNG DAN KHOA HOC PGS. Lê Thanh Hương Hà Nội — Nam 2014 Tôm tắt da vẫn bản tiếng việt dựa vào trích xuất câu LỜI CAM ĐOAN To va tén hoe vién: Neuyén Thi Nu SITIV: CB120102.
Chuyên ngành: Công nghệ thông tin Láp: CH20125 Người hướng dẫn: PGS. Lê Thanh Hương Đón vị: Viện Công nghệ Thông tín - Truyền thông, Tên dé tai: Tom tat đa văn bản tiếng việt dựa vào trích xuất câu Tôi — Aiguyễn Thị Mục Cam kết Luận vẫn là công trình nghiên cửu của bản thân tôi dưới sự hướng dẫn của PGS. Lê Thanh [long Các kết quâ nên trong Luận là trung thực, không phải là sao chép toàn văn của bất kỷ công trinh nao khác. Hà Nội ngày tháng năm2014 ‘Tac gia Luan vin Nguyễn Thị Nụ 1 Hạc viên thực hiện: Nguyễn Thị Nụ - CBI20102 — 12BCNTT2 Tom tat da van bản tiếng việt dựa vào trích xuất cầu LOT CAM ON Lài dẫu tiên, em xin được gửi loi cd on chan ihimh ii cae thay câ giáa thuộc trường Đại học Bách Khoa Hà Nội, những người đã tận tình chi day tắt cô kiểu thức chuyên ngành cho em trong suất quá trình học tập và nghiên cứu tại trường.
Trong quá trình thực biện Luận văn tốt nghiệp em đã bạc hỏi được thêm rất nhiều điều, đó cũng là cơ hội đồ em tông kết những kiễn thức đã được học, đồng thải rút ra những kinh nghiệm quý báu. lâm xin chân thành cảm ơn những hướng dẫn tận tình cña cô giáo, PƠS. TS, Lê Thanh Hương- bộ môn Hệ thống thông tin — Viện Câng Nghệ Thông Ti và Truyễn Thông - trường Đại học Bách Khoa Hà Nội. Luận văn được hoàn thành ở một mức độ nhất định.
Tên cạnh những kế! quả để đạt được, chấo chan em sẽ không tránh khỏi những thiểu sôi và hạn chế. Sự phê bình, nhận xét của thầy cô là những bài học quý báu cho công việc và nghiÊn cứu của em sau nay. Em cũng xin được gửi lời cảm ơn sâu sắc đến gia đình, bạn bè đã luôn ở bên, ủng hộ, động viên tình thân cho em trong suốt quá trình thực hiện đồ án. in kính chúc quý thây cô mạnh khỏe, hạnh phúc, tếp tục đạt được nhiều thành công trong nghiên cứu khoa học cũng như trong sự nghiệp trồng người.
Hà Nội, tháng năm 2014 Sinh viên thực hiện Nguyễn Thị Nụ 3 Hạc viên thực hiện: Nguyễn Thị Nụ - CB120109— I2BCNTT2 Tom tat da van bản tiếng việt dựa vào trích xuất cầu 3.1 Trích xuất từ khỏa quan trong - - - 233 3.2 Xây dựng đã thị lừ vựng.3 Xếp hạng đỗ n từ vựng 34 3.4 Một ví dụ cụ thể vẻ đỗ thị từ vụng.4 Trích xuất râu và sinh văn bản 16m (at.1 'Tính trọng số chơ từng, câu.2 Xếp hạng câu theo độ quan trọng.3 Sinh văn bản tóm ĐẾT,. cuc neneeeeiereiieesooroo,3Đ CHƯƠNG 4: THỰC NGIIỆM VÀ DÁNH GIÁ.1 Dữ liệu đánh giá mô kình tóm tắt đa văn bản. 42 Công cụ thực nghiệm.1 Mỗi trường thục nghiệm.2 Các thành phân chức năng được cài đặt - - 42 4. Kết quá xếp hạng từ vựng dựa vào đồ 44 Thực nghiệm tám (ắt đa văn bản tiếng Việt và đánh giá.5 Một ví dụ kết quả tom tắt da văn bản tiếng Việt.
- 51 TÀI LIỆU THAM KHẢO.S 6 Hạc viên thực hiện: Nguyễn Thị Nụ - CB120109— I2BCNTT2 Tom tat da van bản tiếng việt dựa vào trích xuất cầu ABSTRACT OF THE THESIS Along, with the rapid growth of online information is the need to summarize documents automatically. Tl aims to caplure information completely, efficiently and quickly, especially when many documents are likely to repeat much the same content, Therefore, multi-document summarization has altracted allention [rom the Natural Language Processing community. There is a difficult problem because the ambiguity of ths input. content has posed several challenges.
This thesis proposes 4 new method for multi-document summarization on Vietnamese by using a graph representation for text. As a result, a model was built to extract sentences based on the lexical ranking algorithm. Kepwords: multi-document summarication, lexical ranking, automotically, 4 Hạc viên thực hiện: Nguyễn Thị Nụ -CBI20102 — 12BCNTT2 Tom tat da van bản tiếng việt dựa vào trích xuất cầu TOM TAT NOI DUNG LUAN VAN TOT NGHIỆP Cũng với sự táng trưởng không ngùng lượng dữ liệu trực tuyển có sẵn là nhu cầu tôm tắt văn bản tự động nhằm nắm bắt thông tim một cách đầy đủ, hiệu quả, như. chóng, nhất là khi nhiều tải liệu trùng lặp nhau về nội dưng.
Do đó, bài toán tóm tất đa văn bản nhận đuợc sự quan tâm đặc biệt của công đẳng xử lý ngôn ngữ tự nhiên bởi tính ứng dụng thực tiễn quan trọng của nó. Tuy nhiên, đây là bai toán khỏ do đặc thù đầu vào là các văn bản nhập nh ng mặt nội dụng, trình lự thời gian trình bay siữa chúng khác nhau. ải toán tóm tắt đa văn bản trên tiếng Việt còn gặp khỏ khăn hơn rất nhiều bởi tỉnh phúc tạpcủa miễn ngôn ngữ. Bên cạnh đó, các công trình nghiên cứu liên quan còn hạn chế về cá số lượng lần chất lượng.
V vậy, luận văn khảo sát, nghiên cửu và để xuất một mô hình tóm tắt đa văn bản tiếng Việt sử dụng phương pháp xếp hạng, từ vựng dựa trên đồ thị. Việc trên hành thực nghiệm chơ kết quả khả quan, với dộ do F1 dạt khoảng 52%. Từ da cho thay hung đi đúng đắn, hiệu quả trang việc xây đựng mô hình tóm tắt đa văn bản tong Việt mài luận văn di dura ra. Từ khỏa: tóm tắt da văn bản, xếp hạng từ vựng, tiếng Việt, tự động 3 Hạc viên thực hiện: Nguyễn Thị Nụ - CB120109— I2BCNTT2 Tom tat da van bản tiếng việt dựa vào trích xuất cầu 3.1 Trích xuất từ khỏa quan trong - - - 233 3.2 Xây dựng đã thị lừ vựng.3 Xếp hạng đỗ n từ vựng 34 3.4 Một ví dụ cụ thể vẻ đỗ thị từ vụng.4 Trích xuất râu và sinh văn bản 16m (at.1 'Tính trọng số chơ từng, câu.2 Xếp hạng câu theo độ quan trọng.3 Sinh văn bản tóm ĐẾT,.
cuc neneeeeiereiieesooroo,3Đ CHƯƠNG 4: THỰC NGIIỆM VÀ DÁNH GIÁ.1 Dữ liệu đánh giá mô kình tóm tắt đa văn bản. 42 Công cụ thực nghiệm.1 Mỗi trường thục nghiệm.2 Các thành phân chức năng được cài đặt - - 42 4. Kết quá xếp hạng từ vựng dựa vào đồ 44 Thực nghiệm tám (ắt đa văn bản tiếng Việt và đánh giá.5 Một ví dụ kết quả tom tắt da văn bản tiếng Việt. - 51 TÀI LIỆU THAM KHẢO.S 6 Hạc viên thực hiện: Nguyễn Thị Nụ - CB120109— I2BCNTT2 Tom tat da van bản tiếng việt dựa vào trích xuất cầu TOM TAT NOI DUNG LUAN VAN TOT NGHIỆP Cũng với sự táng trưởng không ngùng lượng dữ liệu trực tuyển có sẵn là nhu cầu tôm tắt văn bản tự động nhằm nắm bắt thông tim một cách đầy đủ, hiệu quả, như.
chóng, nhất là khi nhiều tải liệu trùng lặp nhau về nội dưng. Do đó, bài toán tóm tất đa văn bản nhận đuợc sự quan tâm đặc biệt của công đẳng xử lý ngôn ngữ tự nhiên bởi tính ứng dụng thực tiễn quan trọng của nó. Tuy nhiên, đây là bai toán khỏ do đặc thù đầu vào là các văn bản nhập nh ng mặt nội dụng, trình lự thời gian trình bay siữa chúng khác nhau. ải toán tóm tắt đa văn bản trên tiếng Việt còn gặp khỏ khăn hơn rất nhiều bởi tỉnh phúc tạpcủa miễn ngôn ngữ.
Bên cạnh đó, các công trình nghiên cứu liên quan còn hạn chế về cá số lượng lần chất lượng. V vậy, luận văn khảo sát, nghiên cửu và để xuất một mô hình tóm tắt đa văn bản tiếng Việt sử dụng phương pháp xếp hạng, từ vựng dựa trên đồ thị. Việc trên hành thực nghiệm chơ kết quả khả quan, với dộ do F1 dạt khoảng 52%. Từ da cho thay hung đi đúng đắn, hiệu quả trang việc xây đựng mô hình tóm tắt đa văn bản tong Việt mài luận văn di dura ra.
Từ khỏa: tóm tắt da văn bản, xếp hạng từ vựng, tiếng Việt, tự động 3 Hạc viên thực hiện: Nguyễn Thị Nụ - CB120109— I2BCNTT2 Tom tat da van bản tiếng việt dựa vào trích xuất cầu 3.1 Trích xuất từ khỏa quan trong - - - 233 3.2 Xây dựng đã thị lừ vựng.3 Xếp hạng đỗ n từ vựng 34 3.4 Một ví dụ cụ thể vẻ đỗ thị từ vụng.4 Trích xuất râu và sinh văn bản 16m (at.1 'Tính trọng số chơ từng, câu.2 Xếp hạng câu theo độ quan trọng.3 Sinh văn bản tóm ĐẾT,. cuc neneeeeiereiieesooroo,3Đ CHƯƠNG 4: THỰC NGIIỆM VÀ DÁNH GIÁ.1 Dữ liệu đánh giá mô kình tóm tắt đa văn bản. 42 Công cụ thực nghiệm.1 Mỗi trường thục nghiệm.2 Các thành phân chức năng được cài đặt - - 42 4. Kết quá xếp hạng từ vựng dựa vào đồ 44 Thực nghiệm tám (ắt đa văn bản tiếng Việt và đánh giá.5 Một ví dụ kết quả tom tắt da văn bản tiếng Việt.
- 51 TÀI LIỆU THAM KHẢO.S 6 Hạc viên thực hiện: Nguyễn Thị Nụ - CB120109— I2BCNTT2 Tom tat da van bản tiếng việt dựa vào trích xuất cầu ABSTRACT OF THE THESIS Along, with the rapid growth of online information is the need to summarize documents automatically. Tl aims to caplure information completely, efficiently and quickly, especially when many documents are likely to repeat much the same content, Therefore, multi-document summarization has altracted allention [rom the Natural Language Processing community. There is a difficult problem because the ambiguity of ths input. content has posed several challenges.
This thesis proposes 4 new method for multi-document summarization on Vietnamese by using a graph representation for text. As a result, a model was built to extract sentences based on the lexical ranking algorithm. Kepwords: multi-document summarication, lexical ranking, automotically, 4 Hạc viên thực hiện: Nguyễn Thị Nụ -CBI20102 — 12BCNTT2 Tom tat da van bản tiếng việt dựa vào trích xuất cầu MO PAU 1. Ly do chon dé tai Trong hai mươi năm trở lại đầy, các nghiền cửu về tom tt van bản tụ động phát triển mạnh mẽ trong rniền xử lý ngôn ngữ tự nhiền.
Những thông lim đôi dào sẵn có về khoa học, công nghệ trên Iniernet như bải báo, hội nghị, tin tức đã thu hút sự quan tâm các nhóm nghiên cứu khác nhau. Các nhóm nghiên cứu nảy cùng làm về tóm tắt văn bản như các nhà ngôn ngữ học, nhá sinh vật học, nhà nghiền cứu về cơ sở dữ liều, chuyên gia khôi phục thông tin,. Tuy nhiên, bởi các đữ liệu trên web này quá lớn nên việc đọc và tóm tốt thủ công toàn bộ lượng thông tin này là không thể.