MỞ ĐẦU Với sự phát triển mạnh mẽ của công nghệ thông tin và mạng máy tính, lƣợng tài liệu văn bản khổng lồ đƣợc tạo ra với nhiều mục đích sử dụng khác nhau khiến cho việc đọc hiểu và trích lƣợc các thông tin cần thiết trong khối tri thức đồ sộ này tốn rất nhiều thời gian và chi phí (đặc biệt là chi phí cho hạ tầng và truyền dẫn thông tin đáp ứng yêu cầu cho một số lƣợng ngày càng nhiều các thiết bị cầm tay). Để tăng hiệu quả cũng nhƣ dễ dàng hơn trong việc tiếp nhận thông tin của ngƣời dùng, nhiều nghiên cứu về khai phá dữ liệu và xử lý ngôn ngữ tự nhiên đã đƣợc thực hiện. Một trong những nghiên cứu quan trọng đóng vai trò then chốt đó tóm tắt văn bản tự động. Bài toán tóm tắt văn bản tiếng Việt cũng đƣợc nghiên cứu và áp dụng nhiều kỹ thuật nhƣ đối với tiếng Anh; tuy nhiên, tóm tắt văn bản nói riêng và xử lý ngôn ngữ tự nhiên nói chung áp dụng cho tiếng Việt gặp nhiều thách thức hơn.
Sở dĩ là vì tiếng Việt với đặc trƣng là tiếng đơn âm và có thanh điệu nên việc tách từ, tách các thành phần ngữ nghĩa trong câu tiếng Việt đòi hỏi xử lý phức tạp hơn so với xử lý câu tiếng Anh, thêm vào đó, không có nhiều kho dữ liệu tiếng Việt đƣợc chuẩn hóa và công bố. Trong luận văn này, chúng tôi tập trung nghiên cứu tóm tắt văn bản tự động theo hƣớng tóm lƣợc, các mô hình kiến trúc mạng học sâu và các kỹ thuật xử lý những thách thức trong tóm tắt văn bản. Bố cục của luận văn đƣợc tổ chức thành nhƣ sau: Chƣơng 1: Khái quát bài toán tóm tắt văn bản giới thiệu tổng quan về bài toán tóm tắt văn bản tự động, định nghĩa và các hƣớng tiếp cận. Chƣơng 2: Một số nghiên cứu về tóm tắt văn bản giới thiệu một số phƣơng pháp, kỹ thuật đã đƣợc nghiên cứu và áp dụng cho bài toán tóm tắt văn bản tự động.
Chƣơng 3: Mạng nơ ron nhân tạo giới thiệu cơ sở lý thuyết và cách hoạt động của các mô hình kiến trúc từ mạng ANN tới RNN và LSTM. Chƣơng 4: Xây dựng hệ thống tóm tắt văn bản theo hƣớng tóm lƣợc trình bày mô hình bài toán tóm tắt văn bản tự động, quy trình thực hiện giải quyết bài toán trong luận văn, các xây dựng mô hình học sâu dựa trên kiến trúc mạng LSTM áp dụng cho bài toán tóm tắt văn bản. 11 Chƣơng 5: Thử nghiệm và đánh giá trình bày quá trình thử nghiệm mô hình đã xây dựng cho tập dữ liệu tiếng Anh và tiếng Việt và thực hiện đánh giá độ chính xác của mô hình bằng phƣơng pháp ROUGE. Kết luận: phần này tổng kết các đóng góp và kết quả đạt đƣợc trong quá trình nghiên cứu và thực hiện luận văn, cũng nhƣ hƣớng phát triển trong tƣơng lai để hoàn thiện hơn kết quả nghiên cứu.
12 CHƢƠNG 1: KHÁI QUÁT BÀI TOÁN TÓM TẮT VĂN BẢN Cùng với sự tăng trƣởng mạnh mẽ của mạng Internet, con ngƣời ngày càng bị quá tải bởi khối lƣợng lớn các thông tin và tài liệu trực tuyến. Điều này đã thúc đẩy rất nhiều nghiên cứu về tóm tắt văn bản tự động. Theo Radev và cộng sự [25] một tóm tắt đƣợc định nghĩa nhƣ là một văn bản đƣợc tạo từ một hoặc nhiều văn bản, truyền đạt các thông tin quan trọng từ các văn bản gốc, văn bản tóm tắt không dài hơn hơn 50% độ dài văn bản gốc và thông thƣờng bản tóm tắt có độ dài khá ngắn, ngắn hơn nhiều so với 50% độ dài văn bản gốc. Bài toán tóm tắt văn bản tự động Tóm tắt văn bản tự động là tác vụ để tạo ra một tóm tắt chính xác và hợp ngữ pháp trong khi vẫn giữ đƣợc các thông tin chính và ý nghĩa của văn bản gốc.
Trong các năm gần đây, có rất nhiều hƣớng tiếp cận đã đƣợc nghiên cứu cho tóm tắt văn bản tự động và đã đƣợc áp dụng rộng rãi trong nhiều lĩnh vực. Ví dụ, máy tìm kiếm sinh ra các trích đoạn nhƣ là các bản xem trƣớc của tài liệu [2], các website tin tức sinh ra các đoạn mô tả ngắn gọn cho bài viết (thƣờng là tiêu đề của bài viết) [20]. Mục tiêu của tóm tắt văn bản là tạo ra bản tóm tắt giống nhƣ cách con ngƣời tóm tắt, đây là bài toán đầy thách thức, bởi vì khi con ngƣời thực hiện tóm tắt một văn bản, chúng ta thƣờng đọc toàn bộ nội dung rồi dựa trên sự hiểu biết và cảm thụ của mình để viết lại một đoạn tóm tắt nhằm làm nổi bật các ý chính của văn bản gốc. Nhƣng vì máy tính khó có thể có đƣợc tri thức và khả năng ngôn ngữ nhƣ của con ngƣời, nên việc thực hiện tóm tắt văn bản tự động là một công việc phức tạp.
Các hƣớng tiếp cận tóm tắt văn bản. Nhìn chung, có hai hƣớng tiếp cận cho tóm tắt văn bản tự động là trích chọn (extraction) và tóm lƣợc (abstraction). Phƣơng pháp tóm tắt trích chọn thực hiện đánh giá các phần quan trọng của văn bản và đƣa chúng một cách nguyên bản vào bản tóm tắt, do đó, phƣơng pháp này chỉ phụ thuộc vào việc trích chọn các câu từ văn bản gốc dựa trên việc xếp hạng mức độ liên quan của các cụm từ để chỉ chọn những cụm từ liên quan nhất tới nội dung của tài liệu gốc. Trong khi đó, phƣơng pháp tóm tắt tóm lƣợc nhằm tạo ra văn 13 bản tóm tắt mới có thể không gồm các từ hay các cụm từ trong văn bản gốc.
Nó cố gắng hiểu và đánh giá văn bản sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến để tạo ra một văn bản ngắn hơn, truyền đạt đƣợc những thông tin quan trọng nhất từ văn bản gốc. Mặc dù các tóm tắt đƣợc con ngƣời thực hiện thƣờng không giống nhƣ trích chọn, song hầu hết các nghiên cứu về tóm tắt văn bản hiện tại vẫn tập trung vào tóm tắt bằng phƣơng pháp trích chọn vì về cơ bản các tóm tắt sinh bởi phƣơng pháp trích chọn cho kết quả tốt hơn so với tóm tắt bằng phƣơng pháp tóm lƣợc. Điều này là bởi vì phƣơng pháp tóm tắt bằng tóm lƣợc phải đối mặt với các vấn đề nhƣ thể hện ngữ nghĩa, suy luận và sinh ngôn ngữ tự nhiên, các vấn đề này phức tạp hơn nhiều lần so với việc trích chọn câu. Hƣớng tiếp cận tóm tắt bằng tóm lƣợc khó hơn so với tóm tắt bằng trích chọn, song phƣơng pháp này đƣợc kỳ vọng có thể tạo ra đƣợc các văn bản tóm tắt giống nhƣ cách con ngƣời thực hiện.
14 CHƢƠNG 2: MỘT SỐ NGHIÊN CỨU VỀ TÓM TẮT VĂN BẢN 2. Tóm tắt văn bản theo hƣớng trích chọn. Nhƣ đã đề cập trong chƣơng 1, các kỹ thuật tóm tắt bằng trích chọn sinh ra các đoạn tóm tắt bằng cách chọn một tập các câu trong văn bản gốc. Các đoạn tóm tắt này chứa các câu quan trọng nhất của đầu vào.
Đầu vào có thể là đơn văn bản hoặc đa văn bản. Trong khuôn khổ của luận văn này, đầu vào của bài toán tóm tắt văn bản là đơn văn bản. Các hệ thống tóm tắt văn bản theo hƣớng trích chọn thƣờng gồm các tác vụ: xây dựng một đại diện trung gian (intermediate representation) của văn bản đầu vào thể hiện các đặc điểm chính của văn bản; tính điểm (xếp hạng) các câu dựa trên đại diện trung gian đã xây dựng; chọn các câu đƣa vào tóm tắt [23]. Mỗi hệ thống tóm tắt văn bản tạo ra một số đại diện trung gian của văn bản mà nó sẽ thực hiện tóm tắt và tìm các nội dung nổi bật dựa trên đại diện trung gian này.
Có hai hƣớng tiếp cận dựa trên dại diện trung gian là chủ đề đại diện (topic representation) và các đặc trƣng đại diện (indicator representation). Các phƣơng pháp dựa trên chủ đề đại diện biến đổi văn bản đầu vào thành một đại diện trung gian và tìm kiếm các chủ đề đƣợc thảo luận trong văn bản. Kỹ thuật tóm tắt dựa trên chủ đề đại diện tiêu biểu là phƣơng pháp tiếp cận dựa trên tần xuất (frequency). Phƣơng pháp dựa trên các đặc trƣng đại diện thực hiện mô tả các câu trong văn bản nhƣ một danh sách các đặc trƣng quan trọng chẳng hạn nhƣ độ dài câu, vị trí của câu trong tài liệu hay câu có chứa những cụm từ nhất định.
Khi các đại diện trung gian đã đƣợc tạo ra, một điểm số thể hiện mức độ quan trọng sẽ đƣợc gán cho mỗi câu. Đối với phƣơng pháp dựa trên chủ đề đại diện, điểm số của một câu thể hiện mức độ giải thích của câu đối với một vài chủ đề quan trọng nhất của văn bản. Trong hầu hết các phƣơng pháp dựa trên đặc trƣng đại diện, điểm số đƣợc tính bằng tổng hợp các dấu hiệu từ các đặc trƣng khác nhau. Các kỹ thuật học máy thƣờng đƣợc sử dụng để tìm trọng số cho các đặc trƣng.
Cuối cùng hệ thống tóm tắt sẽ lựa chọn các câu quan trọng nhất để tạo ra bản tóm tắt. Có thể áp dụng các thuật toán tham lam để chọn các câu quan trọng nhất từ văn bản gốc, hoặc biến việc lựa chọn câu thành một bài toán tối ƣu trong đó xem xét ràng buộc tối đa hóa tầm quan trọng tổng thể và sự gắn kết ngữ nghĩa trong khi tối 15 thiểu hóa sự dƣ thừa. Có nhiều yếu tố khác cần đƣợc cân nhắc khi lựa chọn các câu quan trọng, ví dụ ngữ cảnh của bản tóm tắt hay loại tài liệu cần tóm tắt (bài báo tin tức, email, báo cáo khoa học). Các tiêu chí này có thể trở thành các trọng số bổ sung cho việc lựa chọn các câu quan trọng đƣa vào bản tóm tắt.
Phƣơng pháp chủ đề đại diện dựa trên tần xuất 2. Word probability Xác suất của từ (word probability) là dạng đơn giản nhất sử dụng tần xuất trên văn bản đầu vào nhƣ là một chỉ số quan trọng. Phƣơng pháp này khá phụ thuộc vào độ dài của văn bản đầu vào, ví dụ, một từ xuất hiện ba lần trong một văn bản 10 từ có thể là từ quan trọng song có thể nó là một từ bình thƣờng trong văn bản 1000 từ. Xác suất của một từ w: p(w) đƣợc tính dựa trên số lần xuất hiện của từ w, n(w), trong toàn bộ các từ thuộc văn bản đầu vào N.1) Hệ thống SumBasic [18] đƣợc phát triển dựa trên ý tƣởng sử dụng xác suất của từ để tính toán câu quan trọng.
