Luận Văn Thạc Sĩ: Nghiên Cứu Tóm Tắt Văn Bản Tự Động và Ứng Dụng

Luận văn thạc sĩ phân tích nghiên cứu về tóm tắt văn bản tự động và ứng dụng luận văn ths máy tính 604801, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực

• Tác giả: Nguyễn Viết Hạnh
• Người hướng dẫn: Ts. Nguyễn Văn Vinh
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu tóm tắt văn bản tự động và ứng dụng
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• BẢNG CÁC TỪ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• MỞ ĐẦU
• 1. CHƢƠNG 1: KHÁI QUÁT BÀI TOÁN TÓM TẮT VĂN BẢN
• 1.1. Bài toán tóm tắt văn bản tự động
• 1.2. Các hƣớng tiếp cận tóm tắt văn bản
• 2. CHƢƠNG 2: MỘT SỐ NGHIÊN CỨU VỀ TÓM TẮT VĂN BẢN
• 2.1. Tóm tắt văn bản theo hƣớng trích chọn
• 2.2. Phƣơng pháp chủ đề đại diện dựa trên tần xuất
• 2.3. Phƣơng pháp TF-IDF
• 2.4. Phƣơng pháp đặc trƣng đại diện
• 2.5. Phƣơng pháp đồ thị cho tóm tắt văn bản
• 2.6. Kỹ thuật học máy cho tóm tắt văn bản
• 2.7. Tóm tắt văn bản theo hƣớng tóm lƣợc
• 3. CHƢƠNG 3: MẠNG NƠ RON NHÂN TẠO
• 3.1. Mạng nơ ron nhân tạo ANN
• 3.2. Cấu trúc mạng nơ ron nhân tạo
• 3.3. Hoạt động của mạng ANN
• 3.4. Mạng nơ ron hồi quy RNN
• 3.5. Mạng nơ ron có nhớ LSTM
• 4. CHƢƠNG 4: XÂY DỰNG HỆ THỐNG TÓM TẮT VĂN BẢN THEO HƢỚNG TÓM LƢỢC
• 4.1. Quy trình tóm tắt theo hƣớng tóm lƣợc sử dụng mạng LSTM
• 4.2. Xây dựng bộ dữ liệu cho tóm tắt văn bản tiếng Việt
• 4.3. Embedding dựa trên tần xuất xuất hiện của từ
• 4.4. Phƣơng pháp vector hóa TF-IDF
• 4.5. Mô hình Skip-gram
• 4.6. Xây dựng mô hình
• 5. CHƢƠNG 5: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Môi trƣờng thử nghiệm
• 5.2. Quá trình thử nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tóm Tắt Văn Bản Tự Động Luận Văn Hay

Với sự phát triển mạnh mẽ của công nghệ thông tin và mạng máy tính, lượng tài liệu văn bản khổng lồ được tạo ra với nhiều mục đích sử dụng khác nhau khiến cho việc đọc hiểu và trích lược các thông tin cần thiết trong khối tri thức đồ sộ này tốn rất nhiều thời gian và chi phí. Để tăng hiệu quả cũng như dễ dàng hơn trong việc tiếp nhận thông tin của người dùng, nhiều nghiên cứu về khai phá dữ liệu và xử lý ngôn ngữ tự nhiên (NLP) đã được thực hiện. Một trong những nghiên cứu quan trọng đóng vai trò then chốt đó là tóm tắt văn bản tự động. Bài toán tóm tắt văn bản tiếng Việt cũng được nghiên cứu và áp dụng nhiều kỹ thuật như đối với tiếng Anh; tuy nhiên, tóm tắt văn bản nói riêng và xử lý ngôn ngữ tự nhiên nói chung áp dụng cho tiếng Việt gặp nhiều thách thức hơn. Sở dĩ là vì tiếng Việt với đặc trưng là tiếng đơn âm và có thanh điệu nên việc tách từ, tách các thành phần ngữ nghĩa trong câu tiếng Việt đòi hỏi xử lý phức tạp hơn so với xử lý câu tiếng Anh, thêm vào đó, không có nhiều kho dữ liệu tiếng Việt được chuẩn hóa và công bố. Trong luận văn này, chúng tôi tập trung nghiên cứu tóm tắt văn bản tự động theo hướng tóm lược, các mô hình kiến trúc mạng học sâu và các kỹ thuật xử lý những thách thức trong tóm tắt văn bản. Theo Radev và cộng sự [25] một tóm tắt được định nghĩa như là một văn bản được tạo từ một hoặc nhiều văn bản, truyền đạt các thông tin quan trọng từ các văn bản gốc, văn bản tóm tắt không dài hơn hơn 50% độ dài văn bản gốc và thông thường bản tóm tắt có độ dài khá ngắn, ngắn hơn nhiều so với 50% độ dài văn bản gốc.

1.1. Bài Toán Tóm Tắt Văn Bản Tự Động Khái Niệm Ứng Dụng

Tóm tắt văn bản tự động là tác vụ để tạo ra một tóm tắt chính xác và hợp ngữ pháp trong khi vẫn giữ được các thông tin chính và ý nghĩa của văn bản gốc. Trong các năm gần đây, có rất nhiều hướng tiếp cận đã được nghiên cứu cho tóm tắt văn bản tự động và đã được áp dụng rộng rãi trong nhiều lĩnh vực. Ví dụ, máy tìm kiếm sinh ra các trích đoạn như là các bản xem trước của tài liệu [2], các website tin tức sinh ra các đoạn mô tả ngắn gọn cho bài viết (thường là tiêu đề của bài viết) [20]. Mục tiêu của tóm tắt văn bản là tạo ra bản tóm tắt giống như cách con người tóm tắt, đây là bài toán đầy thách thức, bởi vì khi con người thực hiện tóm tắt một văn bản, chúng ta thường đọc toàn bộ nội dung rồi dựa trên sự hiểu biết và cảm thụ của mình để viết lại một đoạn tóm tắt nhằm làm nổi bật các ý chính của văn bản gốc. Nhưng vì máy tính khó có thể có được tri thức và khả năng ngôn ngữ như của con người, nên việc thực hiện tóm tắt văn bản tự động là một công việc phức tạp.

1.2. Các Hướng Tiếp Cận Tóm Tắt Văn Bản Trích Chọn vs. Tóm Lược

Nhìn chung, có hai hướng tiếp cận cho tóm tắt văn bản tự động là trích chọn (extraction) và tóm lược (abstraction). Phương pháp tóm tắt trích chọn thực hiện đánh giá các phần quan trọng của văn bản và đưa chúng một cách nguyên bản vào bản tóm tắt, do đó, phương pháp này chỉ phụ thuộc vào việc trích chọn các câu từ văn bản gốc dựa trên việc xếp hạng mức độ liên quan của các cụm từ để chỉ chọn những cụm từ liên quan nhất tới nội dung của tài liệu gốc. Trong khi đó, phương pháp tóm tắt tóm lược nhằm tạo ra văn bản tóm tắt mới có thể không gồm các từ hay các cụm từ trong văn bản gốc. Nó cố gắng hiểu và đánh giá văn bản sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến để tạo ra một văn bản ngắn hơn, truyền đạt được những thông tin quan trọng nhất từ văn bản gốc.

1.3. Tại Sao Tóm Lược Thách Thức Hơn Trích Chọn

Mặc dù các tóm tắt được con người thực hiện thường không giống như trích chọn, song hầu hết các nghiên cứu về tóm tắt văn bản hiện tại vẫn tập trung vào tóm tắt bằng phương pháp trích chọn vì về cơ bản các tóm tắt sinh bởi phương pháp trích chọn cho kết quả tốt hơn so với tóm tắt bằng phương pháp tóm lược. Điều này là bởi vì phương pháp tóm tắt bằng tóm lược phải đối mặt với các vấn đề như thể hiện ngữ nghĩa, suy luận và sinh ngôn ngữ tự nhiên, các vấn đề này phức tạp hơn nhiều lần so với việc trích chọn câu. Hướng tiếp cận tóm tắt bằng tóm lược khó hơn so với tóm tắt bằng trích chọn, song phương pháp này được kỳ vọng có thể tạo ra được các văn bản tóm tắt giống như cách con người thực hiện.

II. Tổng Hợp Nghiên Cứu Về Tóm Tắt Văn Bản Thạc Sĩ Cần Biết

Như đã đề cập trong chương 1, các kỹ thuật tóm tắt bằng trích chọn sinh ra các đoạn tóm tắt bằng cách chọn một tập các câu trong văn bản gốc. Các đoạn tóm tắt này chứa các câu quan trọng nhất của đầu vào. Đầu vào có thể là đơn văn bản hoặc đa văn bản. Trong khuôn khổ của luận văn này, đầu vào của bài toán tóm tắt văn bản là đơn văn bản. Các hệ thống tóm tắt văn bản theo hướng trích chọn thường gồm các tác vụ: xây dựng một đại diện trung gian (intermediate representation) của văn bản đầu vào thể hiện các đặc điểm chính của văn bản; tính điểm (xếp hạng) các câu dựa trên đại diện trung gian đã xây dựng; chọn các câu đưa vào tóm tắt [23]. Mỗi hệ thống tóm tắt văn bản tạo ra một số đại diện trung gian của văn bản mà nó sẽ thực hiện tóm tắt và tìm các nội dung nổi bật dựa trên đại diện trung gian này. Có hai hướng tiếp cận dựa trên dại diện trung gian là chủ đề đại diện (topic representation) và các đặc trưng đại diện (indicator representation). Các phương pháp dựa trên chủ đề đại diện biến đổi văn bản đầu vào thành một đại diện trung gian và tìm kiếm các chủ đề được thảo luận trong văn bản. Kỹ thuật tóm tắt dựa trên chủ đề đại diện tiêu biểu là phương pháp tiếp cận dựa trên tần xuất (frequency).

2.1. Phương Pháp Chủ Đề Đại Diện Dựa Trên Tần Xuất Ưu Nhược

Các phương pháp dựa trên chủ đề đại diện biến đổi văn bản đầu vào thành một đại diện trung gian và tìm kiếm các chủ đề được thảo luận trong văn bản. Kỹ thuật tóm tắt dựa trên chủ đề đại diện tiêu biểu là phương pháp tiếp cận dựa trên tần xuất (frequency). Xác suất của từ (word probability) là dạng đơn giản nhất sử dụng tần xuất trên văn bản đầu vào như là một chỉ số quan trọng. Phương pháp này khá phụ thuộc vào độ dài của văn bản đầu vào, ví dụ, một từ xuất hiện ba lần trong một văn bản 10 từ có thể là từ quan trọng song có thể nó là một từ bình thường trong văn bản 1000 từ. Xác suất của một từ w: p(w) được tính dựa trên số lần xuất hiện của từ w, n(w), trong toàn bộ các từ thuộc văn bản đầu vào N. Hệ thống SumBasic [18] được phát triển dựa trên ý tưởng sử dụng xác suất của từ để tính toán câu quan trọng. Với mỗi câu Sj trong văn bản đầu vào, nó gán một trọng số bằng xác suất trung bình của các từ chứa nội dung trong câu (một danh sách các từ không mang thông tin – stop words – sẽ bị loại khỏi quá trình đánh trọng số).

2.2. TF IDF Giải Pháp Đánh Giá Độ Quan Trọng Của Từ Ngữ

Phương pháp dựa trên xác suất của từ phụ thuộc vào danh sách stop word để loại bỏ các từ không quan trọng khỏi bản tóm tắt. Việc quyết định từ nào sẽ đưa vào danh sách stop word sẽ ảnh hưởng tới hiệu năng của phương pháp word probability. Phương pháp TF-IDF (Term Frequency - Inverse Document Frequency) đã được nghiên cứu phát triển để giải quyết hạn chế của phương pháp xác suất từ. Phương pháp này sẽ đánh giá độ quan trọng của một từ bằng cách đánh trọng số cho từ. Các từ quan trọng trong văn bản sẽ được đánh trọng số cao, còn các từ phổ biến trong rất nhiều tài liệu (common words) sẽ được đánh trọng số thấp để loại bỏ khỏi danh sách đánh giá lựa chọn đưa vào văn bản tóm tắt. Trọng số của mỗi từ trong tài liệu d được tính như sau: Weight(w) = 𝑓𝑑 𝑤 ∗ 𝑙𝑜𝑔 (𝐷 / 𝑓𝐷 (𝑤 ))

2.3. Phân Tích Phương Pháp Đồ Thị và Kỹ Thuật Học Máy trong Tóm Tắt

Phương pháp dựa trên đồ thị thể hiện văn bản như là một đồ thị liên thông. Các câu tạo thành các đỉnh của đồ thị và các cạnh giữa các câu thể hiện sự liên quan giữa hai câu với nhau. Một kỹ thuật thường được sử dụng để nối hai đỉnh đó là đo lường sự tương đồng giữa hai câu và nếu nó lớn hơn một ngưỡng nhất định thì chúng liên thông nhau. Đồ thị này thể hiện kết quả ở hai phần: thứ nhất, một phần đồ thị con được tạo bảo các chủ đề rời rạc trong văn bản; thứ hai, các câu được kết nối tới nhiều câu khác trong đồ thị là các câu quan trọng có thể lựa chọn đưa vào văn bản tóm tắt. Một phương pháp dựa trên đồ thị tiêu biểu đó là TextRank [24]. Phương pháp dựa trên đồ thị không cần các kỹ thuật xử lý ngôn ngữ tự nhiên đặc thù cho từng ngôn ngữ ngoài việc tách câu và từ, nên nó có thể áp dụng cho nhiều ngôn ngữ khác nhau.

III. Mạng Nơ ron Nhân Tạo ANN RNN LSTM Tổng Quan Chi Tiết

Mạng nơ ron nhân tạo (ANN – Artificial Neural Network) là một mô phỏng xử lý thông tin, được nghiên cứu ra từ hệ thống thần kinh của con người, giống như bộ não để xử lý thông tin. Mạng ANN bao gồm số lượng lớn các mối gắn kết cấp cao để xử lý các thông tin trong mối liên hệ rõ ràng. Nó có khả năng học bởi kinh nghiệm từ huấn luyện, lưu những kinh nghiệm thành tri thức và áp dụng trong những dữ liệu mới trong tương lai. Mỗi nơ ron (gọi là nút mạng) là yếu tố cơ bản nhất cấu tạo nên mạng nơ ron, tham gia vào xử lý thông tin trong mạng. Các nơ ron trong mạng liên kết với nhau, xử lý và chuyển tiếp thông tin dựa trên các trọng số liên kết và hàm kích hoạt.

3.1. Cấu Trúc và Hoạt Động Cơ Bản của Mạng Nơ ron ANN

Cấu trúc mạng nơ ron nhân tạo về cơ bản gồm ba lớp: lớp đầu vào (input layer), lớp ẩn (hidden layer) và lớp đầu ra (output layer) được minh họa như hình 3. Khi một mạng ANN có nhiều hơn hai lớp ẩn thì được gọi là một mạng nơ ron sâu (deep neural network hay DNN) [8]. Đầu vào: dữ liệu vào của mạng ANN tùy thuộc vào ứng dụng mà mô hình cần xử lý. Ví dụ với bài toán kinh điển nhận dạng ký tự viết tay, đầu vào là các ảnh chụp các số viết tay từ 0 đến 9. Đầu ra của mạng ANN là lời giải cho bài toán cần giải quyết, ví dụ với bài toán nhận dạng ký tự chữ viết tay thì đầu ra sẽ là dự đoán tương ứng cho ảnh đầu vào, ví dụ ảnh đầu vào là số 7 viết tay, thì đầu ra là kết quả đúng nếu dự đoán là số 7, và sai nếu trả kết quả là một số khác số 7 (ví dụ số 1 hay số 4).

3.2. Mạng Nơ ron Hồi Quy RNN Xử Lý Dữ Liệu Tuần Tự Ra Sao

Trong một mạng nơ ron truyền thống, chúng ta giả sử rằng tất cả các dữ liệu đầu vào và dữ liệu đầu ra là độc lập với nhau, nhưng trong nhiều bài toán thực tế thì giả sử này hoàn toàn sai. Ví dụ trong bài toán dự đoán từ tiếp theo trong một câu, việc suy diễn sẽ có căn cứ và có xác suất đúng ngữ cảnh là cao hơn nếu biết các từ trước nó. Việc sử dụng thông tin có tính chuỗi tuần tự chính là tư tưởng cho việc nghiên cứu và phát triển mạng nơ ron hồi quy RNN (Recurrent Neural Network) [6]. Các mạng RNN được gọi là hồi quy (hay hồi tiếp) bởi vì chúng thực thi cùng một tác vụ cho mỗi thành phần của chuỗi với đầu ra phụ thuộc vào các kết quả tính toán trước đó. Có thể hiểu theo một cách khác đó là RNN có bộ nhớ mà đã lưu trữ các thông tin đã xử lý trước đó. Về lý thuyết thì mạng RNN có thể xử lý thông tin cho một chuỗi dài tùy ý, song trên thực tế thì khả năng này khá giới hạn trong chỉ vài bước [6].

3.3. Mạng LSTM Vượt Qua Hạn Chế Bộ Nhớ Ngắn Hạn của RNN

Khi quan sát một mạng nơ ron, chức năng của nó giống như một chiếc hộp đen. Dữ liệu được đưa vào một chiều và kết quả được đưa ra ở một chiều khác, quá trình quyết định đưa ra kết quả chỉ phụ thuộc vào các đầu vào hiện tại. Nhìn chung, mạng nơ ron không hoàn toàn là không có khả năng nhớ, vì về cơ bản chúng học các tham số logic trong quá trình huấn luyện [29]. Tuy nhiên khả năng nhớ này là rất hạn chế và không phù hợp đối với các trường hợp khi cần sử dụng trạng thái nhớ trung gian để sử dụng sau này, ví dụ như tóm tắt nội dung chính của bài báo. Về lý thuyết thì mạng nơ ron hồi tiếp (recurrent neural network) có thể hoạt động, nhưng thực tế trong nhiều nghiên cứu chỉ ra hạn chế của mạng RNN là sự hội tụ và phân kỳ gradient (vanishing gradient và exploding gradient) [29]. Hạn chế này khiến RNN không hiệu quả đối với các bài toán cần xử lý dữ liệu theo thời gian đòi hỏi trạng thái nhớ trung gian. LSTM (Long short term memory) [12] ra đời để giải quyết hạn chế của RNN bằng việc đưa vào mạng một đơn vị nhớ được gọi là memory unit hay Cell.

IV. Xây Dựng Hệ Thống Tóm Tắt Văn Bản Hướng Tóm Lược

Bài toán tóm tắt văn bản theo hướng tóm lược có thể được phát biểu như sau: đầu vào của bài toán là một văn bản x gồm M từ: x1, x2, …, xm. Chúng ta sẽ ánh xạ chuỗi M từ này thành một chuỗi đầu ra y gồm N từ: y1, y2, …, yn; trong đó N<M dựa trên một tập từ vựng có kích thước cố định V. Các từ thuộc N không nhất định phải thuộc M. Mục tiêu là tìm một chuỗi đầu ra y làm cực đại hóa xác suất có điều kiện của y theo chuỗi đầu vào x: argmax𝑦 ∈𝑉 𝑃(𝑦|𝑥) Để thực hiện tóm tắt văn bản theo hướng tóm lược sử dụng mạng LSTM, chúng tôi thực hiện các bước như sau: - Thu thập dữ liệu phù hợp: dữ liệu phù hợp cho bài toán tóm tắt văn bản tiếng việt áp dụng LSTM là bộ dữ liệu gồm một cặp tương ứng: văn bản đầy đủ và văn bản tóm tắt mẫu (do con người thực hiện tóm tắt). - Xử lý dữ liệu: làm sạch dữ liệu, loại bỏ các ký tự không cần thiết, các lỗi phân tách câu. - Word embedding: véc tơ hóa dữ liệu về dạng số để đưa vào mô hình LSTM - Xây dựng mô hình LSTM: xây dựng mô hình xử lý chuỗi văn bản đầu vào, mục tiêu là tạo ra chuỗi văn bản tóm tắt bằng cách áp dụng các khối LSTM. - Huấn luyện và đánh giá mô hình sử dụng bộ dữ liệu đã được xử lý phía trên.

4.1. Quy Trình Tóm Tắt Văn Bản Tiếng Việt với Mạng LSTM

Với dữ liệu thu được từ các website tin tức trực tuyến của Việt Nam, chúng tôi tiến hành tiền xử lý để làm sạch dữ liệu và loại bỏ các ký tự nhiễu trong văn bản như sau: - Loại bỏ các dấu gạch đầu dòng, các dấu gạch ngang trong văn bản. - Loại bỏ các dấu hai chấm “:” trước mỗi danh sách liệt kê. - Loại bỏ các dấu ba chấm, các dấu ngoặc đơn và phần chú thích thêm trong ngoặc đơn, các dấu nháy đơn, các dấu nháy kép. - Thay thế các dấu chấm phẩy “;” phân tách ý thành dấu chấm ngắt câu “.” - Thêm dấu chấm kết thúc câu cho những chú thích dưới ảnh không có dấu kết thúc câu. - Tách các câu trong phần tóm tắt của bài báo bằng phân tách các câu dựa trên kết thúc câu bởi dấu chấm, dấu chấm hỏi và dấu chấm than. - Tách văn bản thành các token. - Chuyển đổi các phần tóm tắt và bài báo từ dạng văn bản thông thường thành dạng nhị phân và ghi vào file.

4.2. Word Embedding Chuyển Đổi Văn Bản Thành Dữ Liệu Số

Word embedding là quá trình chuyển đổi văn bản thành các con số và có thể có nhiều đại diện dạng số khác nhau thể hiện cùng một văn bản. Word embedding là kỹ thuật để thể hiện các từ thành các véc tơ có kích thước cố định, sao cho các từ có nghĩa tương tự hoặc gần nghĩa được thể hiện bằng các véc tơ gần nhau (tính theo khoảng cách euclid) [13]. Nhiều thuật toán học máy (machine learning) và hầu hết tất cả các kiến trúc học sâu (deep learning) không thể xử lý trực tiếp các xâu hay các văn bản thông thường. Chúng yêu cầu đầu vào là các con số để thực thi các tác vụ của mình như phân loại văn bản, dịch. Word embedding về cơ bản sẽ thực hiện ánh xạ một từ trong một từ điển thành một véc tơ [27]. Chính vì vậy có thể hiểu word embedding là quá trình véc tơ hóa một từ, hay tổng quát là véc tơ hóa văn bản.

4.3. Mô Hình Chuỗi Sang Chuỗi Seq2Seq Cho Tóm Tắt Văn Bản

Tư tưởng của bài toán tóm tắt văn bản theo hướng tóm lược là đưa ra văn bản tóm tắt là một chuỗi các từ (hay token) dựa trên chuỗi các từ của văn bản đầu vào, đây chính là mô hình chuỗi sang chuỗi (sequence-to-sequence). Mô hình chuỗi sang chuỗi có thể được xây dựng bằng kết hợp của hai mạng RNN, một là một mạng chuỗi sang véc tơ (sequence-to-vector) thường được gọi là bộ mã hóa (encoder), theo sau là một mạng véc tơ sang chuỗi (vector-to-sequence) thường được gọi là bộ giải mã (decoder). Mô hình chuỗi sang chuỗi được áp dụng thành công trong nhiều bài toán xử lý ngôn ngữ tự nhiên, trong đó đáng chú ý là các nghiên cứu về dịch máy Nallapati và cộng sự [22] áp dụng mô hình bộ mã hóa cho bài toán tóm tắt văn bản tiếng Anh cho thấy kết quả khả thi của mô hình với bài toán tóm tắt văn bản tự động.

V. Thử Nghiệm và Đánh Giá Mô Hình Tóm Tắt Luận Văn Tốt

Mô hình tóm tắt văn bản tiếng Việt tự động được xây dựng và thử nghiệm trên máy tính có cấu hình như sau: CPU: I7700 HQ @2.80 GHZ, RAM: 16GB, GPU: NVIDIA GTX1050Ti, 4Gb Memory, Hệ điều hành Windows 10 Pro, Ngôn ngữ lập trình: Python trên trình biên dịch Python 3. Trong quá trình huấn luyện, chúng tôi sử dụng phương pháp word2vec embedding [21] với số chiều (số đặc trưng) là 128, được khởi tạo ngẫu nhiên và được cập nhật trong quá trình huấn luyện. Bộ mã hóa và bộ giải mã được xây dựng từ các khối LSTM kích thước 256. Bộ mã hóa là một mạng hai lớp bidirectional LSTM nạp chồng và bộ giải mã là một mạng đơn unidirectional LSTM. Văn bản đầu vào được tách thành các token sử dụng công cụ Pyvi [31] và đưa vào bộ mã hóa. Đầu vào của bộ giải mã trong quá trình huấn luyện là kết hợp của trạng thái ẩn của bộ mã hóa và các token của văn bản tóm tắt tham chiếu.

5.1. Môi Trường Thử Nghiệm Các Công Cụ Hỗ Trợ Chính

Framework: Google Tensorflow, phiên bản 1. Chức năng: Tensorflow cho phép xây dựng và thử nghiệm model học sâu (deep learning) một cách trực quan. Nó cung cấp các thư viện tích hợp cho phép cấu hình các tham số trong quá trình huấn luyện, áp dụng các công thức tính toán trên số học và ma trận, đồng thời hiển thị các kết quả bằng các biểu đồ, đồ thị. NLTK: NLTK là viết tắt của Natural Language Toolkit, đây là công cụ xử lý ngôn ngữ tự nhiên mạnh trên môi trường Python. Luận văn sử dụng NLTK để thực hiện tách từ đơn, phục vụ cho việc chuyển văn bản từ dạng thông thường (text) sang dạng nhị phân (binary). Newspaper3k: Thư viện mở có khả năng trích xuất văn bản từ website [17]. Luận văn sử dụng newspaper3k để xây dựng script thực hiện thu dữ liệu từ các trang tin tức trực tuyến Việt Nam.

5.2. Quá Trình Huấn Luyện Tối Ưu Hóa Mô Hình LSTM

Chúng tôi sử dụng thuật toán tối ưu Adam [7] với learning rate là 0. Adam là viết tắt của adaptive moment estimation, đây là thuật toán thích nghi tốc độ học với khả năng tự điều chỉnh tốc độ học trong suốt quá trình huấn luyện. Nhờ khả năng này của thuật toán Adam, nó không cần thiết kết hợp thêm một phương thức điều chỉnh tốc độ học để tăng tốc độ hội tụ. Chính vì vậy, thuật toán tối ưu Adam được đánh giá là có hiệu quả tốt trong hầu hết các bài toán học sâu đặc biệt trong thị giác máy tính và xử lý ngôn ngữ tự nhiên [8]. Chúng tôi lựa chọn 20K từ phổ biến nhất trong tập dữ liệu làm tập từ vựng. Để giảm thời gian huấn luyện và sinh văn bản tóm tắt, văn bản đầu vào được giới hạn tối đa là 300 token và văn bản tóm tắt được giới hạn tối đa là 100 token.

5.3. Đánh Giá Độ Chính Xác Sử Dụng ROUGE Phương Pháp Tiêu Chuẩn

Để đánh giá độ chính xác của mô hình, chúng tôi tiến hành chạy mô hình với bộ dữ liệu test gồm 11490 mẫu, và sử dụng phương pháp ROUGE [16]. ROUGE viết tắt của Recall Oriented Understudy for Gist Evaluation, đây là phương pháp được coi là chuẩn mực và được sử dụng rộng rãi trong các nghiên cứu về tóm tắt văn bản. Điểm ROUGE-N được xác định như sau: ROUGE − N = ( 𝑆∈{𝑅𝑒𝑓𝑒𝑟𝑒𝑛𝑐𝑒𝑆𝑢𝑚𝑚𝑎𝑟𝑦 } 𝑔𝑟𝑎𝑚 𝑛 ∈𝑆 𝐶𝑜𝑢𝑛𝑡𝑚𝑎𝑡𝑐 𝑕 (𝑔𝑟𝑎𝑚𝑛 )) / (𝑆∈{𝑅𝑒𝑓𝑒𝑟𝑒𝑛𝑐𝑒𝑆𝑢𝑚𝑚𝑎𝑟𝑦 } 𝑔𝑟𝑎𝑚 𝑛 ∈𝑆 𝐶𝑜𝑢𝑛𝑡(𝑔𝑟𝑎𝑚𝑛 )) Trong đó 𝐶𝑜𝑢𝑛𝑡𝑚𝑎𝑡𝑐 𝑕 (𝑔𝑟𝑎𝑚𝑛 ) là số lượng n-grams lớn nhất có trong văn bản tóm tắt sinh ra và văn bản tóm tắt tham chiếu 𝐶𝑜𝑢𝑛𝑡(𝑔𝑟𝑎𝑚𝑛 ) là số lượng n-grams có trong văn bản tóm tắt tham chiếu.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Với sự phát triển mạnh mẽ của công nghệ thông tin và mạng máy tính, lƣợng tài liệu văn bản khổng lồ đƣợc tạo ra với nhiều mục đích sử dụng khác nhau khiến cho việc đọc hiểu và trích lƣợc các thông tin cần thiết trong khối tri thức đồ sộ này tốn rất nhiều thời gian và chi phí (đặc biệt là chi phí cho hạ tầng và truyền dẫn thông tin đáp ứng yêu cầu cho một số lƣợng ngày càng nhiều các thiết bị cầm tay). Để tăng hiệu quả cũng nhƣ dễ dàng hơn trong việc tiếp nhận thông tin của ngƣời dùng, nhiều nghiên cứu về khai phá dữ liệu và xử lý ngôn ngữ tự nhiên đã đƣợc thực hiện. Một trong những nghiên cứu quan trọng đóng vai trò then chốt đó tóm tắt văn bản tự động. Bài toán tóm tắt văn bản tiếng Việt cũng đƣợc nghiên cứu và áp dụng nhiều kỹ thuật nhƣ đối với tiếng Anh; tuy nhiên, tóm tắt văn bản nói riêng và xử lý ngôn ngữ tự nhiên nói chung áp dụng cho tiếng Việt gặp nhiều thách thức hơn.

Sở dĩ là vì tiếng Việt với đặc trƣng là tiếng đơn âm và có thanh điệu nên việc tách từ, tách các thành phần ngữ nghĩa trong câu tiếng Việt đòi hỏi xử lý phức tạp hơn so với xử lý câu tiếng Anh, thêm vào đó, không có nhiều kho dữ liệu tiếng Việt đƣợc chuẩn hóa và công bố. Trong luận văn này, chúng tôi tập trung nghiên cứu tóm tắt văn bản tự động theo hƣớng tóm lƣợc, các mô hình kiến trúc mạng học sâu và các kỹ thuật xử lý những thách thức trong tóm tắt văn bản. Bố cục của luận văn đƣợc tổ chức thành nhƣ sau: Chƣơng 1: Khái quát bài toán tóm tắt văn bản giới thiệu tổng quan về bài toán tóm tắt văn bản tự động, định nghĩa và các hƣớng tiếp cận. Chƣơng 2: Một số nghiên cứu về tóm tắt văn bản giới thiệu một số phƣơng pháp, kỹ thuật đã đƣợc nghiên cứu và áp dụng cho bài toán tóm tắt văn bản tự động.

Chƣơng 3: Mạng nơ ron nhân tạo giới thiệu cơ sở lý thuyết và cách hoạt động của các mô hình kiến trúc từ mạng ANN tới RNN và LSTM. Chƣơng 4: Xây dựng hệ thống tóm tắt văn bản theo hƣớng tóm lƣợc trình bày mô hình bài toán tóm tắt văn bản tự động, quy trình thực hiện giải quyết bài toán trong luận văn, các xây dựng mô hình học sâu dựa trên kiến trúc mạng LSTM áp dụng cho bài toán tóm tắt văn bản. TIEU LUAN MOI download : [e-mail] 11 Chƣơng 5: Thử nghiệm và đánh giá trình bày quá trình thử nghiệm mô hình đã xây dựng cho tập dữ liệu tiếng Anh và tiếng Việt và thực hiện đánh giá độ chính xác của mô hình bằng phƣơng pháp ROUGE. Kết luận: phần này tổng kết các đóng góp và kết quả đạt đƣợc trong quá trình nghiên cứu và thực hiện luận văn, cũng nhƣ hƣớng phát triển trong tƣơng lai để hoàn thiện hơn kết quả nghiên cứu.

TIEU LUAN MOI download : [e-mail] 12 CHƢƠNG 1: KHÁI QUÁT BÀI TOÁN TÓM TẮT VĂN BẢN Cùng với sự tăng trƣởng mạnh mẽ của mạng Internet, con ngƣời ngày càng bị quá tải bởi khối lƣợng lớn các thông tin và tài liệu trực tuyến. Điều này đã thúc đẩy rất nhiều nghiên cứu về tóm tắt văn bản tự động. Theo Radev và cộng sự [25] một tóm tắt đƣợc định nghĩa nhƣ là một văn bản đƣợc tạo từ một hoặc nhiều văn bản, truyền đạt các thông tin quan trọng từ các văn bản gốc, văn bản tóm tắt không dài hơn hơn 50% độ dài văn bản gốc và thông thƣờng bản tóm tắt có độ dài khá ngắn, ngắn hơn nhiều so với 50% độ dài văn bản gốc. Bài toán tóm tắt văn bản tự động Tóm tắt văn bản tự động là tác vụ để tạo ra một tóm tắt chính xác và hợp ngữ pháp trong khi vẫn giữ đƣợc các thông tin chính và ý nghĩa của văn bản gốc.

Trong các năm gần đây, có rất nhiều hƣớng tiếp cận đã đƣợc nghiên cứu cho tóm tắt văn bản tự động và đã đƣợc áp dụng rộng rãi trong nhiều lĩnh vực. Ví dụ, máy tìm kiếm sinh ra các trích đoạn nhƣ là các bản xem trƣớc của tài liệu [2], các website tin tức sinh ra các đoạn mô tả ngắn gọn cho bài viết (thƣờng là tiêu đề của bài viết) [20]. Mục tiêu của tóm tắt văn bản là tạo ra bản tóm tắt giống nhƣ cách con ngƣời tóm tắt, đây là bài toán đầy thách thức, bởi vì khi con ngƣời thực hiện tóm tắt một văn bản, chúng ta thƣờng đọc toàn bộ nội dung rồi dựa trên sự hiểu biết và cảm thụ của mình để viết lại một đoạn tóm tắt nhằm làm nổi bật các ý chính của văn bản gốc. Nhƣng vì máy tính khó có thể có đƣợc tri thức và khả năng ngôn ngữ nhƣ của con ngƣời, nên việc thực hiện tóm tắt văn bản tự động là một công việc phức tạp.

Các hƣớng tiếp cận tóm tắt văn bản. Nhìn chung, có hai hƣớng tiếp cận cho tóm tắt văn bản tự động là trích chọn (extraction) và tóm lƣợc (abstraction). Phƣơng pháp tóm tắt trích chọn thực hiện đánh giá các phần quan trọng của văn bản và đƣa chúng một cách nguyên bản vào bản tóm tắt, do đó, phƣơng pháp này chỉ phụ thuộc vào việc trích chọn các câu từ văn bản gốc dựa trên việc xếp hạng mức độ liên quan của các cụm từ để chỉ chọn những cụm từ liên quan nhất tới nội dung của tài liệu gốc. Trong khi đó, phƣơng pháp tóm tắt tóm lƣợc nhằm tạo ra văn TIEU LUAN MOI download : [e-mail] 13 bản tóm tắt mới có thể không gồm các từ hay các cụm từ trong văn bản gốc.

Nó cố gắng hiểu và đánh giá văn bản sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến để tạo ra một văn bản ngắn hơn, truyền đạt đƣợc những thông tin quan trọng nhất từ văn bản gốc. Mặc dù các tóm tắt đƣợc con ngƣời thực hiện thƣờng không giống nhƣ trích chọn, song hầu hết các nghiên cứu về tóm tắt văn bản hiện tại vẫn tập trung vào tóm tắt bằng phƣơng pháp trích chọn vì về cơ bản các tóm tắt sinh bởi phƣơng pháp trích chọn cho kết quả tốt hơn so với tóm tắt bằng phƣơng pháp tóm lƣợc. Điều này là bởi vì phƣơng pháp tóm tắt bằng tóm lƣợc phải đối mặt với các vấn đề nhƣ thể hện ngữ nghĩa, suy luận và sinh ngôn ngữ tự nhiên, các vấn đề này phức tạp hơn nhiều lần so với việc trích chọn câu. Hƣớng tiếp cận tóm tắt bằng tóm lƣợc khó hơn so với tóm tắt bằng trích chọn, song phƣơng pháp này đƣợc kỳ vọng có thể tạo ra đƣợc các văn bản tóm tắt giống nhƣ cách con ngƣời thực hiện.

TIEU LUAN MOI download : [e-mail] 14 CHƢƠNG 2: MỘT SỐ NGHIÊN CỨU VỀ TÓM TẮT VĂN BẢN 2. Tóm tắt văn bản theo hƣớng trích chọn. Nhƣ đã đề cập trong chƣơng 1, các kỹ thuật tóm tắt bằng trích chọn sinh ra các đoạn tóm tắt bằng cách chọn một tập các câu trong văn bản gốc. Các đoạn tóm tắt này chứa các câu quan trọng nhất của đầu vào.

Đầu vào có thể là đơn văn bản hoặc đa văn bản. Trong khuôn khổ của luận văn này, đầu vào của bài toán tóm tắt văn bản là đơn văn bản. Các hệ thống tóm tắt văn bản theo hƣớng trích chọn thƣờng gồm các tác vụ: xây dựng một đại diện trung gian (intermediate representation) của văn bản đầu vào thể hiện các đặc điểm chính của văn bản; tính điểm (xếp hạng) các câu dựa trên đại diện trung gian đã xây dựng; chọn các câu đƣa vào tóm tắt [23]. Mỗi hệ thống tóm tắt văn bản tạo ra một số đại diện trung gian của văn bản mà nó sẽ thực hiện tóm tắt và tìm các nội dung nổi bật dựa trên đại diện trung gian này.

Có hai hƣớng tiếp cận dựa trên dại diện trung gian là chủ đề đại diện (topic representation) và các đặc trƣng đại diện (indicator representation). Các phƣơng pháp dựa trên chủ đề đại diện biến đổi văn bản đầu vào thành một đại diện trung gian và tìm kiếm các chủ đề đƣợc thảo luận trong văn bản. Kỹ thuật tóm tắt dựa trên chủ đề đại diện tiêu biểu là phƣơng pháp tiếp cận dựa trên tần xuất (frequency). Phƣơng pháp dựa trên các đặc trƣng đại diện thực hiện mô tả các câu trong văn bản nhƣ một danh sách các đặc trƣng quan trọng chẳng hạn nhƣ độ dài câu, vị trí của câu trong tài liệu hay câu có chứa những cụm từ nhất định.

Khi các đại diện trung gian đã đƣợc tạo ra, một điểm số thể hiện mức độ quan trọng sẽ đƣợc gán cho mỗi câu. Đối với phƣơng pháp dựa trên chủ đề đại diện, điểm số của một câu thể hiện mức độ giải thích của câu đối với một vài chủ đề quan trọng nhất của văn bản. Trong hầu hết các phƣơng pháp dựa trên đặc trƣng đại diện, điểm số đƣợc tính bằng tổng hợp các dấu hiệu từ các đặc trƣng khác nhau. Các kỹ thuật học máy thƣờng đƣợc sử dụng để tìm trọng số cho các đặc trƣng.

Cuối cùng hệ thống tóm tắt sẽ lựa chọn các câu quan trọng nhất để tạo ra bản tóm tắt. Có thể áp dụng các thuật toán tham lam để chọn các câu quan trọng nhất từ văn bản gốc, hoặc biến việc lựa chọn câu thành một bài toán tối ƣu trong đó xem xét ràng buộc tối đa hóa tầm quan trọng tổng thể và sự gắn kết ngữ nghĩa trong khi tối TIEU LUAN MOI download : [e-mail] 15 thiểu hóa sự dƣ thừa. Có nhiều yếu tố khác cần đƣợc cân nhắc khi lựa chọn các câu quan trọng, ví dụ ngữ cảnh của bản tóm tắt hay loại tài liệu cần tóm tắt (bài báo tin tức, email, báo cáo khoa học). Các tiêu chí này có thể trở thành các trọng số bổ sung cho việc lựa chọn các câu quan trọng đƣa vào bản tóm tắt.

Phƣơng pháp chủ đề đại diện dựa trên tần xuất 2. Word probability Xác suất của từ (word probability) là dạng đơn giản nhất sử dụng tần xuất trên văn bản đầu vào nhƣ là một chỉ số quan trọng. Phƣơng pháp này khá phụ thuộc vào độ dài của văn bản đầu vào, ví dụ, một từ xuất hiện ba lần trong một văn bản 10 từ có thể là từ quan trọng song có thể nó là một từ bình thƣờng trong văn bản 1000 từ. Xác suất của một từ w: p(w) đƣợc tính dựa trên số lần xuất hiện của từ w, n(w), trong toàn bộ các từ thuộc văn bản đầu vào N.1) Hệ thống SumBasic [18] đƣợc phát triển dựa trên ý tƣởng sử dụng xác suất của từ để tính toán câu quan trọng.