MỞ ĐẦU 1.1 Tính cấp thiết của đề tài [1] Bất kỳ mô hình tính toán trên máy tính nào đều làm việc với các con số. Vậy làm thế nào để các mô hình tính toán có thể làm việc với ngôn ngữ tự nhiên? Mặt khác, từ là đơn vị ngôn ngữ nhỏ nhất mang ý nghĩa hoàn chỉnh. Do đó, để các mô hình làm việc được với ngôn ngữ tự nhiên thì việc số hóa các từ là cách tiếp cận đơn giản nhất. Trong xử lý ngôn ngữ tự nhiên, embedding là một phương pháp biểu diễn từ ngữ dưới dạng các vector số.
Ý tưởng chính của embedding là ánh xạ các từ trong ngôn ngữ tự nhiên thành các vector có chiều thấp trong không gian số học sao cho các từ có ý nghĩa tương tự được biểu diễn gần nhau trong không gian vector. Embedding thực sự là một đề tài cấp thiết vì nhiều lý do sau đây: + Embedding giúp chuyển đổi các từ, câu hoặc văn bản thành các vector số học có thể được sử dụng bởi các thuật toán máy học. Điều này cho phép máy tính hiểu và xử lý ngôn ngữ tự nhiên. + Các từ có sự tương đồng về mặt ngữ nghĩa sẽ được ánh xạ thành các vector gần nhau trong không gian vector, điều này cực kỳ hữu ích trong nhiều ứng dụng, bao gồm tìm kiếm thông tin, gợi ý từ, phân loại văn bản, dịch máy,… + Embedding là một cách thức hiệu quả để biểu diễn văn bản và từ vựng, từ đó có thể được sử dụng để phân loại và gán nhãn các tài liệu văn bản một cách tự động và nhiều các ứng dụng khác.
Tóm tắt văn bản là một trong số các ứng dụng thực tế sử dụng kỹ thuật embedding. Dưới đây là một số vai trò quan trọng của việc tóm tắt văn bản đem lại: Trong thời đại bùng nổ của thông tin dẫn đến rất nhiều thông tin được phát sinh và số hóa thành văn bản trên các trang web hay tài liệu. Mặt khác, con người ngày càng bận rộn với nhiều công việc thì việc tiếp cận và tiếp nhận thông tin một cách nhanh chóng là thực sự cần thiết. Vì thế việc tóm tắt văn bản sẽ đem lại nhiều lợi ích rõ ràng cho chúng ta.
Sau đây là một số lợi ích mà tóm tắt văn bản sẽ đem lại: + Làm cho việc đọc một cách dễ dàng hơn Page | 9 + Tiết kiệm thời gian đọc hơn + Dễ dàng ghi nhớ thông tin hơn + Tăng hiệu suất công việc 1.2 Mục tiêu và nhiệm vụ nghiên cứu Mục tiêu của đề tài là tập trung nghiên cứu cơ sở lý thuyết của kỹ thuật embedding cho xử lý ngôn ngữ tự nhiên, từ đó áp dụng vào bài toán tóm tắt văn bản. Một trong số các kiến trúc tiên tiến và đem lại hiệu quả cao nhất đó là Transformer, áp dụng kiến trúc này thì mô hình Bert đã đem lại hiệu quả tốt nhất cho nhiều tác vụ xử lý ngôn ngữ tự nhiên trong đó có tóm tắt văn bản. Trong đề tài này, chúng tôi muốn tìm hiểu về kỹ thuật embedding cho xử lý ngôn ngữ tự nhiên, từ đó áp dụng vào mô hình tóm tắt văn bản để đưa ra bức tranh tổng quan về bài toán và ý nghĩa của nó. Để đạt được điều đó, chúng tôi tập trung vào tìm hiểu một số vấn đề sau: 1.
Tìm hiểu cơ sở lý thuyết của kỹ thuật embedding cho xử lý ngôn ngữ tự nhiên 2. Tìm hiểu về kiến trúc Transformer 3. Tìm hiểu về mô hình Bert xử lý ngôn ngữ tiếng Việt 4. Tìm hiểu cơ sở lý thuyết của bài toán tóm tắt văn bản 5.
Tìm hiểu các thuật toán tóm tắt cơ bản và các thuật toán dùng để xử lý các cấp độ của bài toán 6. Ứng dụng mô hình tóm tắt để xây dựng nên một trang web tin vắn đơn giản, với dữ liệu bài báo được crawl từ trang web https://vnexpress.net/ sau đó tiến hành tóm tắt và đưa lại lên trang web tin vắn. Đánh giá và giải thích kết quả 1. Cách tiếp cận và phương pháp nghiên cứu Có nhiều kỹ thuật được sử dụng trong embedding để xử lý ngôn ngữ tự nhiên, như là: Page | 10 1.
Word2Vec là một kỹ thuật embedding từ đầu tiên được giới thiệu bởi Mikolov và đồng nghiệp. Mô hình sử dụng mô hình neural network để học biểu diễn vectơ cho các từ. Word2Vec cung cấp hai phương pháp chính: Continuous Bag-of-Words (CBOW) và Skip-gram. FastText: FastText là một kỹ thuật embedding phát triển bởi Facebook AI Research, mở rộng Word2Vec bằng cách đại diện từ không chỉ dựa trên các từ đơn lẻ, mà còn dựa trên các n-gram của từ.
FastText cho phép xây dựng biểu diễn từ cho các từ hiếm hoặc chưa từ điển, và cũng hữu ích trong các ngôn ngữ có các từ ghép hay các từ không có ý nghĩa riêng lẻ. Transformer-based models: Các mô hình dựa trên Transformer như Bert (Bidirectional Encoder Representations from Transformers) và GPT (Generative Pre-trained Transformer) cung cấp các biểu diễn từ mạnh mẽ cho ngôn ngữ tự nhiên. Bert học biểu diễn từ bằng cách huấn luyện một mô hình transformer trên một tác vụ dự đoán từ bị masquerade (masked) trong văn bản. GPT sử dụng transformer để sinh ra văn bản có ý nghĩa và liên tục.
Cả Bert và GPT đã đạt được kết quả ấn tượng trong nhiều nhiệm vụ xử lý ngôn ngữ tự nhiên. Trong đồ án này chúng tôi sử dụng kiến trúc Transformers với mô hình Bert. Hai cách tiếp cận chính để tóm tắt văn bản: 1. Tóm tắt dựa trên trích xuất Cách tiếp cận này chọn những đoạn văn chính để tạo ra một bản tóm tắt.
Cách tiếp cận này sẽ tìm ra phần quan trọng của tài liệu và xếp hạng chúng dựa trên mức độ quan trọng và độ giống nhau giữa các tài liệu. Kỹ thuật tóm tắt văn bản trích xuất bao gồm việc kéo các cụm từ chính từ tài liệu nguồn và kết hợp chúng để tạo thành một bản tóm tắt. Tóm tắt dựa trên trừu tượng Phương pháp trừu tượng chọn từ dựa trên sự hiểu biết ngữ nghĩa, thậm chí những từ đó không xuất hiện trong các tài liệu nguồn. Page | 11 Do đó, trừu tượng thực hiện tốt hơn trích xuất.
Tuy nhiên, các thuật toán tóm tắt văn bản được yêu cầu để thực hiện trừu tượng khó phát triển hơn và đó là lý do tại sao việc sử dụng trích xuất vẫn còn phổ biến. Trong dự án này chúng tôi sẽ sử dụng tóm tắt dựa trên trích xuất cho bài toán của mình. Kết quả dự kiến đạt được Nhóm chúng tôi mong muốn sau khi thực hiện quá trình nghiên cứu nhiều công trình, cũng như các ứng dụng từ các tác giả đi trước, nhóm có thể học hỏi và đúc kết thành một bài báo cáo khai thác sâu về nội dung lý thuyết kỹ thuật embedding cho xử lý ngôn ngữ tự nhiên và áp dụng vào bài toán tóm tắt văn bản. Về phần ứng dụng, để trực quan hóa bài toán, nhóm sẽ xây dựng một ứng dụng web tin vắn với các bảng tin được tóm tắt từ trang web báo điện tử https://vnexpress.net/, để trực quan hóa kết quả của mô hình sau khi phân tích từ tập dữ liệu nhằm có cái nhìn cụ thể hơn cũng như thấy được sự hữu ích khi áp dụng vào thực tế.
CHƯƠNG 2: NỘI DUNG 2. MÔ HÌNH TRANSFORMERS 2. Giới thiệu [2] ● Lịch sử hình thành của transformers. Kiến trúc transformer được giới thiệu vào tháng 6 năm 2017.
Tập trung ban đầu của nguyên cứu là dịch văn bản. Một số models có sức ảnh hưởng theo thời gian như: - 6/2018: GPT là pretrained transformer model đầu tiên, sử dụng fine-tuning (tinh chỉnh) trên một vài công việc NLP và nhận được kết quả tương đối tốt - 10/2018: Bert là một pretrained models lớn, được thiết kế để thực hiện tốt hơn nhiệm vụ tóm tắt câu Page | 12 - 2/2019: GPT-2 là một version cải thiện của GPT, nhưng không được giới thiệu vì lo lắng về đạo đức - 10/2019: DistilBert là một phiên bản chắt lọc của Bert, cải thiện 60% tốc độ và giảm 40% chi phí tiêu tốn của bộ nhớ nhưng vẫn giữ được 97% hiệu suất của Bert - 10/2019: BART và T5 là 2 pretrained model lớn sử dụng cùng kiến trúc như transformer ban đầu - 5/2020: GPT-3 là một version lớn hơn của GPT-2, có thể thực hiện tốt nhiều nhiệm vụ mà không cần fine-tuning ● Chúng ta có thể chia các models ở trên thành 3 nhóm chính. - GPT-like: auto-regressive Transformer models - BERT-like: auto-encoding Transformer models - BART/T5-like: sequence-to-sequence Transformer models Tất cả các model GPT, Bert, BART… đều đã được trained như một ngôn ngữ bình thường, có nghĩa model được được trained với một lượng lớn raw text theo cách tự giám sát self-supervision. Ứng dụng xử lý ngôn ngữ tự nhiên Các kỹ thuật Word2vec hay Glove đã được sử rộng rãi và cho thấy hiệu quả trong nhiều ứng dụng NLP, nhưng chúng vẫn còn một số khuyết điểm.
- Không giải quyết được vấn đề đa nghĩa: Các kỹ thuật embedding chỉ biểu diễn từ hoặc văn bản dưới dạng các vector số. Vì vậy, chúng không giải quyết được vấn đề đa nghĩa (ambiguity), nghĩa là một từ có thể có nhiều ý nghĩa khác nhau. Ví dụ: từ "bank" có thể là ngân hàng hoặc bờ sông. - Các kỹ thuật như Word2vec hay GloVe đầu ra là một ma trận trong đó mỗi hàng là một vector biểu diễn một từ trong bộ từ vựng được định nghĩa trước dẫn đến tất cả các mô hình embedding từ này đều độc lập ngữ cảnh.
Page | 13 Để cải thiện các vấn đề trên, kiến trúc transformers được để xuất để vượt qua hai cách thức trên. Các biến thể của transformers như Bert, gpt-2 đạt hiệu năng vượt trội hơn so với các mô hình trước đây (state-of-the-art) trên một số tác vụ cua xử lý ngôn ngữ tự nhiên. Đây là một kiến trúc được biết nhiều trong deep learning, là cơ sở của hàng loạt mô hình Bert khác nhau sau này. Chúng tôi sẽ sử dụng mô hình transformer, Bert để thử nghiệm trên ngôn ngữ tiếng việt để chứng minh rằng kiến trúc này có kết quả vượt trội hơn so với các mô hình còn lại như word2vec, glove, fastText… 2.
Mô hình transformers [3] Transformer là một kiến trúc mạng nơ-ron đặc biệt được sử dụng rộng rãi trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) và các tác vụ liên quan đến dữ liệu tuần tự. Kiến trúc này được giới thiệu bởi Vaswani và cộng sự vào năm 2017, đã mang lại những tiến bộ đáng kể trong các ứng dụng NLP như dịch máy, phân loại văn bản, tạo chú thích hình ảnh, và nhiều tác vụ khác. Transformer sử dụng cơ chế chú ý (attention mechanism) để hiểu và xử lý dữ liệu tuần tự.