Chương 1: Giới thiệu tổng quan về dé tài - Kỹ thuật xây dựng phần mềm: Xây dựng ứng dụng thử nghiệm bằng framework Flask, PyTorch,. NOI DUNG THUC HIEN Để đạt được mục tiêu mà đề tài đã đề ra, cần thực hiện: - Tìm hiểu các cơ sở khoa học và những công trình nôi bật có liên quan đến nhiệm vụ tóm tắt tin tức. - Khảo sát, nghiên cứu, phân tích và thực nghiệm các mô hình, phương pháp, kỹ thuật liên quan đến tác vụ tóm tắt tin tức. - Tìm kiếm, tổng hợp và xây dựng bộ dữ liệu về tin tức tiếng Anh trong lĩnh vực Tài chính.
Sử dụng các công nghệ hỗ trợ rút trích thu thập tin tức trên các trang web tài chính nồi tiếng và uy tín trên thế giới. Sau đó tiến này chọn lọc và tiền xử lý dữ liệu đã thu thập được tạo thành file dữ liệu có cấu trúc phù hợp với mô hình huấn luyện. - Thử nghiệm mô hình với tập dữ liệu đã thu thập, sử dụng các phương pháp tiếp cận phù hợp và hiệu quả dé cải thiện mô hình có chất lượng tốt, tăng độ chính xác của kết quả tóm tắt. - Xây dựng mô hình hoạt động cho công cụ tóm tắt tin tức, sử dụng các framework hỗ trợ việc xây dựng ứng dụng trên nền tảng web.
- Đánh giá phương pháp đã thực hiện trên bộ dữ liệu đã xây dựng, phân tích những điểm mạnh và hạn chế của phương pháp. Sử dụng kết quả dé đánh giá mô hình ứng dụng đã xây dựng. Trình bày các kết quả đạt được và phương hướng phát triển tiếp theo. 10 Chương 2: Cơ sở lý thuyết CHƯƠNG 2 CƠ SỞ LÝ THUYET Chương 2 trình bày cơ sở lý thuyết của đề tài liên quan đến dữ liệu và các phương pháp tiếp cận cho việc giải quyết bài toán tóm tắt văn bản và phương pháp đánh giá hiệu quả mô hình.1 PHƯƠNG PHÁP TÓM TẮT TIN TỨC Tom tắt văn bản là bai toán tạo ra một văn bản tóm tắt ngắn gọn, chính xác và trôi chảy từ một văn bản dài hơn.
Phương pháp tóm tắt tin tức được chưa thành hai loại chính: Extractive and Abstractive. Extractive Text Summarization là phương pháp truyền thống được phát triển đầu tiên. Mục tiêu chính là xác định các câu quan trọng của văn bản và thêm chúng. vào phần tóm tắt.
Chắc chắn rằng bản tóm tắt thu được chứa các câu chính xác từ văn bản gốc. Abstractive Text Summarization là một phương pháp tiên tiến hơn và có nhiều cải tiến thường xuyên được công bố gần. Cách tiếp cận là xác định các phần quan trọng, giải thích bối cảnh và tái tạo theo một cách mới, giống như cách của con người. Điều này đảm bảo rằng thông tin cốt lõi được chuyên tải thông qua bản tóm tắt được ngắn nhất có thể.
Các câu tóm tắt được tạo ra không chỉ được trích xuất từ văn bản gốc giúp cho bản tóm tắt mạch lạc và trôi chảy hơn. Đây là cách tiếp cận khó hơn, nhưng cũng là cách tiếp cận tối ưu hơn. Phương án deep learning hiện tại vẫn đang được đào sâu phát triển và có những kết quả tiên tiến cho việc tóm tắt tin tức. Cụ thể việc áp dụng phương pháp deep learning bằng cách xem bài toán tóm tắt tin tức như một bài toán sequence-to- sequence [6].
“Abstractive text summarization is the task of generating a headline or a short summary consisting of a few sentences that captures the salient ideas of an article or a passage.] This task can also be naturally cast as mapping an input sequence of words in a source document to a target sequence of words called summary” [13]. Phuong an deep learning cho tom tắt tin tức tự động có thể được coi là một phương pháp trừu tượng hóa và đây là phương pháp tóm tắt tin tức được lựa chọn là hướng tiếp cận của đề tài. 11 Chương 2: Cơ sở lý thuyết Multiple document | | Single document Abstractive Summarizer Neural network Summary generation Hình 2.a: Kiến trúc tổng quát tóm tắt trừu tượng dựa trên deep learning [10] Mô hình kiến trúc chung của tóm tắt trừu tượng dựa trên deep learning chủ yếu gồm ba bước chính: tiền xử lý, hiểu ngữ nghĩa và tạo tóm tắt. Trong bước tiền xử lý, một số công nghệ ngôn ngữ chủ yếu được sử dụng đề cấu trúc văn bản đầu vào, chẳng hạn như phân đoạn câu, mã hóa từ và loại bỏ từ dừng,.
Trong bước hiểu ngữ nghĩa, một mạng lưới thần kinh được xây dựng đề nhận biết và thể hiện ngữ nghĩa sâu sắc của văn bản đầu vào. Bước này xảy ra trong không gian vectơ và cuối cùng. tạo ra một vectơ hợp nhất cho bước tiếp theo. Trong bước tạo tóm.
tắt, trình tạo thực hiện các điều chỉnh phù hợp với vectơ tổng hợp được cung cấp ở bước trước, sau đó ánh xạ biểu diễn không gian vectơ tới từ vựng dé tạo các từ tóm tắt. Đề tài được thực hiện theo hướng tiếp cận abstractive summarization dé có thé tạo ra được các câu mới có thể thể hiện tốt nhất cho toàn bộ văn bản. điều này tốt hơn phương pháp extractive summarization trong đó các câu chỉ được chon từ văn bản gốc dé tóm tắt. Thư viện transformers trên Huggingface là một mô hình SOTA cho các tác vụ như text summarization, text classification, text generation, and 12 Chương 2: Cơ sở lý thuyết question answering.
Một tinh năng tuyệt vời khác với transformers là nó cung cấp các trọng số cho các mô hình PreTrained có thé dé dàng khởi tạo thông qua phương. thức from_pretraining(). Trong đó nồi bật nhất là mô hình pre-trained Facebook BART Large CNN (facebook/bart-large-cnn) được team Facebook AI thực hiện fine tuned đặc biệt cho tác vụ tóm tắt tin tức. Facebook BART Large CNN là mô hình BART pre-trained trên ngôn ngữ tiếng Anh và fine-tuned trên tập dữ li CNN Daily Mail [17].
BART được xây dung từ bộ mã hóa hai chiều như trong BERT và bộ giải mã tự hồi quy như GPT. Trong đó, BERT thực hiện Masked Language Modelling với sự trợ giúp của bidirectional transformer và dự đoán các giá trị còn thiếu. Mặt khác, GPT sử dụng bộ giải mã tự hồi quy, để dự đoán mã thông báo tiếp theo trong một câu. Autoregessive Decoder | ĩ IIT <s> ‘oart iain Bidirectional Encoder Autoregessive Decoder Số lượng thông số của mô hình BART có gần 140 triệu thông số.
BERT có khoảng 110M tham số trong khi GPT có 117M. Dưới đây chúng ta có thể xem chỉ tiết hơn về số lượng tham số trong các mô hình BART khác nhau trong bảng 13 Chương 2: Cơ sở lý thuyết Bảng 2.1: Thông số của các mô hình Bart khác nhau Model Description # param bart.base Mô hình Bart với 6 lớp encoder và decoder 140M bart. Mô hình Bart với 12 lớp encoder va decoder 400M bart.large fine-tuned trên data mnli 400M bart.large fine-tuned trén data cnn 400M bart.large fine-tuned trên data xsum 400M BART Pre-training có 5 cách huấn luyện với dữ liệu bị nhiễu. Token Masking tạo sự ngẫu nghiên, số lượng nhỏ các điểm được an đi.
Token Deletion gây ra một số token trong tài liệu bị xóa mất. Text Infilling nhiều token được thay thé bằng một token an. Sentence Permutation các câu được xác định thông qua ‘.’ sau đó được hoán vị khi huấn luyện. Document Rotation một token được chọn ngẫu nhiên và trình tự được xoay vòng tới khi token được chọn đứng đầu.AB Token Masking Sentence Permutation Document Rotation A.
Token Deletion Text Infilling Hình 2.c: Các phép biến đổi khi huấn luyện mô hình BART Những chiến lược này giúp làm tăng thêm tập dữ liệu và làm cho mô hình BART hiểu rõ hơn về ngôn ngữ tự nhiên. Các bước dé fine-tune model BART cho downstream task tóm tắt tin tức: - Chuan bị dữ liệu: Đầu tiên, ta cần chuẩn bị dữ liệu cho tác vụ downstream. Dữ liệu này có thể được thu thập bằng cách lấy từ các nguồn khác nhau 14 Chương 2: Cơ sở lý thuyết hoặc tạo ra từ các bộ dữ liệu mở trên mạng. Dam bảo dữ liệu đã được chuẩn bị đầy đủ và chính xác dé đảm bảo cho mô hình được huấn luyện tốt.
- Tai pre-trained model BART: BART được huấn luyện trên các tác vụ như Summarization, Translation. Tùy thuộc vào task đang làm, hãy tải pre- trained model phù hợp đề tiếp tục fine-tuning. Tôi đã sử dụng pre-trained facebook/bart-large-cnn dé làm về tác vụ tóm tat tin tức. - _ Tiến hành fine-tuning: Tiến hành huấn luyện mô hình BART trên dữ liệu cho tác vụ downstream.
Thông thường, ta sẽ tiến hành nhiều lần để tìm ra tham số phù hợp nhất cho mô hình. - Đánh giá và kiểm tra mô hình: Sau khi hoàn thành việc fine-tuning, ta sẽ đánh giá và kiểm tra mô hình để đảm bảo rằng nó hoạt động tốt trên dữ liệu mới. Bạn có thể sử dụng tập đữ liệu kiểm tra đề đánh giá kết quả của mô hình và sửa chữa các lỗi nếu có. - Sử dụng mô hình: Cuối cùng, sau khi đã hoàn thành fine-tuning và kiểm tra mô hình, có thể sử dụng mô hình đã được huấn luyện để thực hiện tác vụ downstream trên dữ liệu mới.
Phương án để fine-tune model BART cho các tác vụ downstream phụ thuộc vào mục đích cụ thé của tác vụ đó. Tuy nhiên, có một số phương pháp chung dé fine- tune mô hình BART cho các tác vu downstream, cụ thê là tác vụ tóm. tắt tin tức: -_ Điều chỉnh learning rate: Learning rate là một tham số quan trọng trong quá trình fine-tuning. Nếu learning rate quá cao, mô hình sẽ bị overfitting và nếu learning rate quá thấp thì mô hình sẽ hội tụ chậm.
Do đó, điều chỉnh learning rate là cần thiết để đạt được kết quả tốt nhất. - Thay đổi architecture: Một số tác vụ downstream có thé yêu cầu kiến trúc khác nhau so với kiến trúc mặc định của mô hình BART. Trong trường hợp này, ta có thể sử dụng kiến trúc khác hoặc thay đổi các layer dé tăng hiệu suất cho tác vụ downstream. - Tỉnh chỉnh hyperparameters: Mô hình BART có nhiều hyperparameters có thể tùy chỉnh để cải thiện hiệu suất cho tác vụ downstream, bao gồm số lượng epoch, batch size, độ dài của các sequence, v.
15 Chương 2: Cơ sở lý thuyết -_ Thêm các lớp dense layer: Đôi khi ta cần thêm các lớp dense layer đề tăng khả năng mô hình trong việc phân loại hoặc dự đoán các tác vụ downstream. Các lớp này có thể được thêm vào cuối của mô hình để biến đồi đầu ra của mô hình. - Transfer learning: Transfer learning là một phương pháp phô biến để tăng hiệu suất cho các tác vụ downstream. Cụ thé, ta có thé sử dụng các mô hình đã được huấn luyện trước đó trên các tác vụ tương tự để tăng hiệu suất cho.