Chuyên đề thực tập nghiên cứu đề xuất và cài đặt thử nghiệm mô hình tóm tắt đơn văn bản tiếng anh kiểu trích xuất

Chuyên đề thực tập nghiên cứu đề xuất và cài đặt thử nghiệm mô hình tóm tắt đơn văn bản tiếng Anh kiểu trích xuất, tập trung vào ứng dụng công nghệ xử lý ngôn ngữ tự nhiên.

• Tác giả: Lê Thu Hương
• Người hướng dẫn: ThS. Lưu Minh Tuấn
• Trường học: Trường Đại Học Kinh Tế Quốc Dân
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Đề Xuất Và Cài Đặt Thử Nghiệm Mô Hình Tóm Tắt Đơn Văn Bản Tiếng Anh Kiểu Trích Xuất
• Loại tài liệu: đề tài
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI
• 1.1. GIỚI THIỆU CƠ SỞ THỰC TẬP
• 1.2. GIỚI THIỆU ĐỀ TÀI
• 1.2.1. Lý do chọn đề tài
• 1.2.2. Mục tiêu của đề tài
• 1.2.3. Ý nghĩa của đề tài
• 1.3. XỬ LÝ NGÔN NGỮ TỰ NHIÊN VÀ BÀI TOÁN TÓM TẮT VĂN BẢN
• 1.4. LỰA CHỌN CÔNG CỤ VÀ MÔI TRƯỜNG CÀI ĐẶT
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. MẠNG NƠRON NHÂN TẠO
• 2.1.1. Noron nhân tạo
• 2.1.2. Kiến trúc mạng noron nhân tạo
• 2.1.3. Phân loại mạng
• 2.1.4. Mạng noron truyền thẳng nhiều lớp và thuật toán lan truyền ngược
• 2.1.5. Giảm lỗi cho mạng noron
• 2.2. CÁC KỸ THUẬT VECTOR HÓA DỮ LIỆU VĂN BẢN
• 2.2.1. Phương pháp dựa trên TF-IDF
• 2.2.2. Kỹ thuật Word2Vec
• 2.2.3. Mô hình Skip-Gram
• 2.2.4. Mô hình CBOW (Continuous Bag of Word)
• 2.2.5. Kỹ thuật Doc2Vec
• 2.3. HỌC SÂU VÀ MẠNG NƠRON TÍCH CHẬP
• 2.3.1. Kiến trúc của CNN
• 2.3.2. Các vấn đề cơ bản trong CNN
• 2.3.3. Mô hình CNN nhiều lớp
• 2.3.4. Huấn luyện trong CNN
• 2.4. MÔ HÌNH BERT TRONG TÓM TẮT VĂN BẢN
• 2.4.1. Giới thiệu mô hình BERT
• 2.4.2. Mô hình BERTSum
• 2.4.3. Mô hình PhoBERT
• 2.5. BÀI TOÁN TÓM TẮT VĂN BẢN
• 2.5.1. Quy trình xử lý bài toán tóm tắt văn bản
• 2.5.2. Tiền xử lý văn bản
• 2.6. ĐÁNH GIÁ HIỆU QUẢ
• 2.6.1. Độ tương tự về nội dung (Content-based Similarity)
• 2.6.2. Độ tương quan phù hợp (Relevance Correlation)
• 3. CHƯƠNG 3: ĐỀ XUẤT MÔ HÌNH TÓM TẮT VĂN BẢN
• 3.1. MÔ HÌNH CƠ SỞ
• 3.2. CẢI TIẾN MÔ HÌNH ĐỀ XUẤT
• 4. CHƯƠNG 4: CÀI ĐẶT THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. BỘ DỮ LIỆU THỬ NGHIỆM
• 4.2. THỬ NGHIỆM MÔ HÌNH GỐC
• 4.3. CÁC KỊCH BẢN THỬ NGHIỆM
• 4.4. ĐÁNH GIÁ KẾT QUẢ
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TRONG TƯƠNG LAI
• 5.1. KẾT QUẢ ĐẠT ĐƯỢC
• 5.2. NHỮNG TỒN TẠI
• 5.3. HƯỚNG PHÁT TRIỂN TRONG TƯƠNG LAI
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về mô hình tóm tắt văn bản tiếng Anh kiểu trích xuất

Mô hình tóm tắt văn bản tiếng Anh kiểu trích xuất là một trong những phương pháp quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Mô hình này giúp rút gọn nội dung văn bản mà vẫn giữ lại các thông tin chính yếu. Việc áp dụng mô hình này không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả trong việc tiếp nhận thông tin. Đặc biệt, trong bối cảnh thông tin ngày càng phong phú, việc tóm tắt văn bản trở nên cần thiết hơn bao giờ hết.

1.1. Khái niệm về tóm tắt văn bản và mô hình trích xuất

Tóm tắt văn bản là quá trình tạo ra một phiên bản ngắn gọn hơn của văn bản gốc. Mô hình trích xuất tập trung vào việc chọn lọc các câu hoặc đoạn văn quan trọng từ văn bản gốc để tạo ra bản tóm tắt. Điều này giúp người đọc nhanh chóng nắm bắt được nội dung chính mà không cần đọc toàn bộ văn bản.

1.2. Lợi ích của việc sử dụng mô hình tóm tắt văn bản

Việc sử dụng mô hình tóm tắt văn bản mang lại nhiều lợi ích. Đầu tiên, nó giúp tiết kiệm thời gian cho người đọc. Thứ hai, mô hình này giúp giảm thiểu thông tin thừa, chỉ giữ lại những điểm quan trọng. Cuối cùng, nó hỗ trợ trong việc phân tích và xử lý thông tin hiệu quả hơn.

II. Thách thức trong việc tóm tắt văn bản tiếng Anh

Mặc dù mô hình tóm tắt văn bản kiểu trích xuất mang lại nhiều lợi ích, nhưng vẫn tồn tại nhiều thách thức trong quá trình thực hiện. Một trong những thách thức lớn nhất là xác định được nội dung chính của văn bản. Điều này đòi hỏi các thuật toán phải có khả năng phân tích ngữ nghĩa và ngữ cảnh một cách chính xác.

2.1. Vấn đề xác định nội dung chính

Xác định nội dung chính của văn bản là một nhiệm vụ khó khăn. Các thuật toán cần phải phân tích cấu trúc ngữ nghĩa và ngữ cảnh để tìm ra những thông tin quan trọng nhất. Nếu không, bản tóm tắt có thể thiếu sót hoặc không chính xác.

2.2. Khó khăn trong việc xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên là một lĩnh vực phức tạp. Các mô hình cần phải đối mặt với nhiều vấn đề như đa nghĩa, ngữ cảnh và cách diễn đạt khác nhau. Điều này làm cho việc phát triển mô hình tóm tắt văn bản trở nên khó khăn hơn.

III. Phương pháp tóm tắt văn bản tiếng Anh kiểu trích xuất

Có nhiều phương pháp khác nhau để thực hiện tóm tắt văn bản kiểu trích xuất. Các phương pháp này thường dựa trên các thuật toán học máy và xử lý ngôn ngữ tự nhiên. Việc lựa chọn phương pháp phù hợp sẽ ảnh hưởng lớn đến chất lượng của bản tóm tắt.

3.1. Các thuật toán phổ biến trong tóm tắt văn bản

Một số thuật toán phổ biến trong tóm tắt văn bản bao gồm TF-IDF, TextRank và các mô hình học sâu như BERT. Những thuật toán này giúp xác định các câu quan trọng trong văn bản gốc để tạo ra bản tóm tắt hiệu quả.

3.2. Quy trình thực hiện tóm tắt văn bản

Quy trình thực hiện tóm tắt văn bản thường bao gồm các bước như tiền xử lý văn bản, xác định các đơn vị ngữ liệu quan trọng và tạo ra bản tóm tắt. Mỗi bước đều cần được thực hiện cẩn thận để đảm bảo chất lượng của bản tóm tắt.

IV. Ứng dụng thực tiễn của mô hình tóm tắt văn bản

Mô hình tóm tắt văn bản tiếng Anh kiểu trích xuất có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau. Từ việc hỗ trợ trong nghiên cứu, giáo dục đến các ứng dụng trong kinh doanh, mô hình này giúp tối ưu hóa quy trình làm việc và nâng cao hiệu quả.

4.1. Ứng dụng trong nghiên cứu và giáo dục

Trong lĩnh vực nghiên cứu, mô hình tóm tắt văn bản giúp các nhà nghiên cứu nhanh chóng nắm bắt được nội dung của nhiều tài liệu. Điều này giúp tiết kiệm thời gian và nâng cao hiệu quả trong việc tìm kiếm thông tin.

4.2. Ứng dụng trong kinh doanh

Trong kinh doanh, mô hình tóm tắt văn bản có thể được sử dụng để phân tích báo cáo, tóm tắt thông tin từ các cuộc họp hoặc tài liệu quan trọng. Điều này giúp các nhà quản lý đưa ra quyết định nhanh chóng và chính xác hơn.

V. Kết luận và hướng phát triển tương lai của mô hình tóm tắt văn bản

Mô hình tóm tắt văn bản tiếng Anh kiểu trích xuất đang ngày càng trở nên quan trọng trong bối cảnh thông tin ngày càng phong phú. Việc phát triển các mô hình tóm tắt hiệu quả sẽ giúp nâng cao khả năng tiếp nhận thông tin của con người. Hướng phát triển tương lai có thể bao gồm việc cải tiến các thuật toán và áp dụng công nghệ mới.

5.1. Tương lai của mô hình tóm tắt văn bản

Tương lai của mô hình tóm tắt văn bản có thể sẽ chứng kiến sự phát triển mạnh mẽ của các thuật toán học sâu. Những công nghệ mới này sẽ giúp cải thiện độ chính xác và hiệu quả của các bản tóm tắt.

5.2. Các nghiên cứu tiếp theo trong lĩnh vực tóm tắt văn bản

Các nghiên cứu tiếp theo có thể tập trung vào việc phát triển các mô hình tóm tắt đa văn bản hoặc cải thiện khả năng hiểu ngữ nghĩa của các mô hình hiện tại. Điều này sẽ mở ra nhiều cơ hội mới trong lĩnh vực xử lý ngôn ngữ tự nhiên.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TONG QUAN VE DE TÀI 1. GIỚI THIỆU CƠ SỞ THUC TAP 1. Giới thiệu cơ sở thực tập Công ty TNHH Công nghệ Phần mềm Kaopiz (gọi tắt là Kaopiz) được thành lập vào tháng 09/2014. Trải qua hơn 5 năm nỗ lực và phát triển, hiện nay Kaopiz đã trở thành đối tác phát triển phần mềm đáng tin cậy cho hơn 40 doanh nghiệp Nhật Ban ở nhiều lĩnh vực khác nhau.

Kaopiz cũng đã thành lập công ty chi nhánh tai Tokyo từ tháng 08/2016 và công ty nghiên cứu phát triển công nghệ mới Kaopiz Solutions từ tháng 03/2019. Tầm nhìn của công ty là trở thành một công ty công nghệ hang đầu Việt Nam, cung cấp các dịch vụ và giải pháp dang cấp thé giới, mang lại giá trị cho khách hàng, góp phần nâng tầm vị thế của đất nước và tạo ra cuộc sông đây đủ về cả vật chât và tinh thân cho môi nhân viên. Ngày nay, Kaopiz tập trung vào vào 4 lĩnh vực chính: xử lý dữ liệu, nghiên cứu và tư van công nghệ khoa học máy tính, sản xuất và phân phối sản pham phan mêm, cung câp các dịch vụ gia công phát triên và bảo trì phân mêm. Chọn cho mình khâu hiệu “Đổi mới sáng tạo”, công ty dang phan dau dé tao ra làn sóng trong cuộc công nghiệp Cách mạng 4.

Từ cơ sở tại tầng 4, toà nhà C14 Bắc Hà, phường Tố Hữu, thành phố Hà Nội, hiện nay công ty đã mở rộng sang thị trường Nhật Bản, xây dựng được mối quan hệ hợp tác lâu dài với hơn 45 công ty tại Nhật Bản, Hồng Kông, Canada và Việt Nam. Sứ mệnh của công ty là tiếp tục đổi mới dé cung cấp các giải pháp phát triển phần mềm hiệu quả và chất lượng cao hơn; tạo giá trị thực sự cho khách hàng, đối tác và nhân viên; đóng góp cho sự phát triên của xã hội. Lịch sử công ty Thang 9 năm 2014: Kaopiz Software Technology Co. được thành lập với 3 thành viên sáng lập.

Tháng 4 năm 2016: Số lượng nhân viên đạt 20 thành viên. Thang 8 năm 2016: Thành lập Công ty TNHH Kaopiz tại Nhật Bản. Tháng 10 năm 2017: Đạt chứng nhận ISO 9001. Tháng 9 năm 2018: Bắt đầu hợp tác kinh doanh cho hệ thống đọc ký tự AI.

Tháng 10 năm 2018: Chứng nhận ISO27001. Tháng 10 năm 2018: Triển lãm tại Tuần lễ CNTT Nhật Bản. Tháng 3 năm 2019: Thành lập Kaopiz Solutions Co. Nghiên cứu va ứng dụng các công nghệ tiên tiền (AI, Deep Learning, .) Tháng 4 năm 2018: Chiến thắng giải thưởng Sao Khuê tổ chức hội thảo AI tại Đại học Công nghệ Hà Nội.

Tháng 10 năm 2019: Công ty CNTT Việt Nam dat giải thưởng Top 50 + 10. Cơ cấu tô chức Cơ cấu tô chức của Kaopiz với ban giám đốc gồm 6 thành viên, 3 khối chính và 8 phòng ban. Khối Khối Khôi Backoffice Sales-Marketing Sản xuất : Phòng Phòng ` Ban Phòng Đi Sáo Phần mềm Phong Phong ANTT &CI Comtor ;. h : PMO Marketing Hình 1.1: Sơ đô cơ cấu tổ chức của Kaopiz 1.

Kaopiz Solution Công ty TNHH Kaopiz Solution được thành lập ngày 26 tháng 3 năm 2019 với sứ mệnh nghiên cứu va ứng dụng các công nghệ tiên tiến (trí tuệ nhân tạo hay học sâu). Tính đến tháng 9 năm 2019, công ty có 10 thành viên với Giám đốc đại diện Lê Hải Băng. Trong lĩnh vực nghiên cứu và phát triển của Kaopiz Solutions, phương pháp học sâu đang được sử dụng một cách có hiệu quả vì đây được coi như là một công nghệ dé thực hiện hóa trí tuệ nhân tạo. Bên cạnh đó là tiến hành nghiên cứu và phát triển các giải pháp nhận dạng hình ảnh trong nhiều tình huống.

Trí tuệ nhân tạo có khả năng giúp cho các doanh nghiệp phát triển mạnh mẽ trong hầu hết các lĩnh vực như tiếp thị, bảo mật, du lịch hay sức khỏe. Ngay cả các công ty vừa và nhỏ cũng có cơ hội phát triên cùng trí tuệ nhân tạo. Kaopiz Solution hỗ trợ nghiên cứu, phát triển các giải pháp và sản phẩm sử dụng công nghệ nhận dạng hình ảnh. GIỚI THIỆU DE TÀI 1.

Lý do chọn đề tài Trong những năm gần đây, trí tuệ nhân tạo nói chung và xử lý ngôn ngữ nói riêng đang ngày một được quan tâm, chú ý và nghiên cứu nhiều hơn. Trong đó TTVB là một bài toán điển hình của xử lý ngôn ngữ tự nhiên. TTVB giúp người đọc có thé khái quát được nội dung văn ban một cách nhanh chóng nhất dé từ đó có thé đưa ra những quyết định tiếp theo. Tuy nhiên, các văn bản tóm tắt chủ yếu là thủ công, dựa vào chủ quan của người đánh giá.

Vì vậy, yêu cầu có một mô hình giúp TTVB một cách chính xác là cần thiết. Việc TTVB ngày nay ngày càng trở nên quan trọng trong một thời đại mà mỗi ngày, mỗi phút, mỗi giây lượng thông tin chúng ta cần tiếp nhận là quá nhiều. Trong khi đó thời gian của chúng ta là có hạn, khả năng đọc và tiếp nhận thông tin trong khoảng thời gian ngắn cũng là có giới hạn. Việc hiểu và năm bắt thông tin một cách nhanh chóng không phải là một việc đơn giản với bất kỳ ai.

Vì vậy, đứng trước xu hướng mọi người ngày càng ưa chuộng đọc các tin tức online, các văn bản với lượng dữ liệu không lồ, lượng thông tin là quá nhiều thì việc TTVB là một điều hét sức cân thiết. Mục tiêu của đề tài Hiện nay các lĩnh vực của trí tuệ nhân tạo nói chung và TTVB nói riêng vẫn còn khá mới mẻ nên mục tiêu của đề tài là tìm hiểu được những kiến thức đơn giản nhất về TTVB, đồng thời xây dựng nén tang dé phát triển các bài toán sau này. Những mục tiêu cụ thé của đề tài là: Nghiên cứu các kiến thức cơ bản về bài toán xử lý ngôn ngữ tự nhiên và bài toán TTVB. Nghiên cứu các phương pháp được áp dụng đối với bài toán TTVB.

Từ những kiến thức thu được, nghiên cứu đề xuất một mô hình tóm tắt đơn văn bản tiếng Anh hướng trích xuất. Ý nghĩa của đề tài Mô hình TTVB được xây dựng dựa trên những hiểu biết của bản thân em dựa trên những kiến thức về xử lý ngôn ngữ tự nhiên nói chung và bài toán TTVB nói riêng. Từ đó có thé đưa ra một mô hình TTVB một cách hiệu quả. XU LÝ NGÔN NGỮ TỰ NHIÊN VÀ BÀI TOÁN TOM TAT VAN + BAN Theo đà phát triển của công nghệ hiện nay, trí tuệ nhân tạo đang ngày càng phát triển mạnh và trở thành một xu hướng mới của thế giới.

Trí tuệ nhân tạo đã và đang đạt được áp dụng trong tất cả các lĩnh vực của đời sông. Trong đó, xử lý ngôn ngữ tự nhiên là một nhánh quan trọng của trí tuệ nhân tạo. Có thể nói trong các lĩnh vực của trí tuệ nhân tạo, xử lý ngôn ngữ tự nhiên là một trong những phần khó nhất vì có liên quan đên ngôn ngữ của con người rât nhiêu. Các bài toán của xử lý ngôn ngữ tự nhiên cũng rất đa dạng như nhận dạng chữ viết, dịch tự động, tìm kiếm thông tin,.

TTVB cũng là một bài toán con của lĩnh vực xử lý ngôn ngữ tự nhiên, một điều tưởng như rất khó nhưng có thể thực hiện được. TTVB là quá trình tạo ra một ban mô tả ngăn gọn, súc tích từ một hoặc nhiêu văn bản gôc ban đâu. Sau khi được tóm tắt văn bản sẽ có độ dài ngăn hơn so với văn bản ban đâu nhưng các nội dung chính và quan trọng mà văn bản gôc đê cập tới vẫn phải đảm bảo được giữ lại trong văn bản tóm tắt. Van đề đặt ra trong quá trình TTVB là: Làm thé nào dé nhận biết được đâu là nội dung chính của văn bản gốc vì đó là thành phần cốt lõi, chứa những thông tin quan trọng.

Nếu có được những thông tin này thì công việc tóm tắt sẽ có kết quả tốt hơn, văn bản tóm tắt mang độ chính xác cao hơn. Các thành phần này được gọi là các đơn vị “ngữ liệu”. Đơn vị ngữ liệu là thành phần, đơn vị nhỏ nhất có nghĩa trong văn bản gốc dùng dé tóm tắt, trích xuất (ví dụ: từ, câu,. Trong văn bản gốc, nếu tần suất xuất hiện của các đơn vị ngữ liệu càng lớn thì xác suất mang nội dung quan trọng, thông tin chính của đoạn văn, văn bản cảng cao.

Sau đó, ta sử dụng các đơn vị ngữ liệu này dé tóm tắt, biến đồi, hiển thị hoặc tạo ra ngữ liệu mới phục vụ cho các hệ thong khác. Bài toán TTVB có thé được phân loại theo các phương pháp khác nhau, phụ thuộc vào các tiêu chí phân loại. Mỗi loại bài toán TTVB có các yêu cau, ý nghĩa riêng nên cần phải áp dụng các kỹ thuật, phương pháp xử lý khác nhau. Một số cách phân loại TTVB như sau [17]: Dựa vào sô lượng văn bản đâu vào: Phụ thuộc vào sô lượng của tập văn bản gốc đưa vào, bài toán TTVB gồm2 loại: Tóm tắt đơn văn bản: Văn bản gốc chỉ có một văn bản duy nhất.

Tóm tắt đơn văn bản là khởi đầu cho tóm tắt đa văn bản. Tóm tắt đa văn bản: Tập văn bản gốc đưa vào gồm nhiều văn bản (các văn bản này có nội dung liên quan đến nhau). Kết quả thu được của quá trình tóm tắt là một văn bản duy nhất từ tập văn bản này, chứ không phải là với mỗi văn bản sẽ cho một văn bản tóm tắt. Tóm tắt đa văn bản có độ phức tạp cao hơn so với tóm tat đơn văn bản, phải đôi mặt với một sô vân đê như: Trùng lặp dữ liệu giữa các văn bản, giai đoạn tiên xử lý văn bản phức tạp, tỉ lệ nén yêu câu cao,.

Dựa vào kêt quả đâu ra của văn bản tóm tắt: Phụ thuộc vào kêt quả đâu ra, TTVB cũng được chia làm 2 loại: Tóm tắt theo kiểu trích xuất: Trích xuất là quá trình rút gọn văn bản sao cho văn bản kết quả có chứa các đơn vị ngữ liệu năm trong văn bản nguồn (nghĩa là: Văn bản tóm tắt chỉ gồm các thành phần được chọn từ văn bản gốc được đưa vào). Tóm tắt theo kiểu tóm lược: Tóm lược là quá trình rút gọn văn bản sao cho văn bản kết quả có chứa một số các đơn vị ngữ liệu mới được sinh ra từ các đơn vị ngữ liệu nam trong văn bản gốc (nghĩa là: Văn bản tóm tắt không giữ nguyên các thành phần của văn bản gốc được đưa vào mà nó chỉ lấy ra các thông tin cần thiết).