Đồ Án: Xây Dựng Chương Trình Tóm Tắt Văn Bản Tiếng Việt (UIT Việt Hàn)

Tóm tắt đồ án chuyên ngành tiếng Việt hiệu quả. Hướng dẫn cách viết tóm tắt đồ án, luận văn súc tích, đầy đủ ý chính, giúp bạn đạt điểm cao.

• Tác giả: Ông Bửu Khánh
• Người hướng dẫn: PGS. Huỳnh Công Pháp
• Trường học: Trường Đại học Công nghệ Thông tin & Truyền thông Việt Hàn
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Xây dựng chương trình tóm tắt văn bản tiếng Việt
• Loại tài liệu: Đồ án chuyên ngành
• Năm xuất bản: 2022
• Địa điểm: Đà Nẵng

Mục lục chi tiết

• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC TỪ VIẾT TẮT
• 1. CHƯƠNG I – MỞ ĐẦU
• 1.1. Khai thác văn bản
• 1.2. Khai thác văn bản là gì?
• 1.3. Một số bài toán tiêu biểu trong Khai thác văn bản
• 1.4. Bài toán TTVB - Automatic Text Summarization (ATS)
• 1.5. Ứng dụng của tóm tắt văn bản (TTVB)
• 1.6. Giải quyết bài toán TTVB
• 1.7. Mục đích lựa chọn đề tài
• 1.8. Các mục tiêu cụ thể trong đồ án
• 2. CHƯƠNG II - CÁC PHƯƠNG ÁN GIẢI QUYẾT BÀI TOÁN TÓM TẮT VĂN BẢN
• 2.1. Một số khái niệm cơ bản về TTVB
• 2.2. Mô hình một hệ thống TTVB
• 2.3. Các tiêu chí khi thực hiện tóm tắt
• 2.4. Mô hình bên ngoài của một hệ thống Tóm tắt
• 2.5. Qui trình thực hiện TTVB
• 2.6. Quá trình tiền xử lý
• 2.7. Quá trình xử lý
• 2.8. Quá trình sinh kết quả
• 2.9. Các giải thuật TTVB
• 2.10. Kỹ thuật Word2Vec
• 2.11. Một số định nghĩa
• 2.12. Giải thuật dựa trên phân nhóm các đoạn văn trong văn bản (Paragraphs Clustering for Summarization)
• 2.13. Định nghĩa phân nhóm
• 2.14. Giải thuật cho bài toán phân nhóm
• 2.15. Áp dụng phân nhóm văn bản cho bài toán TTVB
• 2.16. Đánh giá
• 2.17. Giải thuật sử dụng các đặc trưng tóm tắt kết hợp thuật toán học máy (Summarization using Machine Learning Algorithm)
• 2.18. Các đặc trưng của tóm tắt (Summaried Features)
• 2.19. Giải thuật áp dụng các đặc trưng liên kết ngữ nghĩa trong văn bản (Summarization using Cohesion Features)
• 2.20. Các định nghĩa cơ bản
• 2.21. Liên kết ngữ nghĩa ứng dụng trong TTVB
• 2.22. Giải thuật áp dụng chuỗi từ vựng để TTVB (Summarization using Lexical Chains)
• 2.23. Giải thuật áp dụng các đặc trưng liên kết cấu trúc trong văn bản (Summarization using Coherence Features)
• 2.24. Khái niệm về liên kết cấu trúc (Coherence)
• 2.25. Áp dụng liên kết cấu trúc cho TTVB
• 2.26. Kết luận
• 3. CHƯƠNG III - TIỀN XỬ LÝ VĂN BẢN TIẾNG VIỆT
• 3.1. Phương pháp tách thuật ngữ tiếng Việt
• 3.2. Xây dựng từ điển
• 3.3. Tổ chức cấu trúc bản ghi trong từ điển
• 3.4. Tổ chức kết cấu
• 3.5. Lưu trữ theo danh sách sắp xếp
• 3.6. Loại bỏ từ dừng (stop world)
• 3.7. Biểu diễn văn bản theo mô hình hóa không gian véc tơ cho Tiếng Việt
• 3.8. Mô hình hóa không gian vector word2vec
• 3.9. Skip-gram Model
• 3.10. Word2vec cải tiến
• 3.11. Word2vec cải tiến 1(Xử lý cụm từ như một từ đơn)
• 3.12. Word2vec cải tiến 2(Loại bỏ từ thường xuyên lặp lại)
• 3.13. Word2vec cải tiến 3(Negative Sampling)
• 3.14. Kết quả của word2Vec
• 4. CHƯƠNG IV – TRIỂN KHAI XÂY DỰNG
• 4.1. Tiền xử lý văn bản
• 4.2. Tách các câu trong văn bản
• 4.3. Chuyển các câu sang vector
• 4.4. Xây dựng đoạn văn bản cần tóm tắt
• 4.5. Giao diện chương trình và kết quả
• TỔNG KẾT
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới Thiệu Chung Về Tóm Tắt Đồ Án Chuyên Ngành Tiếng Việt

Trong bối cảnh thông tin bùng nổ, khả năng tóm tắt đồ án chuyên ngành một cách hiệu quả trở nên vô cùng quan trọng. Bài toán tóm tắt văn bản Tiếng Việt (TTVB) hướng đến mục tiêu cô đọng nội dung, giảm độ dài và sự phức tạp của văn bản gốc, đồng thời vẫn giữ lại những thông tin cốt lõi và giá trị nhất. Theo tài liệu gốc, TTVB giúp người đọc có cái nhìn tổng quan về tài liệu, hỗ trợ ra quyết định có nên đọc toàn bộ văn bản hay không.

Khai thác văn bản nói chung và tóm tắt văn bản nói riêng là một lĩnh vực kết hợp nhiều ngành khoa học khác nhau như tìm kiếm thông tin, khai thác dữ liệu, học máy và ngôn ngữ học máy tính. Với hơn 80% thông tin dữ liệu đang được lưu trữ dưới dạng văn bản, khai thác văn bản có tiềm năng ứng dụng rất lớn và ngày càng trở nên quan trọng hơn. Đồ án chuyên ngành của Ông Bửu Khánh và Nguyễn Ngọc Anh Khoa (2022) đã tập trung vào việc xây dựng chương trình tóm tắt văn bản tiếng Việt, góp phần giải quyết bài toán này.

Tóm tắt đồ án chuyên ngành không chỉ giúp người đọc tiết kiệm thời gian mà còn hỗ trợ việc nghiên cứu, học tập và ứng dụng kiến thức. Tuy nhiên, việc tóm tắt thủ công thường tốn nhiều công sức và thời gian. Do đó, việc phát triển các công cụ và phương pháp tóm tắt tự động là một hướng đi đầy tiềm năng và cần thiết. Các công cụ này cần phải đảm bảo tính chính xác, khách quan và khả năng thích ứng với nhiều loại văn bản khác nhau. Tóm tắt văn bản đóng vai trò quan trọng trong việc khai thác tri thức từ nguồn tài liệu đồ sộ.

1.1. Mục tiêu và ý nghĩa của việc tóm tắt đồ án

Việc tóm tắt đồ án chuyên ngành có nhiều mục tiêu quan trọng. Thứ nhất, nó giúp người đọc nhanh chóng nắm bắt được nội dung chính của đồ án mà không cần phải đọc toàn bộ tài liệu. Thứ hai, nó hỗ trợ việc đánh giá chất lượng và tính khả thi của đồ án. Cuối cùng, nó tạo điều kiện cho việc chia sẻ và trao đổi kiến thức giữa các nhà nghiên cứu và sinh viên. Theo lời cảm ơn trong đồ án, tác giả bày tỏ mong muốn đồ án này sẽ làm cơ sở để nghiên cứu và phát triển cao hơn sau này. Tóm tắt đồ án đóng vai trò quan trọng trong việc khai thác giá trị của đồ án.

1.2. Các loại hình tóm tắt đồ án chuyên ngành phổ biến

Có hai loại hình tóm tắt chính: tóm tắt trích rút và tóm tắt trừu tượng. Tóm tắt trích rút chọn lọc và giữ nguyên các câu quan trọng từ văn bản gốc. Tóm tắt trừu tượng diễn giải lại nội dung bằng ngôn ngữ mới, có thể không trùng khớp hoàn toàn với văn bản gốc. Đồ án của Ông Bửu Khánh và Nguyễn Ngọc Anh Khoa tập trung vào tóm tắt trích rút, vì việc xây dựng tóm tắt trừu tượng đòi hỏi khả năng hiểu và diễn giải ngôn ngữ phức tạp hơn. Lựa chọn loại hình tóm tắt phù hợp phụ thuộc vào mục đích sử dụng và yêu cầu cụ thể của người dùng.

II. Thách Thức Khi Tóm Tắt Văn Bản Tiếng Việt Chuyên Ngành

Việc tóm tắt văn bản Tiếng Việt nói chung và tóm tắt đồ án chuyên ngành nói riêng đối mặt với nhiều thách thức đặc thù. Ngôn ngữ Tiếng Việt có cấu trúc phức tạp, nhiều từ đa nghĩa và ngữ cảnh sử dụng đa dạng. Hơn nữa, đồ án chuyên ngành thường sử dụng nhiều thuật ngữ chuyên môn, đòi hỏi người tóm tắt phải có kiến thức chuyên sâu về lĩnh vực liên quan. Theo đồ án, một trong những khó khăn là việc xác định một danh từ nên thuộc vào chuỗi từ vựng nào. Điều này đòi hỏi hệ thống phải quyết định hướng sử dụng của từ.

Một thách thức khác là việc xử lý các loại văn bản khác nhau. Mỗi đồ án chuyên ngành có một cấu trúc và phong cách viết riêng. Do đó, các công cụ và phương pháp tóm tắt cần phải có khả năng thích ứng với nhiều loại văn bản khác nhau. Cuối cùng, việc đánh giá chất lượng của tóm tắt là một vấn đề nan giải. Cần có các tiêu chí khách quan và định lượng để đánh giá tính chính xác, đầy đủ và mạch lạc của tóm tắt. Việc tóm tắt hiệu quả đòi hỏi sự kết hợp giữa kiến thức ngôn ngữ, kiến thức chuyên môn và kỹ năng phân tích.

2.1. Khó khăn trong việc xử lý ngôn ngữ Tiếng Việt

Tiếng Việt có nhiều đặc điểm phức tạp gây khó khăn cho việc tóm tắt tự động. Ví dụ, việc tách từ tiếng Việt là một vấn đề không đơn giản, do từ có thể là từ đơn, từ ghép hoặc cụm từ. Việc xác định nghĩa của từ cũng là một thách thức, do nhiều từ có nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh sử dụng. Giải pháp cần có là xây dựng một cơ sở tri thức đủ lớn để hỗ trợ quá trình tóm tắt.

2.2. Yêu cầu về kiến thức chuyên môn khi tóm tắt đồ án

Đồ án chuyên ngành thường đề cập đến các khái niệm và thuật ngữ chuyên môn. Việc tóm tắt đòi hỏi người thực hiện phải có kiến thức vững chắc về lĩnh vực liên quan để hiểu đúng và chọn lọc thông tin quan trọng. Điều này đặt ra yêu cầu cao về năng lực của các công cụ tóm tắt tự động. Cần tích hợp các nguồn tri thức chuyên môn để hỗ trợ quá trình tóm tắt.

2.3. Đánh giá chất lượng tóm tắt một cách khách quan

Việc đánh giá chất lượng của tóm tắt là một vấn đề khó khăn. Cần có các tiêu chí rõ ràng để đánh giá tính chính xác, đầy đủ và mạch lạc của tóm tắt. Các tiêu chí này cần phải được lượng hóa để có thể đánh giá một cách khách quan và so sánh giữa các phương pháp tóm tắt khác nhau. Cần phát triển các phương pháp đánh giá tự động để giảm thiểu sự can thiệp của con người.

III. Cách Tóm Tắt Đồ Án Chuyên Ngành Hiệu Quả Bằng Word2Vec

Phương pháp tóm tắt đồ án chuyên ngành sử dụng Word2Vec là một hướng tiếp cận đầy hứa hẹn. Word2Vec là một kỹ thuật xử lý ngôn ngữ tự nhiên, sử dụng mô hình mạng thần kinh để học các liên kết từ (sự liên quan của từ) từ một kho ngữ liệu văn bản có dung lượng lớn. Ý tưởng cơ bản của Word2Vec là hai từ xuất hiện trong những văn cảnh giống nhau thường có ý nghĩa gần với nhau.

Trong đồ án của Ông Bửu Khánh và Nguyễn Ngọc Anh Khoa, kỹ thuật Word2Vec được sử dụng để biểu diễn các câu trong văn bản gốc thành các vector số học. Sau đó, các thuật toán phân cụm (clustering) được áp dụng để nhóm các câu có ý nghĩa tương đồng lại với nhau. Cuối cùng, các câu đại diện cho mỗi cụm được chọn lọc để tạo thành tóm tắt.

Ưu điểm của phương pháp này là khả năng nắm bắt được ngữ nghĩa của văn bản một cách hiệu quả. Tuy nhiên, nó cũng đòi hỏi một lượng lớn dữ liệu huấn luyện và kỹ năng xử lý ngôn ngữ tự nhiên tốt. Việc kết hợp Word2Vec với các kỹ thuật khác có thể mang lại kết quả tóm tắt tốt hơn. Word2vec giúp tóm tắt văn bản một cách hiệu quả.

3.1. Ứng dụng Word2Vec để biểu diễn văn bản dưới dạng vector

Word2Vec cho phép biểu diễn mỗi từ trong văn bản thành một vector số học. Các vector này được học từ một tập dữ liệu lớn, sao cho các từ có ý nghĩa tương tự nhau thì có khoảng cách gần nhau trong không gian vector. Sau đó, các câu có thể được biểu diễn bằng cách tính trung bình các vector của các từ trong câu. Biểu diễn vector giúp cho việc so sánh và phân tích ngữ nghĩa của các câu trở nên dễ dàng hơn. Điều này rất quan trọng cho quá trình tóm tắt.

3.2. Phân cụm các câu có ý nghĩa tương đồng bằng K Means

Sau khi các câu đã được biểu diễn dưới dạng vector, thuật toán K-Means có thể được sử dụng để phân cụm các câu có ý nghĩa tương đồng lại với nhau. Thuật toán này tìm cách chia các câu thành K cụm, sao cho các câu trong cùng một cụm thì có khoảng cách gần nhau hơn so với các câu ở các cụm khác. Việc phân cụm giúp cho việc chọn lọc các câu đại diện cho mỗi chủ đề trở nên dễ dàng hơn. Phân cụm K-Means là một công cụ hiệu quả để tóm tắt văn bản.

3.3. Chọn lọc câu đại diện để xây dựng bản tóm tắt

Sau khi các câu đã được phân cụm, cần chọn ra một câu đại diện cho mỗi cụm để đưa vào tóm tắt. Câu đại diện thường là câu có khoảng cách gần nhất với trung tâm của cụm. Sau khi chọn lọc xong, các câu đại diện này sẽ được sắp xếp theo thứ tự xuất hiện trong văn bản gốc để tạo thành tóm tắt cuối cùng. Quá trình chọn lọc này đảm bảo rằng tóm tắt vẫn giữ được mạch lạc và tính liên kết của văn bản gốc. Chọn lọc câu đại diện là bước cuối cùng trong quá trình tóm tắt.

IV. Phương Pháp Áp Dụng Thuật Toán Học Máy Cho Tóm Tắt Đồ Án

Giải thuật sử dụng thuật toán học máy (SMLA) là giải thuật khá phổ biến, và đã có nhiều nghiên cứu phát triển dựa trên nền tảng này. Bởi vì nó thể hiện rất rõ các đặc trưng, tính chất của công việc tóm tắt văn bản thực sự. Nó được coi như là một phương pháp “vét nông” để tìm ra kết quả tốt nhất có thể cho tóm tắt Extract. Một trong những người nghiên cứu đầu tiên về giải thuật này phải kể đến là Julian Kupiec (1995). Phương pháp mà Kupiec đưa ra tuy kết hợp chưa nhiều các đặc trưng tóm tắt xong nó là cơ sở giải thuật để các nghiên cứu khác có thể phát triển thêm sau này. Dưới đây xin trình bày những điểm mấu chốt của giải thuật phát triển theo hướng này.

4.1. Các đặc trưng quan trọng trong tóm tắt văn bản

Đặc trưng của tóm tắt (SF) là một đặc điểm nào đó của một thành phần trong văn bản cho thấy nó có giá trị về nội dung cao và có nhiều khả năng được sử dụng để tạo nên Tóm tắt văn bản. Có rất nhiều đặc trưng tóm tắt, có thể nêu ra cơ bản một số đặc trưng sau: Độ dài câu (Sentence Length feature), Vị trí câu (Sentence Position feature), Chứa nội dung tiêu đề (Title feature), Chứa các thuật ngữ đặc biệt (Fixed-phrases feature), Từ viết hoa (Uppercase word feature) và Dựa trên cây nhị phân (Binary Tree).

4.2. Các đặc trưng liên kết ngữ nghĩa trong văn bản

Phương pháp áp dụng liên kết ngữ nghĩa trong văn bản có thể được mô tả tổng quát gồm hai giai đoạn như sau: Giai đoạn 1: Biểu diễn văn bản dưới dạng đồ thị (Nút: là các từ vựng, thuật ngữ; các câu hoặc các đoạn văn và Cạnh giữa các nút: Cạnh có trọng số hoặc không có trọng số biểu thị mối tương quan liên kết về mặt ý nghĩa nội dung của các nút với nhau). Giai đoạn 2: Từ biểu diễn bằng đồ thị, lựa chọn và lấy ra các thành phần có liên kết nhiều nhất tương đương với việc nó mang nội dung chính của văn bản.

4.3. Biểu diễn văn bản theo mô hình hóa không gian vector cho Tiếng Việt

Trong xử lý ngôn ngữ tự nhiên, việc biểu diễn một từ thành một vector đóng vai trò cực kỳ quan trọng. Nó lợi ích rất nhiều trong việc thể hiện sự tương đồng, đối lập về ngữ nghĩa giữa các từ, giúp mô hình hóa vector cho 1 câu hay đoạn văn, tìm các câu có nghĩa tương đồng,… Thay vì đếm và xây dựng ma trận đồng xuất hiện, word2vec học trực tiếp word vector có số chiều thấp trong quá trình dự đoán các từ xung quanh mỗi từ. Đặc điểm của phương pháp này là nhanh hơn và có thể dễ dàng kết hợp một câu một văn bản mới hoặc thêm vào từ vựng.

V. Ứng Dụng Thực Tiễn Đánh Giá Chương Trình Tóm Tắt Đồ Án

Đồ án chuyên ngành của Ông Bửu Khánh và Nguyễn Ngọc Anh Khoa đã xây dựng một chương trình tóm tắt văn bản tiếng Việt sử dụng kỹ thuật Word2Vec và thuật toán phân cụm K-Means. Chương trình này có giao diện thân thiện và dễ sử dụng. Người dùng có thể nhập văn bản gốc và lựa chọn số lượng câu trong tóm tắt. Sau đó, chương trình sẽ tự động tạo ra tóm tắt dựa trên các thuật toán đã được cài đặt.

Tuy nhiên, chương trình vẫn còn một số hạn chế. Chất lượng của tóm tắt phụ thuộc nhiều vào chất lượng của dữ liệu huấn luyện Word2Vec. Hơn nữa, chương trình chưa có khả năng xử lý các loại văn bản có cấu trúc phức tạp. Trong tương lai, cần phải cải tiến chương trình để nó có thể hoạt động hiệu quả hơn và đáp ứng được nhiều nhu cầu sử dụng khác nhau. Ứng dụng thực tiễn tóm tắt văn bản mang lại nhiều lợi ích.

5.1. Giao diện và chức năng của chương trình tóm tắt

Chương trình tóm tắt văn bản có giao diện trực quan, cho phép người dùng dễ dàng nhập văn bản gốc và lựa chọn các tham số tóm tắt. Sau khi nhận dữ liệu, chương trình sẽ xuất ra bản tóm tắt một cách nhanh chóng. Việc thiết kế giao diện thân thiện giúp cho chương trình trở nên dễ tiếp cận và sử dụng đối với nhiều đối tượng người dùng.

5.2. Kết quả tóm tắt và đánh giá chất lượng

Chất lượng của tóm tắt được đánh giá dựa trên các tiêu chí như tính chính xác, đầy đủ, mạch lạc và khả năng truyền tải thông tin quan trọng. Đánh giá này có thể được thực hiện bằng cách so sánh tóm tắt tự động với tóm tắt do con người tạo ra. Ngoài ra, cũng cần thu thập phản hồi từ người dùng để đánh giá tính hữu ích của tóm tắt trong thực tế. Cần có các phương pháp đánh giá khách quan để cải thiện chất lượng của các công cụ tóm tắt tự động.

5.3. Hướng phát triển và cải tiến chương trình trong tương lai

Trong tương lai, chương trình cần được cải tiến để nâng cao chất lượng tóm tắt và mở rộng khả năng ứng dụng. Cần tích hợp các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến hơn, bổ sung thêm các nguồn tri thức chuyên môn và phát triển các phương pháp đánh giá tự động. Ngoài ra, cần tập trung vào việc xây dựng các công cụ tóm tắt chuyên biệt cho từng lĩnh vực cụ thể. Việc cải tiến liên tục là cần thiết để đáp ứng nhu cầu ngày càng cao của người dùng.

VI. Kết Luận Hướng Nghiên Cứu Phát Triển Tóm Tắt Đồ Án

Tóm lại, việc tóm tắt đồ án chuyên ngành là một bài toán quan trọng và đầy thách thức. Các phương pháp tiếp cận sử dụng Word2Vec và thuật toán học máy đã mang lại những kết quả khả quan. Tuy nhiên, vẫn còn nhiều vấn đề cần được giải quyết để nâng cao chất lượng và hiệu quả của tóm tắt. Trong tương lai, cần tập trung vào việc nghiên cứu các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến hơn, tích hợp các nguồn tri thức chuyên môn và phát triển các phương pháp đánh giá tự động. Mục tiêu cuối cùng là xây dựng các công cụ tóm tắt thông minh, có khả năng hỗ trợ đắc lực cho việc nghiên cứu, học tập và ứng dụng kiến thức.

6.1. Tổng kết các phương pháp và kết quả nghiên cứu

Nghiên cứu này đã khám phá nhiều phương pháp tóm tắt văn bản, từ các phương pháp dựa trên thống kê đơn giản đến các phương pháp sử dụng kỹ thuật học sâu. Các phương pháp này đã được thử nghiệm và đánh giá trên các tập dữ liệu khác nhau. Kết quả cho thấy rằng các phương pháp sử dụng kỹ thuật học sâu có khả năng mang lại kết quả tốt hơn so với các phương pháp truyền thống. Tuy nhiên, các phương pháp này cũng đòi hỏi nhiều tài nguyên tính toán hơn. Việc lựa chọn phương pháp phù hợp phụ thuộc vào yêu cầu cụ thể của từng bài toán.

6.2. Hướng nghiên cứu và phát triển trong tương lai

Trong tương lai, cần tập trung vào việc nghiên cứu các kỹ thuật xử lý ngôn ngữ tự nhiên tiên tiến hơn, như mô hình transformer và cơ chế attention. Các kỹ thuật này có khả năng nắm bắt được ngữ cảnh và mối quan hệ giữa các từ trong văn bản một cách hiệu quả hơn. Ngoài ra, cần phát triển các phương pháp tóm tắt có khả năng tạo ra các tóm tắt trừu tượng, thay vì chỉ trích rút các câu từ văn bản gốc. Việc kết hợp các kỹ thuật khác nhau cũng là một hướng đi đầy hứa hẹn.

6.3. Tầm quan trọng của tóm tắt văn bản trong kỷ nguyên số

Trong kỷ nguyên số, lượng thông tin ngày càng tăng lên với tốc độ chóng mặt. Việc tóm tắt văn bản trở nên quan trọng hơn bao giờ hết. Nó giúp cho con người tiết kiệm thời gian, nâng cao hiệu quả làm việc và học tập. Các công cụ tóm tắt tự động có tiềm năng ứng dụng rất lớn trong nhiều lĩnh vực, như báo chí, nghiên cứu khoa học, giáo dục và kinh doanh. Việc phát triển các công cụ tóm tắt thông minh là một nhiệm vụ cấp thiết, góp phần thúc đẩy sự phát triển của xã hội.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Ông Bửu Khánh – Nguyễn Ngọc Anh Khoa Trang 6 TIEU LUAN MOI download : skknchat123@gmail.1 Khai thác văn bản.1 Khai thác văn bản là gì ? Với sự phát triển vượt bậc của khoa học công nghệ đặc biệt là CNTT, ngày nay lượng thông tin tồn tại trên các phương tiện truyền thông (internet, TV, news, email.) phát triển một cách nhanh chóng. Mỗi một ngày lại có vô số thông tin mới được tạo ra từ nhiều nguồn khác nhau. Chúng đòi hỏi phải được lưu trữ để truy cập và sử dụng khi cần thiết. Đi từ nhu cầu thực tế đó, lĩnh vực khai thác dữ liệu (Data Mining - DM) mà cụ thể là khai thác văn bản (Text Mining - TM) đặt ra nhiều yêu cầu nghiên cứu khác nhau liên quan phục vụ cho việc quản lý và khai thác nguồn dữ liệu khổng lồ này.

Vậy thế nào là khai thác dữ liệu văn bản ? Khai thác dữ liệu là các phương pháp trích chọn, sàng lọc để tìm ra các thông tin cần thiết từ một kho dữ liệu ban đầu. Các thông tin này chưa được biết trước, có giá trị và tiềm năng sử dụng. Văn bản (Text) là một kiểu dữ liệu, cụ thể : là một tập hợp các từ đi liền nhau nhằm diễn đạt một nội dung nào đó. Do vậy văn bản là loại dữ liệu không có cấu trúc hoặc bán cấu trúc.

Khai thác văn bản, còn được biết đến như phân tích văn bản thông minh (inteligent text analysis), khai thác dữ liệu văn bản (text data mining) hoặc khám phá tri thức văn bản (knowledge-discovery in text - KDT) liên quan đến quá trình trích lọc các thông tin, tri thức cần thiết chưa được khai phá và có giá trị sử dụng từ các kho văn bản. Khai thác văn bản là một lĩnh vực kết hợp nhiều lĩnh vực nghiên cứu khác liên quan : tìm kiếm thông tin (information retrieval), khai thác dữ liệu (data mining), học máy (machine learning), ngôn ngữ học máy tính (computer linguistics). Với hơn 80% thông tin dữ liệu đang được lưu trữ dưới dạng văn bản (theo thống kê của Bách khoa toàn thư WIKIPEDIA), khai thác văn bản có tiềm năng ứng dụng rất lớn và ngày càng trở nên quan trọng hơn.2 Một số bài toán tiêu biểu trong Khai thác văn bản Có thể nêu ra một số bài toán có ứng dụng quan trọng trong lĩnh vực khai thác văn bản sau : - Phân loại văn bản (Text Categorization - Text Classification): Cho một tập các văn bản đã được phân loại theo các chủ đề cho trước (VD: kinh tế, triết học, thể thao, văn hoá, …. Xuất hiện một văn bản mới chưa được phân loại, vấn đề đặt ra là xác định văn bản đó thuộc loại - chủ đề nào.

Ông Bửu Khánh – Nguyễn Ngọc Anh Khoa Trang 7 TIEU LUAN MOI download : [e-mail] - Lập nhóm văn bản (Text Clustering) : Từ một tập hợp văn bản bất kỳ, cần lập ra các nhóm văn bản căn cứ theo độ tương tự về nội dung của chúng. Số nhóm này có thể do người dùng chỉ định hoặc hệ thống lựa chọn số nhóm thích hợp. - Tóm tắt văn bản (Text Summarization) : Cho một văn bản bất kỳ, cần đưa ra một thể hiện nội dung ngắn gọn cho văn bản đó. - Tìm kiếm thông tin (Information Retrievel) : Từ một tập hợp dữ liệu (ở đây, dữ liệu được hiểu là các văn bản) ban đầu, người dùng đưa ra một truy vấn về thông tin cần tìm kiếm.

Hệ thống sẽ cung cấp một danh sách dữ liệu được xếp loại thoả mãn yêu cầu thông tin đó.2 Bài toán TTVB - Automatic Text Summarization (ATS) Trước tiên phải hiểu định nghĩa cụ thể cho bài toán TTVB.1 Tóm tắt văn bản (TTVB) TTVB là quá trình thực hiện giảm đi độ dài, sự phức tạp của một văn bản trong khi vẫn giữ lại được các nội dung có giá trị của nó. TTVB nhằm đưa ra thể thể hiện về nội dung một cách ngắn gọn của văn bản. Có thể phát biểu bài toán TTVB như sau: Đầu vào: Một văn bản hoặc một tập hợp văn bản Đầu ra: Nội dung ngắn gọn(tóm tắt) hoặc một tập các nội dung ngắn gọn của chúng. Hình 1: Định nghĩa bài toán TTVB Thực ra TTVB đã xuất hiện từ rất lâu, nhưng chúng thường được thực hiện một cách truyền thống do con người.

Tác dụng chính của những tóm tắt kiểu này là để giúp đỡ cho người đọc có cái nhìn tổng quát về nội dung chính sẽ được trình bày trong tài liệu. Trong hầu hết các trường hợp, người đọc trước khi quyết định xem có nên đọc một văn bản nào đó không thường thích nhìn vào tóm tắt của văn bản đó để xem nội dung của nó có thoả mãn nhu cầu về thông tin của mình hay không.2 Ứng dụng của TTVB TTVB có rất nhiều ứng dụng thực tế. Có thể nêu ra một số ứng dụng chính như: Tóm tắt phục vụ máy tìm kiếm (Search engine hits): tóm tắt các thư viện dữ liệu khổng lồ để phục vụ cho mục đích tìm kiếm thông tin. Với tài nguyên dữ liệu lớn, mỗi lần thực hiện tìm kiếm nếu chỉ rà soát thông tin trên danh mục các tóm tắt Ông Bửu Khánh – Nguyễn Ngọc Anh Khoa Trang 8 TIEU LUAN MOI download : [e-mail] của dữ liệu sẽ tiết kiệm thời gian và giảm độ phức tạp của bài toán tìm kiếm.

Hiện một số địa chỉ tìm kiếm nổi tiếng như Google, Altavista. đều đã ứng dụng rất tốt TTVB vào hệ thống của mình. Tóm tắt tin tức (Multimedia news summaries): có ứng dụng rất lớn trong thương mại. Giá trị của thông tin trong thương mại là rất quan trọng.

Song với lượng thông tin lớn được xuất bản mỗi ngày, doanh nghiệp không thể tiếp nhận và xử lý hết chúng. Tóm tắt tin tức có thể giúp cho thu thập đủ các thông tin cần thiết từ nguồn dữ liệu này. Đã có nhiều công ty (kể cả ở Việt Nam) khai thác giá trị thương mại này, bằng cách cung cấp cho khách hàng những thông tin được xuất bản trong ngày có nội dung liên quan đến một lĩnh vực được “đặt hàng” trước nào đó. Hỗ trợ tìm kiếm đa ngôn ngữ: Giả sử người dùng cần tìm các tài liệu về một vấn đề nào đó.

Nhưng các tài liệu này lại tồn tại dưới dạng các ngôn ngữ khác nhau. Trưóc hết tóm tắt nội dung của tài liệu, sau đó áp dụng hệ thống dịch tự động đưa chúng về ngôn ngữ của người đọc. Nếu tài liệu này thoả mãn yêu cầu người dùng, nó sẽ được người dùng tìm cách dịch và sử dụng. Tóm tắt còn có thể sử dụng để xây dựng thông tin cho các thiết bị cầm tay (máy tính bỏ túi, điện thoại di động).

Với khả năng hiển thị hạn chế của các thiết bị này, việc cô đọng thông tin để phù hợp với kích thước sử dụng là cần thiết. Một số ứng dụng khác của TTVB như: hỗ trợ người khiếm thị: cô đọng nội dung và đọc lại cho người dùng; giúp đỡ điều trị bệnh nhân: tóm tắt và so sánh sự điều trị cần thiết cho mỗi bệnh nhân; thu thập thông minh: tự động xây dựng một tiểu sử 500 từ về chủ tịch Hồ Chí Minh; ….3 Giải quyết bài toán TTVB Trên thế giới, bài toán TTVB đã xuất hiện từ rất lâu. Những kỹ thuật đầu tiên áp dụng để TTVB xuất hiện từ những năm 50 của thế ký trước (như nghiên cứu của Luhn năm 1959. Sau đó, chúng tiếp tục được nghiên cứu và đạt nhiều kết quả ngày càng tốt hơn, cho nhiều loại ngôn ngữ như tiếng Anh, tiếng Pháp, tiếng Nhật, tiếng Trung… (các nghiên cứu này sẽ được trình bày trong chương tiếp theo của báo cáo).

Ở Việt Nam bước đầu cũng đã có một số nghiên cứu giải quyết bài toán cho ngôn ngữ tiếng Việt nhưng số lượng cũng như chất lượng con thấp do đây là một vấn đề còn khá mới mẻ.3 Mục đích lựa chọn đề tài Những năm gần đây là khoảng thời gian Internet có sự phát triển mạnh mẽ tại Việt Nam. Cách đây khoảng 7,8 năm nếu như Internet còn khá xa lạ thì hiện nay hiện tượng người dùng truy nhập và sử dụng các thông tin tiếng Việt trên Internet Ông Bửu Khánh – Nguyễn Ngọc Anh Khoa Trang 9 TIEU LUAN MOI download : [e-mail] đã trở nên phổ biến. Xuất phát từ sự thay đổi đó rất nhiều các bài toán thuộc lĩnh vực khai thác văn bản cho tiếng Việt đã được nghiên cứu và ban đầu có một số ứng dụng thực tế (ví dụ ứng dụng trong hệ thống tìm kiếm thông tin trang Web tiếng Việt như Vinaseek, Panvietnam. Bài toán TTVB rõ ràng có một vai trò khá quan trọng trong lĩnh vực khai thác dữ liệu nói chung và khai thác văn bản nói riêng.

Nhưng đáng ngạc nhiên là số lượng các nghiên cứu giải quyết bài toán đối với tiếng Việt lại rất ít. Bởi vậy tác giả đã mạnh dạn chọn TTVB tiếng Việt làm nội dung nghiên cứu cho đề tài tốt nghiệp. Qua việc nghiên cứu các phương pháp, kỹ thuật có thể ứng dụng để giải quyết bài toán, tác giả hy vọng có thể tiếp cận với nhiều kỹ thuật tiên tiến và mở rộng kiến thức của mình, đặc biệt trong lĩnh vực Khai thác dữ liệu.4 Các mục tiêu cụ thể trong đồ án Khi lựa chọn đề tài này, em mong rằng có thể đưa ra và thực hiện phương án giải quyết cụ thể cho bài toán TTVB tiếng Việt. Vì đây là vấn đề còn khá mới mẻ ở Việt Nam, em đặt mục tiêu nghiên cứu nền tảng cơ sở của bài toán và hy vọng nó có thể làm cơ sở để nghiên cứu phát triển cao hơn sau này.

Chính vì vậy, các mục tiêu cụ thể được đưa ra trong đồ án: - Nghiên cứu tổng quan bài toán TTVB. - Nghiên cứu và trình bày các phương pháp đã có trên thế giới cho kết quả tốt đối với bài toán TTVB. - Áp dụng các phương pháp đã nghiên cứu để thực hiện xây dựng cụ thế một hệ thống TTVB tiếng Việt. Cụ thể trong đồ án này phương pháp được lựa chọn là kỹ thuật Word2Vec và K-mean Cluster.

Ông Bửu Khánh – Nguyễn Ngọc Anh Khoa Trang 10 TIEU LUAN MOI download : [e-mail] CHƯƠNG II CÁC PHƯƠNG ÁN GIẢI QUYẾT BÀI TOÁN TÓM TẮT VĂN BẢN Ông Bửu Khánh – Nguyễn Ngọc Anh Khoa Trang 11 TIEU LUAN MOI download : [e-mail] Trước khi đi vào phân tích cụ thể một số phương pháp thực hiện TTVB, cần tìm hiểu qua một số khái niệm cơ bản, ví dụ như: giải quyết bài toán TTVB nhằm thực hiện mục đích gì, thực hiện thế nào, bao gồm các bước nào… 2.1 Một số khái niệm cơ bản về TTVB 2.1 Mô hình một hệ thống TTVB.