Chương 1: Giới thiệu đối sánh văn bản.2 Phân tách tài liệu thành các từ khóa (Filter).1 Các nghiên cứu về cấu trúc của các nhà nghiên cứu Việt Nam 17 1.2 Tách tài liệu thành các từ khóa.3 Giải pháp tách từ Tiếng Anh.4 Giải pháp cho Tiếng Việt.3 Các hệ thống gợi ý (recommender systems - RS).1 Các khái niệm về Recommender System.2 Xử lý tài liệu tiếng Việt.3 Xử lý tài liệu theo ngữ nghĩa. 27 Chương 2: Phương pháp phân tích ngữ nghĩa tiềm ẩn. 30 Phân nhóm văn bản. 30 Phƣơng pháp phân nhóm phân cấp.
30 Phƣơng pháp phân nhóm không phân cấp.1 Tiếng trong tiếng Việt.2 Từ trong tiếng Việt.3 Từ dừng và từ gốc.3 Các phƣơng pháp tách từ phổ biến.1 Phƣơng pháp Maximum Matching.2 TF-IDF Term Frequency – Inverse Document Frequency .3 Phƣơng pháp Transformation – based Learning (TBL).4 Mô hình tách từ bằng WFST và mạng Neural.5 Phƣơng pháp tách từ tiếng Việt dựa trên thống kê từ Internet và thuật giải di truyền.4 Phƣơng pháp phân tích ngữ nghĩa tiềm ẩn.3 Cách thức hoạt động .5 Đối sánh văn bản .2 Độ tƣơng đồng văn bản trong Tiếng Việt .6 Tính độ tƣơng đồng cho toàn bộ văn bản. 52 Chương 3: Bài toán áp dụng .1 Giới thiệu ngôn ngữ R .2 Các lện trong gói phân tích ngữ nghĩa tiềm ẩn trong R .2 Cài đặt và chạy chƣơng trình .2 Chạy chƣơng trình. Error! Bookmark not defined. 65 TÀI LIỆU THAM KHẢO.
66 10 LỜI CẢM ƠN Em xin chân thành cảm ơn thầy giáo Ths. Nguyễn Trịnh Đông đã tận tình chỉ bảo, định hướng, góp ý cho em trong suốt thời gian qua. Để em có thể hoàn thành đồ án tốt nghiệp. Cũng như em xin chân thành cảm ơn các thầy, cô trong Khoa công nghệ thông tin trường ĐHDL Hải Phòng giúp đỡ em.
Em cũng xin gửi lời cảm ơn tới gia đình, bạn bè, những người luôn động viên, quan tâm và giúp đỡ em trong suốt thời gian em làm đồ án. Trong đồ án này không thể tránh được sẽ có nhiều thiếu sót. Em rất mong nhận được những lời nhận xét, góp ý từ các thầy, cô và các bạn. Hải phòng, ngày 24 tháng 12 năm 2016 Sinh viên Nguyễn Minh Thành 11 DANH MỤC HÌNH Hình 1: Sơ đồ cấu trúc từ của Nguyễn Tài Cẩn.
18 Hình 2: Hình minh họa tập tách văn bản. 23 Hình 3: Giải thuật tách từ từ câu. 24 Hình 4: Cấu trúc giải thuật LSA. 29 Hình 5: Sử dụng các khái niệm làm đại diện cho tài liệu.37 Hình 6: Sơ đồ SVD của ma trận thuật ngữ tài liệu.
42 Hình 7: Sơ đồ SVD được giảm lược của ma trận thuật ngữ - tài liệu.44 Hình 8: Cửa sổ làm việc của Rstudio. 58 Hình 9: Cài đặt thư viện lsa. 60 Hình 10: Các thư viện lsa. 61 Hình 11: File lsa_plot.
62 Hình 12: Lệnh return. 62 Hình 13: Các thuật ngữ-tài liệu.63 Hình 14: Ma trận thuật ngữ tài liệu.63 Hình 15: Ma trận giảm chiều. 64 Hình 16: Ma trận tài liệu-tài liệu. 64 Hình 17: Biểu đồ tương quan thuật ngữ-tài liệu.
65 12 DANH MỤC BẢNG Bảng 1: Bảng một số ví dụ về cấu trúc lưu trữ từ điển. 25 Bảng 2: Số lần xuất hiện của thuật ngữ trong mỗi tài liệu.41 13 DANH MỤC TỪ VIẾT TẮT LSA Latent Semantic Analysis Phần tích ngữ nghĩa tiềm ẩn SVD Singular Value Decompotision Tách giá trị số ít hoặc tách giá trị riêng TF-IDF Term Frequency – Inverse Giải pháp đánh trọng số kết hợp Document Frequency tính chất quan trọng của một từ trong tài liệu chứa nó (TF-tần suất xuất hiện của từ trong tài liệu) với tính phân biệt của từ trong tập tài liệu nguồn (IDF-nghịch đảo tần suất tài liệu). 14 LỜI NÓI ĐẦU Trong thời đại công nghệ số hiện nay, các nguồn tài liệu là vô cùng phong phú. Việc tìm kiếm một tài liệu trở nên đơn giản hơn bao giờ hết, rất nhiều tài liệu, thông tin tri thức mới mẻ đang phát triển từng giờ, giúp chúng ta thu nhận tri thức mọi lúc và ở bất cứ đâu.
Lợi ích là không thể bàn cãi. Nhưng như hai mặt của một vấn đề, ở quy mô rộng lớn bao la như vậy, các thư viện điện tử ngày càng nhiều, một tài liệu có thể được phát hành trên internet nhiều lần từ nhiều nguồn, theo nhiều định dạng khác nhau, trong nhiều thư viện điện tử khác nhau, trên những trang web khác nhau. Tìm kiếm là dễ dàng nhưng trích trọn ra được thông tin chính xác và hữu ích lại là vấn đề không hề dễ dàng. Làm thế nào để có thể nhận biết được đâu sẽ là tài liệu đúng, đâu sẽ là tài liệu đi sao chép, góp nhặt từ các tài liệu khác mà tính chính xác không hề được kiểm chứng.
Chủ đề này đã được nghiên cứu từ gần 15 năm qua. Hiện tại, đã có một số giải pháp khá hữu hiệu cho vấn đề này và một vài công cụ phần mềm cho phép phát hiện, tìm kiếm một tài liệu hoặc một tập hợp các tài liệu nguồn phù hợp với yêu cầu. Tập hợp các tài liệu nguồn có thể là đóng- tức là các tài liệu tập hợp trước trong một thư viện điện tử hoặc là mở, chẳng hạn như các tập tài liệu văn bản trên internet. Đã có một số nghiên cứu đề xuất các phương pháp khác nhau để xác định xem một đoạn văn bản của một tài liệu có nằm trong có nằm trong một tài liệu khác hay không.
Các phương pháp này chủ yếu dựa trên tìm kiếm và so khớp chuỗi. Tuy nhiên, các phương pháp so khớp chuỗi chỉ hiệu quả nếu từ hoặc tập từ, đoạn văn là “nguyên văn”. Do vậy, một yêu cầu được đặt ra là làm thế nào để phát hiện việc được các tài liệu có liên quan khi các tài liệu đó có sửa đổi như thay thế một số từ bằng từ đồng nghĩa hoặc đổi thứ tự từ, câu trong văn bản. Từ đó, một ý tưởng được đưa ra, liệu rằng tìm kiếm so sánh văn bản dựa trên nội dung, ý nghĩa sẽ cho hiệu quả cao hơn so với các phương pháp tìm kiếm và so khớp chuỗi.
Xuất phát từ những lý do trên, em chọn đề tài: “Áp dụng phƣơng pháp phân tích ngữ nghĩa tiềm ẩn trong đối sánh văn bản”. 15 Mục tiêu của đề tài là đối sánh văn bản áp dụng phương pháp phân tích ngữ nghĩa tiềm ẩn. Đề tài được trình bày như sau: Giới thiệu: Phát biểu bài toán Chƣơng 1: Trình bày các khái niệm và kiến thức cơ bản trong lĩnh vực đối sánh văn bản. Chƣơng 2: Chương này tập trung trình bày các phương pháp phân tích xử lý và đối sánh văn bản.
Chƣơng 3: Chương này trình bày phần thực nghiệm chương trình dựa trên phân tích ngữ nghĩa tiềm ẩn đã trình bày tại chương 2 Kết luận Tài liệu tham khảo 16 CHƢƠNG 1: GIỚI THIỆU ĐỐI SÁNH VĂN BẢN 1.1 Giới thiệu Trong các loại dữ liệu thì dữ liệu văn bản là dạng phổ biến nhất. Ngày nay, với sự phát triển mạnh mẽ của Internet, dữ liệu văn bản đã trở nên phong phú về nội dung và tăng nhanh về số lượng. Chỉ bằng một vài thao tác đơn giản, tại bất kì đâu, tại bất kì thời điểm nào, ta cũng có thể nhận về một khối lượng khổng lồ các trang web và các tài liệu điện tử liên quan đến nội dung tìm kiếm. Chính sự dễ dàng này cũng mang đến cho chúng ta rất nhiều khó khăn trong việc chắt lọc ra các thông tin được coi là mới, là riêng, là hữu ích giữa các tài liệu ấy.
Và việc đầu tiên ta phải làm đó là biến đổi các dạng văn bản ngôn ngữ tự nhiên thành dạng dữ liệu có cấu trúc, hay nói cách khác là xử lý dữ liệu đầu vào.2 Phân tách tài liệu thành các từ khóa (Filter) Các tài nguyên là các tài liệu được thể hiện dưới dạng văn bản như một cuốn sách, tạp chí, hay một bài báo, bài diễn văn điện tử nào đó. Với những tài liệu tiếng Anh, một từ thường có một âm tiết, ta có thể dễ dàng xác định một từ dựa vào dấu cách (space) hoặc dấu câu. Việc phân tách văn bản tiếng Anh thành các từ khóa không khó khăn. Với những văn bản tiếng Việt, mỗi từ có thể có một, hai hoặc nhiều hơn số lượng âm tiết.
Việc phân tách thành từ khóa đối với văn bản tiếng Việt phải dựa trên từ điển và các thuật toán đọc từ khóa sao cho đúng nghĩa nhất của câu. Thí dụ: “Học sinh học sinh học” thì hệ thống sẽ tách thành Học sinh/học/sinh học. Sau đó, loại bỏ các từ dừng (Stopword – Những từ mang ý nghĩa cảm thán, đại từ…như anh, bạn, do đó…), những từ không mang nhiều ý nghĩa về nội dung.1 Các nghiên cứu về cấu trúc của các nhà nghiên cứu Việt Nam Các quan điểm trong nghiên cứu về ngữ pháp tiếng Việt, chúng ta có thể thấy rằng chưa có một định nghĩa chuẩn thống nhất về cách gọi của từ loại cũng như cấu trúc các ngữ của tiếng Việt. Trong đồ án này, người viết luận văn sẽ chủ trương bám sát theo quan điểm được nhiều tác giả đã thống nhất, quan điểm này được đánh giá là khá phù 17 hợp với ngữ pháp tiếng Việt hiện tại.
Đồng thời, trong quá trình xây dựng đồ án, tác giả cũng tiến hành so sánh và bổ sung thêm những phần lý thuyết thuộc hai quan điểm của Nguyễn Tài Cẩn và Diệp Quan Ban. Nguyễn Tài Cẩn (1975) [Đặng Thị Hưởng] cho rằng cụm danh từ (danh ngữ) gồm có ba phần: phần đầu, phần trung tâm và phần cuối như sơ đồ sau: Phần đầu Phần trung tâm Phần sau Ví dụ: Ba người này Cả hai tỉnh nhỏ ấy Tất cả những cái chủ trương chính xác Hình 1: Sơ đồ cấu trúc từ của Nguyễn Tài Cẩn Trong thực tế danh ngữ còn có thể xuất hiện cả dưới dạng những dạng chỉ có hai phần: phần đầu+phần trung tâm, phần trung tâm + phần sau hoặc phần đầu + phần sau.