Chương 1. Nghiên cứu tổng quan Trong chƣơng này, chúng tôi trình bày tổng quan về đặc điểm ngôn ngữ tiếng Việt, phƣơng pháp tách câu trong tiếng Việt, các thuật toán tìm kiếm và so khớp mẫu, giới thiệu một số ứng dụng tƣơng tự. Đề xuất giải pháp Chƣơng 2 đƣợc dành để trình bày mô hình phát triển và các giải pháp xây dựng ứng dụng. Giải pháp đƣợc đề xuất nhƣ sau: Xây dựng mô hình đặc trƣng cho các văn bản trong tập dữ liệu đầu vào (tập các khóa luận tốt nghiệp) dựa trên công cụ tách câu tiếng Việt vnSentDetector, ứng dụng thuật toán tìm kiếm và so khớp mẫu Knuth – Morris - Pratt đã đƣợc đề xuất ở Chƣơng 1 là phần cốt lõi để xây dựng ứng dụng.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4 Chương 3. Triển khai ứng dụng Lựa chọn công cụ phát triển, xử lý tài liệu đầu vào để đƣa vào ứng dụng. Phƣơng pháp tạo mô hình đặc trƣng cho tập dữ liệu đầu vào. Giới thiệu các bƣớc triển khai, xây dựng các module chƣơng trình.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5 CHƢƠNG 1 NGHIÊN CỨU TỔNG QUAN Trong chƣơng này, chúng tôi trình bày tổng quan về đặc điểm ngôn ngữ tiếng Việt, phƣơng pháp tách câu trong tiếng Việt, các thuật toán tìm kiếm và so khớp mẫu, giới thiệu một số ứng dụng tƣơng tự. ĐẶC ĐIỂM CÂU TRONG TIẾNG VIỆT VÀ BÀI TOÁN TÁCH CÂU 1. Câu và cấu trúc câu tiếng Việt [1] Câu là một tập hợp từ, ngữ kết hợp với nhau theo những quan hệ cú pháp xác định, đƣợc tạo ra trong quá trình tƣ duy, giao tiếp, có giá trị thông báo, gắn liền với mục đích giao tiếp nhất định. Nói đến cấu trúc câu là nói đến các thành phần tạo câu cùng với chức năng, mối quan hệ qua lại và sự phân bố chúng trong tổ chức nội bộ câu.
Dựa vào vai trò tạo câu, các thành phần câu đƣợc chia thành ba loại lớn: thành phần nòng cốt, thành phần phụ và thành phần biệt lập. Thành phần nòng cốt của câu Thành phần nòng cốt là loại thành phần cơ bản, cốt lõi của câu mà dựa vào nó câu mới có thể tồn tại. Thành phần nòng cốt bao gồm hai loại nhỏ: chủ ngữ và vị ngữ. Chủ ngữ (subject) Chủ ngữ (viết tắt: C) là loại thành phần nòng cốt có chức năng biểu thị đối tƣợng mà câu đề cập đến.
Nó trả lời cho câu hỏi: câu nói về ai, cái gì, việc gì ? Về từ loại, chủ ngữ thƣờng do danh từ hay đại từ đảm nhiệm. Một số từ loại khác nhƣ động từ, tính từ và số từ cũng có thể làm chủ ngữ. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6 Về cấu tạo, chủ ngữ có thể là một từ, một chữ chính phụ hay một kết cấu chủ - vị dƣới bậc câu (gọi là tiểu cú) tạo thành. Vị ngữ (Predicate) Vị ngữ (viết tắt: V) là loại thành phần nòng cốt có chức năng biểu thị nội dung thuyết minh về đối tƣợng đƣợc câu nói đến.
Nó trả lời cho câu hỏi: đối tƣợng đƣợc nói đến làm gì, nhƣ thế nào, ra sao? Về mặt từ loại, vị ngữ thƣờng do động từ hay tính từ đảm nhiệm. Một vài từ loại khác nhƣ đại từ, số từ cũng có thể làm vị ngữ. Về mặt cấu tạo, vị ngữ có thể do một từ, một ngữ hay do một kết cấu chủ vị dƣới bậc câu (tiểu cú) tạo thành. Về trật tự phân bố chủ ngữ, trong câu tiếng Việt, chủ ngữ đứng trƣớc vị ngữ là hiện tƣợng phổ biến.
Tuy nhiên, trong một số trƣờng hợp, chủ ngữ có thể đứng sau vị ngữ. Chủ ngữ và vị ngữ là hai thành phần nòng cốt, nên chúng thƣờng xuất hiện trong câu. Tuy nhiên, hai thành phần này cũng có thể vắng mặt trong một số trƣờng hợp: - C hoặc/và V bị tỉnh lƣợc dựa vào hoàn cảnh giao tiếp. - C hoặc/và V bị tỉnh lƣợc dựa vào văn cảnh.
Ngoài một số trƣờng hợp vừa nêu, nếu câu thiếu C hoặc/và thiếu V thì đó là câu sai ngữ pháp. Thành phần phụ của câu Thành phần phụ của câu bao gồm hai loại nhỏ: trạng ngữ và khởi ngữ. Trạng ngữ Trạng ngữ (viết tắt: Tr) là loại thành phần phụ có chức năng bổ sung thêm thông tin phụ cho sự việc đƣợc kết cấu C - V nòng cốt nêu ra. Thông tin LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 7 phụ mà Tr bổ sung có thể là thời gian, nơi chốn, cách thức, phƣơng tiện, trạng thái, đối tƣợng có liên quan,.
Về mặt cấu tạo, Tr có thể là một từ, một ngữ có hay không giới từ dẫn nhập, tuỳ vào loại trạng ngữ cụ thể. Trong trƣờng hợp Tr đứng trƣớc C - V, Tr thƣờng đƣợc phân cách với kết cấu C - V bằng dấu phẩy. Trƣờng hợp Tr xen vào giữa hay đứng sau C - V cũng vậy. Ðể xác định đƣợc những danh ngữ, giới ngữ xen vào giữa hay nằm sau C - V có phải là Tr hay không, ta kiểm tra bằng cách đảo chúng lên đầu câu.
Nếu câu văn không thay đổi nghĩa hay không sai, thì đó là Tr. Khởi ngữ (Tr chỉ chủ đề, đề ngữ) Khởi ngữ (viết tắt là K) là loại thành phần phụ có chức năng nhấn mạnh một chi tiết nào đó trong sự việc đƣợc kết cấu C - V nêu lên. Ðiểm mà K nhấn mạnh có thể trùng với C, với V hay trùng với một bộ phận nào đó trong V. Về cấu tạo, K có thể do một từ hay một ngữ tạo thành.
Khi K là một ngữ, nó có thể chứa tiểu cú. Về vị trí, K bao giờ cũng đứng trƣớc C - V và đƣợc phân cách C - V bằng dấu phẩy, nếu không có trợ từ thì xen vào. Về nội dung nghĩa, cần lƣu ý rằng, câu bình thƣờng không có K khác với câu có K ở chỗ: câu có K luôn mang một hàm ý nào đó. Các thành phần biệt lập Thành phần biệt lập là loại thành phần đứng tách riêng ra trong tổ chức câu và có mối quan hệ lỏng lẻo với kết cấu C - V nòng cốt.
Thành phần biệt lập bao gồm nhiều loại nhỏ: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 8 Chuyển ngữ (Tr chuyển tiếp, thành phần phụ chuyển tiếp) Chuyển ngữ là loại thành phần biệt lập có chức năng xác lập và biểu thị mối quan hệ giữa câu này với câu khác trong chuỗi câu, đoạn văn, … Nói cách khác, chức năng của thành phần này là liên kết câu, tạo nên sự mạch lạc của đoạn văn, ngôn bản. Về mặt cấu tạo, chuyển ngữ có thể là một từ và bao giờ cũng là quan hệ từ (liên từ, giới từ). Các quan hệ từ thƣờng làm chuyển ngữ là: và, rồi, nhƣng, song, tuy nhiên, vì, bởi vì, nên, cho nên, giữa, với, bằng. Chuyển ngữ còn có thể do một tổ hợp từ cố định hoá (quán ngữ) hay có xu hƣớng cố định hoá tạo thành.
Chẳng hạn nhƣ các tổ hợp: mặt khác, trái lại, ngƣợc lại, bên cạnh đó, chẳng hạn nhƣ, ví dụ nhƣ, do đó, mặc dù vậy, tóm lại, nói tóm lại, … Về vị trí, chuyển ngữ thƣờng đứng trƣớc kết cấu C - V nòng cốt và đƣợc phân cách bằng dấu phẩy nếu ta tổ hợp. Nếu chuyển ngữ là một từ thì không cần dùng dấu phẩy. Cảm thán ngữ Cảm thán ngữ là loại thành phần đặc biệt có chức năng biểu thị các trạng thái cảm xúc đi kèm theo sự kiện đƣợc câu thông báo. Về cấu tạo, cảm thán ngữ có thể do một từ - từ cảm đảm nhiệm.
Cảm thán ngữ cũng có thể do một tổ hợp từ tạo thành. Về vị trí, cảm thán ngữ có thể đứng đầu câu hay cuối câu. Và ở vị trí nào, nó cũng thƣờng đƣợc tách ra khỏi các thành phần khác bằng dấu phẩy. Hô ngữ (thành phần gọi - đáp) Hô ngữ bao gồm hai loại nhỏ: hô ngữ gọi và hô ngữ đáp.
Hô ngữ gọi: là loại thành phần đặc biệt có chức năng biểu thị đối tƣợng đƣợc ngƣời nói gọi đến trong câu. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 9 Về cấu tạo, hô ngữ có thể là một từ, thƣờng là danh từ riêng hay danh từ chung, hay là một tổ hợp gồm danh từ, danh ngữ kết hợp với các từ đệm. Về vị trí, hô ngữ gọi có thể đứng ở đầu hay ở cuối câu và bao giờ nó cũng đƣợc phân cách khỏi các thành phần khác bằng dấu phẩy. Hô ngữ đáp: là loại thành phần đặc biệt có chức năng đánh dấu câu trả lời đồng thời biểu thị thái độ, phản ứng của ngƣời nói.
Về cấu tạo, hô ngữ đáp có thể là một từ hay là một tổ hợp từ. Về vị trí, hô ngữ gọi bao giờ cũng đứng ở đầu luôn đƣợc phân cách khỏi các thành phần khác bằng dấu phẩy. Giải thích ngữ Giải thích ngữ là loại thành phần đặc biệt có chức năng giải thích thêm cho một từ ngữ nào đó, hay ghi chú thêm về thái độ, lời lẽ, cảm xúc,. của ngƣời nói.
Về cấu tạo, giải thích ngữ có thể là một từ, hay là một câu hoàn chỉnh. Trong trƣờng hợp giải thích ngữ là một câu, nó còn đƣợc gọi là câu đệm hay câu chêm xen. Về vị trí, nếu giải thích ngữ có chức năng giải thích, thì nó đứng liền sau từ ngữ đƣợc giải thích. Nếu giải thích ngữ có chức năng ghi chú thêm, thì nó có thể đƣợc xen vào giữa hay đặt ở cuối câu.
Và xuất hiện ở vị trí nào, giải thích ngữ cũng phải đƣợc tách khỏi các thành phần khác bằng dấu phẩy, dấu gạch ngang, dấu hai chấm hay dấu ngoặc đơn. LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Bài toán tách câu Cho một văn bản tiếng Việt bất kỳ, hãy phân tách văn bản đó ra thành các đơn vị câu độc lập. Bài toán tách câu đặt ra với mục đích xây dựng công cụ tự động tách các câu trong một văn bản tiếng Việt bất kỳ một cách chính xác nhất có thể.
Công cụ tách câu vnSententDetector của hai tác giả Lê Hồng Phƣơng và Hồ Tƣờng Vinh đƣợc xây dựng dựa trên mô hình xác suất với Maximum Entropy [7]. Mô hình này đƣợc đào tạo trên tập dữ liệu đƣợc xây dựng tập dữ liệu gồm có 4.800 câu tiếng Việt. Bộ dữ liệu này đƣợc các nhà ngôn ngữ học thuộc trung tâm từ điển học Việt Nam (Vietlex) xây dựng thủ công bằng tay. Với phƣơng pháp này, theo bài báo mà các tác giả đã công bố thì độ chính xác đạt đƣợc 95% [10].
Ý tƣởng của phƣơng pháp là xây dựng mô hình xác suất ƣớc lƣợng lớp b xảy ra trong ngữ cảnh c, p(b,c).