Chương 1: Giới thiệu Tách từ tiếng Việt trong tiếng Anh là “stadium”, “museum”, … thì trong tiếng Việt lại là “sân vận động”, “viện bảo tàng” … Đó thực sự là một thách thức đối với việc tách từ. Trong mỗi thách thức sẽ có thú vị riêng. Nếu chúng ta giải quyết được việc tách từ một cách thoả đáng, thì thành quả mà chúng ta đạt được là một nền tảng để phát triển cho các hướng nghiên cứu khác có liên quan đến việc xử lý ngôn ngữ tự nhiên như: phân loại văn bản, dịch tự động, kiểm tra lỗi chính tả, kiểm tra ngữ pháp… Đó là các ứng dụng rất thiết thực với đời sống con người.2 Mục tiêu của luận văn Trong luận văn này, em sẽ tìm hiểu ở mức cơ bản một số phương pháp tách từ, sau đó em sẽ chọn và áp dụng một phương pháp tách từ tiếng Việt phù hợp với ứng dụng sau này em sẽ chọn là dịch máy. Tìm hiểu sâu về phương pháp mình đã chọn.
Tìm hiểu cơ bản về tiếng Việt để có thể áp dụng tách từ tiếng Việt. Xây dựng chương trình tách từ tiếng Việt. GVHD: Vũ Đình Hồng Trang 12 Chương 2: Các hướng tiếp cận tách từ VN Tách từ tiếng Việt CHƯƠNG II: CÁC HƯỚNG TIẾP CẬN TÁCH TỪ TIẾNG VIỆT Nội dung chương II: Có 2 hướng tiếp cận tách từ tiếng Việt: Dựa trên từ. Dựa trên ký tự.
Một số công trình tách từ tiếng Việt: Công trình của hướng tiếp cận dựa trên từ. Công trình của hướng tiếp cận dựa trên ký tự. Một số phương pháp tách từ tiếng Việt hiện nay: Phương pháp Maximum-matching (phương pháp khớp tối đa). Phương pháp transformation-based learning.
Mô hình tách từ bằng WFST và sử dụng mạng Neural. Phương pháp dựa trên thống kê từ internet và thuật giải di truyền. Phương pháp quy hoạch động (dynamic programming). GVHD: Vũ Đình Hồng Trang 13 Chương 2: Các hướng tiếp cận tách từ VN Tách từ tiếng Việt Vietnamese Segmentation Word-based Character-based Statistic Dictionary Hybrid Unigram N-gram Dinh Dien et al Le An Ha H.Nguyen et al Full word/pharse Component Shortest Match Longest Match Overlap Match Hình 2.
1:Mô hình các hướng tiếp cận của tách từ Tiếng Việt GVHD: Vũ Đình Hồng Trang 14 Chương 2: Các hướng tiếp cận tách từ VN Tách từ tiếng Việt Có hai hướng tiếp cận chính là dựa trên từ và dựa trên tiếng(đơn vị cơ sở của từ) II. Dựa trên từ (Word-based approaches) Được chia thành ba nhóm II. Dựa vào thống kê: Dùng các thông tin về thống kê như term, từ, tần số ký tự, xác suất xuất hiện của các tiếng với nhau trong tập dữ liệu cơ sở. Chính vì vậy nên hiệu quả của các phương pháp này hoàn toàn dựa vào tập dữ liệu cơ sở, đây là một bài toán nan giải trong tách từ tiếng việt vì mong đợi một tập ngữ liệu hoàn chỉnh là điều không tưởng II.
Dựa vào Từ điển Các phân đoạn của văn bản nhận dạng sẽ được so sánh với các từ trong từ điển. Như vậy phương pháp này cũng hoàn toàn phụ thuộc vào một tập dữ liệu cơ sở hoàn chỉnh là từ điển. Mặt khác việc giải quyết nhập nhằng giữa các từ trong từ điển cũng chưa được giải quyết triệt để trong phương pháp này. Hybrid Kết hợp hai phương pháp lại với nhau để tận dụng các ưu điểm của nhóm này khắc phục khuyết diểm của phương pháp khác, độ chính xác của phương pháp này là rất cao nếu tập ngữ liệu huấn luyện đủ lớn.
Các hướng tiếp cận này chỉ khả thi khi có một tập ngữ liệu huấn luyện đủ lớn và đáng tin cậy. Dựa trên tiếng (Character-based approaches) Được chia làm hai nhóm: II. Unigram Ta dựa trên tần số tài liệu của tiếng và độ liên kết giữa các tiếng, chúng hoàn toàn dựa vào các phép toán trên tập dữ liệu đang sử dụng. N-gram Phương pháp này dựa trên các nhóm n tiếng, các nhóm này sẽ được tính độ liên kết giữa các tiếng với nhau.
Những nhóm có độ liên kết cao hơn sẽ được ưu tiên hơn để trở thành một phân đoạn nhận diện. Tìm ra những cách phân đoạn văn bản tối ưu nhất của một văn bản dựa trên tập dữ liệu thô hoặc dựa trên thông tin thống kê trực tiếp từ internet. GVHD: Vũ Đình Hồng Trang 15 Chương 2: Các hướng tiếp cận tách từ VN Tách từ tiếng Việt II. Các công trình tách từ tiếng Việt Hướng tiếp cận dựa trên từ: Công trình của Đinh Điền đã xây dựng được tập ngữ liệu huấn luyện gần 10 Mb tuy nhiên vẫn còn khá nhỏ và chưa đáp ứng được yêu cầu của việc tách từ, mặt khác tập ngữ liệu này xây dựng một cách chủ quan và thủ công nên chưa thực sự chuẩn.
Trên thực tế ngôn ngữ bị thay đổi hàng ngày nên việc update tập ngữ liệu rất khó khăn. Hướng tiếp cận dựa trên tiếng: Công trình của Lê An Hà: Đã xây dựng tập dữ liệu thô 10 Mb, sử dụng phương pháp quy hoạch động Công trình của H. Nguyễn (Nguyễn Thanh Hùng): thay vì sử dụng tập ngữ liệu thô, công trình này lấy thông tin thống kê từ Internet và thuật toán di truyền để tìm cách tách từ tối ưu nhất. Một số phương pháp tách từ tiếng việt hiện nay II.
Phương pháp maximum-matching (pp khớp tối đa) Còn gọi là Left Right Maximum Matching (LRMM). Theo phương pháp này, ta sẽ duyệt một ngữ hoặc câu từ trái sang phải và chọn từ có nhiều âm tiết nhất có mặt trong từ điển, rồi cứ thể tiếp tục cho từ kế tiếp cho đến hết câu. Dạng đơn giản được dùng giải quyết nhập nhằng từ đơn. Giả sử có một chuỗi ký tự (tương đương với chuỗi tiếng trong tiếng Việt) C1, C2,.
Ta bắt đầu từ đầu chuỗi. Đầu tiên kiểm tra xem C1, có phải là từ hay không, sau đó kiểm tra xem C1C2 có phải là từ hay không. Tiếp tục thực hiện như thế cho đến khi tìm được từ dài nhất. Dạng phức tạp : Quy tắc của dạng này là phân đoạn từ .Thông thường người ta chọn phân đoạn ba từ có chiều dài tối đa.
Thuật toán bắt đầu từ dạng đơn giản , cụ thể là nếu phát hiện ra những cách tách từ gây nhập nhằng , như ở ví dụ trên , giả sử C1 là từ và C1C2 cũng là một từ , khi đó chúng ta kiểm tra ký tự kế tiếp trong chuỗi C1, C2 , …. ,Cn để tìm tất cả các đoạn ba từ có bắt đầu với C1 hoặc C1C2. Ví dụ : Giả sử chúng ta có được các đoạn sau : - C1 C2 C3 C4 -C1C2 C3C4 C5 GVHD: Vũ Đình Hồng Trang 16 Chương 2: Các hướng tiếp cận tách từ VN Tách từ tiếng Việt -C1C2 C3C4 C5C6 Khi đó chuỗi dài nhất sẽ là chuỗi thứ ba. Do đó từ đầu tiên của chuỗi thứ ba (C1C2) sẽ được chọn.
Thực hiện các bước cho đến khi được chuỗi từ hoành chỉnh. Phương pháp transformation-based learning Đây là phương pháp dựa trên tập ngữ liệu đánh dấu. Thông qua tập ngữ liệu huấn luyện, máy sẽ có thể nhận ra được ranh giới giữa các từ bằng cách học các câu mẫu đã được đánh dấu từ đúng. Sau khi được huấn luyện, máy sẽ xác định được các tham số hay xác suất cần thiết cho mô hình nhận diện từ.
Mô hình tách từ bằng WFST và sử dụng mạng neural Đây là mô hình chuyển dịch trạng thái hữu hạn có trọng số WFST (Weighted Finite State Transducer). Ý tưởng cơ bản là áp dụng WFST kết hợp với trọng số (xác suất xuất hiện) của mỗi từ trong ngữ liệu: dùng WFST để duyệt qua các câu cần xét, cách duyệt có trọng số lớn nhất sẽ là cách tách từ được chọn. Đồng thời sử dụng mạng neural để khử nhập nhằng. Tầng WFST sẽ tách từ và xử lý các vấn đề liên quan đến đặc thù của tiếng Việt như từ láy, tên riêng,… sau đó sẽ xây sựng khả năng phân đoạn của từ, rồi dựa vào trọng số để lựa chọn khả năng phân loại tối ưu.
Còn tầng mạng neural dùng để khử nhập nhằng nếu có. Phương pháp dựa trên thống kê từ internet và thuật giải di truyền Đây là hướng tiếp cận mới cho việc tách từ mà không cần dùng đến từ điển hay tập ngữ liệu huấn luyện. Phương pháp này kết hợp giữa thuật toán di truyền (Genetics Algorithm - GA) với dữ liệu thống kê được trích xuất từ Internet. Hệ thống sẽ lấy thông tin về tần số xuất hiện của các từ trong văn bản tiếng Việt nhờ một cỗ máy tìm kiếm (google, yahoo,…).
Rồi tính độ phụ thuộc lẫn nhau của một từ liên quan đến một từ khác. Sau đó, các cá thể được khởi tạo một cách ngẫu nhiên trong giới hạn khoảng 5 tiếng, và thực hiện các phép đột biến, lai ghép để tăng giá trị phù hợp của các cá thể để đạt được cách tách từ tốt nhất có thể. Cụ thể hệ thống gồm 3 phần: - Online Extractor : Phần này có tác dụng lấy thông tin về tần số xuất hiện của các từ trong văn bản bằng cách sử dụng một search engine nổi tiếng như Google. Sau đó, tác giả sử dụng các công thức sau đây để tính toán mức độ phụ thuộc lẫn nhau (mutual information) để là cơ sở tính fitness cho GA engine.
+ Tính xác suất các từ xuất hiện trên Internet : GVHD: Vũ Đình Hồng Trang 17 Chương 2: Các hướng tiếp cận tách từ VN Tách từ tiếng Việt Trong đó: MAX = 4 * 109 count(w): số lượng văn bản trên Internet được tìm thấy có chứa từ w hoặc cùng chứa w1 và w2 đối với count(w1 & w2) + Tính xác suất độ phụ thuộc của một từ lên một từ khác : + Thông tin phụ thuộc lẫn nhau (mutual information) của các từ ghép được cấu tạo bởi n tiếng (cw = w1w2…wn) : - GA Engine for Text Segmentation : mỗi cá thể trong quần thể được biểu diễn bởi chuỗi các bit 0,1, trong đó, mỗi bit đại diện cho một tiếng trong văn bản, mỗi nhóm bit cùng loại đại diện cho một segment. Các cá thể được khởi tạo ngẫu nhiên, trong đó, mỗi segment được giới hạn trong khoảng 5. GA engine sau đó thực hiện các bước đột biến và lai ghép nhằm mục đích làm tăng giá trị fitness của các cá thể, để đạt được cách tách từ tốt nhất có thể. - Text Categorization : tác giả dùng độ hỗ trợ (support degree) của văn bản cần phân loại cho các từ khoá để phân loại văn bản.
Phương pháp quy hoạch động (dynamic programming) Phương pháp quy hoạch động (Lê An Hà, 2003) chỉ sử dụng tập ngữ liệu thô để tính tần số thống kê của từ, làm tăng độ tin cậy cho việc tính toán.