mở đầu. Ví dụ: toán – tán Âm chính: là hạt nhân và mang âmsắcchủđạo của tiếng.Vídụ : “túy” và “túi” Âm cuối: có tác dụng kết thúc tiếngvới các âm sắc khác nhau, do đó có thểphân biệt các tiếng. Ví dụ: “bàn” và “bài” Cụm gồm âmđệm, âmchính và âmcuối ta gọi là vần. Ví dụ: vần “ang”, vần “oan”… LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 13 Đâylà5thànhtốcủatiếng(vầnkhôngphảilàmộtthànhtốmàchỉlàcáchgọi củacụm 3âm đãnóiởtrên),màbấtcứtiếngnàotrongtiếngViệt đềutuântheocấutrúc nhƣtrên.Nhƣngcũngcótrƣờnghợpmộtsốâmtrùngnhau,nhấtlàvớinhữngtiếngg ồm 3 kí tự trởxuống.
Cấu tạo từ Nhƣđãđềcậpởtrên,từtrongtiếngViệtđƣợccấutạohoặclàbằngmộttiếng hoặclàtổhợpnhiềutiếngtheocáccáchkhácnhau đểtạoracácloạitừ [2].Dƣớiđây, tôi xin trình bày về hai loại từ tiếngViệt. Từ đơn Từđơn,haycòngọilàtừđơnâmtiết,làcáctừđƣợc cấutạo bởimộttiếngduy nhất.Vídụ: tôi, bạn, nhà, hoa, vƣờn… 1. Từ ghép Từghéplàcáctừđƣợc tạolêntừhaihoặcnhiềuhơncác tiếnglại.Giữacáctiếng có mỗi quan hệvề nghĩa với nhau, vì thế ta cũng có các loại từ ghép khác nhau. Từghép đẳng lập: các thành phầncấu tạo từ có mối quan hệ bìnhđẳngvới nhau vềnghĩa.
Ví dụ: ăn nói, bơilội … Từ ghép chính phụ:các thành phần cấu tạo từcó mối quan hệphụ thuộcvới nhau vềnghĩa. Thành phần phụ sẽ có vai trò làmchuyên biệt hóa, tạo sắc thái cho thành phần chính. Ví dụ:hoahồng, đƣờng sắt… 1. Từ láy Mộttừsẽđƣợccoilàtừláykhicácyếutốcấutạonênnócóthànhphầnngữâm đƣợc lặp lại; nhƣngvừa có lặp (còn gọi là điệp) vừa có biến đổi (còn gọi là đối).
Ví dụ: đo LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 14 đỏ,manmát…Nếumộttừchỉcóphầnlặpmàkhôngcósựbiếnđổi(chẳnghạnnhƣtừ nhà nhà, ngành ngành…)thì ta có dạng láy của từ, hoàn toàn khôngphải là từ láy. Độdàitừláythayđổitừ2tiếngđến4tiếng.NhƣngtrongtiếngViệtđasốlàtừ láy hai tiếng, chúng chia thành hai loại từ láy sau: • Láy hoàn toàn: là cách láy mà tiếng sau lặp lại hoàn toàn tiếng trƣớc. Gọi là hoàn toàn nhƣng thực ra các tiếng không trùng khít nhau mà có những sai khác rất nhỏ mà ta có thể nhận ra ngay. Một số kiểu láy hoàn toàn ta hay gặp Láyhoàntoàn đốinhauởthanh điệu,vídụnhƣ:“sừngsững”,“loang loáng”… Láy hoàn toànđốinhau ở âm cuối,ví dụ nhƣ:“khin khít”, “ăm ắp”… Láyhoàntoàn đốinhauởtrọngâm,tứclàmộttiếngđƣợcnóinhấn mạnhhoặckéodài hơnsovớitiếngkia,vídụnhƣ: đùngđùng, đăm đăm… • Láybộphận:làcáchláymàchỉcóđiệpởphầnâmđầucủatiếng,hoặcđ iệp ởphầnvầnthìđƣợcgọilàláybộphận.Căncứvàođótachiaratừngkiểu láy sau Từláyđiệpởâmđầuvàđốiởvần,vídụnhƣ“nhƣngnhức”,“thơ thẩn”,… Từ láyđiệmở vần vàđối ở âmđầu, ví dụ “hấp tấp”, “liểngxiểng”,… Nhập nhằng Nếutadựatrênkháiniệm“từ”củacácnhàngônngữhọcđểtrựctiếpphânđoạ n từbằngtaythìkhócóthể xảyraviệcnhậpnhằng trong tiếngViệt.Song dƣớigócđộứng dụngmáytính,chúngtacoimộttừchỉđơngiảnlàcấutạotừmộthoặcnhiềutiếng,và LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 15 việc này rất dễ gây ra sự nhậpnhằng trong quá trình phân đoạn từ.
Nhập nhằng Nhập nhằng trong ngôn ngữ học là hiện tƣợng thƣờng gặp, trong giao tiếp hàng ngày con ngƣời ít để ý đến nó bởi vì họ xử lý tốt hiện tƣợng này. Nhƣng trong các ứng dụng liên quan đến xử lý ngôn ngữ tự nhiên khi phải thao tác với ý nghĩa từ vựng mà điển hình là dịch tự động nhập nhằng trở thành vấn đề nghiêm trọng. Ví dụ trong một câu cần dịch có xuất hiện từ "đƣờng" nhƣ trong câu "ra chợ mua cho mẹ ít đƣờng" vấn đề nảy sinh là cần dịch từ này là road hay sugar, con ngƣời xác định chúng khá dễ dàng căn cứ vào văn cảnh và các dấu hiệu nhận biết khác nhƣng với máy thì không. Việc tìm ra các thuật toán hữu hiệu gây khó khăn không ít cho các nhà lập trình a) Nhập nhằng ranh giới từ Trong tiếng Anh việc xác định ranh giới từ khá dễ dàng, mỗi từ riêng lẻ đã mang trọn vẹn một nghĩa và ranh giới của chúng đƣợc xác định thông qua khoảng trắng.
Tiếng Việt thì khác, do là ngôn ngữ đơn lập nên từ vựng chủ yếu là các từ ghép vì thế khoảng trắng không phải luôn luôn là ranh giới chính xác. - He is a teacher (1) - Anh ấy là giáo viên (2) Câu (1) phân định ranh giới dễ dàng cụ thể là: He / is / a / teacher Nhƣng trong câu (2) nếu vẫn phân định ranh giới từ theo khoảng trắng không chính xác hoàn toàn, cụ thể: Anh / ấy / là / giáo / viên LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 16 Từ giáo viên là từ ghép nay bị chia thành hai từ đơn là giáo và viên, cách chia này là sai. Cách phân định ranh giới đúng của câu trên là: Anh ấy / là / giáo viên. b) Nhập nhằng từ đa nghĩa Bất cứ ngôn ngữ nào cũng có từ đa nghĩa, nguyên nhân là vì rất nhiều khái niệm có các sắc thái ý nghĩa tuy không hoàn toàn trùng khớp nhau nhƣng lại có nhiều nét tƣơng đồng.
Nhƣ từ "ăn" trong "ăn uống" và "ăn cƣớp" vừa có những nét nghĩa giống và khác nhau, theo cuốn từ điển tiếng Việt thì từ ăn có đến 12 nghĩa. Hiện tƣợng này gây cản trở cho việc dịch tự động, chƣơng trình không biết dịch từ đa nghĩa theo nghĩa nào trong nhóm nghĩa của nó. c) Nhập nhằng từ đồng âm Hai từ đồng âm với nhau nghĩa là hai từ có âm giống nhau nhƣng mang nghĩa khác nhau, còn đồng tự là hai từ về mặt ký tự là giống nhau nhƣng nghĩa khác nhau. Do đặc điểm của tiếng Việt từ đồng âm cũng thƣờng là từ đồng tự, ở các ngôn ngữ khác hai hiện tƣợng này không trùng khớp nhau.
Cũng phải phân biệt từ đồng tự với từ đa nghĩa, trong từ đa nghĩa các nghĩa đều có chung một nguồn gốc và do vậy luôn có nét tƣơng đồng trong khi đó trong từ đồng tự chúng không có liên hệ về nguồn gốc với nhau, nghĩa của chúng khác nhau rõ rệt. Ví dụ từ kiếm trong hai câu sau đây là hai từ đồng tự: Ví dụ 1. - Anh ta sử dụng kiếm rất điêu luyện. - Kiếm ăn bây giờ khó lắm.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 17 Việc xác định nghĩa chính xác của từ đồng tự dễ dàng hơn từ đa nghĩa bởi vì sự khác nhau lớn về ngữ nghĩa của chúng giúp đƣa ra đƣợc nhiều tiêu chuẩn tốt để phân biệt. d) Nhập nhằng từ loại Từ loại là một yếu tố quan trọng trong việc xác định nghĩa chính xác của từ và sắp xếp các từ thành câu hoàn chỉnh trong dịch tự động.Nhƣ vậy có nghĩa là từ loại giúp khử nhập nhằng, nhƣng chính bản thân nó trong một số trƣờng hợp cũng nhập nhằng. Phần lớn các ngôn ngữ biến hình từ loại đƣợc xác định tƣơng đổi dễ dàng vì khi chuyển loại thì từ cũng chuyển kiều hình của nó ví dụ trong tiếng Anh từ free là tính từ có nghĩa là tự do, chuyển loại thành danh từ có thêm hậu tố "dom" thành freedom nghĩa là sự tự do. Điều này tạo thuận lợi cho việc gán nhãn từ loại một cách tự động nhờ các dấu hiệu nhận biết tổng quát.
Các ngôn ngữ không biến hình nhƣ tiếng Việt vấn đề xác định từ loại yêu cầu các thuật toán phức tạp hơn,bắt buộc phải phân tích cú pháp, mặt khác ngay trong nội bộ ngành ngôn ngữ vẫn chƣa có sự thống nhất về phân loại từ loại cho tiếng Việt.PHÂN ĐOẠN TỪ TIẾNG VIỆT BẰNG MÁY TÍNH Trƣớc hết chúng ta cầnlàm rõsựkhácnhaugiữa phân đoạntừtiếngViệt bằng máy tính và bằng thủ công.Nếu chúng ta làm thủcông, thì độ chính xác rấtcao, gần nhƣ tuyệtđối.Songnhƣđãnóiởchƣơngđầu,phânđoạntừlàmộtcôngđoạnđầucủarất nhiều quá trình xửlý ngôn ngữtựnhiên bằngmáytínhnênviệcphânđoạn từ bằng máy tínhlàrấtquantrọng.Hơn nữa,khimà khốilƣợng dữ liệurấtlớnthìviệcphân đoạntừ bằng máy tính gầnnhƣlà lựa chọn duy nhất. Hiệnđãcónhiềucôngtrìnhnghiêncứuxâydựngmôhìnhphânđoạntừtiếng Việt bằngmáytính.Đasốlàcácmôhìnhmà đã LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 18 đƣợcápdụngthànhcôngchocácngôn ngữkhácnhƣtiếngAnh,tiếngTrung,tiếngNhật…và đƣợccảitiếnđể phùhợpvới đặc điểmcủa tiếngViệt. Vấn đề mà tất cả mô hình phân đoạn từ tiếng Việt gặpphải đó là nhập nhằng và xác định từ các từ chƣa biết trƣớc. Xácđịnhtừcáctừchƣabiếttrƣớc(đốivớimáytính)nhƣcáccâuthànhngữ, từ láy, hoặc tên ngƣời,địa điểm, tên các tổ chức… Việcgiảiquyếttốthaykhônghaivấnđềtrêncóthểquyếtđịnhmộtmôhìnhph ân đoạn nào đó là tốthaykhông 1.TỔNG KẾT CHƢƠNG Trong chƣơng này luận văn đã trình bày về những đặc điểm của văn bản tiếng Việt, giới thiệu về tiếng trong tiếng Việt, phƣơng pháp phân đoạn tiếng Việt và một số phát biểu về nhập nhằng trong tiếng Việt.
Đây là cơ sở để tiếp tục tìm hiểu chi tiết về các phƣơng pháp phân đoạn tiếng Việt trong chƣơng hai và cải tiến các phƣơng pháp này trong chƣơng 3. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 19 Chƣơng 2.MỘT SỐ PHƢƠNG PHÁP PHÂN ĐOẠN VĂN BẢN TIẾNG VIỆT 2. MÔ HÌNH LRMM Phƣơng pháp khớp tối đa (Maximum Matching) còn gọi là Left Right Maximum Matching (LRMM). Theo phƣơng pháp này, ta sẽ duyệt một ngữ hoặc câu từ trái sang phải (Khớp tối đa tiến) hoặc duyệt từ phải sang trái (Khớp tối đa lùi) và chọn từ có nhiều âm tiết nhất có mặt trong từ điển, rồi cứ thế tiếp tục cho từ kế tiếp cho đến hết câu.
Thuật toán đƣợc trình bày trong [Chih-Hao Tsai, 2000]. Thuật toán này có 2 dạng sau: 2. Thuật toán Maximum Matching đơn giản Với một chuỗi âm tiết <C1,C2,.,Cn>, thuật toán khớp tối đa tiến sẽ bắt đầu từ âm tiết C1. Trƣớc tiên C1 sẽ đƣợc kiểm tra xem có phải là một từ hay không, sau đó C2 đƣợc ghép vào C1 và kiểm tra xem sự phối hợp của 2 âm tiết C1C2 có tạo thành từ hay không,.
Nếu việc thêm vào một âm tiết mới Ci không tạo thành từ hợp lệ thì xem nhƣ đã tách đƣợc một từ và chuyển sang từ mới với âm tiết bắt đầu là Ci. Quá trình cứ tiếp tục nhƣ vậy cho đến khi hết câu. Cách tách từ này dễ dàng cho ra kết quả đúng với những câu nhƣ: “Tôi | làm việc | ở | hợp tác xã | mua bán”. Nhƣng sẽ phạm sai lầm với một số trƣờng hợp đặc biệt nhƣ “Học sinh | học sinh | học”, “một | ông | quan tài | giỏi”,.
Thuật toán Maximum Matching phức tạp K.Chen [6] đã đƣa ra một cải tiến cho phƣơng pháp này.Ý tƣởng chính là tìm ra những đoạn gồm 3 từ với số âm tiết tổng cộng là tối đa.Bình thƣờng, thuật toán này hoạt động nhƣ dạng nguyên bản đã nêu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.Khi gặp nhập nhằng (có nhiều cách nhóm các tiếng để tạo thành các từ khác nhau) thuật toán sẽ xem xét các tiếng kế tiếp để tìm ra tất cả các cách tách từ tạo thành từng đoạn 3 từ khác nhau.Cách nào có số âm tiết nhiều nhất sẽ đƣợc chọn làm lời giải để khử nhập nhằng. Luật kết lớn nhất này phát biểu rằng: phân tích hợp lý nhất là bộ ba từ với chiều dài lớn nhất. Từ đầu dãy, chúng ta xác định đâu là từ. Nếu có những phân tích nhập nhằng (ví dụ: C1 là từ, nhƣng C1C2 cũng là từ,.) thì chúng ta tìm tiếp hai từ nữa để tìm tất cả các bộ ba có thể có với từ đầu tiên là C1 hoặc C1C2 Ví dụ 2.
Đây là những bộ ba từ: 1. C1C2_C3C4_C5C6 Bộ ba dài nhất là bộ thứ 3.Từ đầu tiên, C1C2 của bộ thứ 3 này sẽ là từ đúng.Chúng ta lấy từ này và tiếp tục từ âm tiết C3 cho đến khi xác định đƣợc từ cuối cùng.Theo các kết quả thử nghiệm của tác giả, phƣơng pháp này đạt độ chính xác khoảng 96. PHƢƠNG PHÁP WFST (Weighted Finite-State Transducer) Phƣơng pháp WFST(WeightedFinite-State Transducer) [15] còn gọi là phƣơng pháp chuyển dịchtrạng thái hữu hạn cótrọng số.Ý tƣởng chínhcủa phƣơng pháp này áp dụngchophânđoạntừtiếngViệtlàcáctừsẽđƣợcgántrọngsốbằngxácsuấtxuấthi ện củatừđótrongdữliệu.Sauđóduyệtquacáccâu,cáchduyệtcótrọngsốlớnnhấtsẽlà cách dùngđể phânđoạn từ. Hoạt động củaWFSTcóthểchia thành ba LUAN VAN CHAT LUONG download : add luanvanchat@agmail.