Đặt vấn đề phạm! để biểu diễn một câu dưới dạng một cây thành tố (hình 1.2 - ảnh bên trái), cú pháp phụ thuộc là thể hiện các mối quan hệ phụ thuộc giữa các từ trong một câu (hình 1.2 - ảnh bên phải). SPL-HLN | NP a | | PP-LOC | | —]Ị ioe “a PUNCT: [| | | PREP \ Nn-H Nn-H Cs-H Nun-H — PU N nay °°! 1 | | | a wn e w lụ Mùi hổ ở thành phố _. Mùi hổ ở thành phố Hình 1.2: Cây cú pháp thành tố (hình bên trái) và cây cú pháp phụ thuộc (hình bên phải). Trong những năm gần đây, những công trình nghiên cứu về phân tích cú pháp phụ thuộc đang phát triển mạnh mẽ vì những lợi ích mà phân tích cú pháp phụ thuộc mang lại.
Cụ thể là việc phân tích cú pháp phụ thuộc s i ug hanh chóng nhưng van đảm bảo cung cấp lượng thông tin š của phân tích cú pháp phụ thuộc là không bị ràng thành tố. Do đó, phân tích cú pháp phụ thuộc sẽ l 6 xt các ngôn nềữ mà coftrat tự từ tự do. Một ví du điển hình là khi so sánh ì tiếng Séc có trật tự từ linh hoạt hơn vì vị ngữ c ữ chi vị trí. Để giải quyết trường hợp này của tiếng Séc 6 cần bổ sung thêm luật cho mỗi vị trí mà trạng ngữ có ĐÓ a rong khi cú pháp phụ thuộc chỉ cần một đường liên kết c i A trạ & Ngoài ra, các mối quan hệ trong cú pháp phụ thuộc rất dễ hiểu và 8 oO mọi người, ngay cả khi họ không có kiến thức nền tang về ngôn ngữ học.
Hầu hết các mô hình phân tích cú pháp phụ thuộc đều áp dụng các phương pháp máy học có xác suất như phương pháp của McDonald [33; 46; 51]. Ưu điểm lớn nhất của những phương pháp này là có thể thay đổi để phù hợp với nguồn ngữ liệu mới mà không cần chỉnh sửa thuật toán. Vì vậy, chúng có thể được huấn luyện trên nhiều bộ ngữ liệu thuộc các thể loại và các ngôn ngữ khác nhau miễn là bộ ngữ liệu được cung cấp phải đủ lớn. Cụ thể là từ 10.000 câu trở lên theo[55].
Tuy nhiên, đây cũng xem là nhược điểm lớn nhất vì trong tiếng Việt hiện có rất ít kho ngữ liệu cú pháp phụ thuộc mà được dán nhãn thủ công như BKTreebank [35] nhưng kích thước của kho ngữ liệu này lại rất nhỏ (khoảng 7000 câu). Hơn nữa, việc xây dựng kho ngữ liệu cú pháp phụ thuộc theo cách thủ công thì tốn nhiều công sức và thời gian. Một cách khác là chuyển đổi tự động từ kho ngữ liệu cú pháp thành tố sang cú pháp phụ thuộc dựa trên †Văn phạm (grammar): là một tập luật cú pháp, biểu diễn hình thức của các các cấu trúc ngữ pháp. Ví dụ <Câu>-><Chủ ngữ>< Vị ngữ> Mô tả bài toán bộ luật chuyển đổi, cách này hiệu quả hơn vì tiếng Việt có nhiều kho ngữ liệu cú pháp thành tố lớn như Vietnamese Treebank [36] (khoảng 10.000 câu), NITVTB[38] (khoảng 20.000 câu) và việc chuyển đổi sẽ giúp tiết kiệm một lượng lớn chi phí, tài nguyên.
Việt Nam đã có hai công trình [34; 39] thực hiện chuyển đổi tự động trên kho ngữ liệu cú pháp thành tố Vietnamese Treebank. Mặc dù hai công trình đã có những đóng góp tích cực trong việc xây dựng và phát triển kho ngữ liệu cú pháp phụ thuộc cho tiếng Việt nhưng theo nghiên cứu [60] thì độ chính xác của các mô hình phân tích cú pháp phụ thuộc cho tiếng Việt trong hai công trình này vẫn còn thấp (cụ thể là thấp hơn 80%). Nguyên nhân chính có thé là do kho ngữ liệu cú pháp thành tố Vietnamese Treebank được dùng để chuyển đổi thiếu sự nhất quán như [38; 60] đã trình bày. Chính vì vậy, trong khóa luận này, chúng tôi quyết định chọn một kho ngữ liệu cú pháp thành tố khác là NIIVTB và thực hiện việc chuyển đổi tự động từ cú pháp thành tố sang cú pháp phụ thuộc trên kho ngữ liệu này.2 Mô tả bài t Chúng tôi sé chuyển đổ oh phụ thuộc, sau đó đem ; ql uyện trên các mô hình phân tích cú pháp phụ th ( ay “ ) i) đó trong ai toán phân tích cú pháp phụ thuộc cho tiếng Vị ào=la pe Vicf và đầu ra sẽ là một cây cú pháp phụ Đầu vào: một câu } Kho ngữ liệu cú pháp thành tô | Ì 4.
Mô hình phân = Chuyén đổi tự động tích cú pháp Hình 1.3: Ap dung chuyển đổi tự động vào bài toán phân tích cú pháp phụ thuộc Các bước thực hiện 1.3 Các bước thực hiện e Bước 1: Nghiên cứu các công trình liên quan việc chuyển đổi tự động cú pháp thành tố sang cú pháp phụ thuộc. e Bước 2: Tìm hiểu các công trình liên quan việc xây dựng các kho ngữ liệu cú pháp phụ thuộc cho tiếng Việt và các tiếng khác như tiếng Anh, tiếng Trung, tiếng Nhật, tiếng Hàn. e Bước 3: Xây dựng tài liệu hướng dẫn chuyển đổi tự động cú pháp thành tố sang cú pháp phụ thuộc cho tiếng Việt. e Bước 4: Phát triển một công cụ hỗ trợ chuyển đổi tự động cú pháp thành tố sang cú pháp phụ thuộc cho tiếng Việt.
e Bước 5: Thí nghiệm, đánh giá, phân tích kho ngữ liệu chuyển đổi trên các mô hình phân tích cú phấp phụ thuộc. e Bước 6: Xây dựng một chương trình minh họa cho bài toán phân tích cú pháp phụ thuộc cho tiếng Việt. e Cú pháp than e Việc chuyển đổ hàn “G8156 pháp phụ thuộc cho tiếng Việt 1.2 Đối tượng nghiên cứu e Kho ngữ liệu cú pháp thành tố NIIVTB[38]. e Các phương pháp chuyển đổi cú pháp thành tố sang cú pháp phụ thuộc.
e Phương phấp học máy: MIRA, SVM e Các mô hình phân tích cú pháp phụ thuộc MaltParser, MSTParser. Chương 2 TONG QUAN TINH HÌNH 2.1 Tinh Trong tiếng Anh, new én việc chuyền đổi tự động là do số lượng kho ngữ liệu cú pháp phụ thuộc mà được dán nhãn thủ công thì rất ít như kho ngữ liệu của Rambow[50] hoặc Cmejrek[63]. Mặt khác, các kho ngữ liệu cú pháp thành tố vẫn chiếm ưu thế hơn, chẳng han là của Marcus[31], hay Weischedel[62]. Bên cạnh đó, sự xuất hiện của các bộ luật tìm head của Johansson và Nugues[25], de Marneffe và Manning[13], Choi và Palmer[3] cũng góp phần quan trọng trong việc chuyển đổi tự động từ cú pháp thành tố sang cú pháp phụ thuộc.
Một vài kho ngữ chuyển đổi cú pháp phụ thuộc của các tiếng khác như tiếng Dức|52], tiếng Phap[2], tiếng Trung[30], tiếng Han{6). Các công cụ chuyển đổi tự động 2.1 Các công cụ chuyển đổi tự động Hiện nay, có sẵn một số công cụ hỗ trợ cho việc chuyển đổi tự động như bộ chuyển đổi LTH!, bộ chuyển đổi Stanford2, và bộ chuyển đổi ClearNLP?. Chi tiết hơn về bộ chuyển đổi LTH thì LTH được dùng để cung cấp kho ngữ liệu cú pháp phụ thuộc tiếng Anh cho các hội thảo “CoNLL’07-09 share tasks” gồm Nivre|45], Surdeanu[57], Hajiš[23]. Công cụ chuyển đổi LTH có sự cải tiến hơn so với tiền thân của nó là Penn2Malt*, cụ thể là tạo ra các mối quan hệ phụ thuộc về mặt ngữ nghĩa và cú pháp bằng cách tận dụng các nhãn chức năng (TMP, PRD, .) trong cú pháp thành tố để giải quyết các hiện tượng “long-distance” như wh-movement, topicalization, it-clefts, expletives, và gapping.
Hiện tượng “long-distance” thường liên quan đến các loại nhãn rỗng.1 là một ví dụ rõ ràng cho hiện tượng “long-distance” vì nhãn rỗng *T* thể hiện cho wh-movement và topicalization.3, chúng ta có thể thấy Penn2Malt (hình 2.2) do không giải quyết hình 2.3) nên đã bỏ mất đi mối quan hệ quan trọng giữa t “belong”. SBJ (SBAR)— ý SBJ [CLR PRP CS. Why , they wonder 0 *T* , should it belong to the EC *T* ? Hình 2.1: Một cây cú pháp thành tố của Penn Treebank[25]. Tiếp theo, chúng tôi giới thiệu về bộ chuyển đổi Stanford, công cụ chuyển đổi Stanford được dùng trong hội thảo “SANCL’12 shared task” (Petrov và McDonald[49]).
Công cụ chuyển đổi này áp dụng cho cả tiếng Anh và tiếng Trung. Ngoài ra, bộ nhãn cú pháp phụ thuộc mà công cụ cung cấp thì rất “min” và rất hữu ích cho các bài toán NLP. Một ưu điểm khác của bộ chuyển đổi Stanford là không sử dụng các thông tin của các nhãn chức năng, hoặc các nhãn rỗng. Các nhãn này xuất hiện trong việc gán nhãn thủ công cây cú pháp thành tố nhưng không có trong việc tạo tự động cây cú pháp thành tố.
Việc không sử dụng các loại nhãn này trong bộ chuyển 1Bộ chuyển đổi LTH: http://nlp.se/software/treebank_converter/ ?Bộ chuyển đổi Stanford: http://n1p. edu/software/stanford-dependencies. shtm1 3Bộ chuyển đổi ClearNLP: https://github.com/clir/clearnlp-guidelines/blob/master/md/components/ dependency_conversion.md 4Bo chuyển đổi Penn2Malt: http://stp.se/~nivre/research/Penn2Malt. html Các công cụ chuyển đổi tự động VMOD bu "đi P P VMOD VMOD PMOD ¬ |{ IIỆ= (| NMOD Why , they wonder , der it belong to Km Ì|.2: Cây cú pháp phụ thuộc của Penn2Malt|25].
ROOT-SBARQ PRP ( CLR P PRN vc PMOD ~ Why , they wonder , should it belong to the EC ? đổi Stanford giúp tao y, pháp thành tố dug đôi khi bộ chuyể tượng “long-distai ng mối quan hệ mà chỉ có nhãn chức năng giải quyết được. Cả hai công cụ chuyển đổi LTH va Stanford đều giải quyết tốt hầu hết các trường hợp. Song, chúng được thiết kế dành riêng cho kho ngữ liệu cú pháp thành tố Penn Treebank([31] (chủ yếu là kho ngữ liệu “Wall Street Journal”) nên sẽ không hiệu quả khi chuyển đổi các kho ngữ liệu cú pháp thành tố khác. Ví dụ là kho ngữ liệu cú pháp thành tố OntoNotes Treebank|62] có các nhãn không được sử dụng trong Penn Treebank như EDITED, META,.
hay phương pháp gán nhãn cho cùng một câu cũng khác với Penn Treebank (hình 2. Cuối cùng, chúng tôi trình bày về bộ chuyển đổi ClearNLP, đây là một công cụ chuyển đổi chủ yếu dựa trên phương pháp của Stanford và tích hợp với phương pháp CoNLL để giải quyết các hiện tượng “long-distance” cũng như hạn chế việc không xác định được các mối quan hệ. Lý do ClearNLP đặt phương pháp chuyển đổi của Stanford làm nền tảng vì bộ nhãn của Stanford “mịn” hơn và phương pháp của Stanford phổ biến hơn phương pháp của CoNLL. Ngoài ra, ClearNLP còn xử lý được các kho ngữ liệu cú pháp thành tố mà có các định dạng khác nhau: Penn Treebank[31], MiPACQ[40], OntoNotes Treebank[62], CRAF'T|61].
ĩ Các phương pháp chuyển đổi ADJP ADJP Z ÁN a l ¬ NNP JJ NML HYPH VBN / \ NNP NNP | | New_ York-based New York - based Hình 2.4: Sự khác nhau giữa hai cây cú pháp thành tố của cùng một câu. Cây bên trái là Penn Treebank và cây bên phải là OntoNotes Treebank[5].