Hệ Thống Gán Nhãn Từ Khóa Trong Nghiên Cứu Ngôn Ngữ Tại Việt Nam

Nghiên cứu xây dựng hệ thống gán vai nghĩa cho câu tiếng Việt, góp phần nâng cao khả năng xử lý ngôn ngữ tự nhiên trong tiếng Việt.

• Người hướng dẫn: PhD. Nguyễn Phú Thái
• Trường học: University of Engineering and Technology Vietnam National University
• Chuyên ngành: Computer Science
• Đề tài: Hệ Thống Gán Nhãn Từ Khóa Trong Nghiên Cứu Ngôn Ngữ Tại Việt Nam
• Loại tài liệu: thesis
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Mục lục chi tiết

• ACKNOWLEDGEMENTS
• LIST OF FIGURES
• LIST OF TABLES
• 2. CHAPTER II: RELATED WORKS
• 1. CHAPTER I: INTRODUCTION
• 3. CHAPTER 3 – THE PROPOSAL
• 4. CHAPTER 4 – EXPERIMENTS
• 5. CHAPTER 5 – CONCLUSIONS AND FUTURE WORKS

Tóm tắt

I. Tổng Quan Hệ Thống Gán Nhãn Từ Khóa Nghiên Cứu Ngôn Ngữ

Hệ thống gán nhãn từ khóa là một lĩnh vực quan trọng trong nghiên cứu ngôn ngữ học Việt Nam. Nó đóng vai trò then chốt trong việc xử lý ngôn ngữ tự nhiên tiếng Việt, giúp máy tính hiểu và phân tích văn bản một cách hiệu quả. Gán nhãn từ loại tiếng Việt (POS tagging) là quá trình gán cho mỗi từ trong câu một nhãn ngữ pháp, ví dụ: danh từ, động từ, tính từ. Quá trình này là nền tảng cho nhiều ứng dụng như phân tích cú pháp tiếng Việt, dịch máy, và tìm kiếm thông tin. Các nghiên cứu gần đây tập trung vào việc xây dựng các công cụ gán nhãn từ loại tự động với độ chính xác cao, sử dụng các mô hình học máy cho gán nhãn từ loại và thuật toán gán nhãn từ loại tiên tiến. Việc xây dựng bộ dữ liệu gán nhãn tiếng Việt chất lượng cao cũng là một yếu tố then chốt để phát triển các hệ thống này. Theo Nguyễn Thanh Hùng (2011), gán nhãn từ loại là bước quan trọng để giải quyết các bài toán NLP phức tạp hơn.

1.1. Vai Trò Của Gán Nhãn Từ Loại Trong NLP Tiếng Việt

Gán nhãn từ loại tiếng Việt là bước tiền xử lý quan trọng trong nhiều bài toán xử lý ngôn ngữ tự nhiên tiếng Việt. Nó cung cấp thông tin ngữ pháp cần thiết cho các bước xử lý tiếp theo, như phân tích cú pháp tiếng Việt và ngữ nghĩa học tiếng Việt. Các ứng dụng của gán nhãn từ loại bao gồm: dịch máy, tìm kiếm thông tin, phân tích văn bản, và chatbot. Độ chính xác của gán nhãn từ loại ảnh hưởng trực tiếp đến hiệu suất của các ứng dụng này. Do đó, việc phát triển các hệ thống gán nhãn từ loại chính xác và hiệu quả là một mục tiêu quan trọng trong nghiên cứu ngôn ngữ học Việt Nam.

1.2. Các Loại Nhãn Từ Loại Thường Dùng Trong Tiếng Việt

Hệ thống nhãn từ loại cho tiếng Việt thường bao gồm các nhãn cơ bản như: danh từ (N), động từ (V), tính từ (A), trạng từ (ADV), giới từ (PRE), liên từ (CONJ), đại từ (PRO), và số từ (NUM). Ngoài ra, còn có các nhãn chi tiết hơn để phân loại các loại từ khác nhau, ví dụ: danh từ riêng (NP), danh từ chung (NC), động từ chính (VM), động từ phụ (VA). Việc lựa chọn hệ thống nhãn từ loại phù hợp là quan trọng để đảm bảo tính nhất quán và hiệu quả của quá trình gán nhãn POS tiếng Việt. Các ngữ liệu tiếng Việt thường sử dụng các bộ nhãn được chuẩn hóa để đảm bảo khả năng tương thích giữa các hệ thống khác nhau.

II. Thách Thức Trong Gán Nhãn Từ Loại Tiếng Việt Phân Tích

Việc gán nhãn từ loại tiếng Việt gặp nhiều thách thức do đặc điểm của ngôn ngữ. Tính đa nghĩa của từ, sự thiếu vắng hình thái học, và sự phức tạp của cấu trúc câu là những yếu tố gây khó khăn cho việc xây dựng các hệ thống tự động. Một từ có thể mang nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh, đòi hỏi hệ thống phải có khả năng phân tích ngữ cảnh một cách chính xác. Sự thiếu vắng hình thái học khiến việc xác định từ loại dựa trên hình thức từ trở nên khó khăn. Cấu trúc câu phức tạp với nhiều thành phần phụ cũng gây khó khăn cho việc phân tích cú pháp tiếng Việt và xác định vai trò ngữ pháp của các từ. Theo Nguyễn Phương Thái (2011), việc xử lý các hiện tượng ngôn ngữ đặc thù của tiếng Việt là một thách thức lớn đối với các nhà nghiên cứu.

2.1. Vấn Đề Đa Nghĩa Của Từ Trong Gán Nhãn Từ Loại

Tính đa nghĩa của từ là một thách thức lớn trong gán nhãn từ loại tiếng Việt. Một từ có thể thuộc nhiều từ loại khác nhau tùy thuộc vào ngữ cảnh sử dụng. Ví dụ, từ "hoa" có thể là danh từ (hoa hồng) hoặc động từ (hoa mắt). Để giải quyết vấn đề này, các hệ thống gán nhãn từ loại cần phải sử dụng các kỹ thuật phân tích ngữ cảnh phức tạp, dựa trên thông tin từ các từ xung quanh và cấu trúc câu. Các thuật toán gán nhãn từ loại hiện đại thường sử dụng các mô hình thống kê để ước lượng xác suất của một từ thuộc một từ loại nhất định trong một ngữ cảnh cụ thể.

2.2. Sự Thiếu Vắng Hình Thái Học Trong Tiếng Việt

Tiếng Việt là một ngôn ngữ đơn lập, ít biến đổi hình thái. Điều này có nghĩa là từ không thay đổi hình thức để biểu thị các quan hệ ngữ pháp như số, giống, thì, hoặc cách. Do đó, việc xác định từ loại dựa trên hình thức từ là rất khó khăn. Các hệ thống gán nhãn từ loại phải dựa vào các yếu tố khác như vị trí của từ trong câu, các từ xung quanh, và thông tin ngữ nghĩa để xác định từ loại. Việc sử dụng ngữ liệu tiếng Việt lớn và các mô hình học máy cho gán nhãn từ loại phức tạp là cần thiết để đạt được độ chính xác cao.

III. Phương Pháp Gán Nhãn Từ Loại Tiếng Việt Hướng Tiếp Cận

Có nhiều phương pháp gán nhãn từ loại khác nhau đã được áp dụng cho tiếng Việt, bao gồm các phương pháp dựa trên luật, dựa trên thống kê, và dựa trên học máy. Các phương pháp dựa trên luật sử dụng các quy tắc ngữ pháp để xác định từ loại. Các phương pháp dựa trên thống kê sử dụng các mô hình thống kê để ước lượng xác suất của một từ thuộc một từ loại nhất định. Các phương pháp dựa trên học máy sử dụng các mô hình học máy cho gán nhãn từ loại để học các quy tắc gán nhãn từ dữ liệu huấn luyện. Các phương pháp học máy, đặc biệt là các mô hình mạng nơ-ron sâu, đang ngày càng trở nên phổ biến do khả năng đạt được độ chính xác cao.

3.1. Gán Nhãn Từ Loại Dựa Trên Luật Ưu Và Nhược Điểm

Phương pháp gán nhãn từ loại dựa trên luật sử dụng các quy tắc ngữ pháp được định nghĩa trước để xác định từ loại của các từ trong câu. Ưu điểm của phương pháp này là tính đơn giản và dễ hiểu. Tuy nhiên, nhược điểm là khó mở rộng và bảo trì, vì cần phải định nghĩa một lượng lớn các quy tắc để bao phủ tất cả các trường hợp có thể xảy ra. Phương pháp này thường không đạt được độ chính xác cao so với các phương pháp thống kê hoặc học máy.

3.2. Gán Nhãn Từ Loại Dựa Trên Thống Kê Mô Hình HMM

Phương pháp gán nhãn từ loại dựa trên thống kê sử dụng các mô hình thống kê để ước lượng xác suất của một từ thuộc một từ loại nhất định trong một ngữ cảnh cụ thể. Một trong những mô hình thống kê phổ biến nhất là mô hình Markov ẩn (HMM). HMM sử dụng xác suất chuyển đổi giữa các từ loại và xác suất phát xạ của từ từ một từ loại để xác định chuỗi từ loại có khả năng cao nhất cho một câu. Ưu điểm của phương pháp này là khả năng xử lý dữ liệu không hoàn chỉnh và khả năng học từ dữ liệu. Tuy nhiên, nhược điểm là yêu cầu một lượng lớn dữ liệu huấn luyện để đạt được độ chính xác cao.

3.3. Gán Nhãn Từ Loại Dựa Trên Học Máy Mạng Nơ Ron Sâu

Phương pháp gán nhãn từ loại dựa trên học máy sử dụng các mô hình học máy cho gán nhãn từ loại để học các quy tắc gán nhãn từ dữ liệu huấn luyện. Các mô hình mạng nơ-ron sâu, đặc biệt là các mô hình dựa trên biến áp (Transformer), đang ngày càng trở nên phổ biến do khả năng đạt được độ chính xác cao. Các mô hình này có khả năng học các biểu diễn từ phức tạp và các mối quan hệ ngữ pháp giữa các từ. Ưu điểm của phương pháp này là khả năng đạt được độ chính xác cao và khả năng xử lý dữ liệu lớn. Tuy nhiên, nhược điểm là yêu cầu một lượng lớn dữ liệu huấn luyện và chi phí tính toán cao.

IV. Ứng Dụng Thực Tế Của Gán Nhãn Từ Loại Tiếng Việt Đánh Giá

Gán nhãn từ loại là một thành phần quan trọng trong nhiều ứng dụng xử lý ngôn ngữ tự nhiên tiếng Việt. Nó được sử dụng trong dịch máy, tìm kiếm thông tin, phân tích văn bản, và chatbot. Trong dịch máy, gán nhãn từ loại giúp xác định cấu trúc ngữ pháp của câu nguồn và câu đích, từ đó cải thiện chất lượng dịch. Trong tìm kiếm thông tin, gán nhãn từ loại giúp xác định các từ khóa quan trọng và cải thiện độ chính xác của kết quả tìm kiếm. Trong phân tích văn bản, gán nhãn từ loại giúp xác định các chủ đề và ý nghĩa của văn bản. Trong chatbot, gán nhãn từ loại giúp hiểu ý định của người dùng và đưa ra phản hồi phù hợp.

4.1. Gán Nhãn Từ Loại Trong Hệ Thống Dịch Máy Tiếng Việt

Trong hệ thống dịch máy, gán nhãn từ loại tiếng Việt đóng vai trò quan trọng trong việc phân tích cấu trúc ngữ pháp của câu nguồn. Thông tin từ loại giúp hệ thống xác định các thành phần câu như chủ ngữ, vị ngữ, tân ngữ, và các thành phần phụ khác. Điều này giúp hệ thống dịch máy tạo ra các bản dịch chính xác và tự nhiên hơn. Các hệ thống dịch máy hiện đại thường sử dụng các mô hình gán nhãn từ loại dựa trên mạng nơ-ron sâu để đạt được hiệu suất cao.

4.2. Gán Nhãn Từ Loại Trong Tìm Kiếm Thông Tin Tiếng Việt

Trong tìm kiếm thông tin, gán nhãn từ loại tiếng Việt giúp xác định các từ khóa quan trọng trong truy vấn tìm kiếm và trong các tài liệu. Thông tin từ loại giúp hệ thống tìm kiếm loại bỏ các từ không quan trọng như giới từ, liên từ, và đại từ, và tập trung vào các từ khóa chính như danh từ, động từ, và tính từ. Điều này giúp cải thiện độ chính xác và hiệu quả của kết quả tìm kiếm. Các hệ thống tìm kiếm hiện đại thường sử dụng các mô hình gán nhãn từ loại để cải thiện khả năng hiểu ngôn ngữ tự nhiên.

V. Đánh Giá Hiệu Năng Hệ Thống Gán Nhãn Độ Chính Xác Tốc Độ

Việc đánh giá hiệu năng hệ thống gán nhãn là rất quan trọng để đảm bảo chất lượng và hiệu quả của hệ thống. Các chỉ số đánh giá chính bao gồm độ chính xác (accuracy), độ phủ (recall), và độ đo F1 (F1-score). Độ chính xác đo lường tỷ lệ các từ được gán nhãn đúng. Độ phủ đo lường tỷ lệ các từ đúng được hệ thống tìm thấy. Độ đo F1 là trung bình điều hòa của độ chính xác và độ phủ. Ngoài ra, tốc độ gán nhãn cũng là một yếu tố quan trọng, đặc biệt đối với các ứng dụng thời gian thực. Các hệ thống gán nhãn từ loại hiện đại thường đạt độ chính xác trên 95% trên các ngữ liệu tiếng Việt chuẩn.

5.1. Độ Chính Xác Của Hệ Thống Gán Nhãn Từ Loại Tiếng Việt

Độ chính xác gán nhãn từ loại là một trong những chỉ số quan trọng nhất để đánh giá hiệu năng của hệ thống. Nó đo lường tỷ lệ các từ được gán nhãn đúng so với tổng số từ trong dữ liệu kiểm tra. Độ chính xác cao cho thấy hệ thống có khả năng gán nhãn đúng cho phần lớn các từ trong câu. Các hệ thống gán nhãn từ loại hiện đại thường đạt độ chính xác trên 95% trên các văn bản tiếng Việt chuẩn.

5.2. Tốc Độ Gán Nhãn Từ Loại Yếu Tố Quan Trọng

Tốc độ gán nhãn từ loại là một yếu tố quan trọng, đặc biệt đối với các ứng dụng thời gian thực như chatbot và dịch máy trực tuyến. Tốc độ gán nhãn được đo bằng số lượng từ được xử lý trong một giây. Tốc độ gán nhãn cao cho phép hệ thống xử lý văn bản nhanh chóng và cung cấp phản hồi kịp thời cho người dùng. Các hệ thống gán nhãn từ loại hiện đại thường sử dụng các kỹ thuật tối ưu hóa để đạt được tốc độ cao mà không làm giảm độ chính xác.

VI. Tương Lai Hệ Thống Gán Nhãn Từ Khóa Hướng Phát Triển Mới

Tương lai của hệ thống gán nhãn từ khóa trong nghiên cứu ngôn ngữ học Việt Nam hứa hẹn nhiều phát triển mới. Các hướng nghiên cứu chính bao gồm: phát triển các mô hình gán nhãn từ loại chính xác hơn, xây dựng các bộ dữ liệu gán nhãn tiếng Việt lớn hơn và đa dạng hơn, và ứng dụng gán nhãn từ loại vào các bài toán xử lý ngôn ngữ tự nhiên tiếng Việt phức tạp hơn. Việc kết hợp gán nhãn từ loại với các kỹ thuật khác như phân tích cú pháp tiếng Việt và ngữ nghĩa học tiếng Việt cũng là một hướng đi tiềm năng. Ngoài ra, việc phát triển các hệ thống gán nhãn từ loại có khả năng xử lý các phương ngữ và tiếng lóng cũng là một thách thức thú vị.

6.1. Phát Triển Mô Hình Gán Nhãn Từ Loại Chính Xác Hơn

Một trong những hướng phát triển quan trọng nhất là phát triển các mô hình học máy cho gán nhãn từ loại chính xác hơn. Các mô hình mạng nơ-ron sâu, đặc biệt là các mô hình dựa trên biến áp (Transformer), đang cho thấy nhiều tiềm năng trong việc cải thiện độ chính xác của gán nhãn từ loại. Các nghiên cứu gần đây tập trung vào việc thiết kế các kiến trúc mạng nơ-ron mới và các phương pháp huấn luyện hiệu quả hơn để đạt được hiệu suất cao hơn.

6.2. Xây Dựng Bộ Dữ Liệu Gán Nhãn Tiếng Việt Lớn Hơn

Việc xây dựng các bộ dữ liệu gán nhãn tiếng Việt lớn hơn và đa dạng hơn là rất quan trọng để huấn luyện các mô hình gán nhãn từ loại chính xác. Các bộ dữ liệu lớn cho phép các mô hình học máy học được các quy tắc gán nhãn phức tạp và các hiện tượng ngôn ngữ đặc thù của tiếng Việt. Các bộ dữ liệu đa dạng bao gồm các loại văn bản khác nhau như tin tức, văn học, khoa học, và hội thoại, giúp các mô hình gán nhãn từ loại có khả năng xử lý nhiều loại văn bản khác nhau.

Trích đoạn nội dung tài liệu

UHTIVELTSTTV 0E EHGIIIEETTIG AIID TEchlI0L0GV VIETHAM HA TI0HAL UHTIVETSITV, hAH01I HGUYEH ThAIIh huy BUILDITIG A SEMATITIcrOLELABELITIG SYSTEM FOr VIETITAMESE SENTENMcES Major : cCOmputer Science c0de 60 48 01 MASTET ThESIS Supervised by: PhD. Iguyen Phu0ng Thai han0i - 2011 'Table 0f c0nlenis Ackn0wledgeimeiÌs. ¿+ 6 + 1t 12T HH TT TH TT TH TT TH TT TH Hàng HH 3 _Y vn. 7 List Of Tables.

8 chapter I: Inlr0duCHŨNH. cOrpOra fOr furrchOn lag label1IIg. curreni sỈudies 0n FuncHOH Ìagg1IIg. 0pjecHve Of the lhes1s.

Làng HH HH Hàn HH 12 5. 14 chapter Il: I'elaled WT[KS. ó6 + 1S 1n HT HH HH TH HT TH HH nghiệt 16 1. FuncHOn Tags Lapelimg by PaTSIHE.- ch TH TH HT HH HH ch Hy 17 1.

Sequenhial FuncHOn Tag LabeliIE. --¿- + 1x11 11T TH TT HH TH ngư, 19 3. FuncH0n Tag Lapeling by classIficaHH. 5 «55s S*+*£s£serseeexree 19 SN: nh.

20 chapler III: The pr0p0sed apprOachh.- kh TT TH HT TH HT HH TH Hành 22 2. FuncHOn Tags In VielH1aIT€§€.--- + ST TT HH nghi, 23 3. «hàn HT TH Hàn HH 24 "nh. << kh TH TH TH Hành 26 5.1 Maximum Enlr0py sy M0Hivaling Example.

Maximum Enir0py M0deling. -- -¿-¿- <5 S*+*EsE‡keEskerrskeee 28 “uc ch .4 Fealures ad CŨHSỈTaiTIÌS.5 Maximum EHlr0py PTiICIDÏ€. «+ 1k S11 TT TH HH TH HT HH nh nh 32 chapter IV: Exp€TlI€HIÌ.---- ¿6 + 1t 1111 TH TH Tà TH TH HH nghiệt 34 1. cOrp0Ora arid TÖUÌs.

---- 6 6S S121 11 21 1121 11 0121 H1 Hà TH Hà HH tr 34 2. FuncHOnal Lapeling PT€CISIÔHS. SÁCH HH TH TH TH TH TT HH TH HH HH 38 4. EffecHveness 0f W0rd clusler FeaÌure .--¿-« 5<Sscxsxtersreeree 39 Bi an.

40 chapter V: cOmclusiOm ard Fulure WTÍK. 5 «+5 **kS*EEkEEkerrekrkrrrke 41 I Hi 1 ae. 45 List Of Figures Figure 1. Sample d0main and frame element Of Frame ÏIIel.

A parsing with funcH0un lags In V1Iel TTeebarIE.The perceplr0n m0del fOr funcHOn †ags labeling pr0blem. MOdel Of FumchOn Tag Labeling System fOr Vietnamese semtences. An example fOr selecled fealures In Viel TreebaH[k. Example 0f w0rd clusler hierarChyy.---- «6c St sxtereeeree 26 Figure 7.

Scenar10s 1n c0nsirained 0pHm1zaHOH. Pseud0-c0de fOr exiracHng funcHOH labeÌs. An example Of wÔrd CÏUSÏ€T. - «6 + xxx HH, 36 Figure 10.

- - ¿+ E111 S111 11T TT TH nhân 38 Figure 11. The dependency between †w0 funcHOH labeÌs .---- -«-«- 39 List Of Tables Taple1. FuncHOnal Lapeling Appr0aches.---- - 6 xà kg rê, 16 Tabple 2. I'esuli 0Ÿ laseling sy parsing appr0ach f0Il0wing c0llin m0del.

FunchOn Tags Ôn V'1e†l 'TT€€b. Vieliamese TreebaHIk sÌaÏiSÏICS. EvaluahOn Of Vieltamese funcHOnal labeling syslem. Increases im precisiOn by using wOrd clusler fealure .---- 40 chapter I: Intr0duchOn In this chapter, I intrOduce funcliOn tags and value Of funcHOn lag In IILP - applicaliOns, sOme current apprOaches, Onjective Of thesis and Our cOntrinuliOn.

Finally, I descrise the structure Of the thesis. Euncli0n tags There are tw0 kinds Of tags in linguistics: syntachic tags and funchOn tags. FOr syutache fags there are several theOries and prOQjects research result in English, Spanish, chinese and [4][13][14][18]. These research mainly fOcus On finding the parl-Of-speech and tagging fOr their cOnstituents.

FunchOn tags are undersi00d as abstract labels because they are n0t similar 10 syntactic lapels. If a syntactic label has One n0tahOn fOr a batch Of wOrds im a paragraph, fumclOn lags present the relaHOnship selween a phrase and 11s uHerance im each difference cOntext. SO fOr each phrase, funchOn lags might se transfOrming. It depends On cOntext Of its nieighbOrs.

FOr example we cOnsider a phrase: “basevall vat” syntactic Of this phrase is “nOun phzase” (im almOst research they are anmOtated as //P). but its funchOn tag might be a subject in this semtence: This vasevall vat is veey expensive In Other case its furrchOn tag might be a direct Object: 1 o0ughi this vasevall vat last mOnth Or instrument, agent in a passive vOice: That man was attacked by this basevall vat FunctiOn tags are directly mentiOned by blaheta (2003) [2]. There are a 10t Of research fOcuses im hOw 10 tag fumctiOn tags fOr a semtence. This kind Of research pr0blem is called funcHOn tags labeling pr0slem, a class Of prOblems 10 finding semantic infOrmalOn Of phrase.

TO sum up, funcHOn lag labeling is defimed as a pr0plem hOw 10 find the semantic infOrmatiOn Of a batch Of wOrds, and then tag them with a given ann0laH0u in 11s cOntext. c0rp0ra fOr functiOn tag labeling II0wadays machine learning is the pOpular methOd fOr mOst Of mOdern pr0blems especially in [lature Language PrOcessing subject. TO Build up a machine learning 10 syslem we need a lraining dala set. There are s0me funcH0n tag labeling cOrpOra that are applied fOr languages such as English and chinese.

In English, there are tw0 main cOrpOra which are used fOr semantic rOle labeling and funchOn tag labeling pr0blems. They are Frame Ilel(baker, 1998; FillMOre and baker 2000) and Pr0p bank (Palmer et al,2005).The main idea Of Frame [let is that grOup all similar wOrds in the same grOup, and then represents relatiOnship Of this grOup with Other gr0ups in a grOup-netwOrk. That why it is called Frame Ilet. Figure 1shOws a small example Domain: | branch 0n Frame IIel Frame: Questioning Frame:Conversation Elements: Elements: e Speaker e Protagonist — 1 e Message © = Prot ist -2 ic cOnfer-v re a Sons + Topic ¢ Topic © Medium © Medium Dispute-n Talk-v GOssip-v Discussi0n-n Dexale-v Figure 1.

Sample d0main and frame element Of Frame [et The secOnd cOrpus is PrOpbank (Palmer et al., 2005) which is a mOdificaliOn Of Penn Treebank by annOtated additiOn infOrmatiOn: fumchOn tags. Perm Treebank and Pr0p bank are Organized as a sel Of trees; each tree illustrates a sentence which is tagged symtactic labels (fOr Perm Treepank) and with 50th syntactic and furctiOnal labels (fOr Pr0p bank). Pr0pbank and chinese Treebank are linguistics resOurces which have been available fOr research purpOse fOr a 10ng time. Whereas, Viet Treesank! have been develped recently by Ilguyem [17] by using experiment and appr0aches from Penn Treepank.

hence, Viet Treebank has the same structure as Penm Treesank and chinese Treepank in which each wOrd is presented as leaf n0de Of a tree, n0ne terminal n0des are lagged syntactic label Or furchOnal label. Figure 2 will shOw an 11 example fr0m Viel Treebark with funcHOn †ags.Org:8080/dem0/?page=resOurces 12 NP- SUB AP-PRD | dy A-H SBAR He | /~ nỗi tiếng NPB-SUB NP-DOB is known | | la mot nha Có tải as a talented poet Figure 2. A parsing with functi0n lags in Viet Treepank 3. current studies 0n Funch0n lagging FunchOn tags labeling is am impOrtamt prOcessing step fOr mamy natural language pr0cessing applicatiOns such as queshOn answering, infOrmalOn exirachOn, and summarizaliOn.

Thus, there were sOme research that fOcused On functiOn tagging pr0blem 10 cOver additiOmal semantic infOrmatiOn which is mOre useful than syntactic labels. In 1997, cOllins [7] intrOduced the idea 10 add sOme useful syntactic infOrmatiOn, and then he pr0p0sed a parser 10 have enOugh abilily im guessing the cOmplement fag. This parser is called cOllins‘s parser, and it is cOnsidered as first system 1m lagging label. The furchOn tags labeling is defined precisely by blaheta (2003) [2].

his research used data frOm Pen Tree II which is cOvered extra funchOn lags. With blaheta“s pr0pOsal there are variOus inveshgaliOn fOcusing On functiOn tag labeling such as Merl0 and Mussill0 (2005), blaheta and charniak (2004), chrupala and Genabith (2006), Sum, Sui (2009). These studies extend furcliOn tags labeling t0pic by fOcusing On new language such as chinese, pr0p0sing mew apprOaches, Or 1nvesHgaling new features. [JOwadays, there are three maim appr0ach strategies fOr funcHOn tags labeling pr0slem: 13 The first apprOach is called pazsing, which is tagging funcHOn labels during the parsing prOcess, this appr0ach is a mOdificaliOn Of cOllin‘s parser.

FOUOwing this appr0ach, we cam cOnsider studies Of Gabbard [9], and Marcus [17]. 14 The secOmd appr0ach is called /aveling methOd which includes twO phases: extracting features and classifying funclOn labels. This appr0ach has m0re techniques because Of the diversity Of classificaliOm techniques. The mOst typical research Of this appr0ach is blaheta“s research [3].

Im his research, he has been applied sOme techniques 10 shOw the impact Of each technique fOr funchOn tag labeling pr0blem. The third appr0ach is defined as sequential labeling apprOach. FOr this appr0ach, funcliOn tags are predicted frOm Observed wOrds chain (Yuan [23]). This appr0ach is similar 10 selecting features Of classificaliOn apprOach bul the difference is that it uses a predicHOn m0del instead Of a classificatiOn mOdel.

These apprOaches will be discussed in detail in next chapter. TOday, there is a class prOslem which cOvers funchOn tagging. This class was mentiOned by carreras (2004) [5] and called Semantic [Ole Labeling. Semantic TOle Labeling is similar 10 funchOn tag labeling but it wOrks at a mOre abstract level.

When building a Semantic [Ole Laseling system, the training dala will have m0re infOrmahOn. They n0t Only include time, lOcatiOn, mannez, etc, but alsO Ovjec, insteument, agent, etc. This prOblem is a new prOmised research fOr IILP-applicahiOns which need 10 understand the meaning Of sentences. Onjective Of the thesis As we mentiOned ab0ve, assigning furrchOm tags has wide research, especially fOr English.

Tecemtly, sOme studies were applied fOr Spanish, and chinese. All funchOn lagging system have cOmtributed in their cOrpOra a semantic class which is very useful fOr Other IILP-applicatiOns such as QueshOn Answering, SummarizatiOn, InfOrmahOn Tetrieval, etc. In recent years, [lature Language PrOcessing t0pics in Vieltam have devel0ped rapidly. Especially fOr Vielmamese, many studies have fOcused On hOw 10 recOgmize the syntactic Of Vieltamese senlences by a P0S tagging system.

but unfOrtunalely, these IILP-applicaHOns d0 n0t prOvide semantic infOrmalOn fOr a sentence. 15 Whereas, s0me IILP-applicaHOns need 10 kn0w semanHic infOrmalHOn 10 answer quesh0ns: wh0, wheze, whdi, and wh0m. T0 deal with this pr0blem, Our research fOcuses On building am aul0malic funcHOn tags labeling. In this thesis, I call as stage One, tempOrarily; Our research will build a funcHOn tagging system, a prOblem that is shallOwer than Semantic Ole Labeling 16 (SIL) pr0slem, which 1s applied f0r Vielramese.

Our research Only tags sOme basic funchOn labels such as: fime, lOcatiOn, dizecdiOn etc. Others semantic rOles such as: agent, insteument, etc, which sel0ng 10 Semantic TOle Labeling pr0slem will be append intO Our system in the future. In Our system, we have tw0 phases: first we extract funchOn tags from Viel Treepank, a bank cOvered by hand-craft semantic labels. After that, we select features 10 train the classificaliOmn mOdel.

SOme features extend fr0m studies Of blaheta [2] and Yuan [22], we als0 pr0pOsed a new feature which has significant impact fOr fumclOn tag labeling system. In later chapters, we will intrOduce Our system in detail such as: feature extrachOn, selected mOdel, building mew feature, etc. Our c0nlribuH0ns As we discussed in the previ0us chapter, we aim 10 building a system which is shall0wer than Semantic ['0le Labeling f0r Vieliamese sentences. AccOrding 10 Our kn0wledge, thr0ugh there are have seen Other invesHgaHOn 1m IILPs fÚr 'Vielramese, 0ur syslem research 0n funcHOn lag laseling may se the first One.

Furtherm0re, Our system gives new 1001 10 lag funcHOmal labels fOr Viet Treebank. This will enrich Viet Treepank 10 have autOmatic instead Of hand-crafted lagging as it has dOne befOre. Viet Treebank is One Of impOrtant resOurces fOr research that study in [atural Language Pr0cessing fOr Vietnamese. If it is enriched by funcHOn tags, Others research will have mOre infOrmatiOn 0n Viehiamese especially fOr semantic infOrmatiOn.

MOreOver, im this thesis I will alsO imtrOduce sOme appr0aches 1m funcHOn lag labeling pr0blem 10 shOw sOme applied techniques. These techniques may be inherited frOm sOme researcher later. because Our system is the first One in functiOn fag labeling prOblem, we expect that it gives a base line system fOr funchOn tag labeling research later.