Gán Nhãn Từ Loại: Tại Sao và Cách Thực Hiện

Khám phá 4 vị trí tuyệt vời để thưởng thức ẩm thực Việt Nam, từ món ăn đường phố đến nhà hàng sang trọng, mang đến trải nghiệm độc đáo.

• Tác giả: Lê Thanh Hương
• Trường học: Trường Đhbkhn
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Gán Nhãn Từ Loại
• Loại tài liệu: Bài giảng
• Địa điểm: Hà Nội

Mục lục chi tiết

• 1. 1. Định nghĩa
• 2. 2. Tại sao cần gán nhãn?
• 3. 3. Tập từ loại tiếng Anh
• 4. 4. Lớp từ mở trong tiếng Anh
• 5. 5. Tập nhãn cho tiếng Anh
• 6. 6. Ví dụ
• 7. 7. Khó khăn trong gán nhãn từ loại?
• 8. 8. Các phương pháp gán nhãn từ loại
• 9. 9. Các cách tiếp cận
• 10. 10. Gán nhãn dựa trên xác suất
• 11. 11. Gán nhãn dựa trên xác suất (tiếp tục)
• 12. 12. Gán nhãn dựa trên xác suất (tiếp tục)
• 16. 16. Giả sử chúng ta có tất cả các từ loại trừ từ race
• 17. 17. Xét xác suất
• 18. 18. Bài tập ti = argmaxj P(tj | ti-1 )P(wi | tj )
• 19. 19. Mô hình đầy đủ
• 20. 20. Mở rộng sử dụng luật chuỗi
• 21. 21. Giả thiết trigram
• 27. 27. Độ chính xác
• 28. 28. Cách tiếp cận thứ 2: gán nhãn dựa trên chuyển đổi Transformation-based Learning (TBL)
• 29. 29. Transformation-based painting
• 30. 30. Transformation-based painting (tiếp tục)
• 31. 31. Transformation-based painting (tiếp tục)
• 32. 32. Transformation-based painting (tiếp tục)
• 33. 33. Transformation-based painting (tiếp tục)
• 34. 34. Transformation-based painting (tiếp tục)
• 35. 35. Ví dụ với TBL
• 36. 36. Ví dụ với TBL (tiếp tục)
• 37. 37. Luật gán nhãn từ loại
• 38. 38. Luật gán nhãn từ loại (tiếp tục)
• 39. 39. Học luật TB trong hệ thống TBL
• 40. 40. Các tập ngữ liệu
• 41. 41. Khuôn dạng cho luật gán nhãn từ loại
• 42. 42. Học luật TB trong hệ thống TBL (tiếp tục)
• 43. 43. Điểm, độ chính xác, ngưỡng
• 44. 44. Sinh và tính điểm cho luật ứng viên 1
• 45. 45. Sinh và tính điểm cho luật ứng viên 2
• 46. 46. Học luật TB trong hệ thống TBL (tiếp tục)
• 47. 47. Chọn luật tốt nhất
• 48. 48. Tối ưu hóa việc chọn luật tốt nhất
• 49. 49. Ưu điểm của TBL
• 50. 50. Kết thúc

Tóm tắt

I. Giới thiệu về Gán Nhãn Từ Loại Tại Sao và Cách Thực Hiện

Gán nhãn từ loại (Part of Speech tagging - POS tagging) là một kỹ thuật quan trọng trong xử lý ngôn ngữ tự nhiên (NLP). Kỹ thuật này giúp xác định và gán nhãn cho mỗi từ trong một câu với loại từ tương ứng của nó, như danh từ, động từ, tính từ, v.v. Việc gán nhãn này không chỉ giúp phân tích văn bản dễ dàng hơn mà còn là bước quan trọng trong nhiều ứng dụng như nhận dạng tiếng nói, tìm kiếm thông tin và phân tích cảm xúc.

1.1. Định Nghĩa Gán Nhãn Từ Loại

Gán nhãn từ loại là quá trình gán nhãn cho mỗi từ trong một đoạn văn bản với loại từ tương ứng. Quá trình này thường bắt đầu với một đoạn văn bản đã được tách từ và một tập nhãn. Kết quả đầu ra là cách gán nhãn chính xác nhất cho từng từ trong văn bản.

1.2. Lợi Ích Của Gán Nhãn Từ Loại

Gán nhãn từ loại giúp cải thiện độ chính xác trong phân tích văn bản. Nó cho phép các hệ thống hiểu rõ hơn về ngữ nghĩa của câu, từ đó nâng cao hiệu quả trong các ứng dụng như tìm kiếm thông tin và phân tích ngữ nghĩa.

II. Tại Sao Cần Gán Nhãn Từ Loại Trong NLP

Gán nhãn từ loại là một bước quan trọng trong xử lý ngôn ngữ tự nhiên. Việc gán nhãn giúp cải thiện độ chính xác của các mô hình học máy và cho phép các ứng dụng như nhận dạng tiếng nói hoạt động hiệu quả hơn. Ngoài ra, gán nhãn từ loại còn giúp dễ dàng đánh giá chất lượng của các mô hình NLP.

2.1. Các Vấn Đề Khi Không Gán Nhãn Từ Loại

Nếu không thực hiện gán nhãn từ loại, các mô hình NLP có thể gặp khó khăn trong việc phân tích ngữ nghĩa của câu. Điều này có thể dẫn đến việc hiểu sai thông tin và giảm hiệu quả của các ứng dụng.

2.2. Các Ứng Dụng Của Gán Nhãn Từ Loại

Gán nhãn từ loại có nhiều ứng dụng thực tiễn, bao gồm nhận dạng tiếng nói, phân tích cảm xúc, và tìm kiếm thông tin. Những ứng dụng này đều yêu cầu độ chính xác cao trong việc phân tích ngữ nghĩa của văn bản.

III. Các Phương Pháp Gán Nhãn Từ Loại Hiệu Quả

Có nhiều phương pháp khác nhau để thực hiện gán nhãn từ loại, bao gồm các phương pháp dựa trên xác suất, luật, và học máy. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào ngữ cảnh và yêu cầu cụ thể của bài toán.

3.1. Phương Pháp Dựa Trên Xác Suất

Phương pháp này sử dụng các mô hình xác suất, như mô hình Markov ẩn (HMM), để gán nhãn cho các từ trong câu. Phương pháp này thường cho kết quả chính xác cao nhưng yêu cầu nhiều dữ liệu huấn luyện.

3.2. Phương Pháp Dựa Trên Luật

Phương pháp này sử dụng các quy tắc ngữ pháp để gán nhãn cho các từ. Mặc dù đơn giản và dễ hiểu, phương pháp này có thể không đạt được độ chính xác cao như các phương pháp dựa trên xác suất.

3.3. Học Máy Trong Gán Nhãn Từ Loại

Sử dụng các thuật toán học máy để cải thiện độ chính xác của việc gán nhãn từ loại. Các mô hình như mạng nơ-ron có thể học từ dữ liệu và cải thiện khả năng gán nhãn theo thời gian.

IV. Ứng Dụng Thực Tiễn Của Gán Nhãn Từ Loại

Gán nhãn từ loại có nhiều ứng dụng trong thực tiễn, từ nhận dạng tiếng nói đến phân tích văn bản. Những ứng dụng này không chỉ giúp cải thiện trải nghiệm người dùng mà còn nâng cao hiệu quả của các hệ thống thông tin.

4.1. Nhận Dạng Tiếng Nói

Trong nhận dạng tiếng nói, gán nhãn từ loại giúp hệ thống hiểu rõ hơn về ngữ nghĩa của các từ, từ đó cải thiện độ chính xác trong việc chuyển đổi giọng nói thành văn bản.

4.2. Phân Tích Cảm Xúc

Gán nhãn từ loại cũng được sử dụng trong phân tích cảm xúc, giúp xác định cảm xúc của người viết thông qua việc phân tích ngữ nghĩa của các từ trong văn bản.

V. Kết Luận Về Gán Nhãn Từ Loại

Gán nhãn từ loại là một kỹ thuật quan trọng trong xử lý ngôn ngữ tự nhiên, giúp cải thiện độ chính xác của các mô hình NLP. Việc áp dụng các phương pháp gán nhãn hiệu quả có thể mang lại nhiều lợi ích cho các ứng dụng thực tiễn.

5.1. Tương Lai Của Gán Nhãn Từ Loại

Với sự phát triển của công nghệ học máy và trí tuệ nhân tạo, gán nhãn từ loại sẽ ngày càng trở nên chính xác và hiệu quả hơn. Các nghiên cứu mới sẽ tiếp tục cải thiện các phương pháp gán nhãn hiện tại.

5.2. Thách Thức Cần Đối Mặt

Mặc dù có nhiều tiến bộ, vẫn còn nhiều thách thức trong việc gán nhãn từ loại, đặc biệt là trong các ngôn ngữ có cấu trúc phức tạp như tiếng Việt. Cần có thêm nghiên cứu để phát triển các phương pháp gán nhãn phù hợp.

Trích đoạn nội dung tài liệu

Gán nhãn từ loại Lê Thanh Hương Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: [e-mail] 1 Định nghĩa ⚫ Gán nhãn từ loại (Part of Speech tagging - POS tagging): mỗi từ trong câu được gán nhãn thẻ từ loại tương ứng của nó ⚫ Vào : 1 đoạn văn bản đã tách từ + tập nhãn ⚫ Ra: cách gán nhãn chính xác nhất Ví dụ 1 Ví dụ 2 Ví dụ 3 Ví dụ 4 Ví dụ 5 ➢ Gán nhãn làm cho việc phân tích văn bản dễ dàng hơn 2 Tại sao cần gán nhãn? ⚫ Dễ thực hiện: có thể thực hiện bằng nhiều phương pháp khác nhau ⚫ Các phương pháp sử dụng ngữ cảnh có thể đem lại kết quả tốt ⚫ Mặc dù nên thực hiện bằng phân tích văn bản ⚫ Các ứng dụng: ⚫ Text-to-speech: record - N: [‘reko:d], V: [ri’ko:d]; lead – N [led], V: [li:d] ⚫ Tiền xử lý cho PTCP. PTCP thực hiện việc gán nhãn tốt hơn nhưng đắt hơn ⚫ Nhận dạng tiếng nói, PTCP, tìm kiếm, v.v… ⚫ Dễ đánh giá (có bao nhiêu thẻ được gán nhãn đúng?) 3 Tập từ loại tiếng Anh ⚫ Lớp đóng (các từ chức năng): số lượng cố định ⚫ Giới từ (Prepositions): on, under, over,… ⚫ Tiểu từ (Particles): abroad, about, around, before, in, instead, since, without,… ⚫ Mạo từ (Articles): a, an, the ⚫ Liên từ (Conjunctions): and, or, but, that,… ⚫ Đại từ (Pronouns): you, me, I, your, what, who,… ⚫ Trợ động từ (Auxiliary verbs): can, will, may, should,… ⚫ Lớp mở: có thể có thêm từ mới 4 Lớp từ mở trong tiếng Anh Proper nouns: IBM, Colorado nouns count nouns: book, ticket common nouns mass nouns: snow, salt auxiliaries verbs. open class Color: red, white adjectives Age: old, young Value: good, bad Locatives adverbs: home, here, downhill Degree adverbs: extremely, very, somewhat adverbs Manner adverbs: slowly, delicately Temporal adverbs: yesterday, Monday 5 Tập nhãn cho tiếng Anh ⚫ tập ngữ liệu Brown: 87 nhãn ⚫ 3 tập thường được sử dụng: ➢ Nhỏ: 45 nhãn - Penn treebank (slide sau) ➢ Trung bình: 61 nhãn, British national corpus ➢ Lớn: 146 nhãn, C7 6 7 I know that blocks the sun. He always books the violin concert tickets early.

8 He says that book is interesting. Penn Treebank – ví dụ ⚫ The grand jury commented on a number of other topics.  The/DT grand/JJ jury/NN commented/VBD on/IN a/DT number/NN of/IN other/JJ topics/NNS. 9 Khó khăn trong gán nhãn từ loại? … là xử lý nhập nhằng 10 Các phương pháp gán nhãn từ loại ⚫ Dựa trên xác suất: dựa trên xác suất lớn nhất, dựa trên mô hình Markov ẩn (hidden markov model – HMM) Pr (Det-N) > Pr (Det-Det) ⚫ Dựa trên luật If <mẫu> Then … <gán nhãn thẻ từ loại> 11 Các cách tiếp cận ⚫ Sử dụng HMM : “Sử dụng tất cả thông tin đã có và đoán” ⚫ Dựa trên ràng buộc ngữ pháp: “không đoán, chỉ loại trừ những khả năng sai” ⚫ Dựa trên chuyển đổi: “Đoán trước, sau đó có thể thay đổi” 12 Gán nhãn dựa trên xác suất Cho câu hoặc 1 xâu các từ, gán nhãn từ loại thường xảy ra nhất cho các từ trong xâu đó.

Cách thực hiện: ⚫ Hidden Markov model (HMM): Chọn thẻ từ loại làm tối đa xác suất: P(từ|từ loại)•P(từ loại| n từ loại phía trước) The/DT grand/JJ jury/NN commented/VBD on/IN a/DT number/NN of/IN other/JJ topics/NNS. Secretariat/NNP is/VBZ expected/VBN to/TO race/VB tomorrow/NN 2. People/NNS continue/VBP to/TO inquire/VB the/DT reason/NN for/IN the/DT race/NN for/IN outer/JJ space/NN ⚫ Không thể đánh giá bằng cách chỉ đếm từ trong tập ngữ liệu (và chuẩn hóa) ⚫ Muốn 1 động từ theo sau TO nhiều hơn 1 danh từ (to race, to walk). Nhưng 1 danh từ cũng có thể theo sau TO (run to school) 16 Giả sử chúng ta có tất cả các từ loại trừ từ race ⚫ Chỉ nhìn vào từ đứng trước(bigram): to/TO race/??? NN or VB? the/DT race/??? ⚫ Áp dụng (2): ti = argmaxj P(tj | ti-1 )P(wi | tj ) ⚫ Chọn thẻ có xác suất lớn hơn giữa 2 xác suất: P(VB|TO)P(race|VB) hoặc P(NN|TO)P(race|NN) xác suất của 1 từ là race khi biết từ loại là VB.

17 I/PP know/VBP that/WDT block/NN blocks/NNS?VBZ? the/DT sun/NN. Tính xác suất Xét P(VB|TO) và P(NN|TO) ⚫ Từ tập ngữ liệu Brown P(NN|TO)= .000007 ➢ race cần phải là động từ nếu đi sau “TO” 18 Bài tập ti = argmaxj P(tj | ti-1 )P(wi | tj ) ⚫ I know that blocks the sun. ⚫ He always books the violin concert tickets early. ⚫ He says that book is interesting.

⚫ I/PP know/VBP that/WDT blocks/NNS block/VBP the/DT sun/NN. ⚫ I/PP know/VBP that/WDT blocks/VBZ the/DT sun/NN. ⚫ He/PP always/RB books/VBZ the/DT violin/NN concert/NN tickets/NNS early/RB. ⚫ He/PP says/VBZ that/WDT book/NN is/VBZ interesting/JJ.

⚫ I know that block blocks the sun. ⚫ I/PP know/VBP that/DT block/NN blocks/NNS?VBZ? the/DT sun/NN. 19 ⚫ I/PP know/VBP that/WDT block/NN blocks/VBZ the/DT sun/NN. Mô hình đầy đủ ⚫ Chúng ta cần tìm chuỗi thẻ tốt nhất cho toàn xâu ⚫ Cho xâu từ W, cần tính chuỗi từ loại có xác suất lớn nhất T=t1, t2 ,…, tn hoặc, Tˆ = arg max P(T | W ) T  (nguyên lý Bayes) 20 Mở rộng sử dụng luật chuỗi P(A,B) = P(A|B)P(B) = P(B|A)P(A) P(A,B,C) = P(B,C|A)P(A) = P(C|A,B)P(B|A)P(A) = P(A)P(B|A)P(C|A,B) P(A,B,C,D…) = P(A)P(B|A)P(C|A,B)P(D|A,B,C.wi −1ti −1ti ) P (ti |w1t1.wi −1ti −1 ) i =1 pr từ lịch sử nhãn 21 Giả thiết trigram ⚫ Xác suất 1 từ chỉ phụ thuộc vào nhãn của nó P( wi | w1t 1.ti −1ti ) = P( wi | ti ) ⚫ Ta lấy lịch sử nhãn thông qua 2 nhãn gần nhất (trigram: 2 nhãn gần nhất + nhãn hiện tại) P(ti | w1t 1.

Tại mỗi bước, chọn k giá trị tốt nhất ( ). Mỗi giá trị trong k giá trị này ứng với 1 khả năng kết hợp nhãn của tất cả các từ 2. Khi gán từ tiếp theo, tính lại xác suất. Quay lại bước 1 ⚫ Ưu: nhanh (không cần kiểm tra tất cả các khả năng kết hợp, chỉ k cái tiềm năng nhất) ⚫ Nhược: có thể không trả về kết quả tốt nhất mà chỉ chấp nhận được 27 Độ chính xác ⚫ > 96% ⚫ Cách đơn giản nhất? 90% ⚫ Gán mỗi từ với từ loại thường xuyên nhất của nó ⚫ Gán từ chưa biết = danh từ ⚫ Người: 97%+/- 3%; nếu có thảo luận: 100% 28 Cách tiếp cận thứ 2: gán nhãn dựa trên chuyển đổi Transformation-based Learning (TBL): ⚫ Kết hợp cách tiếp cận dựa trên luật và cách tiếp cận xác suất: sử dụng học máy để chỉnh lại thẻ thông qua vài lần duyệt ⚫ Gán nhãn sử dụng tập luật tổng quát nhất, sau đó đến tập luật hẹp hơn, thay đổi một số nhãn, và tiếp tục 29 Transformation-based painting 30 Transformation-based painting 31 Transformation-based painting 32 Transformation-based painting 33 Transformation-based painting 34 Transformation-based painting 35 Ví dụ với TBL 36 Ví dụ với TBL 1.

Gán mọi từ với nhãn thường xuất hiện nhất (thường độ chính xác khoảng 90% ). Từ tập ngữ liệu Brown: P(NN|race)= 0. …expected/VBZ to/ TO race/VB race/NN tomorrow/NN …the/DT race/NN for/IN outer/JJ space/NN 3. Sử dụng luật chuyển đổi: Thay NN bằng VB khi thẻ trước đó là TO pos: ‘NN’>’VB’  pos: ‘TO’ @[-1] o 37 Luật gán nhãn từ loại 38 Luật gán nhãn từ loại 39 Học luật TB trong hệ thống TBL 40 Các tập ngữ liệu ⚫ Tập huấn luyện w0 w1 w2 w3 w4 w5 w6 w7 w8 w9 w10 ⚫ Tập ngữ liệu hiện tại (CC 1) dt vb nn dt vb kn dt vb ab dt vb ⚫ Tập ngữ liệu tham khảo dt nn vb dt nn kn dt jj kn dt nn 41 Khuôn dạng cho luật gán nhãn từ loại ⚫ Trong TBL, chỉ các luật thỏa khuôn dạng mới được học.

⚫ Ví dụ: các luật tag:'VB'>'NN'  tag:'DT'@[-1]. tag:’NN’>’VB'  tag:'DT'@[-1]. thỏa khuôn dạng tag:A>B  tag:C@[-1]. ⚫ Có thể tạo khuôn dạng sử dụng các biến vô danh tag:_>_  tag:_@[-1].

42 Học luật TB trong hệ thống TBL 43 Điểm, độ chính xác, ngưỡng ⚫ Điểm của 1 luật: score(R) = |pos(R)| - |neg(R)| ⚫ Độ chính xác: ⚫ Threshold: ngưỡng mà độ chính xác của 1 luật cần vượt qua để có thể được lựa chọn. ⚫ Trong TBL, ngưỡng của độ chính xác thường < 0. 44 Sinh và tính điểm cho luật ứng viên 1 ⚫ Template = tag:_>_  tag:_@[-1] ⚫ R1 = tag:vb>nn  tag:dt@[-1] ⚫ pos(R1) = 3 ⚫ neg(R1) = 1 ⚫ score(R1) = pos(R1) - neg(R1) = 3-1 = 2 45 Sinh và tính điểm cho luật ứng viên 2 ⚫ Template = tag:_>_  tag:_@[-1] ⚫ R2 = tag:nn>vb  tag:vb@[-1] ⚫ pos(R2) = 1 ⚫ neg(R2) = 0 ⚫ score(R2) = pos(R2) - neg(R2) = 1-0 = 1 46 Học luật TB trong hệ thống TBL 47 Chọn luật tốt nhất ⚫ Thứ hạng hiện tại của luật ứng viên R1 = tag:vb>nn  tag:dt@[-1] Score = 2 R2 = tag:nn>vb  tag:vb@[-1] Score = 1 … ⚫ Nếu score threshold =< 2 thì chọn R1 ⚫ ngược lại nếu score threshold > 2, dừng 48 Tối ưu hóa việc chọn luật tốt nhất ⚫ Giảm dư thừa luật: chỉ sinh các luật ứng viên phù hợp ít nhất với 1 dữ liệu trong tập luyện. ⚫ Đánh giá tăng cường: ⚫ Lưu vết của các luật ứng viên tốt nhất ⚫ Bỏ qua các luật phù hợp với số lượng mẫu < score của luật tốt nhất 49 Ưu điểm của TBL ⚫ Luật có thể được tạo thủ công ⚫ Luật dễ hiểu và logic ⚫ Dễ cài đặt ⚫ Có thể chạy rất nhanh (nhưng cài đặt thì phức tạp) 50