Gán Nhãn Từ Loại: Tại Sao và Cách Thực Hiện

Khám phá 4 vị trí tuyệt vời để thưởng thức ẩm thực Việt Nam, từ món ăn đường phố đến nhà hàng sang trọng, mang đến trải nghiệm độc đáo.

• Tác giả: Lê Thanh Hương
• Trường học: Trường Đhbkhn
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Gán Nhãn Từ Loại
• Loại tài liệu: Bài giảng
• Địa điểm: Hà Nội

Mục lục chi tiết

• 1. 1. Định nghĩa
• 2. 2. Tại sao cần gán nhãn?
• 3. 3. Tập từ loại tiếng Anh
• 4. 4. Lớp từ mở trong tiếng Anh
• 5. 5. Tập nhãn cho tiếng Anh
• 6. 6. Ví dụ
• 7. 7. Khó khăn trong gán nhãn từ loại?
• 8. 8. Các phương pháp gán nhãn từ loại
• 9. 9. Các cách tiếp cận
• 10. 10. Gán nhãn dựa trên xác suất
• 11. 11. Gán nhãn dựa trên xác suất (tiếp tục)
• 12. 12. Gán nhãn dựa trên xác suất (tiếp tục)
• 16. 16. Giả sử chúng ta có tất cả các từ loại trừ từ race
• 17. 17. Xét xác suất
• 18. 18. Bài tập ti = argmaxj P(tj | ti-1 )P(wi | tj )
• 19. 19. Mô hình đầy đủ
• 20. 20. Mở rộng sử dụng luật chuỗi
• 21. 21. Giả thiết trigram
• 27. 27. Độ chính xác
• 28. 28. Cách tiếp cận thứ 2: gán nhãn dựa trên chuyển đổi Transformation-based Learning (TBL)
• 29. 29. Transformation-based painting
• 30. 30. Transformation-based painting (tiếp tục)
• 31. 31. Transformation-based painting (tiếp tục)
• 32. 32. Transformation-based painting (tiếp tục)
• 33. 33. Transformation-based painting (tiếp tục)
• 34. 34. Transformation-based painting (tiếp tục)
• 35. 35. Ví dụ với TBL
• 36. 36. Ví dụ với TBL (tiếp tục)
• 37. 37. Luật gán nhãn từ loại
• 38. 38. Luật gán nhãn từ loại (tiếp tục)
• 39. 39. Học luật TB trong hệ thống TBL
• 40. 40. Các tập ngữ liệu
• 41. 41. Khuôn dạng cho luật gán nhãn từ loại
• 42. 42. Học luật TB trong hệ thống TBL (tiếp tục)
• 43. 43. Điểm, độ chính xác, ngưỡng
• 44. 44. Sinh và tính điểm cho luật ứng viên 1
• 45. 45. Sinh và tính điểm cho luật ứng viên 2
• 46. 46. Học luật TB trong hệ thống TBL (tiếp tục)
• 47. 47. Chọn luật tốt nhất
• 48. 48. Tối ưu hóa việc chọn luật tốt nhất
• 49. 49. Ưu điểm của TBL
• 50. 50. Kết thúc

Tóm tắt

I. Giới thiệu về Gán Nhãn Từ Loại Tại Sao và Cách Thực Hiện

Gán nhãn từ loại (Part of Speech tagging - POS tagging) là một kỹ thuật quan trọng trong xử lý ngôn ngữ tự nhiên (NLP). Kỹ thuật này giúp xác định và gán nhãn cho mỗi từ trong một câu với loại từ tương ứng của nó, như danh từ, động từ, tính từ, v.v. Việc gán nhãn này không chỉ giúp phân tích văn bản dễ dàng hơn mà còn là bước quan trọng trong nhiều ứng dụng như nhận dạng tiếng nói, tìm kiếm thông tin và phân tích cảm xúc.

1.1. Định Nghĩa Gán Nhãn Từ Loại

Gán nhãn từ loại là quá trình gán nhãn cho mỗi từ trong một đoạn văn bản với loại từ tương ứng. Quá trình này thường bắt đầu với một đoạn văn bản đã được tách từ và một tập nhãn. Kết quả đầu ra là cách gán nhãn chính xác nhất cho từng từ trong văn bản.

1.2. Lợi Ích Của Gán Nhãn Từ Loại

Gán nhãn từ loại giúp cải thiện độ chính xác trong phân tích văn bản. Nó cho phép các hệ thống hiểu rõ hơn về ngữ nghĩa của câu, từ đó nâng cao hiệu quả trong các ứng dụng như tìm kiếm thông tin và phân tích ngữ nghĩa.

II. Tại Sao Cần Gán Nhãn Từ Loại Trong NLP

Gán nhãn từ loại là một bước quan trọng trong xử lý ngôn ngữ tự nhiên. Việc gán nhãn giúp cải thiện độ chính xác của các mô hình học máy và cho phép các ứng dụng như nhận dạng tiếng nói hoạt động hiệu quả hơn. Ngoài ra, gán nhãn từ loại còn giúp dễ dàng đánh giá chất lượng của các mô hình NLP.

2.1. Các Vấn Đề Khi Không Gán Nhãn Từ Loại

Nếu không thực hiện gán nhãn từ loại, các mô hình NLP có thể gặp khó khăn trong việc phân tích ngữ nghĩa của câu. Điều này có thể dẫn đến việc hiểu sai thông tin và giảm hiệu quả của các ứng dụng.

2.2. Các Ứng Dụng Của Gán Nhãn Từ Loại

Gán nhãn từ loại có nhiều ứng dụng thực tiễn, bao gồm nhận dạng tiếng nói, phân tích cảm xúc, và tìm kiếm thông tin. Những ứng dụng này đều yêu cầu độ chính xác cao trong việc phân tích ngữ nghĩa của văn bản.

III. Các Phương Pháp Gán Nhãn Từ Loại Hiệu Quả

Có nhiều phương pháp khác nhau để thực hiện gán nhãn từ loại, bao gồm các phương pháp dựa trên xác suất, luật, và học máy. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào ngữ cảnh và yêu cầu cụ thể của bài toán.

3.1. Phương Pháp Dựa Trên Xác Suất

Phương pháp này sử dụng các mô hình xác suất, như mô hình Markov ẩn (HMM), để gán nhãn cho các từ trong câu. Phương pháp này thường cho kết quả chính xác cao nhưng yêu cầu nhiều dữ liệu huấn luyện.

3.2. Phương Pháp Dựa Trên Luật

Phương pháp này sử dụng các quy tắc ngữ pháp để gán nhãn cho các từ. Mặc dù đơn giản và dễ hiểu, phương pháp này có thể không đạt được độ chính xác cao như các phương pháp dựa trên xác suất.

3.3. Học Máy Trong Gán Nhãn Từ Loại

Sử dụng các thuật toán học máy để cải thiện độ chính xác của việc gán nhãn từ loại. Các mô hình như mạng nơ-ron có thể học từ dữ liệu và cải thiện khả năng gán nhãn theo thời gian.

IV. Ứng Dụng Thực Tiễn Của Gán Nhãn Từ Loại

Gán nhãn từ loại có nhiều ứng dụng trong thực tiễn, từ nhận dạng tiếng nói đến phân tích văn bản. Những ứng dụng này không chỉ giúp cải thiện trải nghiệm người dùng mà còn nâng cao hiệu quả của các hệ thống thông tin.

4.1. Nhận Dạng Tiếng Nói

Trong nhận dạng tiếng nói, gán nhãn từ loại giúp hệ thống hiểu rõ hơn về ngữ nghĩa của các từ, từ đó cải thiện độ chính xác trong việc chuyển đổi giọng nói thành văn bản.

4.2. Phân Tích Cảm Xúc

Gán nhãn từ loại cũng được sử dụng trong phân tích cảm xúc, giúp xác định cảm xúc của người viết thông qua việc phân tích ngữ nghĩa của các từ trong văn bản.

V. Kết Luận Về Gán Nhãn Từ Loại

Gán nhãn từ loại là một kỹ thuật quan trọng trong xử lý ngôn ngữ tự nhiên, giúp cải thiện độ chính xác của các mô hình NLP. Việc áp dụng các phương pháp gán nhãn hiệu quả có thể mang lại nhiều lợi ích cho các ứng dụng thực tiễn.

5.1. Tương Lai Của Gán Nhãn Từ Loại

Với sự phát triển của công nghệ học máy và trí tuệ nhân tạo, gán nhãn từ loại sẽ ngày càng trở nên chính xác và hiệu quả hơn. Các nghiên cứu mới sẽ tiếp tục cải thiện các phương pháp gán nhãn hiện tại.

5.2. Thách Thức Cần Đối Mặt

Mặc dù có nhiều tiến bộ, vẫn còn nhiều thách thức trong việc gán nhãn từ loại, đặc biệt là trong các ngôn ngữ có cấu trúc phức tạp như tiếng Việt. Cần có thêm nghiên cứu để phát triển các phương pháp gán nhãn phù hợp.

Nội dung chính

TỔNG QUAN HỌC THUẬT VÀ NỘI DUNG GIẢNG DẠY CHUYÊN ĐỀ GÁN NHÃN TỪ LOẠI (PART-OF-SPEECH TAGGING)

---

Tổng quan về giáo trình (250-300 từ)

Tài liệu bài giảng chuyên đề "Gán nhãn từ loại" (Part of Speech Tagging - POS Tagging) được biên soạn bởi PGS.TS Lê Thanh Hương, công tác tại Bộ môn Hệ thống Thông tin, Viện Công nghệ Thông tin và Truyền thông – Trường Đại học Bách khoa Hà Nội (email: [e-mail]). Trong chương trình đào tạo kỹ sư và cử nhân ngành Công nghệ Thông tin, Hệ thống Thông tin và Khoa học Máy tính, bài giảng này đóng vai trò là một học phần chuyên đề quan trọng thuộc lĩnh vực Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing - NLP) và Khai phá Văn bản.

Mục tiêu học tập (Learning Outcomes) của tài liệu tập trung vào việc trang bị cho người học:

• Định nghĩa chuẩn tắc về bài toán POS Tagging: xác định đầu vào là văn bản đã tách từ kèm tập nhãn, đầu ra là chuỗi gán nhãn có độ chính xác cao nhất.
• Khả năng phân loại và nhận diện các cấu trúc từ loại tiếng Anh theo hệ thống lớp đóng (closed class) và lớp mở (open class).
• Bản chất toán học của mô hình Markov ẩn (Hidden Markov Model - HMM), nguyên lý Bayes và thuật toán tìm kiếm chùm (Beam Search).
• Cơ chế vận hành của phương pháp học dựa trên chuyển đổi (Transformation-Based Learning - TBL), bao gồm khuôn dạng luật, hàm tính điểm và kỹ thuật tối ưu hóa chọn luật.

Tài liệu tiếp cận vấn đề theo cấu trúc tịnh tiến: đi từ cơ sở ngôn ngữ học, nêu bật thách thức nhập nhằng từ vựng, mô hình hóa toán học xác suất, đến thiết kế thuật toán học máy sinh luật biểu diễn tri thức. Điểm đặc sắc của bài giảng nằm ở hệ thống ngữ liệu thực tế (Penn Treebank, Brown Corpus), các ví dụ phân tích đa nghĩa cụ thể và công thức giải thuật chi tiết.

---

Nội dung kiến thức cốt lõi (500-600 từ)

Các chương/chủ đề chính

Nội dung tài liệu được tổ chức thành 6 chủ đề tuần tự:

1. Khái niệm và vai trò của POS Tagging: Định nghĩa bài toán gán nhãn; phân tích lý do cần gán nhãn như một bước tiền xử lý bắt buộc, giảm độ phức tạp cho phân tích cú pháp (PTCP) và hỗ trợ các hệ thống hạ nguồn.
2. Hệ thống từ loại và tập nhãn tiếng Anh: Phân loại từ vựng thành lớp đóng (giới từ, tiểu từ, mạo từ, liên từ, đại từ, trợ động từ) và lớp mở (danh từ riêng, danh từ chung đếm được/không đếm được, động từ, tính từ, phó từ). Giới thiệu các bộ nhãn tiêu chuẩn: Penn Treebank (45 nhãn), British National Corpus (61 nhãn), Brown Corpus (87 nhãn) và C7 (146 nhãn).
3. Thách thức nhập nhằng (Ambiguity) và phân loại tiếp cận: Phân tích hiện tượng đa nghĩa từ loại (ví dụ: book, race, blocks); phân định 3 trường phái xử lý: Dựa trên xác suất ("sử dụng tất cả thông tin đã có và đoán"), Dựa trên ràng buộc ngữ pháp ("loại trừ khả năng sai"), và Dựa trên chuyển đổi ("đoán trước, sau đó chỉnh sửa").
4. Phương pháp gán nhãn dựa trên xác suất (HMM & Giải thuật Beam Search): Xây dựng công thức Bayes toàn cục; phân rã xác suất chuỗi qua giả thiết Markov (Bigram, Trigram); kết hợp xác suất phát xạ $P(\text{từ}|\text{từ loại})$ và xác suất chuyển trạng thái $P(\text{từ loại}|\text{từ loại trước})$; triển khai giải thuật Beam Search chọn $k$ giá trị tốt nhất để tối ưu thời gian tính toán.
5. Phương pháp học dựa trên chuyển đổi (Transformation-Based Learning - TBL): Kết hợp học máy và hệ luật; quy trình gán nhãn ban đầu theo tần suất (độ chính xác cơ sở đạt ~90%), sau đó duyệt qua tập luật từ tổng quát đến chi tiết để hiệu chỉnh nhãn.
6. Học luật trong TBL, hàm mục tiêu và tối ưu hóa: Định nghĩa khuôn dạng luật (template), hàm tính điểm luật $score(R) = |pos(R)| - |neg(R)|$; thiết lập ngưỡng lựa chọn (threshold) và kỹ thuật tối ưu giảm dư thừa, đánh giá tăng cường.

Kiến thức nền tảng được xây dựng

• Lý thuyết xác suất thống kê: Định lý Bayes, luật nhân chuỗi xác suất (Chain rule), xác suất đồng thời và xác suất có điều kiện.
• Mô hình chuỗi Markov: Giả thiết độc lập có điều kiện, mô hình Bigram ($P(t_i|t_{i-1})$) và Trigram ($P(t_i|t_{i-2}, t_{i-1})$), ma trận chuyển trạng thái và ma trận phát xạ.
• Ngôn ngữ học hình thức: Cấu trúc từ loại, phân biệt từ chức năng (lớp đóng) và từ mang nghĩa từ vựng (lớp mở), ngữ cảnh phân bố của từ trong câu.
• Học máy dựa trên luật (Rule-based Machine Learning): Học quy nạp các phép biến đổi nhãn trên các tập dữ liệu huấn luyện (training corpus), tập hiện tại và tập tham khảo (gold standard/reference corpus).

Kỹ năng phát triển

• Kỹ năng kỹ thuật (Technical skills): Tính toán ma trận xác suất chuyển trạng thái và phát xạ từ tập ngữ liệu thực nghiệm; triển khai giải thuật tìm kiếm Beam Search; lập trình bộ sinh mẫu luật TBL (template) dạng tag:_>_ tag:_@[-1].
• Kỹ năng phân tích (Analytical skills): Phân tích ngữ cảnh giải quyết nhập nhằng từ loại (ví dụ: xác định race là động từ VB hay danh từ NN khi đứng sau tiểu từ TO hoặc mạo từ DT); đánh giá hiệu năng phân loại dựa trên điểm số luật ($score$) và ngưỡng lọc ($threshold$).
• Năng lực thực hành (Practical competencies): Ứng dụng gán nhãn vào tiền xử lý hệ thống Tổng hợp tiếng nói (Text-to-Speech), hỗ trợ phân biệt cách phát âm của các từ đồng đồ thị khác từ loại (như danh từ record ['reko:d] đối chiếu động từ record [ri'ko:d]; lead [led] đối chiếu [li:d]), tiền xử lý cho bài toán phân tích cú pháp (PTCP).

---

Phương pháp giảng dạy và học tập (300-350 từ)

Phương pháp sư phạm của tài liệu kết hợp giữa diễn giải hình thức toán học và phân tích ngữ liệu thực nghiệm. Kiến thức lý thuyết về xác suất được liên kết trực tiếp với các hiện tượng ngôn ngữ thực tế thông qua các bước tính toán tường minh.

Hệ thống ví dụ minh họa và ca nghiên cứu (case studies) được xây dựng xuyên suốt bài giảng:

• Phân tích cú pháp mẫu câu Penn Treebank: "The/DT grand/JJ jury/NN commented/VBD on/IN a/DT number/NN of/IN other/JJ topics/NNS ."
• Khảo sát nhập nhằng từ loại trong chuỗi câu: "I know that blocks the sun", "He always books the violin concert tickets early", "He says that book is interesting", "I know that block blocks the sun".
• Đánh giá xác suất ngữ cảnh thực tế từ ngữ liệu Brown: Tính toán xác suất $P(NN|TO) = 0.000007$ để minh chứng lý do từ race phải được gán nhãn động từ VB khi đứng sau TO trong câu "Secretariat is expected to race tomorrow", so với nhãn danh từ NN trong "the reason for the race for outer space".

Ví dụ cấu trúc mẫu luật chuyển đổi trong TBL:
Template: tag:_ > _  tag:_@[-1]
Áp dụng:  pos: 'NN' > 'VB' khi pos: 'TO' @ [-1]

Phương pháp đánh giá học tập dựa trên việc kiểm chứng định lượng:

• So sánh độ chính xác của mô hình xác suất ($>96%$) và baseline gán nhãn mặc định ($90%$) so với chuẩn người gán nhãn ($97% \pm 3%$, hoặc $100%$ khi có thảo luận).
• Đánh giá khả năng sinh luật thông qua hàm mục tiêu: $$\text{score}(R) = |\text{pos}(R)| - |\text{neg}(R)|$$
• Hướng dẫn tự học: Sinh viên thực hiện tính tay chuỗi xác suất n-gram trên các ngữ liệu nhỏ, mô phỏng quá trình chuyển đổi nhãn qua từng lượt quét của thuật toán TBL, và thiết lập điều kiện dừng dựa trên ngưỡng điểm $score \le threshold$.

---

Điểm nổi bật và cập nhật (250-300 từ)

Tài liệu cung cấp góc nhìn phân tích so sánh giữa phương pháp thống kê truyền thống và phương pháp học máy chuyển đổi:

• So sánh hiệu năng chuẩn xác: Phân tích sự chênh lệch hiệu quả giữa phương pháp cơ sở (gán nhãn thường gặp nhất đạt độ chính xác $90%$) với mô hình Markov ẩn và TBL (đạt trên $96%$).
• Tích hợp các chuẩn ngữ liệu quốc tế: Hệ thống hóa chi tiết 4 bộ nhãn phổ biến trong nghiên cứu ngôn ngữ học tính toán: Penn Treebank (45 nhãn), British National Corpus (61 nhãn), Brown Corpus (87 nhãn), và C7 (146 nhãn).
• Ứng dụng thực tiễn trong công nghiệp: Chỉ rõ ứng dụng của POS Tagging trong:
  • Hệ thống Text-to-Speech: Xử lý biến đổi ngữ âm theo từ loại (ví dụ: record, lead).
  • Tiền xử lý cho phân tích cú pháp (PTCP): Giúp giảm thiểu chi phí tính toán cho các mô hình cú pháp phức tạp.
  • Nhận dạng tiếng nói và công cụ tìm kiếm thông tin văn bản.
• Kỹ thuật tối ưu hóa thuật toán: Giới thiệu các giải pháp kỹ thuật cụ thể nhằm nâng cao hiệu năng thực thi:
  • Sử dụng thuật toán Beam Search để cắt tỉa nhánh tìm kiếm trong mô hình xác suất.
  • Giảm dư thừa luật trong TBL (chỉ sinh các luật khớp tối thiểu một mẫu dữ liệu luyện).
  • Kỹ thuật đánh giá tăng cường (lưu vết ứng viên tốt nhất và bỏ qua các luật có số mẫu nhỏ hơn điểm số hiện tại).

---

Đối tượng sử dụng giáo trình (200-250 từ)

Tài liệu được thiết kế phục vụ các nhóm đối tượng cụ thể trong môi trường học thuật và nghiên cứu:

• Sinh viên đại học và học viên cao học: Dành cho sinh viên năm thứ 3, năm thứ 4 hoặc học viên sau đại học thuộc các ngành Công nghệ Thông tin, Hệ thống Thông tin, Khoa học Máy tính và Ngôn ngữ học tính toán.
• Kiến thức tiên quyết (Prerequisites): Người học cần có kiến thức nền tảng về:
  • Xác suất thống kê (định lý Bayes, xác suất có điều kiện).
  • Cấu trúc dữ liệu và giải thuật cơ bản (tìm kiếm trên đồ thị, quy hoạch động).
  • Ngữ pháp tiếng Anh cơ bản (phân biệt danh từ, động từ, tính từ, giới từ, mạo từ).
• Giảng viên: Sử dụng làm đề cương bài giảng, tài liệu hướng dẫn thực hành chuyên đề NLP, làm căn cứ xây dựng bài tập lớn (triển khai thuật toán TBL/HMM) và đề thi đánh giá kiến thức.
• Tự học và nghiên cứu: Cung cấp tài liệu tham khảo kỹ thuật cho các kỹ sư phát triển giải pháp xử lý văn bản, xây dựng các module tiền xử lý dữ liệu cho các ứng dụng ngôn ngữ tự nhiên.

---

Câu hỏi thường gặp (250-300 từ)

1. Giáo trình này phù hợp với ai?

Tài liệu được biên soạn cho sinh viên, học viên cao học chuyên ngành CNTT, Hệ thống Thông tin, Khoa học Máy tính và các kỹ sư phát triển ứng dụng Xử lý Ngôn ngữ Tự nhiên cần nắm vững lý thuyết và thuật toán gán nhãn từ loại.

2. Cần kiến thức nền nào để học?

Người học cần nắm vững kiến thức về Xác suất Thống kê (đặc biệt là công thức Bayes và phân phối xác suất có điều kiện), cấu trúc dữ liệu - giải thuật, và kiến thức ngữ pháp hình thái tiếng Anh cơ bản.

3. Điểm khác biệt giữa hai cách tiếp cận HMM và TBL trong bài giảng là gì?

Phương pháp HMM dựa trên mô hình xác suất toán học (kết hợp xác suất phát xạ và xác suất chuyển trạng thái $n$-gram), trong khi TBL (Transformation-Based Learning) khởi tạo nhãn ban đầu theo tần suất rồi sử dụng học máy để sinh và áp dụng các luật chuyển đổi tuần tự nhằm sửa lỗi.

4. Làm sao để tự học hiệu quả các thuật toán trong tài liệu?

Người học nên kết hợp giải các bài tập tính xác suất n-gram bằng tay dựa trên số liệu phân bổ của Brown Corpus, mô phỏng từng bước thuật toán Beam Search, và tự cài đặt bộ sinh - chấm điểm luật TBL dựa trên các mẫu template.

5. Có tài liệu bổ trợ và tập ngữ liệu chuẩn nào kèm theo?

Tài liệu dẫn chiếu trực tiếp đến các bộ ngữ liệu chuẩn quốc tế gồm Penn Treebank (45 nhãn), Brown Corpus (87 nhãn), British National Corpus (61 nhãn) và C7 (146 nhãn), phục vụ việc tra cứu và thực nghiệm mô hình.

---

Kết luận (150 từ)

Tài liệu bài giảng chuyên đề "Gán nhãn từ loại" của PGS.TS Lê Thanh Hương (Viện CNTT&TT – ĐHBKHN) hệ thống hóa toàn diện cơ sở lý thuyết và phương pháp giải quyết bài toán POS Tagging trong xử lý ngôn ngữ tự nhiên. Giá trị cốt lõi của tài liệu thể hiện qua việc tích hợp chặt chẽ giữa ngôn ngữ học hình thức, mô hình xác suất Markov ẩn và thuật toán học chuyển đổi TBL kèm các kỹ thuật tối ưu hóa tính toán.

Lộ trình tiếp cận kiến thức đề xuất cho người học bao gồm:

1. Nắm vững phân loại từ loại và hệ thống tập nhãn chuẩn.
2. Thiết lập mô hình xác suất Bayes, chuỗi Markov và giải thuật Beam Search.
3. Làm chủ thuật toán sinh luật, tính điểm và tối ưu hóa hệ thống TBL.

Tài liệu liên kết trực tiếp với các nguồn ngữ liệu thực nghiệm tiêu chuẩn như Brown Corpus và Penn Treebank, làm nền tảng cho việc nghiên cứu và phát triển các hệ thống xử lý văn bản chuyên sâu.

Trích đoạn nội dung tài liệu

Gán nhãn từ loại Lê Thanh Hương Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: [e-mail] 1 Định nghĩa ⚫ Gán nhãn từ loại (Part of Speech tagging - POS tagging): mỗi từ trong câu được gán nhãn thẻ từ loại tương ứng của nó ⚫ Vào : 1 đoạn văn bản đã tách từ + tập nhãn ⚫ Ra: cách gán nhãn chính xác nhất Ví dụ 1 Ví dụ 2 Ví dụ 3 Ví dụ 4 Ví dụ 5 ➢ Gán nhãn làm cho việc phân tích văn bản dễ dàng hơn 2 Tại sao cần gán nhãn? ⚫ Dễ thực hiện: có thể thực hiện bằng nhiều phương pháp khác nhau ⚫ Các phương pháp sử dụng ngữ cảnh có thể đem lại kết quả tốt ⚫ Mặc dù nên thực hiện bằng phân tích văn bản ⚫ Các ứng dụng: ⚫ Text-to-speech: record - N: [‘reko:d], V: [ri’ko:d]; lead – N [led], V: [li:d] ⚫ Tiền xử lý cho PTCP. PTCP thực hiện việc gán nhãn tốt hơn nhưng đắt hơn ⚫ Nhận dạng tiếng nói, PTCP, tìm kiếm, v.v… ⚫ Dễ đánh giá (có bao nhiêu thẻ được gán nhãn đúng?) 3 Tập từ loại tiếng Anh ⚫ Lớp đóng (các từ chức năng): số lượng cố định ⚫ Giới từ (Prepositions): on, under, over,… ⚫ Tiểu từ (Particles): abroad, about, around, before, in, instead, since, without,… ⚫ Mạo từ (Articles): a, an, the ⚫ Liên từ (Conjunctions): and, or, but, that,… ⚫ Đại từ (Pronouns): you, me, I, your, what, who,… ⚫ Trợ động từ (Auxiliary verbs): can, will, may, should,… ⚫ Lớp mở: có thể có thêm từ mới 4 Lớp từ mở trong tiếng Anh Proper nouns: IBM, Colorado nouns count nouns: book, ticket common nouns mass nouns: snow, salt auxiliaries verbs. open class Color: red, white adjectives Age: old, young Value: good, bad Locatives adverbs: home, here, downhill Degree adverbs: extremely, very, somewhat adverbs Manner adverbs: slowly, delicately Temporal adverbs: yesterday, Monday 5 Tập nhãn cho tiếng Anh ⚫ tập ngữ liệu Brown: 87 nhãn ⚫ 3 tập thường được sử dụng: ➢ Nhỏ: 45 nhãn - Penn treebank (slide sau) ➢ Trung bình: 61 nhãn, British national corpus ➢ Lớn: 146 nhãn, C7 6 7 I know that blocks the sun. He always books the violin concert tickets early.

8 He says that book is interesting. Penn Treebank – ví dụ ⚫ The grand jury commented on a number of other topics.  The/DT grand/JJ jury/NN commented/VBD on/IN a/DT number/NN of/IN other/JJ topics/NNS. 9 Khó khăn trong gán nhãn từ loại? … là xử lý nhập nhằng 10 Các phương pháp gán nhãn từ loại ⚫ Dựa trên xác suất: dựa trên xác suất lớn nhất, dựa trên mô hình Markov ẩn (hidden markov model – HMM) Pr (Det-N) > Pr (Det-Det) ⚫ Dựa trên luật If <mẫu> Then … <gán nhãn thẻ từ loại> 11 Các cách tiếp cận ⚫ Sử dụng HMM : “Sử dụng tất cả thông tin đã có và đoán” ⚫ Dựa trên ràng buộc ngữ pháp: “không đoán, chỉ loại trừ những khả năng sai” ⚫ Dựa trên chuyển đổi: “Đoán trước, sau đó có thể thay đổi” 12 Gán nhãn dựa trên xác suất Cho câu hoặc 1 xâu các từ, gán nhãn từ loại thường xảy ra nhất cho các từ trong xâu đó.

Cách thực hiện: ⚫ Hidden Markov model (HMM): Chọn thẻ từ loại làm tối đa xác suất: P(từ|từ loại)•P(từ loại| n từ loại phía trước) The/DT grand/JJ jury/NN commented/VBD on/IN a/DT number/NN of/IN other/JJ topics/NNS. Secretariat/NNP is/VBZ expected/VBN to/TO race/VB tomorrow/NN 2. People/NNS continue/VBP to/TO inquire/VB the/DT reason/NN for/IN the/DT race/NN for/IN outer/JJ space/NN ⚫ Không thể đánh giá bằng cách chỉ đếm từ trong tập ngữ liệu (và chuẩn hóa) ⚫ Muốn 1 động từ theo sau TO nhiều hơn 1 danh từ (to race, to walk). Nhưng 1 danh từ cũng có thể theo sau TO (run to school) 16 Giả sử chúng ta có tất cả các từ loại trừ từ race ⚫ Chỉ nhìn vào từ đứng trước(bigram): to/TO race/??? NN or VB? the/DT race/??? ⚫ Áp dụng (2): ti = argmaxj P(tj | ti-1 )P(wi | tj ) ⚫ Chọn thẻ có xác suất lớn hơn giữa 2 xác suất: P(VB|TO)P(race|VB) hoặc P(NN|TO)P(race|NN) xác suất của 1 từ là race khi biết từ loại là VB.

17 I/PP know/VBP that/WDT block/NN blocks/NNS?VBZ? the/DT sun/NN. Tính xác suất Xét P(VB|TO) và P(NN|TO) ⚫ Từ tập ngữ liệu Brown P(NN|TO)= .000007 ➢ race cần phải là động từ nếu đi sau “TO” 18 Bài tập ti = argmaxj P(tj | ti-1 )P(wi | tj ) ⚫ I know that blocks the sun. ⚫ He always books the violin concert tickets early. ⚫ He says that book is interesting.

⚫ I/PP know/VBP that/WDT blocks/NNS block/VBP the/DT sun/NN. ⚫ I/PP know/VBP that/WDT blocks/VBZ the/DT sun/NN. ⚫ He/PP always/RB books/VBZ the/DT violin/NN concert/NN tickets/NNS early/RB. ⚫ He/PP says/VBZ that/WDT book/NN is/VBZ interesting/JJ.

⚫ I know that block blocks the sun. ⚫ I/PP know/VBP that/DT block/NN blocks/NNS?VBZ? the/DT sun/NN. 19 ⚫ I/PP know/VBP that/WDT block/NN blocks/VBZ the/DT sun/NN. Mô hình đầy đủ ⚫ Chúng ta cần tìm chuỗi thẻ tốt nhất cho toàn xâu ⚫ Cho xâu từ W, cần tính chuỗi từ loại có xác suất lớn nhất T=t1, t2 ,…, tn hoặc, Tˆ = arg max P(T | W ) T  (nguyên lý Bayes) 20 Mở rộng sử dụng luật chuỗi P(A,B) = P(A|B)P(B) = P(B|A)P(A) P(A,B,C) = P(B,C|A)P(A) = P(C|A,B)P(B|A)P(A) = P(A)P(B|A)P(C|A,B) P(A,B,C,D…) = P(A)P(B|A)P(C|A,B)P(D|A,B,C.wi −1ti −1ti ) P (ti |w1t1.wi −1ti −1 ) i =1 pr từ lịch sử nhãn 21 Giả thiết trigram ⚫ Xác suất 1 từ chỉ phụ thuộc vào nhãn của nó P( wi | w1t 1.ti −1ti ) = P( wi | ti ) ⚫ Ta lấy lịch sử nhãn thông qua 2 nhãn gần nhất (trigram: 2 nhãn gần nhất + nhãn hiện tại) P(ti | w1t 1.

Tại mỗi bước, chọn k giá trị tốt nhất ( ). Mỗi giá trị trong k giá trị này ứng với 1 khả năng kết hợp nhãn của tất cả các từ 2. Khi gán từ tiếp theo, tính lại xác suất. Quay lại bước 1 ⚫ Ưu: nhanh (không cần kiểm tra tất cả các khả năng kết hợp, chỉ k cái tiềm năng nhất) ⚫ Nhược: có thể không trả về kết quả tốt nhất mà chỉ chấp nhận được 27 Độ chính xác ⚫ > 96% ⚫ Cách đơn giản nhất? 90% ⚫ Gán mỗi từ với từ loại thường xuyên nhất của nó ⚫ Gán từ chưa biết = danh từ ⚫ Người: 97%+/- 3%; nếu có thảo luận: 100% 28 Cách tiếp cận thứ 2: gán nhãn dựa trên chuyển đổi Transformation-based Learning (TBL): ⚫ Kết hợp cách tiếp cận dựa trên luật và cách tiếp cận xác suất: sử dụng học máy để chỉnh lại thẻ thông qua vài lần duyệt ⚫ Gán nhãn sử dụng tập luật tổng quát nhất, sau đó đến tập luật hẹp hơn, thay đổi một số nhãn, và tiếp tục 29 Transformation-based painting 30 Transformation-based painting 31 Transformation-based painting 32 Transformation-based painting 33 Transformation-based painting 34 Transformation-based painting 35 Ví dụ với TBL 36 Ví dụ với TBL 1.

Gán mọi từ với nhãn thường xuất hiện nhất (thường độ chính xác khoảng 90% ). Từ tập ngữ liệu Brown: P(NN|race)= 0. …expected/VBZ to/ TO race/VB race/NN tomorrow/NN …the/DT race/NN for/IN outer/JJ space/NN 3. Sử dụng luật chuyển đổi: Thay NN bằng VB khi thẻ trước đó là TO pos: ‘NN’>’VB’  pos: ‘TO’ @[-1] o 37 Luật gán nhãn từ loại 38 Luật gán nhãn từ loại 39 Học luật TB trong hệ thống TBL 40 Các tập ngữ liệu ⚫ Tập huấn luyện w0 w1 w2 w3 w4 w5 w6 w7 w8 w9 w10 ⚫ Tập ngữ liệu hiện tại (CC 1) dt vb nn dt vb kn dt vb ab dt vb ⚫ Tập ngữ liệu tham khảo dt nn vb dt nn kn dt jj kn dt nn 41 Khuôn dạng cho luật gán nhãn từ loại ⚫ Trong TBL, chỉ các luật thỏa khuôn dạng mới được học.

⚫ Ví dụ: các luật tag:'VB'>'NN'  tag:'DT'@[-1]. tag:’NN’>’VB'  tag:'DT'@[-1]. thỏa khuôn dạng tag:A>B  tag:C@[-1]. ⚫ Có thể tạo khuôn dạng sử dụng các biến vô danh tag:_>_  tag:_@[-1].

42 Học luật TB trong hệ thống TBL 43 Điểm, độ chính xác, ngưỡng ⚫ Điểm của 1 luật: score(R) = |pos(R)| - |neg(R)| ⚫ Độ chính xác: ⚫ Threshold: ngưỡng mà độ chính xác của 1 luật cần vượt qua để có thể được lựa chọn. ⚫ Trong TBL, ngưỡng của độ chính xác thường < 0. 44 Sinh và tính điểm cho luật ứng viên 1 ⚫ Template = tag:_>_  tag:_@[-1] ⚫ R1 = tag:vb>nn  tag:dt@[-1] ⚫ pos(R1) = 3 ⚫ neg(R1) = 1 ⚫ score(R1) = pos(R1) - neg(R1) = 3-1 = 2 45 Sinh và tính điểm cho luật ứng viên 2 ⚫ Template = tag:_>_  tag:_@[-1] ⚫ R2 = tag:nn>vb  tag:vb@[-1] ⚫ pos(R2) = 1 ⚫ neg(R2) = 0 ⚫ score(R2) = pos(R2) - neg(R2) = 1-0 = 1 46 Học luật TB trong hệ thống TBL 47 Chọn luật tốt nhất ⚫ Thứ hạng hiện tại của luật ứng viên R1 = tag:vb>nn  tag:dt@[-1] Score = 2 R2 = tag:nn>vb  tag:vb@[-1] Score = 1 … ⚫ Nếu score threshold =< 2 thì chọn R1 ⚫ ngược lại nếu score threshold > 2, dừng 48 Tối ưu hóa việc chọn luật tốt nhất ⚫ Giảm dư thừa luật: chỉ sinh các luật ứng viên phù hợp ít nhất với 1 dữ liệu trong tập luyện. ⚫ Đánh giá tăng cường: ⚫ Lưu vết của các luật ứng viên tốt nhất ⚫ Bỏ qua các luật phù hợp với số lượng mẫu < score của luật tốt nhất 49 Ưu điểm của TBL ⚫ Luật có thể được tạo thủ công ⚫ Luật dễ hiểu và logic ⚫ Dễ cài đặt ⚫ Có thể chạy rất nhanh (nhưng cài đặt thì phức tạp) 50