Khóa Luận Tốt Nghiệp Về Phân Đoạn Từ Tiếng Việt Sử Dụng Mô Hình CRFs

Luận văn tốt nghiệp nghiên cứu tốt nghiệp phân đoạn từ tiếng việt sử dụng mô hình crfs, điều tra thực trạng, phân tích số liệu, đề xuất biện pháp cải tiến thực tế.

Trường đại học

Đại học Quốc gia Hà Nội

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

khóa luận tốt nghiệp

2006

52
2
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI NÓI ĐẦU

1. CHƯƠNG 1: PHÂN ĐOẠN TỪ TIẾNG VIỆT

1.1. Từ vựng tiếng Việt

1.1.1. Tiếng – đơn vị cấu tạo lên từ

1.1.1.1. Khái niệm
1.1.1.2. Phân loại
1.1.1.3. Mô hình tiếng trong tiếng Việt và các thành tố của nó

1.1.2. Cấu tạo từ

1.1.2.1. Từ đơn
1.1.2.2. Từ ghép
1.1.2.3. Từ láy
1.1.2.4. Nhập nhằng

1.2. Phân đoạn từ tiếng Việt bằng máy tính

1.2.1. Phương pháp Maximum Matching

2. CHƯƠNG 2: CONDITIONAL RANDOM FIELDS

2.1. Định nghĩa CRF

2.2. Huấn luyện CRF

2.3. Suy diễn CRF

2.4. Tổng kết chương

3. CHƯƠNG 3: PHÂN ĐOẠN TỪ TIẾNG VIỆT VỚI MÔ HÌNH CRF

3.1. Mô tả bài toán phân đoạn từ tiếng Việt

3.2. Thu thập dữ liệu

3.3. Chuẩn bị dữ liệu

3.4. Đầu vào và đầu ra của mô hình CRFs

3.5. Lựa chọn thuộc tính

3.5.1. Mẫu ngữ cảnh từ điển

3.5.2. Mẫu ngữ cảnh từ vựng

3.5.3. Mẫu ngữ cảnh phát hiện tên thực thể

3.5.4. Mẫu ngữ cảnh phát hiện từ láy

3.5.5. Mẫu ngữ cảnh âm tiết tiếng Việt

3.5.6. Mẫu ngữ cảnh dạng regular expression

3.6. Cách đánh giá

3.6.1. Phương pháp đánh giá

3.6.2. Các đại lượng đo độ chính xác

3.7. Tổng kết chương

4. CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ

4.1. Môi trường thử nghiệm

4.2. Mô tả thử nghiệm

4.2.1. Thiết lập tham số

4.2.2. Mô tả thử nghiệm

4.3. Kết quả thử nghiệm

4.3.1. Kết quả 5 lần thử nghiệm

4.3.2. Lần thử nghiệm cho kết quả tốt nhất

4.3.3. Trung bình 5 lần thực nghiệm

4.3.4. Phân tích và thảo luận kết quả thử nghiệm

4.4. Tổng kết chương

PHẦN KẾT LUẬN

5. Tổng kết công việc đã làm và đóng góp của luận văn

6. Hướng nghiên cứu tiếp theo

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Phân Đoạn Từ Tiếng Việt Bằng Mô Hình CRFs

Phân đoạn từ là một bước quan trọng trong xử lý ngôn ngữ tự nhiên, đặc biệt trong tiếng Việt. Việc xác định ranh giới giữa các từ trong câu không đơn giản như trong các ngôn ngữ khác. Mô hình Conditional Random Fields (CRFs) đã được áp dụng để giải quyết bài toán này một cách hiệu quả. Mô hình này cho phép khai thác nhiều đặc điểm ngữ nghĩa và ngữ pháp của tiếng Việt, từ đó nâng cao độ chính xác trong phân đoạn từ.

1.1. Đặc điểm của tiếng Việt trong Phân Đoạn Từ

Tiếng Việt có cấu trúc ngữ pháp và từ vựng đặc thù, điều này tạo ra nhiều thách thức trong việc phân đoạn từ. Các từ có thể không được phân tách bằng dấu cách, và việc xác định ranh giới từ là rất quan trọng.

1.2. Vai trò của Mô Hình CRFs trong Phân Đoạn Từ

Mô hình CRFs giúp xử lý dữ liệu dạng chuỗi, cho phép kết hợp nhiều đặc điểm khác nhau từ dữ liệu huấn luyện. Điều này giúp cải thiện độ chính xác trong việc phân đoạn từ tiếng Việt.

II. Thách Thức trong Phân Đoạn Từ Tiếng Việt

Bài toán phân đoạn từ tiếng Việt gặp nhiều thách thức, bao gồm sự nhập nhằng giữa các từ và việc xác định các từ chưa biết. Những vấn đề này có thể ảnh hưởng đến độ chính xác của các hệ thống phân đoạn từ hiện tại.

2.1. Nhập Nhằng trong Phân Đoạn Từ

Nhập nhằng có thể xảy ra khi nhiều từ có thể được tạo thành từ cùng một chuỗi ký tự. Ví dụ, trong câu 'ông già đi nhanh', có thể có nhiều cách phân đoạn khác nhau.

2.2. Xác Định Từ Chưa Biết

Việc xác định các từ chưa biết, như tên riêng hoặc từ láy, là một thách thức lớn. Những từ này thường không có trong từ điển và cần được xử lý đặc biệt.

III. Phương Pháp Phân Đoạn Từ Bằng Mô Hình CRFs

Mô hình CRFs đã được áp dụng để xây dựng hệ thống phân đoạn từ tiếng Việt với độ chính xác cao. Phương pháp này cho phép khai thác các đặc điểm ngữ nghĩa và ngữ pháp của tiếng Việt một cách hiệu quả.

3.1. Cấu Trúc Mô Hình CRFs

Mô hình CRFs hoạt động dựa trên việc xác định xác suất có điều kiện của các nhãn từ, cho phép kết hợp nhiều đặc điểm khác nhau từ dữ liệu huấn luyện.

3.2. Huấn Luyện Mô Hình CRFs

Quá trình huấn luyện mô hình CRFs bao gồm việc chuẩn bị dữ liệu và lựa chọn các thuộc tính phù hợp để tối ưu hóa độ chính xác trong phân đoạn từ.

IV. Ứng Dụng Thực Tiễn của Phân Đoạn Từ Tiếng Việt

Hệ thống phân đoạn từ tiếng Việt có nhiều ứng dụng thực tiễn, từ hỗ trợ máy tìm kiếm đến kiểm tra chính tả. Việc phân đoạn chính xác giúp cải thiện hiệu quả của các ứng dụng xử lý ngôn ngữ tự nhiên.

4.1. Hỗ Trợ Máy Tìm Kiếm

Phân đoạn từ chính xác giúp máy tìm kiếm xác định các từ quan trọng trong văn bản, từ đó trả về kết quả chính xác hơn cho người dùng.

4.2. Kiểm Tra Chính Tả Tiếng Việt

Việc phân đoạn từ là bước đầu tiên trong kiểm tra chính tả, giúp xác định ranh giới từ và đánh giá chính xác lỗi chính tả trong văn bản.

V. Kết Luận và Tương Lai của Phân Đoạn Từ Tiếng Việt

Phân đoạn từ tiếng Việt bằng mô hình CRFs đã chứng minh được hiệu quả trong việc xử lý ngôn ngữ tự nhiên. Tương lai của nghiên cứu này có thể mở ra nhiều hướng đi mới trong việc cải thiện các hệ thống xử lý ngôn ngữ tự nhiên.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Nghiên cứu đã chỉ ra rằng mô hình CRFs có thể cải thiện đáng kể độ chính xác trong phân đoạn từ tiếng Việt, mở ra hướng đi mới cho các nghiên cứu tiếp theo.

5.2. Hướng Nghiên Cứu Tiếp Theo

Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện mô hình CRFs và áp dụng các kỹ thuật học sâu để nâng cao hơn nữa độ chính xác trong phân đoạn từ.

15/07/2025
Khóa luận tốt nghiệp phân đoạn từ tiếng việt sử dụng mô hình crfs

Trích đoạn nội dung tài liệu

mở đầu. Ví dụ: toán – tán • Âm chính: là hạt nhân và mang âm sắc chủ đạo của tiếng. Ví dụ : “túy” và “túi” 5 • Âm cuối: có tác dụng kết thúc tiếng với các âm sắc khác nhau, do đó có thể phân biệt các tiếng. Ví dụ: “bàn” và “bài” • Cụm gồm âm đệm, âm chính và âm cuối ta gọi là vần.

Ví dụ: vần “ang”, vần “oan”… Đây là 5 thành tố của tiếng (vần không phải là một thành tố mà chỉ là cách gọi của cụm 3 âm đã nói ở trên), mà bất cứ tiếng nào trong tiếng Việt đều tuân theo cấu trúc như trên. Nhưng cũng có trường hợp một số âm trùng nhau, nhất là với những tiếng gồm 3 kí tự trở xuống.2 Cấu tạo từ Như đã đề cập ở trên, từ trong tiếng Việt được cấu tạo hoặc là bằng một tiếng hoặc là tổ hợp nhiều tiếng theo các cách khác nhau để tạo ra các loại từ. Dưới đây, em xin trình bày về hai loại từ tiếng Việt 1.1 Từ đơn Từ đơn, hay còn gọi là từ đơn âm tiết, là các từ được cấu tạo bởi một tiếng duy nhất. Ví dụ: tôi, bạn, nhà, hoa, vườn… 1.2 Từ ghép Từ ghép là các từ được tạo lên từ hai hoặc nhiều hơn các tiếng lại.

Giữa các tiếng có mỗi quan hệ về nghĩa với nhau, vì thế ta cũng có các loại từ ghép khác nhau. • Từ ghép đẳng lập: các thành phần cấu tạo từ có mối quan hệ bình đẳng với nhau về nghĩa. Ví dụ: ăn nói, bơi lội … • Từ ghép chính phụ: các thành phần cấu tạo từ có mối quan hệ phụ thuộc với nhau về nghĩa. Thành phần phụ sẽ có vai trò làm chuyên biệt hóa, tạo sắc thái cho thành phần chính.

Ví dụ: hoa hồng, đường sắt… 1.3 Từ láy Một từ sẽ được coi là từ láy khi các yếu tố cấu tạo nên nó có thành phần ngữ âm được lặp lại; nhưng vừa có lặp (còn gọi là điệp) vừa có biến đổi (còn gọi là đối). Ví dụ: đo 6 đỏ, man mát… Nếu một từ chỉ có phần lặp mà không có sự biến đổi (chẳng hạn như từ nhà nhà, ngành ngành…) thì ta có dạng láy của từ, hoàn toàn không phải là từ láy. Độ dài từ láy thay đổi từ 2 tiếng đến 4 tiếng. Nhưng trong tiếng Việt đa số là từ láy hai tiếng., chúng chia thành hai loại từ láy sau: • Láy hoàn toàn: là cách láy mà tiếng sau lặp lại hoàn toàn tiếng trước.

Gọi là hoàn toàn nhưng thực ra các tiếng không trùng khít nhau mà có những sai khác rất nhỏ mà ta có thể nhận ra ngay. Một số kiểu láy hoàn toàn ta hay gặp o Láy hoàn toàn đối nhau ở thanh điệu, ví dụ như: “sừng sững”, “loang loáng”… o Láy hoàn toàn đối nhau ở âm cuối, ví dụ như: “khin khít”, “ăm ắp”… o Láy hoàn toàn đối nhau ở trọng âm, tức là một tiếng được nói nhấn mạnh hoặc kéo dài hơn so với tiếng kia, ví dụ như: đùng đùng, đăm đăm… • Láy bộ phận: là cách láy mà chỉ có điệp ở phần âm đầu của tiếng, hoặc điệp ở phần vần thì được gọi là láy bộ phận. Căn cứ vào đó ta chia ra từng kiểu láy sau o Từ láy điệp ở âm đầu và đối ở vần, ví dụ như “nhưng nhức”, “thơ thẩn”,… o Từ láy điệm ở vần và đối ở âm đầu, ví dụ “hấp tấp”, “liểng xiểng”,… 1.3 Nhập nhằng Nếu ta dựa trên khái niệm “từ” của các nhà ngôn ngữ học để trực tiếp phân đoạn từ bằng tay thì khó có thể xảy ra việc nhập nhằng trong tiếng Việt. Song dưới góc độ ứng dụng máy tính, chúng ta coi một từ chỉ đơn giản là cấu tạo từ một hoặc nhiều tiếng, và việc này rất dễ gây ra sự nhập nhằng trong quá trình phân đoạn từ.

Sự nhập nhằng của tiếng Việt có thể chia thành 2 kiểu sau [21]: • Nhập nhằng chồng chéo: chuỗi “abc” được gọi là nhặp nhằng chồng chéo nếu như từ “ab”, “bc” đều xuất hiện trong từ điển tiếng Việt. Ví dụ như 7 trong câu “ông già đi nhanh quá” thì chuỗi “ông già đi” bị nhập nhằng chồng chéo vì các từ “ông già” và “già đi” đều có trong từ điển. • Nhập nhằng kết hợp: chuỗi “abc” được gọi là nhập nhằng kết hợp nếu như từ “a”,”b”,”ab” đều xuất hiện trong từ điển tiếng Việt. Ví dụ như trong câu “Bàn là này còn rất mới” thì chuỗi “bàn là” bị nhập nhằng kết hợp, do các từ “bàn”, “là”, “bàn là” đều có trong từ điển.2 Phân đoạn từ tiếng Việt bằng máy tính Trước hết chúng ta cần làm rõ sự khác nhau giữa phân đoạn từ tiếng Việt bằng máy tính và bằng thủ công.

Nếu chúng ta làm thủ công, thì độ chính xác rất cao, gần như tuyệt đối. Song như đã nói ở chương đầu, phân đoạn từ là một công đoạn đầu của rất nhiều quá trình xử lý ngôn ngữ tự nhiên bằng máy tính nên việc phân đoạn từ bằng máy tính là rất quan trọng. Hơn nữa, khi mà khối lượng dữ liệu rất lớn thì việc phân đoạn từ bằng máy tính gần như là lựa chọn duy nhất. Hiện đã có nhiều công trình nghiên cứu xây dựng mô hình phân đoạn từ tiếng Việt bằng máy tính.

Đa số là các mô hình mà đã được áp dụng thành công cho các ngôn ngữ khác như tiếng Anh, tiếng Trung, tiếng Nhật…và được cải tiến để phù hợp với đặc điểm của tiếng Việt. Vấn đề mà tất cả mô hình phân đoạn từ tiếng Việt gặp phải đó là • Nhập nhằng • Xác định từ các từ chưa biết trước (đối với máy tính) như các câu thành ngữ, từ láy, hoặc tên người, địa điểm, tên các tổ chức… Việc giải quyết tốt hay không hai vấn đề trên có thể quyết định một mô hình phân đoạn nào đó là tốt hay không.1 Phương pháp Maximum Matching Phương pháp này còn được gọi là phương pháp khớp tối đa. Tư tưởng của phương pháp này là duyệt một câu từ trái qua phải và chọn từ có nhiều tiếng nhất mà có mặt trong từ điển tiếng Việt. Nôi dung thuật toán này dựa trên thuật toán đã được Chih- Hao Tsai[8] giới thiệu năm 1996.

Thuật toán có 2 dạng sau: 8 Dạng đơn giản: Giả sử có một chuỗi các tiếng trong câu là t1, t2,. Thuật toán sẽ kiểm tra xem t1 có mặt trong từ điển hay không, sau đó kiểm tra tiếp t1-t2 có trong từ điển hay không. Tiếp tục như vậy cho đến khi tìm được từ có nhiều tiếng nhất có mặt trong từ điển, và đánh dấu từ đó. Sau đó tiếp tục quá trình trên với tất các các tiếng còn lại trong câu và trong toàn bộ văn bản.

Dạng này khá đơn giản nhưng nó gặp phải rất nhiều nhập nhằng trong tiếng Việt, ví dụ nó sẽ gặp phải lỗi khi phân đoạn từ câu sau: “học sinh | học sinh | học”, câu đúng phải là “học sinh| học| sinh học” Dạng phức tạp: dạng này có thể tránh được một số nhập nhằng gặp phải trong dạng đơn giản. Đầu tiên thuật toán kiểm tra xem t1 có mặt trong từ điển không, sau đó kiểm tra tiếp t1-t2 có mặt trong từ điển không. Nếu t1-t2 đều có mặt trong từ điển thì thuật toán thực hiện chiến thuật chọn 3-từ tốt nhất. Tiêu chuẩn 3-từ tốt nhất được Chen & Liu (1992) đưa ra như sau: • Độ dài trung bình của 3 từ là lớn nhất.

Ví dụ với chuỗi “cơ quan tài chính” sẽ được phân đoạn đúng thành “cơ quan | tài chính”, tránh được việc phân đoạn sai thành “cơ | quan tài | chính” vì cách phân đúng phải có độ dài trung bình lớn nhất. • Sự chênh lệch độ dài của 3 từ là ít nhất. Ví dụ với chuỗi “công nghiệp hóa chất phát triển” sẽ được phân đoạn đúng thành “công nghiệp | hóa chất | phát triển” thay vì phân đoạn sai thành “công nghiệp hóa | chất | phát triển”. Cả 2 cách phần đoạn này đều có độ dài trung bình bằng nhau, nhưng cách phân đoạn đúng có sự chênh lệch độ dài 3 từ ít hơn.

Nhận xét: Tuy hai tiêu chuẩn trên có thể hạn chế được một số nhập nhằng, nhưng không phải tất cả. Ví dụ với câu “ông già đi nhanh” thì cả 2 cách phân đoạn sau đều có cùng độ dài trung bình và độ chênh lệch giữa các từ: “ông | già đi| nhanh” và “ông già | đi | nhanh”, do đó thuật toán không thể chỉ ra cách phân đúng được. Ưu điểm của phương pháp trên có thể thấy rõ là đơn giản, dễ hiểu và chạy nhanh. Hơn nữa chúng ta chỉ cần một tập từ điển đầy đủ là có thể tiến hành phân đoạn các văn bản, hoàn toàn không phải trải qua huấn luyện như các phương pháp sẽ trình bày tiếp theo.

9 Nhược điểm của phương pháp này là nó không giải quyết được 2 vấn đề quan trọng nhất của bài toán phân đoạn từ tiếng Việt: thuật toán gặp phải nhiều nhập nhằng, hơn nữa nó hoàn toàn không có chiến lược gì với những từ chưa biết.2 Phương pháp TBL Phương pháp TBL (Transformation-Based Learning) còn gọi là phương pháp học cải tiến, được Eric Brill giới thiệu lần đầu vào năm 1992. Ý tưởng của phương pháp này áp dụng cho bài toán phân đoạn như sau Đầu tiên văn bản chưa được phân đoạn T1 được phân tích thông qua chương trình khởi tạo phân đoạn ban đầu P1. Chương trình P1 có độ phức tạp tùy chọn, có thể chỉ là chương trình chú thích văn bản bằng cấu trúc ngẫu nhiên, hoặc phúc tạp hơn là phân đoạn văn bản một cách thủ công. Sau khi qua chương trình P1, ta được văn bản T2 đã được phân đoạn.

Văn bản T2 được so sánh với văn bản đã được phân đoạn trước một cách chính xác là T3. Chương trình P2 sẽ thực hiện học từng phép chuyển đổi (transformation) để khi áp dụng thì T2 sẽ giống với văn bản chuẩn T3 hơn. Quá trình học được lặp đi lặp lại đến khi không còn phép chuyển đổi nào khi áp dụng làm cho T2 tốt hơn nữa. Kết quả ta thu được bộ luật R dùng cho phân đoạn.

Cách hoạt động của TBL có thể mô tả ở hình sau: 10 Hình 1: Mô hình hoạt động của TBL Nhận xét Phương pháp TBL có nhược điểm là mất rất nhiều thời gian học và tốn nhiều không gian nhớ do nó phải sinh ra các luật trung gian trong quá trình học. Vì để học được một bộ luật thì TBL chạy rất lâu và dùng tới nhiều bộ nhớ, nên việc xây dựng được một bộ luật đầy đủ dùng cho phân đoạn từ là rất khó khăn. Vì thế khi áp dụng phương pháp này, sẽ có khá nhiều nhập nhằng.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu có tiêu đề Phân Đoạn Từ Tiếng Việt Bằng Mô Hình CRFs: Giải Pháp Hiệu Quả trình bày một phương pháp tiên tiến trong việc phân đoạn từ ngữ trong tiếng Việt bằng cách sử dụng mô hình Conditional Random Fields (CRFs). Bài viết nêu bật những ưu điểm của mô hình CRFs, bao gồm khả năng xử lý ngữ cảnh và tính chính xác cao trong việc xác định các đơn vị từ. Điều này không chỉ giúp cải thiện chất lượng phân đoạn từ mà còn hỗ trợ các ứng dụng ngôn ngữ tự nhiên khác như nhận dạng thực thể và phân tích cú pháp.

Để mở rộng kiến thức của bạn về lĩnh vực này, bạn có thể tham khảo thêm tài liệu Luận văn thạc sĩ khoa học máy tính nhận dạng thực thể với phương pháp weak supervision trong văn bản tiếng việt, nơi khám phá các phương pháp nhận dạng thực thể trong văn bản tiếng Việt. Ngoài ra, tài liệu Luận văn phân tách cụm danh từ cơ sở tiếng việt sử dụng mô hình crfs cũng sẽ cung cấp cho bạn cái nhìn sâu sắc hơn về việc áp dụng mô hình CRFs trong phân tách cụm danh từ. Những tài liệu này sẽ giúp bạn có cái nhìn toàn diện hơn về các ứng dụng và tiềm năng của mô hình CRFs trong xử lý ngôn ngữ tự nhiên.