Luận văn các phương pháp phân đoạn tiếng Việt và ứng dụng của Vũ Thị Hằng - ĐH CNTT Thái Nguyên

Luận văn thạc sĩ phân tích hay các phương pháp phân đoạn tiếng việt và ứng dụng, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Vũ Thị Hằng
• Người hướng dẫn: TS. Bùi Văn Thanh
• Trường học: Trường Đại Học Công Nghệ Thông Tin Và Truyền Thông
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Các Phương Pháp Phân Đoạn Tiếng Việt Và Ứng Dụng
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: KHÁI QUÁT VỀ TIẾNG VIỆT
• 1.1. Đặc điểm từ tiếng Việt
• 1.2. Các từ loại tiếng Việt
• 1.3. VẤN ĐỀ PHÂN ĐOẠN TIẾNG VIỆT
• 1.4. Từ vựng tiếng Việt
• 1.5. Tiếng – đơn vị cấu tạo lên từ
• 1.5.1. Khái niệm
• 1.5.2. Phân loại
• 1.6. Cấu trúc của tiếng trong tiếng Việt
• 1.7. Cấu tạo từ
• 2. CHƯƠNG 2: MỘT SỐ PHƢƠNG PHÁP PHÂN ĐOẠN VĂN BẢN TIẾNG VIỆT
• 2.1. MÔ HÌNH LRMM
• 2.1.1. Thuật toán Maximum Matching đơn giản
• 2.1.2. Thuật toán Maximum Matching phức tạp
• 2.2. PHƢƠNG PHÁP WFST (Weighted Finite-State Transducer)
• 2.3. MÔ HÌNH HỌC MÁY CRF
• 2.3.1. Định nghĩa CRF
• 2.3.2. Hàm tiềm năng của các mô hình CRF
• 2.3.3. Conditional Random Fields
• 2.4. TỔNG KẾT CHƯƠNG
• 3. CHƯƠNG 3: BÀI TOÁN PHÂN ĐOẠN TIẾNG VIỆT
• 3.1. PHÁT BIỂU BÀI TOÁN
• 3.2. Cấu trúc chương trình
• 3.3. Tiền xử lý số liệu
• 3.4. Khử nhập nhằng
• 3.4.1. CÁC LOẠI NHẬP NHẰNG KHI TÁCH TỪ
• 3.4.1.1. Nhập nhằng do so khớp cực đại FMM/BMM sinh ra
• 3.4.1.2. Nhập nhằng theo một số loại khác
• 3.4.2. CÁCH KHỬ NHẬP NHẰNG
• 3.4.2.1. Cải tiến phương pháp so khớp cực đại
• 3.4.2.2. Khử nhập nhằng theo một số loại khác
• 3.5. TỔNG KẾT CHƯƠNG
• 4. CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. KHO NGỮ LIỆU THỬ NGHIỆM VÀ CÁCH ĐÁNH GIÁ
• 4.2. QUY TRÌNH THỬ NGHIỆM
• 4.3. KẾT QUẢ THỬ NGHIỆM
• 4.4. GIAO DIỆN CHƯƠNG TRÌNH ỨNG DỤNG
• KẾT LUẬN VÀ KIẾN NGHỊ
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phương pháp phân đoạn tiếng Việt và ứng dụng

Phân đoạn tiếng Việt là một trong những thách thức lớn trong xử lý ngôn ngữ tự nhiên. Với sự phát triển nhanh chóng của công nghệ thông tin, việc phân đoạn văn bản tiếng Việt trở nên cần thiết hơn bao giờ hết. Phương pháp phân đoạn không chỉ giúp cải thiện khả năng hiểu ngôn ngữ của máy tính mà còn hỗ trợ trong nhiều ứng dụng thực tiễn như tìm kiếm thông tin, dịch máy và phân tích dữ liệu.

1.1. Đặc điểm ngôn ngữ tiếng Việt và thách thức trong phân đoạn

Tiếng Việt có cấu trúc ngữ pháp và từ vựng đặc thù, điều này tạo ra nhiều khó khăn trong việc xác định ranh giới từ. Sự đa nghĩa và nhập nhằng trong ngôn ngữ khiến cho việc phân đoạn trở nên phức tạp hơn. Các phương pháp truyền thống thường không hiệu quả khi áp dụng cho tiếng Việt.

1.2. Tầm quan trọng của phân đoạn trong xử lý ngôn ngữ tự nhiên

Phân đoạn chính xác giúp cải thiện độ chính xác của các ứng dụng xử lý ngôn ngữ tự nhiên. Nó là bước đầu tiên trong nhiều quy trình như phân tích cú pháp, nhận diện thực thể và dịch máy. Việc phát triển các phương pháp phân đoạn hiệu quả sẽ góp phần nâng cao chất lượng của các hệ thống AI.

II. Các phương pháp phân đoạn văn bản tiếng Việt hiệu quả nhất hiện nay

Hiện nay, có nhiều phương pháp phân đoạn văn bản tiếng Việt được nghiên cứu và áp dụng. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, phù hợp với từng loại dữ liệu và mục đích sử dụng khác nhau. Việc lựa chọn phương pháp phù hợp là rất quan trọng để đạt được kết quả tốt nhất.

2.1. Phương pháp so khớp cực đại Maximum Matching

Phương pháp so khớp cực đại là một trong những kỹ thuật phổ biến nhất trong phân đoạn tiếng Việt. Nó dựa trên việc tìm kiếm các từ trong từ điển và xác định ranh giới từ dựa trên các từ đã biết. Tuy nhiên, phương pháp này có thể gặp khó khăn với các từ mới hoặc từ không có trong từ điển.

2.2. Mô hình học máy CRF trong phân đoạn tiếng Việt

Mô hình Conditional Random Fields (CRF) đã được áp dụng thành công trong phân đoạn tiếng Việt. Mô hình này cho phép học từ dữ liệu và có khả năng xử lý các trường hợp nhập nhằng tốt hơn so với các phương pháp truyền thống. CRF có thể cải thiện độ chính xác của việc phân đoạn đáng kể.

III. Ứng dụng thực tiễn của phương pháp phân đoạn tiếng Việt trong AI

Phân đoạn tiếng Việt không chỉ là một bài toán lý thuyết mà còn có nhiều ứng dụng thực tiễn trong lĩnh vực trí tuệ nhân tạo. Các ứng dụng này bao gồm tìm kiếm thông tin, phân tích cảm xúc, và dịch máy. Việc áp dụng các phương pháp phân đoạn hiệu quả sẽ giúp nâng cao chất lượng của các sản phẩm AI.

3.1. Tìm kiếm thông tin và phân tích dữ liệu

Trong các hệ thống tìm kiếm thông tin, việc phân đoạn chính xác giúp cải thiện khả năng truy xuất dữ liệu. Các thuật toán phân đoạn hiệu quả sẽ giúp người dùng tìm kiếm thông tin một cách nhanh chóng và chính xác hơn.

3.2. Ứng dụng trong dịch máy và nhận diện thực thể

Phân đoạn tiếng Việt là bước quan trọng trong quy trình dịch máy. Nó giúp xác định các đơn vị ngữ nghĩa cần dịch, từ đó cải thiện chất lượng bản dịch. Ngoài ra, phân đoạn cũng hỗ trợ trong việc nhận diện thực thể, giúp các hệ thống AI hiểu rõ hơn về ngữ cảnh.

IV. Kết luận và hướng phát triển tương lai của phương pháp phân đoạn tiếng Việt

Phân đoạn tiếng Việt là một lĩnh vực nghiên cứu đang phát triển mạnh mẽ. Các phương pháp hiện tại đã đạt được nhiều thành tựu, nhưng vẫn còn nhiều thách thức cần giải quyết. Hướng phát triển tương lai có thể bao gồm việc kết hợp các phương pháp truyền thống với các kỹ thuật học sâu để cải thiện độ chính xác và hiệu quả.

4.1. Hướng nghiên cứu mới trong phân đoạn tiếng Việt

Nghiên cứu hiện tại đang hướng tới việc phát triển các mô hình học sâu có khả năng tự động học từ dữ liệu lớn. Điều này sẽ giúp cải thiện đáng kể độ chính xác của các hệ thống phân đoạn.

4.2. Tích hợp công nghệ mới vào phân đoạn tiếng Việt

Việc tích hợp các công nghệ mới như học sâu và mạng nơ-ron vào quy trình phân đoạn sẽ mở ra nhiều cơ hội mới. Các nghiên cứu trong tương lai cần tập trung vào việc phát triển các mô hình có khả năng xử lý ngữ nghĩa và ngữ cảnh tốt hơn.

Nội dung chính

Tổng quan nghiên cứu

Xử lý ngôn ngữ tự nhiên là lĩnh vực nghiên cứu đã có bề dày lịch sử hơn 50 năm trên thế giới với mục tiêu giúp máy tính hiểu và xử lý ngôn ngữ con người một cách tự động. Trong bối cảnh thông tin số bùng nổ toàn cầu, khối lượng dữ liệu văn bản tiếng Việt trên các nền tảng điện tử và môi trường web tăng trưởng với quy mô hàng triệu văn bản mỗi năm. Việc chuyển đổi khối dữ liệu khổng lồ này thành tri thức hữu ích phục vụ cộng đồng đặt ra thách thức công nghệ cấp thiết. Không giống như các ngôn ngữ Ấn-Âu sử dụng khoảng trắng làm ranh giới tách từ tự nhiên, tiếng Việt thuộc loại hình ngôn ngữ đơn lập với hơn 80% từ vựng là các từ đa âm tiết, khiến ranh giới giữa các từ trong câu không thể xác định đơn thuần qua dấu cách.

Nghiên cứu tập trung giải quyết bài toán phân đoạn từ tiếng Việt – bước tiền đề có tính tiên quyết cho toàn bộ tầng xử lý hình thái, cú pháp và ngữ nghĩa trong hệ thống xử lý ngôn ngữ tự nhiên. Mục tiêu cụ thể của luận văn là khảo sát các đặc trưng ngữ âm học, phân tích cấu trúc 5 thành tố của âm tiết tiếng Việt, hệ thống hóa 12 nhóm từ loại và phân loại bản chất các dạng nhập nhằng trong quá trình tách từ. Trên cơ sở đó, đề tài xây dựng và cải tiến thuật toán so khớp cực đại kết hợp trọng số ngôn ngữ nhằm tối ưu hóa độ chính xác phân đoạn.

Phạm vi nghiên cứu được triển khai trên kho ngữ liệu văn bản tiếng Việt số hóa tại Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên trong giai đoạn năm 2015. Ý nghĩa khoa học và thực tiễn của công trình thể hiện qua việc nâng cao độ chính xác phân đoạn đạt mức trên 96%, giảm thiểu tỷ lệ lỗi do nhập nhằng cấu trúc từ, đồng thời cung cấp giải pháp nền tảng cho các ứng dụng thực tế như kiểm tra chính tả, tóm tắt tự động, phân loại văn bản và dịch máy.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng ngôn ngữ học tiếng Việt hiện đại kết hợp với các mô hình tính toán hình thái học máy tính. Về mặt ngôn ngữ học, luận văn tiếp cận tiếng Việt dưới góc độ đơn vị cơ sở là tiếng (âm tiết/hình tiết), mang cấu trúc hoàn chỉnh gồm 5 thành tố: âm đầu, thanh điệu (với 6 thanh đặc trưng), âm đệm, âm chính và âm cuối. Về cấu tạo từ, hệ thống từ vựng tiếng Việt được phân loại thành từ đơn (1 âm tiết), từ ghép (từ 2 đến 4 âm tiết theo quan hệ chính phụ hoặc đẳng lập) và từ láy (láy toàn bộ hoặc láy bộ phận).

Về mặt mô hình toán học và thuật toán, nghiên cứu áp dụng 3 khung lý thuyết trọng tâm:

• Mô hình so khớp cực đại trái - phải (LRMM - Left Right Maximum Matching): Bao gồm thuật toán so khớp cực đại tiến (FMM) và so khớp cực đại lùi (BMM), cải tiến theo quy tắc đánh giá bộ ba từ dài nhất nhằm khắc phục hiện tượng chia cắt sai cấu trúc từ ghép.
• Phương pháp máy chuyển dịch trạng thái hữu hạn có trọng số (WFST - Weighted Finite-State Transducer): Biểu diễn từ điển ngữ việt dưới dạng đồ thị có hướng gắn trọng số xác suất theo hàm chi phí ước lượng $-\log(f / N)$, trong đó $f$ là tần số xuất hiện của từ và $N$ là kích thước mẫu huấn luyện, giúp loại bỏ nhánh phân đoạn dư thừa từ $2^{n-1}$ khả năng tổ hợp của câu có $n$ tiếng.
• Mô hình trường ngẫu nhiên có điều kiện (CRF - Conditional Random Fields): Mô hình đồ thị vô hướng mô tả phân phối xác suất chuỗi nhãn toàn cục với hàm tiềm năng dạng số mũ cực đại hóa Entropy, giải quyết triệt để bài toán thiên lệch nhãn (label bias) vốn xuất hiện ở các mô hình chuỗi trước đây.

Phương pháp nghiên cứu

Nghiên cứu kết hợp phương pháp phân tích lý thuyết ngôn ngữ học với thực nghiệm công nghệ thông tin trên hệ thống máy tính.

• Nguồn dữ liệu và cỡ mẫu: Bộ ngữ liệu thử nghiệm được thu thập từ hơn 10.000 câu văn bản tiếng Việt đa dạng lĩnh vực, bao gồm báo chí điện tử, văn bản quy phạm pháp luật và tài liệu học thuật.
• Phương pháp chọn mẫu: Áp dụng kỹ thuật lấy mẫu phân tầng ngẫu nhiên (stratified random sampling), đảm bảo đại diện đầy đủ các cấu trúc câu phức, các dạng từ láy, từ ghép chuyên ngành và các tổ hợp chứa từ đa nghĩa, đồng âm.
• Phương pháp phân tích và lý do lựa chọn: Quy trình xử lý được thiết kế qua 5 bước liên hoàn bao gồm: tiền xử lý chuyển đổi phông chữ về chuẩn Unicode thông qua thư viện PDFBox và Microsoft.Core; tách câu dựa trên phân tích dấu ngắt câu kết hợp thuật toán loại trừ ký hiệu viết tắt, địa chỉ IP và URL; thực thi tách từ bằng thuật toán LRMM cải tiến; gán nhãn trọng số từ loại; và khử nhập nhằng đa cấp độ dựa trên xác suất Bigram kết hợp độ đo thông tin tương hỗ (Mutual Information - MI). Việc kết hợp thuật toán heuristic LRMM với thống kê thống kê Bigram/MI được lựa chọn vì mang lại độ phức tạp tính toán tuyến tính, cân bằng tối ưu giữa tốc độ xử lý dữ liệu lớn và độ chính xác phân đoạn ngữ cảnh.
• Trục thời gian nghiên cứu: Quá trình thu thập dữ liệu, huấn luyện mô hình và thử nghiệm đánh giá được thực hiện liên tục trong thời gian 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và phân tích dữ liệu trên hệ thống đã đem lại 3 phát hiện khoa học quan trọng:

Thứ nhất, nghiên cứu đã phát hiện và phân loại chi tiết 3 dạng nhập nhằng cốt lõi trong phân đoạn từ tiếng Việt mà các giải pháp so khớp cực đại truyền thống thường xuyên mắc lỗi:

• Nhập nhằng loại 1 (độ lệch âm tiết bằng nhau): Điển hình ở các cụm từ như "học sinh học". Thuật toán FMM/BMM thông thường tạo ra độ lệch âm tiết đồng mức (bằng 1), dẫn đến tỷ lệ phân đoạn sai lên tới 12%.
• Nhập nhằng loại 2 (thành ngữ, quán ngữ dài từ 4 âm tiết trở lên): Xảy ra hiện tượng chồng lấp âm tiết ở đầu hoặc cuối cụm từ, chẳng hạn như "đất nước đang phát triển" hay "hai bàn tay trắng xoá".
• Nhập nhằng loại 3 (ranh giới giữa từ đơn và từ ghép 2 âm tiết phụ thuộc vị trí cụm từ): Thể hiện qua các trường hợp cấu trúc ngữ cảnh như "xe quá tải, nhất là xe khách" so với "xe quá tải nhất là xe khách", hoặc ngữ cảnh phức hợp "nàng gục đầu vào vai chàng".

Thứ hai, việc kết hợp thuật toán LRMM cải tiến với quy tắc kiểm tra độ lệch âm tiết tối thiểu đã nâng cao hiệu suất phân đoạn rõ rệt. Khi thử nghiệm trên tập mẫu các câu có cấu trúc xung đột FMM/BMM (như "thi đấu vòng tròn" hay "mô hình hoá học"), tỷ lệ xử lý đúng tăng từ 86,4% ở thuật toán đơn lập lên 96,5% ở mô hình kết hợp.

Thứ ba, việc ứng dụng độ đo thông tin tương hỗ MI cấp âm tiết kết hợp xác suất Bigram cấp từ có xét đến ngữ cảnh lân cận (từ bên trái và từ bên phải) đã khử thành công trên 95% các trường hợp nhập nhằng loại 1 và loại 3, khắc phục hoàn toàn tình trạng gán sai nhãn ranh giới từ khi tần số Bigram trong kho ngữ liệu bị phân tán về giá trị 0.

Thảo luận kết quả

Các kết quả đạt được chứng minh rằng việc kết hợp tri thức ngôn ngữ học với mô hình xác suất thống kê là hướng tiếp cận vượt trội so với các thuật toán so khớp từ điển thuần túy. Nguyên nhân chính giúp mô hình cải tiến đạt độ chính xác cao là nhờ cơ chế phân rã cấu trúc linh hoạt: khi phát hiện âm tiết biên của thành ngữ 4 tiếng nằm trong một từ ghép hợp lệ đứng trước hoặc đứng sau, hệ thống sẽ tự động kích hoạt luật phân rã để chọn phương án phân đoạn tối ưu toàn cục.

So sánh với các nghiên cứu tiền nhiệm sử dụng mô hình n-gram đơn giản vốn chỉ đạt độ chính xác dao động trong khoảng 90% đến 92%, phương pháp đề xuất trong luận văn đã nâng độ chính xác tổng thể lên trên 96%. So với mô hình WFST nguyên bản, giải pháp này hạn chế tối đa sự bùng nổ tổ hợp nhánh $2^{n-1}$, giúp thời gian xử lý một đoạn văn bản 1.000 câu giảm khoảng 40%.

Trong báo cáo thực nghiệm, dữ liệu kết quả được trực quan hóa thông qua bảng thống kê độ chính xác phân đoạn chi tiết giữa các phương pháp (FMM, BMM, LRMM cải tiến và WFST) cùng biểu đồ phân phối tỷ lệ khử thành công theo từng nhóm nhập nhằng. Biểu đồ cột minh họa rõ sự vượt trội của phương pháp cải tiến khi tỷ lệ nhận diện đúng từ ghép chính phụ và từ ghép đẳng lập đạt trên 97%, trong khi tỷ lệ xử lý sai ở các cấu trúc đa từ loại giảm xuống dưới 3,5%.

Đề xuất và khuyến nghị

Dựa trên những phát hiện và kết quả đạt được, luận văn đưa ra 4 khuyến nghị hành động cụ thể nhằm hoàn thiện và phát triển các hệ thống phân đoạn từ tiếng Việt trong thực tế:

• Chuẩn hóa và mở rộng từ điển trọng số: Các viện nghiên cứu ngôn ngữ và trung tâm công nghệ thông tin cần phối hợp cập nhật kho từ điển tiếng Việt lên quy mô tối thiểu 150.000 từ trong lộ trình 6 tháng, tập trung bổ sung các thuật ngữ khoa học công nghệ, kinh tế số và từ mượn hiện đại nhằm nâng độ bao phủ từ vựng lên trên 98%.
• Tích hợp mô hình học sâu và biểu diễn từ ngữ cảnh: Các nhóm kỹ sư phần mềm AI cần triển khai tích hợp các kiến trúc mạng nơ-ron sâu hoặc mô hình ngôn ngữ dựa trên Transformer trong thời gian 12 tháng tới, nhằm tối ưu hóa chỉ số F1-score của bộ phân đoạn từ mức 96,5% hiện tại lên ngưỡng trên 98,5%.
• Phát triển mô-đun tự động nhận diện thực thể chưa biết: Bộ phận phát triển hệ thống cần xây dựng thuật toán chuyên biệt trong vòng 9 tháng để nhận dạng chính xác tên riêng, địa danh, tên tổ chức và các biến thể viết tắt, giảm thiểu tỷ lệ lỗi phân đoạn ranh giới từ lạ xuống dưới 2%.
• Ứng dụng hệ thống vào các nền tảng khai phá dữ liệu quy mô lớn: Các cơ quan hành chính số và doanh nghiệp công nghệ thông tin nên tích hợp bộ công cụ phân đoạn từ đã tối ưu vào pipeline của hệ thống tìm kiếm thông tin, công cụ dịch máy và phần mềm tóm tắt văn bản tự động trong giai đoạn 1 đến 2 năm tới, giúp tăng tốc độ trích xuất dữ liệu gấp 3 lần so với phương pháp thủ công.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang giá trị học thuật và ứng dụng cao cho 4 nhóm đối tượng chính:

• Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Công nghệ thông tin: Tài liệu cung cấp cơ sở lý thuyết chi tiết về mô hình đồ thị CRF, máy chuyển dịch trạng thái WFST và phương pháp luận thiết kế thuật toán phân đoạn từ cho ngôn ngữ đơn lập.
• Kỹ sư phát triển phần mềm và chuyên gia AI/NLP: Có thể ứng dụng trực tiếp quy trình 5 bước tiền xử lý, thuật toán khử nhập nhằng đa cấp và cấu trúc mã nguồn xử lý định dạng đa phương tiện (PDF, Word, HTML) vào các sản phẩm phần mềm thương mại.
• Chuyên gia phân tích dữ liệu văn bản và quản trị tri thức: Nắm bắt phương pháp làm sạch dữ liệu văn bản thuần túy, chuẩn hóa phông chữ Unicode UTF-8 và trích xuất cấu trúc ngữ nghĩa từ kho dữ liệu số khổng lồ phục vụ nghiệp vụ Business Intelligence.
• Giảng viên và sinh viên các trường đại học khối ngành Công nghệ và Ngôn ngữ học: Sử dụng luận văn làm tài liệu giảng dạy, tham khảo chuyên đề cho các học phần Xử lý ngôn ngữ tự nhiên, Khai phá văn bản và Ngôn ngữ học tính toán.

Câu hỏi thường gặp

Tại sao phân đoạn từ tiếng Việt phức tạp hơn nhiều so với tiếng Anh?
Trong tiếng Anh, ranh giới từ được phân tách rõ ràng bằng khoảng trắng. Ngược lại, tiếng Việt là ngôn ngữ đơn lập, khoảng trắng chỉ đóng vai trò phân tách các âm tiết (tiếng). Một từ tiếng Việt có thể cấu tạo từ 1 đến 4 âm tiết dưới dạng từ đơn, từ ghép hoặc từ láy, khiến khoảng trắng không phản ánh chính xác ranh giới từ nếu không có thuật toán phân tích ngữ cảnh.

Thuật toán so khớp cực đại tiến (FMM) và lùi (BMM) bộc lộ nhược điểm gì?
FMM và BMM duyệt đơn hướng nên dễ mắc bẫy tối ưu cục bộ. Ví dụ với cụm "thi đấu vòng tròn", FMM cho kết quả đúng nhưng BMM chia sai thành "thi" và "đấu vòng tròn". Ngược lại với "mô hình hoá học", BMM tách đúng nhưng FMM lại chia sai thành "mô hình hoá" và "học", gây ra tỷ lệ lỗi phân đoạn khoảng 10% đến 14%.

Nghiên cứu giải quyết bài toán nhập nhằng có độ lệch âm tiết bằng nhau như thế nào?
Với các trường hợp như "học sinh học", cả hai cách tách đều có độ lệch âm tiết bằng 1. Nghiên cứu áp dụng xác suất Bigram mức từ có xét đến ngữ cảnh từ đứng trước và đứng sau. Nếu xác suất Bigram bị triệt tiêu do kho mẫu hạn chế, hệ thống tự động chuyển sang tính độ thông tin tương hỗ MI mức âm tiết để đưa ra quyết định chính xác.

Mô hình CRF có vai trò gì trong việc nâng cao chất lượng tách từ?
Mô hình trường ngẫu nhiên có điều kiện (CRF) là mô hình phân biệt dựa trên đồ thị vô hướng, tính toán xác suất có điều kiện trên toàn bộ chuỗi quan sát thay vì từng trạng thái riêng lẻ. Nhờ sử dụng các hàm đặc trưng trạng thái và hàm chuyển tiếp, CRF giải quyết triệt để hiện tượng thiên lệch nhãn (label bias) và tối ưu hóa độ chính xác tổng thể.

Hệ thống xử lý làm sạch các định dạng tệp đầu vào khác nhau ra sao?
Hệ thống sử dụng các bộ chuyển đổi chuyên dụng gồm PDFBox cho tệp PDF, Microsoft.Core cho tệp Word và bộ bóc tách mã nguồn cho tệp HTML. Toàn bộ định dạng hình ảnh, âm thanh, liên kết và khoảng trắng thừa được loại bỏ 100%, chuẩn hóa văn bản về mã Unicode UTF-8 trước khi thực hiện phân đoạn từ.

Kết luận

• Luận văn đã hệ thống hóa toàn diện cơ sở lý luận về cấu trúc âm tiết, từ vựng và 12 từ loại tiếng Việt trong mối quan hệ với bài toán xử lý ngôn ngữ tự nhiên.
• Định danh và phân loại rõ ràng 3 cơ chế nhập nhằng ranh giới từ phức tạp trong ngữ liệu tiếng Việt thực tế.
• Đề xuất giải pháp cải tiến thuật toán so khớp cực đại LRMM kết hợp trọng số ngôn ngữ WFST và mô hình xác suất Bigram/MI.
• Xây dựng thành công hệ thống phần mềm thử nghiệm đạt độ chính xác phân đoạn trên 96,5% trên tập ngữ liệu hơn 10.000 câu.
• Hoàn thiện pipeline tiền xử lý và làm sạch dữ liệu tự động cho đa dạng định dạng tệp số hóa về chuẩn Unicode UTF-8 thống nhất.

Công trình đóng góp một giải pháp kỹ thuật hiệu quả cho bài toán phân đoạn từ tiếng Việt, tạo nền tảng vững chắc cho các ứng dụng khai phá tri thức văn bản tiếp theo. Trong giai đoạn 12 đến 24 tháng tới, hướng nghiên cứu sẽ tiếp tục mở rộng sang việc tích hợp các mô hình ngôn ngữ lớn và học sâu đa nhiệm. Các nhà phát triển và đơn vị nghiên cứu có thể khai thác ngay giải pháp này để nâng cao hiệu năng cho các hệ thống phân tích dữ liệu văn bản tiếng Việt.

Trích đoạn nội dung tài liệu

mở đầu. Ví dụ: toán – tán Âm chính: là hạt nhân và mang âmsắcchủđạo của tiếng.Vídụ : “túy” và “túi” Âm cuối: có tác dụng kết thúc tiếngvới các âm sắc khác nhau, do đó có thểphân biệt các tiếng. Ví dụ: “bàn” và “bài” Cụm gồm âmđệm, âmchính và âmcuối ta gọi là vần. Ví dụ: vần “ang”, vần “oan”… LUAN VAN CHAT LUONG download : add [e-mail] 13 Đâylà5thànhtốcủatiếng(vầnkhôngphảilàmộtthànhtốmàchỉlàcáchgọi củacụm 3âm đãnóiởtrên),màbấtcứtiếngnàotrongtiếngViệt đềutuântheocấutrúc nhƣtrên.Nhƣngcũngcótrƣờnghợpmộtsốâmtrùngnhau,nhấtlàvớinhữngtiếngg ồm 3 kí tự trởxuống.

Cấu tạo từ Nhƣđãđềcậpởtrên,từtrongtiếngViệtđƣợccấutạohoặclàbằngmộttiếng hoặclàtổhợpnhiềutiếngtheocáccáchkhácnhau đểtạoracácloạitừ [2].Dƣớiđây, tôi xin trình bày về hai loại từ tiếngViệt. Từ đơn Từđơn,haycòngọilàtừđơnâmtiết,làcáctừđƣợc cấutạo bởimộttiếngduy nhất.Vídụ: tôi, bạn, nhà, hoa, vƣờn… 1. Từ ghép Từghéplàcáctừđƣợc tạolêntừhaihoặcnhiềuhơncác tiếnglại.Giữacáctiếng có mỗi quan hệvề nghĩa với nhau, vì thế ta cũng có các loại từ ghép khác nhau. Từghép đẳng lập: các thành phầncấu tạo từ có mối quan hệ bìnhđẳngvới nhau vềnghĩa.

Ví dụ: ăn nói, bơilội … Từ ghép chính phụ:các thành phần cấu tạo từcó mối quan hệphụ thuộcvới nhau vềnghĩa. Thành phần phụ sẽ có vai trò làmchuyên biệt hóa, tạo sắc thái cho thành phần chính. Ví dụ:hoahồng, đƣờng sắt… 1. Từ láy Mộttừsẽđƣợccoilàtừláykhicácyếutốcấutạonênnócóthànhphầnngữâm đƣợc lặp lại; nhƣngvừa có lặp (còn gọi là điệp) vừa có biến đổi (còn gọi là đối).

Ví dụ: đo LUAN VAN CHAT LUONG download : add [e-mail] 14 đỏ,manmát…Nếumộttừchỉcóphầnlặpmàkhôngcósựbiếnđổi(chẳnghạnnhƣtừ nhà nhà, ngành ngành…)thì ta có dạng láy của từ, hoàn toàn khôngphải là từ láy. Độdàitừláythayđổitừ2tiếngđến4tiếng.NhƣngtrongtiếngViệtđasốlàtừ láy hai tiếng, chúng chia thành hai loại từ láy sau: • Láy hoàn toàn: là cách láy mà tiếng sau lặp lại hoàn toàn tiếng trƣớc. Gọi là hoàn toàn nhƣng thực ra các tiếng không trùng khít nhau mà có những sai khác rất nhỏ mà ta có thể nhận ra ngay. Một số kiểu láy hoàn toàn ta hay gặp Láyhoàntoàn đốinhauởthanh điệu,vídụnhƣ:“sừngsững”,“loang loáng”… Láy hoàn toànđốinhau ở âm cuối,ví dụ nhƣ:“khin khít”, “ăm ắp”… Láyhoàntoàn đốinhauởtrọngâm,tứclàmộttiếngđƣợcnóinhấn mạnhhoặckéodài hơnsovớitiếngkia,vídụnhƣ: đùngđùng, đăm đăm… • Láybộphận:làcáchláymàchỉcóđiệpởphầnâmđầucủatiếng,hoặcđ iệp ởphầnvầnthìđƣợcgọilàláybộphận.Căncứvàođótachiaratừngkiểu láy sau Từláyđiệpởâmđầuvàđốiởvần,vídụnhƣ“nhƣngnhức”,“thơ thẩn”,… Từ láyđiệmở vần vàđối ở âmđầu, ví dụ “hấp tấp”, “liểngxiểng”,… Nhập nhằng Nếutadựatrênkháiniệm“từ”củacácnhàngônngữhọcđểtrựctiếpphânđoạ n từbằngtaythìkhócóthể xảyraviệcnhậpnhằng trong tiếngViệt.Song dƣớigócđộứng dụngmáytính,chúngtacoimộttừchỉđơngiảnlàcấutạotừmộthoặcnhiềutiếng,và LUAN VAN CHAT LUONG download : add [e-mail] 15 việc này rất dễ gây ra sự nhậpnhằng trong quá trình phân đoạn từ.

Nhập nhằng Nhập nhằng trong ngôn ngữ học là hiện tƣợng thƣờng gặp, trong giao tiếp hàng ngày con ngƣời ít để ý đến nó bởi vì họ xử lý tốt hiện tƣợng này. Nhƣng trong các ứng dụng liên quan đến xử lý ngôn ngữ tự nhiên khi phải thao tác với ý nghĩa từ vựng mà điển hình là dịch tự động nhập nhằng trở thành vấn đề nghiêm trọng. Ví dụ trong một câu cần dịch có xuất hiện từ "đƣờng" nhƣ trong câu "ra chợ mua cho mẹ ít đƣờng" vấn đề nảy sinh là cần dịch từ này là road hay sugar, con ngƣời xác định chúng khá dễ dàng căn cứ vào văn cảnh và các dấu hiệu nhận biết khác nhƣng với máy thì không. Việc tìm ra các thuật toán hữu hiệu gây khó khăn không ít cho các nhà lập trình a) Nhập nhằng ranh giới từ Trong tiếng Anh việc xác định ranh giới từ khá dễ dàng, mỗi từ riêng lẻ đã mang trọn vẹn một nghĩa và ranh giới của chúng đƣợc xác định thông qua khoảng trắng.

Tiếng Việt thì khác, do là ngôn ngữ đơn lập nên từ vựng chủ yếu là các từ ghép vì thế khoảng trắng không phải luôn luôn là ranh giới chính xác. - He is a teacher (1) - Anh ấy là giáo viên (2) Câu (1) phân định ranh giới dễ dàng cụ thể là: He / is / a / teacher Nhƣng trong câu (2) nếu vẫn phân định ranh giới từ theo khoảng trắng không chính xác hoàn toàn, cụ thể: Anh / ấy / là / giáo / viên LUAN VAN CHAT LUONG download : add [e-mail] 16 Từ giáo viên là từ ghép nay bị chia thành hai từ đơn là giáo và viên, cách chia này là sai.