Luận văn của Nguyễn Minh Hải: Phát triển công cụ gióng hàng văn bản song ngữ

Tải luận văn thạc sĩ về phát triển công cụ gióng hàng văn bản song ngữ Anh - Việt. Nghiên cứu các thuật toán và ứng dụng trong dịch máy và NLP.

• Tác giả: Nguyễn Minh Hải
• Người hướng dẫn: TS. Nguyễn Thị Minh Huyền
• Trường học: Đại học Quốc gia Hà Nội, Trường Đại học Khoa học Tự nhiên
• Chuyên ngành: Cơ sở Toán cho Tin học
• Đề tài: Phát Triển Công Cụ Gióng Hàng Văn Bản Song Ngữ
• Loại tài liệu: Luận văn thạc sĩ khoa học
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Tóm tắt

I. Khái niệm và tầm quan trọng của công cụ gióng hàng văn bản song ngữ

Công cụ gióng hàng văn bản song ngữ là một giải pháp quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (XLNNTN). Đây là quá trình đặt tương ứng một khối văn bản với bản dịch của nó ở ngôn ngữ khác. Gióng hàng văn bản đóng vai trò thiết yếu trong việc xây dựng các hệ thống dịch máy hiện đại. Kho dữ liệu song ngữ được gióng hàng chính xác sẽ cung cấp dữ liệu huấn luyện chất lượng cao cho các mô hình dịch máy. Tại Việt Nam, nghiên cứu về gióng hàng cặp Anh-Việt còn khá hạn chế so với các ngôn ngữ châu Âu. Luận văn thạc sĩ này tập trung vào phát triển công cụ gióng hàng văn bản song ngữ để giải quyết các thách thức riêng của tiếng Việt và tiếng Anh.

1.1. Định nghĩa gióng hàng văn bản

Gióng hàng là quá trình xác định sự tương ứng giữa các đơn vị ngôn ngữ trong cặp văn bản song ngữ. Các đơn vị này có thể ở nhiều mức độ khác nhau: mức văn bản, mức đoạn văn, mức câu, mức cụm từ hoặc mức từ. Gióng hàng mức câu đặc biệt quan trọng vì đây là bước tiền xử lý cần thiết cho các ứng dụng dịch máy thống kê. Mỗi câu trong ngôn ngữ nguồn cần được ghép với câu tương ứng trong ngôn ngữ đích.

1.2. Ứng dụng trong dịch máy và XLNNTN

Công cụ gióng hàng văn bản song ngữ là nền tảng thiết yếu cho hệ thống dịch máy tự động. Dữ liệu được gióng hàng chính xác giúp cải thiện độ chính xác của các mô hình dịch máy. Trong lĩnh vực xử lý ngôn ngữ tự nhiên, công cụ này cũng hỗ trợ xây dựng từ điển song ngữ tự động, trích chọn thuật ngữ song ngữ và phân tích song song các cặp ngôn ngữ.

II. Các phương pháp gióng hàng văn bản hiện nay

Có nhiều cách tiếp cận khác nhau để thực hiện gióng hàng văn bản song ngữ. Các phương pháp này được phân loại dựa trên các tiêu chí và thông tin ngôn ngữ khác nhau. Phương pháp gióng hàng có thể sử dụng thông tin chiều dài câu, điểm tương đồng, từ vựng hoặc kết hợp nhiều phương pháp. Mỗi approach gióng hàng có ưu nhược điểm riêng, phù hợp với các cặp ngôn ngữ khác nhau. Các nghiên cứu gần đây cho thấy kết hợp nhiều phương pháp sẽ cho kết quả tốt hơn so với sử dụng một phương pháp duy nhất. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của cặp ngôn ngữ Anh-Việt cần xử lý.

2.1. Phương pháp dựa trên chiều dài câu

Thuật toán Gale-Church là phương pháp gióng hàng văn bản dựa trên giả định rằng các câu dài trong ngôn ngữ nguồn thường tương ứng với các câu dài trong ngôn ngữ đích. Phương pháp này sử dụng mô hình xác suất để tính toán độ phù hợp giữa các cặp câu. Mặc dù đơn giản và nhanh, nhưng phương pháp này có độ chính xác hạn chế khi xử lý các cặp ngôn ngữ có cấu trúc khác nhau như Anh-Việt.

2.2. Phương pháp dựa trên điểm tương đồng

Phương pháp này sử dụng các từ neo (anchor words) hoặc các điểm tương đồng khác để xác định sự tương ứng giữa câu. Các thuật toán gióng hàng dựa trên tương đồng từ vựng thường cho kết quả tốt hơn khi xử lý gióng hàng các cặp ngôn ngữ có sự chênh lệch chiều dài đáng kể. Tuy nhiên, phương pháp này yêu cầu tài nguyên xử lý lớn hơn.

2.3. Kết hợp nhiều phương pháp

Các nghiên cứu hiện đại chứng tỏ rằng kết hợp các phương pháp gióng hàng khác nhau sẽ cho kết quả tốt nhất. Việc kết hợp chiều dài câu, tương đồng từ vựng và các thông tin khác tạo nên một hệ thống gióng hàng mạnh mẽ và chính xác hơn.

III. Đặc điểm của tiếng Anh và tiếng Việt trong gióng hàng

Tiếng Anh và tiếng Việt có những đặc điểm ngôn ngữ khác nhau đáng kể, ảnh hưởng trực tiếp đến hiệu quả của công cụ gióng hàng văn bản. Tiếng Anh là ngôn ngữ chữ cái với cấu trúc câu phức tạp, trong khi tiếng Việt là ngôn ngữ không chịu ảnh hưởng của quán tính hình thái học. Điều này dẫn đến sự chênh lệch về chiều dài câu giữa hai bản dịch. Ngoài ra, tiếng Việt có đặc thù riêng về từ vựng, cấu trúc câu và cách biểu đạt ý nghĩa. Những khác biệt này làm cho các thuật toán gióng hàng được phát triển cho các cặp ngôn ngữ châu Âu không hoạt động tốt trên cặp Anh-Việt. Do đó, cần phải phát triển các công cụ gióng hàng chuyên biệt cho cặp ngôn ngữ này.

3.1. Đặc điểm cấu trúc tiếng Anh

Tiếng Anh có cấu trúc câu tương đối cứng nhắc với thứ tự chủ-vị-tân (SVO). Ngôn ngữ này sử dụng các từ chức năng, giới từ, và hình thái động từ để thể hiện mối quan hệ giữa các thành phần câu. Chiều dài câu tiếng Anh thường ổn định hơn so với các ngôn ngữ khác.

3.2. Đặc điểm cấu trúc tiếng Việt

Tiếng Việt là ngôn ngữ phân tích, không có sự biến đổi hình thái. Từ vựng tiếng Việt thường đơn giản hơn tiếng Anh khi dịch, dẫn đến câu tiếng Việt thường ngắn hơn câu tiếng Anh tương ứng. Cấu trúc câu tiếng Việt linh hoạt hơn, cho phép sắp xếp lại các thành phần mà không thay đổi nghĩa.

IV. Công cụ XAlign và cải tiến cho cặp Anh Việt

Công cụ XAlign là một hệ thống gióng hàng văn bản song ngữ sử dụng thuật toán quy hoạch động để tìm kiếm sự tương ứng tối ưu giữa các câu. Công cụ này được phát triển dựa trên các nghiên cứu trước đó nhưng được cải tiến để phù hợp với đặc điểm của tiếng Việt. XAlign kết hợp nhiều phương pháp gióng hàng khác nhau để tăng độ chính xác. Luận văn thạc sĩ tập trung vào việc cải tiến công cụ XAlign thông qua điều chỉnh các tham số, tối ưu hóa thuật toán gióng hàng và thử nghiệm trên các bộ dữ liệu song ngữ tiếng Việt khác nhau. Kết quả cho thấy rằng với những cải tiến này, hiệu suất công cụ gióng hàng được cải thiện đáng kể trên cặp ngôn ngữ Anh-Việt.

4.1. Thuật toán quy hoạch động

Thuật toán quy hoạch động trong công cụ XAlign tính toán ma trận chi phí để xác định sự tương ứng tối ưu giữa các câu. Phương pháp này cho phép tìm kiếm các cặp gióng hàng phức tạp như một câu dịch thành hai câu hoặc ngược lại. Thuật toán này hiệu quả hơn các phương pháp tham lam truyền thống.

4.2. Cải tiến tham số và thuật toán

Luận văn đề xuất các cải tiến về tham số cho công cụ gióng hàng, bao gồm điều chỉnh trọng số của các phương pháp gióng hàng khác nhau. Những cải tiến thuật toán này được thử nghiệm trên bộ dữ liệu tiếng Việt để đảm bảo hiệu quả. Kết quả cho thấy độ chính xác tăng lên đáng kể sau các cải tiến này.

4.3. Thử nghiệm và đánh giá

Công cụ gióng hàng được đánh giá trên các khoảng dữ liệu khác nhau sử dụng các chỉ số như độ chính xác (precision), độ nhạy (recall) và điểm F1. Kết quả thử nghiệm chứng tỏ rằng công cụ XAlign cải tiến hoạt động tốt hơn đáng kể so với phiên bản gốc khi xử lý gióng hàng văn bản Anh-Việt.

Trích đoạn nội dung tài liệu

Chương 1 CÁC CÁCH TIEP C¾N GIÓNG HÀNG Trong chương này, bài lu¾n văn đưa ra m®t so kien thúc chuan b%; boi canh và sn can thiet cna gióng hàng văn ban song ngu múc câu; m®t so hưóng tiep c¾n; tiêu chuan đánh giá đ® hi¾u qua cna m®t h¾ thong và khao sát m®t so công cu gióng hàng văn ban song ngu múc câu. Kien thÉc chuan b% Văn ban song ngu (parallel corpus) là văn ban và m®t ho¾c nhieu hơn ban d%ch ho¾c cna nó o ngôn ngu khác. Văn ban song ngu ton tai rat nhieu. Đien hình là sách Kinh Thánh đưoc d%ch ra nhieu thú tieng; các văn ban cna Liên Hop Quoc von đưoc viet bang nhieu thú tieng; các bài viet song ngu trên các trang web.

Trong lu¾n văn, chúng ta chi xét văn ban và m®t ban d%ch cna nó, và không quan tâm đen văn ban nào là goc và văn ban nào là ban d%ch lai. Neu không có chú thích thêm, khi nói đen văn ban song ngu, chúng ta hieu 2 văn ban đó là ban d%ch cna nhau. Gióng hàng văn ban song ngu (parallel corpus alignment) là đ¾t tương úng m®t khoi văn ban o m®t ngôn ngu vói ban d%ch cna nó o m®t ngôn ngu khác. Tùy theo pham vi cna khoi văn ban ta có các múc gióng hàng khác nhau.

Múc r®ng nhat là 3 gióng hàng văn ban 4 vói văn ban. Ví du cho m®t kho ngu li¾u gom nhieu văn ban thu®c hai thú tieng Anh và Vi¾t; sau khi nh¾n di¾n ngôn ngu cho tùng văn ban, gióng hàng múc văn ban xác đ%nh văn ban nào là ban d%ch cna văn ban nào. e múc thap hơn là gióng hàng o múc chương (neu văn ban chia làm nhieu chương) nghĩa là gióng hàng chương vói chương; roi đen gióng hàng o múc đoan văn, múc câu, múc m¾nh đe, múc cum tù và thap nhat là gióng hàng o múc tù. Gióng hàng văn ban song ngu có the đưoc thnc hi¾n thn công ho¾c bang máy.

Trong lu¾n văn quan tâm đen phương pháp gióng hàng văn ban song ngu bang máy o múc câu. Đ® chính xác cna thu¾t toán gióng hàng văn ban song ngu đưoc đo bang 3 chi so là đ® chính xác (precision), đ® phn (recall) và đ® đo F1 (F1-score). Xét c¾p văn ban song ngu D. GQI t¾p các c¾p gióng hàng là Ctotal.

Xét gióng hàng A trên D. GQI TA (D) là t¾p c¾p gióng hàng do A phát hi¾n, CA(D) là t¾p các c¾p gióng hàng chính xác trong so đó, T Ctotal. Đ® chính xác cna gióng hàng A trên D đưoc đ%nh nghĩa nghĩa là CA(D) = TA(D) là ti l¾ gióng hàng đúng trên tőng so gióng hàng do A phát hi¾n, và tính bang: #C A ( D) P (D) =. #C total đ® đo F1 là trung bình đieu hòa cna 2 chi so trên và tính bang: 2 × P A( D ) × R A( D ) F 1-score = PA(D) + RA(D).

Trong lu¾n văn, c¾p văn ban thưòng đưoc ký hi¾u là S và T. Văn ban S gom n câu và đưoc ký hi¾u S = (s1,. , sn), văn ban T gom m câu và đưoc ký hi¾u T = (t1,. Khi ta xét c¾p câu si và tj ta se ký hi¾u c¾p câu này như sau (si, tj).

Đôi khi xét các gióng hàng o múc khác như múc đoan văn ta cũng ký hi¾u các đoan bang s, t. neu ta sap các câu trong 2 văn ban trên 2 canh chung đinh cna m®t hình chu nh¾t vói chieu r®ng và chieu dài ti l¾ vói so câu cna moi văn ban thì các c¾p gióng hàng se phân 5 bo gan đưòng chéo cna hình chu nh¾t này. 6 Loai Tan so Xác suat 1:1 1167 0,89 1:0 ho¾c 0:1 13 0,0099 2:1 ho¾c 1:2 117 0,089 2:2 15 0,011 1312 1,00 Bang 1.1: Thong kê so lưong gióng hàng moi loai Đe ký hi¾u các tù trong câu, trong lu¾n văn dùng ký hi¾u v và w. Ví du, câu si, tj gom p và q tù lan lưot đưoc ký hi¾u là si = (v1,.

, vp) và tj = (wq,. Trong lu¾n văn chn yeu đe c¾p đen phương pháp và công cu gióng hàng o múc câu. Do đó phan sau cna muc này se giói thi¾u m®t so khái ni¾m trong múc gióng hàng này. Gióng hàng o múc câu nghĩa là đ¾t tương úng 2 nhóm câu là ban d%ch cna nhau thành m®t c¾p gióng hàng không the phân chia thành các gióng hàng o múc nho hơn.

Tùy thu®c vào so lưong câu có trong c¾p gióng hàng, ta chia thành ba loai: • Gióng hàng 1 : 0 khi câu o ban goc không đưoc d%ch • Gióng hàng 0 : 1 khi chèn thêm 1 câu vào ban d%ch mà ban goc không có • Gióng hàng n : m khi n câu o ban goc đưoc d%ch thành m câu o ban d%ch vói n, m là các so tn nhiên lón hơn 0. Gióng hàng phő bien nhat là 1 : 1, ke đó là các trưòng hop n : m khác, gióng hàng 0 : 1, 1 : 0 chiem ti l¾ ít hơn ca. Trong các gióng hàng n : m thì các gióng hàng vói n ≥ 4 ho¾c m ≥ 4 chiem ti l¾ rat nho. Nhung nh¾n xét này đưoc minh HQA bang so li¾u trong bang 1.1 do nhóm tác gia Gale và Church thnc hi¾n 1993 [5] thong kê so lưong gióng hàng cho kho ngu li¾u UBS (Union Bank of Switzerland) gom 15 báo cáo bang 3 thú tieng Anh, Pháp và Đúc bao gom 14.680 tù, 725 câu và 118 đoan văn.

Bên canh so lưong câu trong moi ve cna c¾p gióng hàng, neu dna vào v% trí tương đoi cna các câu trong văn ban đưoc gióng hàng, ta có khái ni¾m gióng hàng 7 chéo. Gióng hàng 8 Phu Tho is a midland province in the North- Phú THQ là tinh trung du mien núi phía Bac ern of Vietnam with nature land area at Vi¾t Nam, có di¾n tích đat tn nhiên 3,532km2, of which 97,610 ha are agricul- 3.532 km2, trong đó diên tích đat nông tural land, 200,000 ha of forest land including nghi¾p là 97.610 ha, đat rùng là 200.000 ha 64,064 ha of natural forest, 10,000 ha of vói 64.064 ha rùng tn nhiên, đat m¾t nưóc water nuôi trong surface for aquaculture and other land. thny san là 10. The province plays as a northwest gate of Tinh Phú THQ là cua ngõ phía Tây Bac cna Hanoi capital, is 50 kilometers distance from thn đô Hà N®i, cách sân bay quoc te n®i bai He kou international border gate (between 50km, cách cang Hai Phòng 170 km, cách Lao Cai - Vietnam and Yunnan - China).

cua khau quoc te Hà Khau (giua Lào Cai - This province is the center of the region and Vi¾t Nam và Vân Nam - Trung Quoc) is the meeting point of three large rivers (Da 200km, nam trên truc hành lang kinh te Hai river, Red river and Lo river), so it makes Phòng - Hà N®i - Côn Minh (Trung Quoc) Phu Tho favorable traffic system on land, railway và là nơi hop lưu dòng cna ba con sông lón and by water. (sông Đà, sông Hong, sông Lô) đã tao cho This foundation makes strong potential for Phú THQ có nhieu đieu ki¾n thu¾n loi và economic development and exchange with tiem năng to lón đe san xuat kinh doanh, the other economic regions of both domestic and giao lưu, phát trien kinh te trong và ngoài other nations.2: Ví du ve gióng hàng chéo xay ra khi ton tai hai c¾p câu (i, j) và (iJ , j J ) thu®c hai c¾p gióng hàng khác nhau sao cho i < iJ và j > j J. Neu hình dung hai văn ban song ngu như hai đoan thang song song nhau, và ta noi moi c¾p gióng hàng bang m®t đoan thang thì gióng hàng chéo xay ra khi hai đoan thang noi giao nhau. Trong lu¾n văn, ta không xem xét gióng hàng chéo.

Trong ví du o bang 1.2 c¾p gióng hàng đau tiên là 1:1, c¾p gióng hàng thú hai là 3:1. Các kien thúc ve xác suat bao gom nhung khái ni¾m cơ ban nhat, công thúc Bayes và phân phoi chuan đưoc su dung trong lu¾n văn. Trong lu¾n văn đe c¾p rat 9 nhieu đen thu¾t toán quy hoach đ®ng, m®t thu¾t toán cơ ban trong giai thu¾t và thu¾t toán cnc 10 đai Entropy (Maximum Entropy), m®t thu¾t toán cơ ban trong lĩnh vnc HQc máy. Do đây đeu là nhung kien thúc cơ ban de tìm nên muc này không trình bày lai nua.

Boi canh L%ch su cna gióng hàng văn ban có the coi đưoc bat đau tù năm 1822 khi giáo sư Jean Francois Champollion sau khi nghiên cúu phien đá Rosetta đã khám phá ra ngôn ngu Ai C¾p tưong hình. Đây von là m®t văn ban khac đá cő đai ghi m®t sac l¾nh bang ba thú tieng: trên cùng là Ai C¾p cő đai, giua là Demotic và dưói cùng là tieng Hy Lap cő. Dna vào vi¾c gióng hàng các đoan văn ban là ban d%ch cna nhau (suy đoán dna trên v% trí cna đoan trong văn ban) và tù các ngôn ngu đã biet như tieng Hy Lap cő, Jean Francois đã giai mã đưoc các chu Ai C¾p tưong hình và khám phá ra ngôn ngu Ai C¾p cő. Vói nhu cau phuc vu cho d%ch tn đ®ng, nghiên cúu ve gióng hàng văn ban song ngu tn đ®ng xuat hi¾n tù nhung năm 1950.

Tuy nhiên do nhung giói han cna máy tính thòi đó ca ve dung lưong b® nhó lan toc đ® tính toán nên các ket qua thu đưoc chưa tot. Đen nhung năm 1980, máy tính tro nên manh hơn nhieu lan, gióng hàng văn ban song ngu tn đ®ng tro nên kha thi nên đưoc quan tâm nghiên cúu tro lai, và vài năm sau đó, các nghiên cúu ve lĩnh vnc này liên tiep đưoc công bo. Ket qua đau tiên ve gióng hàng văn ban song ngu trong thòi kì này dna trên gia thiet ve moi liên h¾ giua ti l¾ đ® dài cna c¾p câu song ngu vói kha năng chúng đưoc gióng hàng đen nhau (Brown, 1991). Cùng năm 1991 xuat hi¾n h¾ thong tn đ®ng gióng hàng văn ban song ngu đau tiên cna Kay.

H¾ thong này dna trên ý tưong là neu hai câu tương úng vói nhau thì các tù trong hai câu đó cũng phai tương úng vói nhau. Chi tiet cna h¾ thong Kay se đưoc trình bày trong phan sau. Năm 1993, Chen đe xuat phương pháp gióng hàng dna trên thông tin tù vnng. Đây là phương pháp gióng hàng dna trên thông tin tù vnng đau tiên đn hi¾u qua đe xu lý nhung văn ban lón.

Hưóng tiep c¾n thú ba là dna trên nhung c¾p tù đ¾c bi¾t GQI là điem tương đong (cognate). Nhung tù này có the là ngày tháng, tên tiêng hay nhung dau câu.