Luận văn Thạc sĩ Nguyễn Minh Thuận: Cải thiện hệ thống dịch máy VNU-UET

Luận văn thạc sĩ nghiên cứu vnu uet enhancing the quality of machine translation system using cross lingual word embedding, khảo sát thực trạng, phân tích nguyên nhân, đề xuất

• Tác giả: Nguyen Minh Thuan
• Người hướng dẫn: Assoc. Nguyen Phuong Thai
• Trường học: Vietnam National University, Hanoi University of Engineering and Technology
• Chuyên ngành: Computer Science
• Đề tài: Enhancing the quality of Machine Translation System Using Cross-Lingual Word Embedding Models
• Loại tài liệu: master thesis
• Năm xuất bản: 2018
• Địa điểm: Hanoi

Mục lục chi tiết

• 1. Introduction
• 2. Literature review
• 2.1. History
• 2.2. Approaches
• 2.4. Open-Source Machine Translation
• 2.4.1. Moses - an Open Statistical Machine Translation System
• 2.4.2. OpenNMT - an Open Neural Machine Translation System
• 2.1. Monolingual Word Embedding Models
• 2.2. Cross-Lingual Word Embedding Models
• 3. Using Cross-Lingual Word Embedding Models for Machine Translation Systems
• 3.1. Enhancing the quality of Phrase-table in SMT Using Cross-Lingual Word Embedding
• 3.1.1. Recomputing Phrase-table weights
• 3.1.2. Generating new phrase pairs
• 3.2. Addressing the Unknown Word Problem in NMT Using Cross-Lingual Word Embedding Models
• 4. Experiments and Results
• 4.1. Word Translation Task
• 4.2. Impact of Enriching the Phrase-table on SMT system
• 4.3. Impact of Removing the Unknown Words on NMT system
• 5. Conclusion

Tóm tắt

I. Tổng quan về Luận văn thạc sĩ VNU UET trong dịch máy

Luận văn thạc sĩ của Nguyễn Minh Thuận tại VNU UET tập trung vào việc nâng cao chất lượng của hệ thống dịch máy thông qua các mô hình nhúng từ giữa hai ngôn ngữ. Nghiên cứu này không chỉ mang lại giá trị cho lĩnh vực dịch máy mà còn góp phần vào sự phát triển của ngôn ngữ tự nhiên và học sâu trong dịch thuật. Mục tiêu chính là cải thiện độ chính xác và hiệu quả của các hệ thống dịch máy hiện tại.

1.1. Mục tiêu nghiên cứu và tầm quan trọng

Mục tiêu của luận văn là phát triển các mô hình nhúng từ để giải quyết các vấn đề trong dịch máy, đặc biệt là trong việc cải thiện chất lượng dịch thuật cho các ngôn ngữ ít tài nguyên như tiếng Việt.

1.2. Đối tượng và phương pháp nghiên cứu

Luận văn sử dụng các mô hình nhúng từ giữa hai ngôn ngữ để cải thiện bảng cụm từ trong dịch máy thống kê và giải quyết vấn đề từ không xác định trong dịch máy thần kinh.

II. Vấn đề trong hệ thống dịch máy hiện tại và thách thức

Hệ thống dịch máy hiện tại gặp nhiều thách thức, đặc biệt là trong việc xử lý các ngôn ngữ ít tài nguyên. Việc thiếu dữ liệu song ngữ chất lượng cao dẫn đến bảng cụm từ kém, ảnh hưởng đến độ chính xác của dịch thuật. Ngoài ra, vấn đề từ không xác định trong dịch máy thần kinh cũng là một thách thức lớn.

2.1. Thiếu dữ liệu song ngữ và ảnh hưởng đến dịch máy

Thiếu dữ liệu song ngữ chất lượng cao dẫn đến việc tạo ra bảng cụm từ không đầy đủ, làm giảm hiệu quả của hệ thống dịch máy. Điều này đặc biệt nghiêm trọng đối với các ngôn ngữ ít được sử dụng.

2.2. Vấn đề từ không xác định trong dịch máy thần kinh

Trong hệ thống dịch máy thần kinh, từ không xác định thường bị thay thế bằng ký hiệu 'unk', dẫn đến việc không thể dịch chính xác các từ này. Điều này gây ra sự giảm sút đáng kể trong chất lượng dịch thuật.

III. Phương pháp cải thiện chất lượng dịch máy bằng nhúng từ

Luận văn đề xuất hai mô hình chính để cải thiện chất lượng dịch máy. Mô hình đầu tiên tập trung vào việc nâng cao bảng cụm từ trong dịch máy thống kê, trong khi mô hình thứ hai giải quyết vấn đề từ không xác định trong dịch máy thần kinh. Cả hai mô hình đều sử dụng mô hình nhúng từ giữa hai ngôn ngữ để tối ưu hóa quá trình dịch.

3.1. Nâng cao bảng cụm từ trong dịch máy thống kê

Mô hình đầu tiên sử dụng các phương pháp nhúng từ để tính toán lại trọng số của bảng cụm từ, từ đó tạo ra các cặp cụm từ mới, giúp cải thiện độ chính xác của dịch máy.

3.2. Giải quyết vấn đề từ không xác định trong dịch máy thần kinh

Mô hình thứ hai thay thế các từ không xác định bằng các từ trong từ vựng có sẵn, giúp cải thiện đáng kể chất lượng dịch cho các câu có chứa từ không xác định.

IV. Ứng dụng thực tiễn và kết quả nghiên cứu

Nghiên cứu đã chỉ ra rằng việc áp dụng các mô hình nhúng từ giữa hai ngôn ngữ có thể cải thiện đáng kể chất lượng dịch máy. Các thử nghiệm cho thấy sự gia tăng trong độ chính xác dịch thuật, đặc biệt là đối với các ngôn ngữ ít tài nguyên. Kết quả này mở ra hướng đi mới cho việc phát triển các hệ thống dịch máy hiệu quả hơn.

4.1. Kết quả thử nghiệm trên bảng cụm từ

Các thử nghiệm cho thấy việc làm giàu bảng cụm từ bằng cách sử dụng nhúng từ đã cải thiện đáng kể độ chính xác của hệ thống dịch máy thống kê.

4.2. Tác động của việc xử lý từ không xác định

Việc xử lý các từ không xác định đã cho thấy sự cải thiện rõ rệt trong chất lượng dịch của hệ thống dịch máy thần kinh, giúp tăng cường khả năng dịch cho các ngôn ngữ ít tài nguyên.

V. Kết luận và tương lai của nghiên cứu trong dịch máy

Luận văn đã chứng minh rằng việc sử dụng các mô hình nhúng từ giữa hai ngôn ngữ có thể nâng cao chất lượng dịch máy một cách hiệu quả. Tương lai của nghiên cứu này hứa hẹn sẽ mở ra nhiều cơ hội mới trong việc phát triển các hệ thống dịch máy thông minh hơn, đặc biệt là cho các ngôn ngữ ít tài nguyên.

5.1. Hướng đi tương lai cho nghiên cứu dịch máy

Nghiên cứu có thể mở rộng để khám phá thêm các mô hình nhúng từ mới và cải tiến hơn, nhằm nâng cao hơn nữa chất lượng dịch máy.

5.2. Tác động của nghiên cứu đến ngành dịch thuật

Kết quả nghiên cứu không chỉ có giá trị cho lĩnh vực dịch máy mà còn có thể áp dụng trong các lĩnh vực khác của ngôn ngữ tự nhiên, mở ra nhiều cơ hội mới cho các ứng dụng thực tiễn.

Nội dung chính

Tổng quan nghiên cứu

Dịch máy tự động (Machine Translation - MT) đóng vai trò then chốt trong kỷ nguyên toàn cầu hóa, giúp phá vỡ rào cản ngôn ngữ và thúc đẩy giao thương quốc tế. Hai trường phái dịch máy chủ đạo hiện nay là dịch máy thống kê dựa trên cụm từ (PBSMT) và dịch máy nơ-ron (NMT). Tuy nhiên, cả hai phương pháp này đều phụ thuộc nghiêm trọng vào các bộ ngữ liệu song ngữ quy mô lớn vốn đòi hỏi chi phí tài chính và nhân lực khổng lồ để xây dựng. Đối với các ngôn ngữ có nguồn tài nguyên hạn chế hoặc ít phổ biến như tiếng Việt, sự thiếu hụt dữ liệu song ngữ dẫn đến hai điểm nghẽn kỹ thuật nghiêm trọng: bảng cụm từ (phrase-table) nghèo nàn trong hệ thống PBSMT và hiện tượng từ ngoài từ vựng (unknown words - ký hiệu <unk>) làm suy giảm nghiêm trọng độ chính xác trong mô hình NMT khi kích thước bộ từ vựng thường bị giới hạn từ 30.000 đến 80.000 từ.

Nhằm giải quyết triệt để rào cản này, luận văn thạc sĩ chuyên ngành Khoa học Máy tính tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội đã đề xuất giải pháp khai thác các mô hình vector nhúng từ liên ngôn ngữ (Cross-Lingual Word Embedding). Nghiên cứu tận dụng nguồn ngữ liệu đơn ngữ dồi dào sẵn có (hơn 106 triệu từ tiếng Việt và 100 triệu từ tiếng Anh) để chuyển giao tri thức ngữ nghĩa vào không gian biểu diễn chung. Mục tiêu cụ thể là tái tính toán trọng số bảng cụm từ, tự động sinh 100.625 cụm từ mới cho hệ thống PBSMT và xây dựng cơ chế thay thế - dịch - khôi phục từ chưa biết cho mô hình NMT. Kết quả thực nghiệm giai đoạn 2016-2018 trên các cặp ngôn ngữ Việt - Anh và Nhật - Việt đã chứng minh tính đột phá của giải pháp khi nâng cao chất lượng dịch thuật tự động, cải thiện điểm số BLEU thêm từ 0,66 đến 1,16 điểm, mang lại giá trị ứng dụng to lớn cho các dự án công nghệ dịch thuật thực tiễn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng tích hợp giữa lý thuyết dịch máy cổ điển, mô hình học sâu và kỹ thuật xử lý không gian vector ngữ nghĩa đa ngữ:

• Mô hình Dịch máy Thống kê dựa trên Cụm từ (PBSMT): Áp dụng định lý Bayes để phân rã bài toán dịch một câu nguồn $f$ sang câu đích $e$ thông qua tối ưu hóa tích xác suất mô hình dịch $p(f|e)$ và mô hình ngôn ngữ $p(e)$. Cốt lõi của hệ thống dựa trên bảng cụm từ với 4 trọng số thống kê chính: xác suất dịch cụm từ thuận/nghịch và trọng số từ vựng thuận/nghịch.
• Kiến trúc Dịch máy Nơ-ron (NMT): Khai thác mô hình chuỗi sang chuỗi (Sequence-to-Sequence) với bộ mã hóa (Encoder) và bộ giải mã (Decoder) sử dụng mạng nơ-ron hồi quy hai chiều (Bi-directional RNN) kết hợp cơ chế chú ý LuongAttention để nắm bắt sự liên kết mềm giữa các từ nguồn và đích.
• Mô hình Nhúng từ Đơn ngữ và Liên ngôn ngữ (Cross-Lingual Word Embedding): Vận dụng mô hình FastText CBOW không gian 300 chiều để bảo toàn ngữ nghĩa từ vựng đơn ngữ. Đồng thời, nghiên cứu so sánh ba kỹ thuật ánh xạ không gian vector: phép chiếu tuyến tính chuẩn hóa bình phương tối thiểu, phương pháp ràng buộc trực giao giải bằng phép phân tích suy biến ma trận (SVD/Procrustes), và mô hình học đối kháng không giám sát kết hợp độ đo khoảng cách tương đồng cục bộ (CSLS).

Phương pháp nghiên cứu

Nghiên cứu áp dụng phương pháp thực nghiệm định lượng trên các tập dữ liệu chuẩn hóa quốc tế và trong nước:

• Nguồn dữ liệu và Cỡ mẫu: Sử dụng kho ngữ liệu đơn ngữ Leipzig Corpora với 106,2 triệu từ tiếng Việt, tập dữ liệu British National Corpus (BNC) với 100,8 triệu từ tiếng Anh, và ngữ liệu tiếng Nhật 82,4 triệu từ. Đối với ngữ liệu song ngữ, nghiên cứu khai thác bộ dữ liệu UET dataset gồm 271.000 cặp câu huấn luyện Việt - Anh và bộ dữ liệu TED dataset gồm hơn 100.000 cặp câu Nhật - Việt.
• Phương pháp chọn mẫu và Tiền xử lý: Toàn bộ dữ liệu tiếng Việt được tiền xử lý và tách từ tự động bằng công cụ chuyên dụng. Các câu huấn luyện được sàng lọc với độ dài giới hạn tối đa 80 từ và độ dài cụm từ tối đa 7 từ để loại bỏ nhiễu. Dữ liệu thử nghiệm được phân chia độc lập thành tập huấn luyện (training), tập tinh chỉnh (tuning), và tập kiểm thử (testing) với quy mô từ 238 đến 300 từ mẫu cho tác vụ dịch từ đơn lẻ.
• Lý do lựa chọn phương pháp phân tích: Hệ thống PBSMT được xây dựng trên nền tảng Moses kết hợp thuật toán tối ưu tỷ lệ lỗi tối thiểu (MERT) và mô hình ngôn ngữ KenLM 3-gram. Hệ thống NMT được huấn luyện trên khung OpenNMT với kích thước vector nhúng 512 chiều, mạng ẩn 512 đơn vị và mini-batch 128. Thuật toán quy hoạch động Viterbi được lựa chọn để tối ưu hóa việc tìm kiếm chuỗi cụm từ mục tiêu có chi phí chuyển trạng thái thấp nhất dựa trên xác suất bigram. Toàn bộ quá trình đánh giá sử dụng độ đo tiêu chuẩn quốc tế BLEU trên các n-gram từ 1 đến 4 kết hợp xử lý phạt độ dài câu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm đa chiều đã đem lại các kết quả nổi bật sau:

• Hiệu quả vượt trội của mô hình ánh xạ trực giao: Trong tác vụ dịch từ đơn lẻ, mô hình ánh xạ có ràng buộc trực giao kết hợp phân tích SVD trên từ điển thủ công đạt độ chính xác Top-1 là 0,42 và Top-5 lên đến 0,59 trên cặp Việt - Anh; đạt Top-1 là 0,27 và Top-5 đạt 0,44 trên cặp Nhật - Việt, vượt trội hơn so với phương pháp gốc.
• Khả năng sinh cụm từ mới với quy mô lớn: Thuật toán Viterbi kết hợp lọc khoảng cách ký tự đã sinh thành công 100.625 cặp cụm từ mới cho hệ thống dịch Việt - Anh và 84.004 cặp cụm từ mới cho hệ thống Nhật - Việt từ kho ngữ liệu đơn ngữ, giúp mở rộng độ phủ từ vựng thêm khoảng 35%.
• Nâng cao chất lượng hệ thống PBSMT: Việc kết hợp tái tính toán trọng số và bổ sung cụm từ mới giúp điểm BLEU của cấu hình nâng cao tăng từ 28,16 lên 29,32 (tăng 1,16 điểm BLEU) trên bộ dữ liệu UET Việt - Anh, và đạt mức tăng trưởng tương đương trên tập TED Nhật - Việt.
• Triệt tiêu hoàn toàn lỗi thẻ từ chưa biết trong NMT: Mô hình thay thế và khôi phục từ chưa biết đã nâng điểm BLEU của hệ thống NMT cơ sở từ 25,10 lên 25,76 (tăng 0,66 điểm BLEU) trên cặp Việt - Anh, loại bỏ triệt để các ký hiệu <unk> vô nghĩa trong câu dịch đích.

Thảo luận kết quả

Các kết quả định lượng có thể được trực quan hóa rõ nét thông qua các biểu đồ so sánh điểm số BLEU giữa mô hình gốc (baseline) và các cấu hình cải tiến (base + r + n). Biểu đồ cột thể hiện mức tăng trưởng ổn định qua từng giai đoạn nâng cấp, trong khi các bảng ma trận trọng số xác nhận rằng việc bổ sung thông tin tương đồng ngữ nghĩa từ vector nhúng giúp phân phối xác suất dịch hội tụ chính xác hơn.

Nguyên nhân chính dẫn đến sự cải thiện vượt bậc này là do các mô hình vector nhúng liên ngôn ngữ đã thành công trong việc bảo toàn cấu trúc ngữ nghĩa đa chiều giữa hai ngôn ngữ. Khi một cụm từ tiếng Việt như "các cầu thủ trẻ" được ánh xạ sang không gian tiếng Anh, thuật toán đã kết hợp chính xác các vector lân cận để tạo nên chuỗi "some young players" thay vì các bản dịch rời rạc, sai ngữ pháp.

So với các phương pháp truyền thống sử dụng ngôn ngữ bắc cầu (pivot language) vốn kém hiệu quả với các ngôn ngữ ít tài nguyên như tiếng Việt, giải pháp nhúng từ liên ngôn ngữ mang lại độ linh hoạt vượt trội. Đặc biệt, phương pháp khôi phục từ chưa biết bằng cơ chế chú ý LuongAttention trong NMT đã chuyển hóa thành công các từ hiếm như "ú_ớ" thành bản dịch chính xác "yelp" mà không làm phá vỡ ngữ cảnh của câu. Dù vậy, nghiên cứu cũng chỉ ra một số trường hợp ngoại lệ khi thuật toán sinh cụm từ ghép danh từ riêng chưa đạt độ chuẩn xác tuyệt đối, đòi hỏi các bước lọc ngữ cảnh sâu hơn.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 nhóm giải pháp chiến lược nhằm tối ưu hóa các hệ thống dịch máy tự động:

• Mở rộng và chuẩn hóa kho ngữ liệu đơn ngữ chuyên ngành: Các viện nghiên cứu và trường đại học cần chủ động thu thập, làm sạch thêm 50 đến 100 triệu từ đơn ngữ chuyên ngành y tế, thương mại, kỹ thuật trong vòng 6 tháng tới, đặt mục tiêu nâng độ chính xác của không gian vector nhúng thêm 15% đến 20%.
• Tích hợp mô hình ngôn ngữ ngữ cảnh hóa nâng cao: Nhóm kỹ sư phát triển hệ thống cần nâng cấp thuật toán lọc cụm từ bằng cách tích hợp các mô hình biểu diễn ngữ cảnh chuyên sâu trong thời hạn 9 tháng, hướng tới mục tiêu giảm tỷ lệ sinh cụm từ lỗi xuống dưới mức 3%.
• Cải tiến cơ chế chú ý đa tầng trong NMT: Các nhóm nghiên cứu xử lý ngôn ngữ tự nhiên cần tập trung hoàn thiện pipeline thay thế và phục hồi từ vựng, tối ưu hóa ma trận phân bổ trọng số attention trong vòng 4 tháng để đạt mục tiêu tăng thêm từ 1,0 đến 1,5 điểm BLEU trên các cặp ngôn ngữ nghèo tài nguyên.
• Thương mại hóa và ứng dụng vào dịch thuật thực tiễn: Doanh nghiệp công nghệ và các đơn vị hành chính cần phối hợp triển khai thử nghiệm hệ thống dịch tự động tài liệu kinh tế Việt - Nhật trong khung thời gian 12 tháng, phục vụ nhu cầu xúc tiến đầu tư và thương mại giữa các doanh nghiệp tại thị trường trong nước.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng cao, đặc biệt phù hợp với các nhóm đối tượng sau:

• Học viên cao học, nghiên cứu sinh ngành Khoa học Máy tính và AI: Tài liệu cung cấp bức tranh tổng quan toàn diện, công thức toán học chi tiết và quy trình thực nghiệm chuẩn mực về các mô hình nhúng từ liên ngôn ngữ và hệ thống dịch máy.
• Kỹ sư Xử lý Ngôn ngữ Tự nhiên (NLP) tại các doanh nghiệp phần mềm: Nắm bắt được phương pháp cụ thể để giải quyết bài toán thiếu hụt dữ liệu song ngữ, mở rộng từ vựng và tối ưu hóa hệ thống dịch máy thực tế với mã nguồn mở Moses và OpenNMT.
• Chuyên gia Ngôn ngữ học Tính toán và Dịch thuật viên: Tham khảo cơ chế chuyển dịch ngữ nghĩa đa ngữ tự động, ứng dụng công nghệ hỗ trợ dịch thuật tự động cho các cặp ngôn ngữ hiếm tài nguyên.
• Các nhà quản lý dự án công nghệ thông tin và chuyển đổi số: Cung cấp cơ sở khoa học vững chắc để đánh giá, hoạch định và đầu tư phát triển các công cụ dịch thuật đa ngữ tự động phục vụ các cơ quan, tổ chức và doanh nghiệp.

Câu hỏi thường gặp

Mô hình vector nhúng liên ngôn ngữ giải quyết vấn đề cốt lõi nào trong dịch máy?

Mô hình nhúng từ liên ngôn ngữ giúp tạo ra một không gian vector chung nơi các từ có cùng ý nghĩa ở hai ngôn ngữ khác nhau được đặt gần nhau. Điều này cho phép hệ thống khai thác kho dữ liệu đơn ngữ khổng lồ để bù đắp cho sự thiếu hụt dữ liệu song ngữ, giúp suy diễn bản dịch chính xác mà không cần kho ngữ liệu song ngữ quá lớn.

Vì sao cần tái tính toán trọng số cho bảng cụm từ trong hệ thống PBSMT?

Trong các ngôn ngữ nghèo tài nguyên, bảng cụm từ trích xuất từ tập dữ liệu song ngữ nhỏ thường chứa các ước lượng xác suất bị lệch hoặc thiếu chính xác. Việc tái tính toán trọng số dựa trên độ tương đồng cosine trong không gian vector giúp khôi phục đúng giá trị ngữ nghĩa, từ đó nâng cao chất lượng lựa chọn cụm từ khi dịch.

Cơ chế xử lý từ chưa biết trong mô hình NMT hoạt động như thế nào?

Quy trình gồm 3 bước: thay thế từ chưa biết ngoài từ vựng bằng từ gần nghĩa nhất có trong từ vựng, đưa câu đã thay thế qua mô hình NMT để dịch tự động, và cuối cùng sử dụng thông tin từ cơ chế chú ý (attention) cùng mô hình ngôn ngữ đích để khôi phục lại bản dịch chính xác của từ gốc.

Luận văn sử dụng những bộ dữ liệu thực nghiệm nào?

Nghiên cứu sử dụng kho ngữ liệu đơn ngữ Leipzig Corpora (106,2 triệu từ tiếng Việt, 82,4 triệu từ tiếng Nhật) và BNC (100,8 triệu từ tiếng Anh), kết hợp cùng 271.000 cặp câu song ngữ UET (Việt - Anh) và hơn 100.000 cặp câu TED (Nhật - Việt) để tiến hành huấn luyện và đánh giá.

Phương pháp này có khả năng mở rộng cho các cặp ngôn ngữ khác không?

Phương pháp có tính tổng quát rất cao và hoàn toàn có thể áp dụng cho bất kỳ cặp ngôn ngữ nghèo tài nguyên nào khác như Lào - Việt, Campuchia - Việt hoặc các ngôn ngữ thiểu số, miễn là có sẵn nguồn ngữ liệu đơn ngữ đủ lớn và một từ điển hạt nhân cơ bản để học ma trận ánh xạ.

Kết luận

• Luận văn đã giải quyết thành công hai bài toán hóc búa nhất của dịch máy cho ngôn ngữ nghèo tài nguyên: bảng cụm từ nghèo nàn trong PBSMT và hiện tượng từ ngoài từ vựng trong NMT.
• Đề xuất quy trình tái tính toán trọng số và thuật toán Viterbi sinh mới thành công hơn 100.000 cụm từ chất lượng cao từ ngữ liệu đơn ngữ.
• Xây dựng mô hình thay thế - phục hồi từ chưa biết giúp triệt tiêu hoàn toàn lỗi dịch thẻ <unk> và cải thiện điểm BLEU thêm 0,66 điểm trên mô hình NMT OpenNMT.
• Đóng góp bài báo khoa học xuất bản tại Hội thảo Quốc tế về Xử lý Ngôn ngữ Châu Á (IALP 2018), khẳng định uy tín học thuật và giá trị thực tiễn của công trình.
• Trong các giai đoạn tiếp theo, nhóm nghiên cứu dự kiến tích hợp các kiến trúc Transformer tiên tiến để tiếp tục tối ưu hóa độ chính xác dịch thuật tự động.

Hãy khám phá chi tiết toàn văn luận văn thạc sĩ để nắm vững các giải pháp kỹ thuật đột phá, phục vụ cho công tác nghiên cứu học thuật và xây dựng hệ thống xử lý ngôn ngữ tự nhiên hiện đại!

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERISTY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY NGUYEN MINH THUAN Enhancing the quality of Machine Translation System Using Cross-Lingual Word Embedding Models (Nâng cao chất lượng của hệ thống dịch máy dựa trên các mô hình vector nhúng biểu diễn từ giữa hai ngôn ngữ) Program: Computer Science Major: Computer Science Code: 8480101.01 MASTER THESIS: COMPUTER SCIENCE SUPERVISOR: Assoc. NGUYEN PHUONG THAI Hanoi – 11/2018 LUAN VAN CHAT LUONG download : add [e-mail] Enhancing the quality of Machine Translation System Using Cross-Lingual Word Embedding Models Nguyen Minh Thuan Faculty of Information Technology University of Engineering and Technology Vietnam National University, Hanoi Supervised by Associate Professor. Nguyen Phuong Thai A thesis submitted in fulfillment of the requirements for the degree of Master of Science in Computer Science November 2018 LUAN VAN CHAT LUONG download : add [e-mail] 2 LUAN VAN CHAT LUONG download : add [e-mail] ORIGINALITY STATEMENT ‘I hereby declare that this submission is my own work and to the best of my knowledge it contains no materials previously published or written by another person, or substan- tial proportions of material which have been accepted for the award of any other degree or diploma at University of Engineering and Technology (UET/Coltech) or any other educational institution, except where due acknowledgement is made in the thesis. Any contribution made to the research by others, with whom I have worked at UET/Coltech or elsewhere, is explicitly acknowledged in the thesis.

I also declare that the intellectual content of this thesis is the product of my own work, except to the extent that assistance from others in the project’s design and conception or in style, presentation and linguistic expression is acknowledged.’ Hanoi, November 15th , 2018 Signed. i LUAN VAN CHAT LUONG download : add [e-mail] ii ABSTRACT In recent years, Machine Translation has shown promising results and received much interest of researchers. Two approaches that have been widely used for machine trans- lation are Phrase-based Statistical Machine Translation (PBSMT) and Neural Ma- chine Translation (NMT). During translation, both approaches rely heavily on large amounts of bilingual corpora which require much effort and financial support.

The lack of bilingual data leads to a poor phrase-table, which is one of the main compo- nents of PBSMT, and the unknown word problem in NMT. In contrast, monolingual data are available for most of the languages. Thanks to the advantage, many models of word embedding and cross-lingual word embedding have been appeared to improve the quality of various tasks in natural language processing. The purpose of this thesis is to propose two models for using cross-lingual word embedding models to address the above impediment.

The first model enhances the quality of the phrase-table in SMT, and the remaining model tackles the unknown word problem in NMT. Publications: ? Minh-Thuan Nguyen, Van-Tan Bui, Huy-Hien Vu, Phuong-Thai Nguyen and Chi-Mai Luong. Enhancing the quality of Phrase-table in Statistical Machine Translation for Less-Common and Low-Resource Languages. In the 2018 International Conference on Asian Language Processing (IALP 2018).

LUAN VAN CHAT LUONG download : add [e-mail] iii ACKNOWLEDGEMENTS I would like to express my sincere gratitude to my lecturers in university, and especially to my supervisors - Assoc. Nguyen Phuong Thai, Dr. Nguyen Van Vinh and MSc. Vu Huy Hien.

They are my inspiration, guiding me to get the better of many obstacles in the completion this thesis. I am grateful to my family. They usually encourage, motivate and create the best conditions for me to accomplish this thesis. I would like to also thank my brother, Nguyen Minh Thong, my friends, Tran Minh Luyen, Hoang Cong Tuan Anh, for giving me many useful advices and supporting my thesis, my studying and my living.

Finally, I sincerely acknowledge the Vietnam National University, Hanoi and especially, TC.02-2016-03 project named “Building a machine translation system to support translation of documents between Vietnamese and Japanese to help managers and businesses in Hanoi approach Japanese market” for supporting finance to my master study. LUAN VAN CHAT LUONG download : add [e-mail] To my family ♥ iv LUAN VAN CHAT LUONG download : add [e-mail] Table of Contents 1 Introduction 1 2 Literature review 4 2.4 Open-Source Machine Translation .