ĐẠI HỌC QUỐC GIA HÀ HỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TUẤN ANH CHUYỂN NGỮ TỰ ĐỘNG TỪ TIẾNG VIỆT SANG TIẾNG NHẬT LUẬN VĂN THẠC SỸ Hà Nội - 2017 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TUẤN ANH CHUYỂN NGỮ TỰ ĐỘNG TỪ TIẾNG VIỆT SANG TIẾNG NHẬT Ngành : Công nghệ thông tin Chuyên ngành : Kỹ thuật phần mềm Mã số : 60480103 LUẬN VĂN THẠC SỸ NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS NGUYỄN PHƢƠNG THÁI Hà Nội - 2017 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CAM ĐOAN Tôi xin cam đoan các kết quả nghiên cứu, thực nghiệm đƣợc trình bày trong luận văn này do tôi thực hiện dƣới sự hƣớng dẫn của Phó giáo sƣ, Tiến sĩ Nguyễn Phƣơng Thái. Tất cả những tham khảo từ các nghiên cứu liên quan đều đƣợc nêu nguồn gốc một cách rõ ràng từ danh mục tài liệu tham khảo của luận văn. Trong luận văn, không có việc sao chép tài liệu, công trình nghiên cứu của ngƣời khác mà không chỉ rõ về tài liệu tham khảo. TÁC GIẢ LUẬN VĂN Nguyễn Tuấn Anh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CẢM ƠN Trƣớc tiên, tôi xin gửi lời cảm ơn sâu sắc nhất đến thầy giáo, Phó giáo sƣ, Tiến sĩ Nguyễn Phƣơng thái đã tận tình hƣớng dẫn tôi trong suốt quá trình thực hiện luận văn tốt nghiệp.
Tôi xin bày tỏ lời cảm ơn chân thành tới trƣờng Đại học Công Nghệ - ĐHQG Hà Nội và những thầy cô giáo tôi đã giảng dạy, truyền thụ kiến thức trong thời gian qua. Cuối cùng, tôi xin cảm ơn tất cả gia đình, bạn bè đã luôn động viên giúp đỡ tôi trong thời gian nghiên cứu đề tài. Tuy đã có những cố gắng nhất định nhƣng do thời gian và trình độ có hạn nên luận văn còn nhiều thiếu sót và hạn chế. Kính mong nhận đƣợc sự góp ý của thầy cô và các bạn.
TÁC GIẢ LUẬN VĂN Nguyễn Tuấn Anh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com MỤC LỤC LỜI CAM ĐOAN .4 Danh mục hình vẽ .7 Danh mục bảng. Đặc điểm ngôn ngữ tiếng Việt và tiếng Nhật. Đặc điểm ngôn ngữ tiếng Việt[16]. Đặc điểm ngôn ngữ tiếng Nhật .2 Bài toán dịch máy và tiếp cận dịch dựa trên cụm từ phân cấp .1 Khái niệm về hệ dịch máy .2 Mô hình dịch máy thống kê.
Tiếp cận dịch máy dựa trên cụm từ phân cấp .4 Mô hình ngôn ngữ. Giới thiệu dịch máy mạng nơ-ron .3 Vấn đề tên riêng và từ mƣợn trong dịch máy .1 Vấn đề tên riêng. Bài toán luận văn giải quyết. Kết cấu luận văn.
DỊCH MÁY THỐNG KÊ DỰA TRÊN CỤM TỪ PHÂN CẤP. Văn phạm phi ngữ cảnh đồng bộ. Quy tắc trích xuất. Các quy tắc khác.
Các đặc trƣng .19 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. DỊCH TÊN RIÊNG VÀ CHUYỂN NGỮ. Dịch tên riêng. Một số nguyên tắc cần lƣu ý khi chuyển tên tiếng Việt sang Katakana[17].
Phƣơng pháp của Kevin Night (1997). Các mô hình xác suất. Mô hình chuyển ngữ không giám sát. Khai phá chuyển ngữ.
Mô hình chuyển ngữ. Tích hợp với dịch máy. Đánh giá chất lƣợng dịch. THỰC NGHIỆM VÀ ĐÁNH GIÁ.
Chuẩn bị dữ liệu đầu vào cho hệ dịch. Công cụ tiền xử lý. Môi trƣờng triển khai phần cứng:. Bộ công cụ mã nguồn mở Moses.
Tiến hành thực nghiệm. Dữ liệu đầu vào.33 Dữ liệu đầu vào thu thập từ Ted và Wiki:. Quá trình chuẩn bị dữ liệu và huấn luyện. Đánh giá và phân tích kết quả theo cỡ dữ liệu huấn luyện.
Kết quả khi chƣa áp dụng mô hình chuyển ngữ. Kết quả sau khi áp dụng mô hình chuyển ngữ không giám sát .42 TÀI LIỆU THAM KHẢO .43 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh mục hình vẽ Hình 1.1: Sơ đồ tổng quan hệ dịch máy Hình 1.2: Mô hình chung hệ dịch máy thống kê Việt – Nhật Hình 1.3: Ví dụ về gióng hàng từ Hình 1.4: Trích xuất các quy tắc dịch cụm từ truyền thống Hình 1.5: Trích xuất quy tắc dịch cụm từ phân cấp Hình 1.6: Ví dụ chuyển ngữ tên riêng tiếng Nga - Anh Hình 2.1: Ví dụ trích xuất của văn phạm phi ngữ cảnh đồng bộ Hình 2.2: Ví dụ trích xuất ngữ pháp: Chuỗi cụm từ ban đầu Hình 2.3: Các quy tắc suy luận cho bộ phân tích cú pháp LM Hình 2.4: Phƣơng pháp tìm kiếm cho bộ phân tích cú pháp LM Hình 3.1: Ví dụ về gióng hàng kí tự Hình 3.2: Sơ đồ hệ dịch Hình 4.1: Kết quả đánh giá chất lƣợng dịch khi chƣa tích hợp mô hình chuyển ngữ Hình 4.2: Kết quả đánh giá chất lƣợng dịch tích hợp mô hình chuyển ngữ không giám sát LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh mục bảng Bảng 1.1: Bảng chữ cái Katakana và cách phát âm tiếng Nhật Bảng 3.1: Nguyên tắc chuyển ngữ nguyên âm tiếng Việt sang tiếng Nhật Bảng 3.2: Ví dụ chuyển ngữ phụ âm tiếng Việt sang tiếng Nhật Bảng 3.3: Ánh xạ một số âm tiếng Việt (Viết hoa) với âm tiếng Nhật (viết thƣờng) sử dụng thật toán EM Bảng 4.1: Một số kết quả dịch từ tiếng Việt sang tiếng Nhật khi chƣa tích hợp mô hình chuyển ngữ Bảng 4.2: Một số kết quả dịch từ tiếng Việt sang tiếng Nhật tích mô hình chuyển ngữ không giám sát Bảng 4.3: Một số kết quả chuyển ngữ đúng tiếng Việt sang tiếng Nhật tích hợp mô hình chuyển ngữ không giám sát Bảng 4.4: Một số kết quả chuyển ngữ sai từ tiếng Việt sang tiếng Nhật tích hợp mô hình chuyển ngữ không giám sát LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 1 CHƢƠNG I. GIỚI THIỆU Hiện nay có hàng nghìn ngôn ngữ trên toàn thế giới, mỗi ngôn ngữ đều có những đặc trƣng riêng về bảng chữ cái và cách phát âm. Ngày càng có nhiều những hệ thống tự động dịch miễn phí trên mạng nhƣ: systran, google translate, vietgle … Những hệ thống này cho phép dịch tự động các văn bản với một cặp ngôn ngữ chọn trƣớc (ví dụ dịch từ tiếng Anh sang tiếng Việt).
Điều ấy cho thấy sự phát triển của dịch máy càng ngày càng đi vào đời sống con ngƣời, đƣợc ứng dụng rộng rãi. Vấn đề đặt ra đối với cả dịch giả và máy dịch trong việc dịch giữa các cặp ngôn ngữ có hệ thống bảng chữ cái và cách phát âm khác nhau là dịch chính xác tên riêng và các thuật ngữ kỹ thuật (các từ không xác định). Những đối tƣợng này đƣợc phiên âm, thay thế bởi những âm xấp xỉ tƣơng đƣơng. Việc dịch phiên âm giữa các cặp ngôn ngữ đó đƣợc gọi là Chuyển ngữ.
Việc dịch các từ không xác địnhlà một vấn đề khó do các ngôn ngữ thƣờng khác nhau về bảng chữ cái và cách phát âm. Các từ này thƣờng đƣợc chuyển ngữ, tức là, thay thế bằng khoảng ngữ âm gần đúng. Ví dụ: "Nguyễn Thu Trang" trong tiếng Việt xuất hiện dƣới dạng "グエンテゥーチャン" (Guen tuu chan) trong tiếng Nhật. Đặc điểm ngôn ngữ tiếng Việt và tiếng Nhật [16] 1.
Đặc điểm ngôn ngữ tiếng Việt Tiế ng Viê ̣t thuô ̣c ngôn ngƣ̃ đơn lâ ̣p, tƣ́c là mỗi mô ̣t âm tiết đƣơ ̣c phát âm tách rời nhau và đƣơ ̣c thể hiê ̣n bằng mô ̣t chƣ̃ viế t. Đặc điểm này thể hiện rõ rệt ở tất cả các mă ̣t ngƣ̃ âm, tƣ̀ vƣ̣ng, ngƣ̃ pháp. Đặc điểm ngữ âm Trong tiế ng Viê ̣t có mô ̣t loa ̣i đơn vị đặc biệt gọi là "tiế ng". Về mă ̣t ngƣ̃ âm , mỗi tiế ng là mô ̣t âm tiế t và cách vi ết tƣơng đồng với phát âm.
Hê ̣ thố ng âm vi ̣tiế ng Viê ̣t phong phú và có tính cân đố i. Đặc điểm từ vựng Mỗi tiế ng, nói chung, là một yếu tố có nghĩa. Tiế ng là đơn vi ̣cơ sở của hê ̣ thố ng các đơn vị có nghĩa của tiếng Việt. Tƣ̀ tiế ng, ngƣời ta ta ̣o ra các đơn vi ̣tƣ̀ vƣ̣ng khác để đinh ̣ danh sƣ̣ vâ ̣t, hiê ̣n tƣơ ̣ng., chủ yếu nhờ phƣơng thức ghép và phƣơng thức láy.
Viê ̣c tạo ra các đơn vị từ vựng ở phƣơng thức ghép luôn chịu sự chi phối của quy luâ ̣t kế t hơ ̣p ngƣ̃ nghiã , ví dụ: đấ t nƣớc, máy bay, nhà lầu xe hơi, nhà tan cửa nát. Hiê ̣n nay, đây là phƣơng thƣ́c chủ yế u để sản sinh ra các đơn v ị từ vựng. Theo phƣơng thƣ́c này , tiế ng Viê ̣t triê ̣t để sƣ̉ du ̣ng các yế u tố cấ u ta ̣o tƣ̀ thuầ n Viê ̣t hay vay mƣơ ̣n tƣ̀ các ngôn ngữ khác để tạo ra các từ , ngƣ̃ mới, ví dụ: tiế p thi ,̣ karaoke , xa lô ̣ thông tin , siêu liên kế t văn bản , truy câ ̣p ngẫu nhiên, … Vố n tƣ̀ vƣ̣ng tố i thiể u của tiế ng Viê ̣t phầ n lớn là các tƣ̀ đơn tiế t (mô ̣t âm tiế t , mô ̣t tiế ng). Sƣ̣ linh hoa ̣t trong sƣ̉ du ̣ng, viê ̣c ta ̣o ra các tƣ̀ ngƣ̃ mới mô ̣t cách dễ dàng đã tạo điều kiện thuận lợi ch o sƣ̣ phát triể n vố n tƣ̀ , vƣ̀a phong phú về số lƣơ ̣ng , vƣ̀a đa LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 2 dạng trong hoạt động.
Cùng một sự vật, hiê ̣n tƣơ ̣ng, mô ̣t hoa ̣t đô ̣ng hay mô ̣t đă ̣c trƣng , có thể có nhiều tƣ̀ ngƣ̃ khác nhau biể u thi. Đặc điểm ngôn ngữ tiếng Nhật Hệ thống chữ viết Ngƣời Nhật có một bảng chữ cái đặc biệt về ngữ âm đƣợc gọi là Katakana, đƣợc sử dụng chủ yếu để viết tên nƣớc ngoài và từ mƣợn. Các ký hiệu katakana đƣợc thể hiện trong Bảng1.1, với cách phát âm tiếng Nhật của chúng. Hai ký hiệu đƣợc hiển thị ở góc dƣới bên phải đƣợc sử dụng để kéo dài nguyên âm hoặc phụ âm tiếng Nhật.1: Bảng chữ cái Katakana và cách phát âm tiếng Nhật[3] Ngữ âm[17] Âm tiết trong tiếng Nhật giữ một vị trí rất quan trọng, nó vừa là đơn vị ngữ âm nhỏ nhất và vừa là đơn vị phát âm cơ bản.
Mỗi âm tiết đƣợc thể hiện bằng một chữ Kana (Hiragana và Katakana). Tiếng Nhật có số lƣợng âm tiết không lớn, có tất cả 112 dạng âm tiết. Trong số này, có 21 dạng âm tiết chỉ xuất hiện trong các từ đƣợc vay mƣợn từ nƣớc ngoài. Nếu nhƣ trong tiếng Việt, có rất nhiều từ đƣợc cấu tạo bởi một âm tiết, và mỗi âm tiết đều mang ý nghĩa nhất định, VD: bàn, trà, bạn, đèn.