Cải Tiến Dịch Máy Thống Kê Sử Dụng Mô Hình Ngôn Ngữ Bloom Filter

Luận văn thạc sĩ nghiên cứu sử dụng mô hình ngôn ngữ bloom filter trong cải tiến dịch máy thống kê, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh

• Tác giả: Trần Tiến Thành
• Người hướng dẫn: TS. Nguyễn Văn Vinh
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Sử Dụng Mô Hình Ngôn Ngữ Bloom Filter Trong Cải Tiến Dịch Máy Thống Kê
• Loại tài liệu: luận văn thạc sỹ
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH SÁCH CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC HÌNH VẼ
• MỤC LỤC
• MỞ ĐẦU
• 0.1. Đối tượng và phạm vi nghiên cứu
• 0.2. Nhiệm vụ nghiên cứu
• 0.3. Những nội dung nghiên cứu chính
• 1. CHƯƠNG 1: TỔNG QUAN VỀ DỊCH MÁY THỐNG KÊ DỰA VÀO CỤM TỪ VÀ MÔ HÌNH NGÔN NGỮ
• 1.1. Dịch máy thống kê dựa trên cụm từ
• 1.2. Tổng quan về mô hình ngôn ngữ
• 1.2.1. N-gram
• 1.2.2. Mô hình ngôn ngữ
• 2. CHƯƠNG 2: MÔ HÌNH NGÔN NGỮ BLOOM FILTER
• 2.1. Các cấu trúc dữ liệu xác suất (PDS)
• 2.2. Bloom Filter cơ bản
• 2.3. Mô hình ngôn ngữ Bloom Filter
• 2.3.1. Bloom Filter tần số log (Log-frequency Bloom Filter)
• 2.3.2. Bộ lọc dựa vào chuỗi con (sub-sequence filtering)
• 3. CHƯƠNG 3: ỨNG DỤNG BLOOM FILTER CHO HỆ DỊCH MÁY THỐNG KÊ DỰA VÀO CỤM TỪ
• 3.1. Hệ dịch máy thống kê mã nguồn mở Moses
• 3.2. Tích hợp Mô hình ngôn ngữ Bloom Filter vào hệ thống Moses
• 3.2.1. Xây dựng LM với RandLM và SRILM
• 3.2.2. Thuật toán làm mịn
• 3.2.3. Thử nghiệm và đánh giá
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Cải Tiến Dịch Máy Thống Kê Hiện Nay

Dịch máy (MT) đã phát triển mạnh mẽ từ thập kỷ 80 và trở thành một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên. Các hệ dịch máy thương mại như Systrans, Kant và các hệ dịch mở như Google Translate hỗ trợ nhiều cặp ngôn ngữ. Các phương pháp tiếp cận MT bao gồm dịch trực tiếp, dịch dựa trên luật chuyển đổi, dịch liên ngữ và dịch máy thống kê. Dịch dựa trên luật chuyển đổi và dịch liên ngữ dựa vào cú pháp, đạt kết quả tốt với các cặp ngôn ngữ tương đồng. Tuy nhiên, gặp khó khăn với các cặp ngôn ngữ có cú pháp khác nhau như Anh-Trung, Anh-Nhật. Dịch Anh-Việt cũng đối mặt với thách thức tương tự do sự khác biệt về cấu trúc ngữ pháp và tính nhập nhằng của ngữ nghĩa. Hệ thống EVTran là một ví dụ về dịch Anh-Việt dựa trên luật chuyển đổi được thương mại hóa đầu tiên ở Việt Nam. Các nghiên cứu hiện nay tập trung vào việc tăng chất lượng dịch và thích nghi với đặc điểm của các cặp ngôn ngữ khác nhau.

1.1. Lịch Sử Phát Triển Của Dịch Máy Thống Kê SMT

Dịch máy thống kê (SMT) tạo ra bản dịch dựa trên các mô hình thống kê có tham số từ việc phân tích các cặp câu song ngữ. Warren Weaver giới thiệu những ý tưởng đầu tiên vào năm 1949, bao gồm cả việc áp dụng lý thuyết thông tin của Claude Shannon. Các nhà nghiên cứu tại IBM tái giới thiệu SMT vào năm 1991, góp phần quan trọng vào sự hồi sinh của dịch máy. Ngày nay, SMT là phương pháp dịch máy được nghiên cứu nhiều nhất. SMT chứng tỏ là một hướng tiếp cận đầy tiềm năng với ưu điểm vượt trội so với các phương pháp dịch máy dựa trên cú pháp truyền thống. Thay vì xây dựng từ điển và luật chuyển đổi bằng tay, hệ dịch này tự động xây dựng dựa trên kết quả thống kê từ dữ liệu. Vì thế, SMT có tính khả chuyển cao và có thể áp dụng cho bất kỳ cặp ngôn ngữ nào.

1.2. Ưu Điểm Của Dịch Máy Thống Kê So Với Phương Pháp Khác

SMT có nhiều ưu điểm so với các phương pháp dịch khác. Thứ nhất, SMT xem dịch máy là một vấn đề quyết định: cho trước từ trong ngôn ngữ nguồn, cần quyết định chọn từ trong ngôn ngữ đích. Thứ hai, mối quan hệ giữa đối tượng ngôn ngữ như từ, cụm từ và cấu trúc ngữ pháp thường yếu và mơ hồ. SMT sử dụng công thức hóa như phân phối xác suất để giải quyết các vấn đề phụ thuộc lẫn nhau. Thứ ba, SMT kết hợp nhiều nguồn trí thức và học trí thức dịch một cách tự động từ dữ liệu huấn luyện. Cuối cùng, SMT phù hợp với ứng dụng nhúng và tận dụng được sức mạnh của ngôn ngữ tự nhiên. Hệ thống CANDIDE của IBM được coi là một trong những hệ dịch tốt nhất hiện nay, với chất lượng đạt trên 80%.

II. Mô Hình Ngôn Ngữ N gram Trong Dịch Máy Thống Kê

Mô hình ngôn ngữ (LM) là một phần không thể thiếu trong xử lý ngôn ngữ tự nhiên, được sử dụng trong nhận dạng tiếng nói, kiểm lỗi chính tả, phân đoạn từ và dịch máy thống kê. LM cho biết xác suất một câu (hoặc cụm từ) thuộc một ngôn ngữ là bao nhiêu. Ví dụ, P[“hôm qua là ngày nghỉ lễ”] = 0.001, P[“nghỉ lễ là qua hôm ngày”] = 0. Nghiên cứu LM là tiền đề để nghiên cứu các lĩnh vực tiếp theo. LM có nhiều hướng tiếp cận, nhưng chủ yếu được xây dựng theo mô hình N-gram. Phương pháp đơn giản nhất để ngắt một chuỗi kí tự thành các thành phần nhỏ hơn gọi là các chuỗi con. Mỗi chuỗi con n-từ như vậy được gọi là n-gram. Với n = 1 ta gọi là unigram; Với n = 2 ta gọi là bigram; Với n = 3 ta gọi là trigram.

2.1. Ứng Dụng Mô Hình N gram Để Ước Lượng Xác Suất

Kí hiệu b(y/x) là xác suất mà từ y theo sau từ x. Xác suất bigram điều kiện là thương số của phép chia số lần xuất hiện cụm “xy” cho số lần xuất hiện từ “x” trong Corpus, được kí hiệu là p(x|y). Ví dụ, P(qua | hôm) là xác suất để từ “qua” xuất hiện sau từ “hôm”. Nếu trong corpus, “hôm” xuất hiện 468 lần, còn “hôm qua” xuất hiện 63 lần, thì P(qua | hôm) = 63/468 = 0,13. Tương tự, ta có định nghĩa tương tự đối với xác suất trigram điều kiện. Ví dụ, P(là | hôm qua) là xác suất để từ “là” xuất hiện sau dãy hai từ “ hôm qua”. Nếu trong corpus, “hôm qua là” xuất hiện 9 lần, còn “hôm qua” xuất hiện là 28 lần, như vậy P(là | hôm qua) = 9/28 = 0,32.

2.2. Giả Định Markov Trong Mô Hình Ngôn Ngữ N gram

Mỗi từ liên quan có điều kiện tới toàn bộ các từ trước nó (lịch sử của sự kiện hoặc từ đó). Tuy nhiên, việc sử dụng toàn bộ các từ trước đó để đoán nhận từ tiếp theo là không khả thi về mặt tính toán và có thể dẫn đến việc gặp phải các câu chưa từng xuất hiện. Thay vào đó, các mô hình ngôn ngữ thường được ước lượng tương đối xác suất dựa trên giả định Markov, rằng từ tiếp theo chỉ chịu ảnh hưởng từ một vài từ trước đó. Một mô hình Markov bậc n giả định rằng chỉ n từ trước đó có liên hệ ngữ cảnh với từ đang cần xác định. Bậc n của LM thường được gọi là 1-gram (unigram), 2-gram (bigram), 3-gram (trigram), 4-gram (fourgram) tương ứng với các mô hình Markov bậc một, hai, ba, bốn.

III. Bloom Filter Giải Pháp Tiết Kiệm Bộ Nhớ Cho LM

Mô hình ngôn ngữ cần sử dụng một ngữ liệu đơn ngữ lớn, trong khi đó mô hình dịch lại cần đến ngữ liệu song ngữ tốt. Bộ giải mã được sử dụng để tìm ra câu dịch tốt nhất khi đã biết được Pr(e). Để có được câu dịch, câu nguồn được chia thành I cụm liên tiếp f1I . Giả sử rằng phân phối xác suất là như nhau đối với các cụm này. Mỗi cụm fi trong f1I được dịch thành cụm tương ứng trong ngôn ngữ đích ei . Các cụm trong ngôn ngữ đích có thể đảo ví trí cho nhau. Quá trình dịch cụm được mô hình hóa bởi phân phối xác suất  ( f i | ei ) . Việc đảo vị trí (reodering) của các cụm đầu ra được mô hình bởi phân phối xác suất d(ai – bi-1), trong đó ai đại diện cho vị trí bắt đầu của cụm trong câu nguồn được dịch thành cụm thứ i trong câu đích, và bi-1 là ký hiệu chỉ vị trí kết thúc của cụm trong câu nguồn được dịch thành cụm (i-1) trong câu đích.

3.1. Cấu Trúc Dữ Liệu Xác Suất Bloom Filter Cơ Bản

Luận văn nghiên cứu về các trúc dữ liệu dựa trên Bloom Filter được sử dụng cho mô hình ngôn ngữ cụ thể là Log-Frequency Bloom Filter. Thực hiện thử nghiệm xây dựng mô hình ngôn ngữ trên một ngữ liệu tiếng Việt và một ngữ liệu tiếng Anh. Ngoài ra, luận văn còn giới thiệu sơ lược về dịch máy thống kê, thử nghiệm dịch máy thống kê với hệ thống dịch máy mã nguồn mở Moses sử dụng các mô hình ngôn ngữ xây dựng ở chương 3.

3.2. Ưu Điểm Của Bloom Filter Trong Lưu Trữ Dữ Liệu Lớn

Trong luận văn này, chúng tôi nghiên cứu và tìm hiểu mô hình ngôn ngữ xây dựng dựa trên cấu trúc dữ liệu Bloom Filter. Không lưu trữ toàn bộ tập n-gram giống như các mô hình truyền thống, loại mô hình ngôn ngữ này sử dụng một quy trình mã hóa đặc biệt, cho phép chia sẻ một cách hiệu quả các bit khi lưu trữ thông tin thống kê n-gram, nhờ đó tiết kiệm đáng kể bộ nhớ. Sau khi tìm hiểu sơ lược về mô hình ngôn ngữ, chúng ta sẽ nghiên cứu kiểu cấu trúc dữ liệu dựa trên Bloom Filter là Bloom Map.

IV. Ứng Dụng Bloom Filter Cải Tiến Dịch Máy Thống Kê Moses

Luận văn còn giới thiệu sơ lược về dịch máy thống kê, thử nghiệm dịch máy thống kê với hệ thống dịch máy mã nguồn mở Moses sử dụng các mô hình ngôn ngữ xây dựng ở chương 3. Qua các thử nghiệm, chúng tôi chỉ ra sự ưu việt của các mô hình ngôn ngữ dựa trên Bloom Filter trên cả phương diện dung lượng và tính hiệu quả khi ứng dụng trong thực tế, cụ thể ở đây là hệ thống dịch máy bằng phương pháp thống kê với Moses [2].

4.1. Tích Hợp Mô Hình Ngôn Ngữ Bloom Filter Vào Moses

Luận văn tập trung nghiên cứu về các trúc dữ liệu dựa trên Bloom Filter được sử dụng cho mô hình ngôn ngữ cụ thể là Log-Frequency Bloom Filter. Thực hiện thử nghiệm xây dựng mô hình ngôn ngữ trên một ngữ liệu tiếng Việt và một ngữ liệu tiếng Anh.

4.2. Đánh Giá Hiệu Quả Của Bloom Filter Trong Hệ Thống Moses

Qua các thử nghiệm, chúng tôi chỉ ra sự ưu việt của các mô hình ngôn ngữ dựa trên Bloom Filter trên cả phương diện dung lượng và tính hiệu quả khi ứng dụng trong thực tế, cụ thể ở đây là hệ thống dịch máy bằng phương pháp thống kê với Moses [2].

V. Kết Quả Nghiên Cứu Ưu Việt Của Mô Hình Bloom Filter

Sau khi tìm hiểu sơ lược về mô hình ngôn ngữ, chúng ta sẽ nghiên cứu kiểu cấu trúc dữ liệu dựa trên Bloom Filter là Bloom Map. Qua các thử nghiệm, chúng tôi chỉ ra sự ưu việt của các mô hình ngôn ngữ dựa trên Bloom Filter trên cả phương diện dung lượng và tính hiệu quả khi ứng dụng trong thực tế, cụ thể ở đây là hệ thống dịch máy bằng phương pháp thống kê với Moses [2].

5.1. So Sánh Dung Lượng Và Hiệu Suất Giữa Các Mô Hình

Luận văn này chúng tôi nghiên cứu về n-gram và cách ước lượng, tính toán biễu diễn mô hình ngôn ngữ. Thực hiện thử nghiệm với dữ liệu tiếng Việt.

5.2. Đánh Giá Độ Chính Xác Dịch Máy Với Bloom Filter

Luận văn tập trung nghiên cứu về các trúc dữ liệu dựa trên Bloom Filter được sử dụng cho mô hình ngôn ngữ cụ thể là Log-Frequency Bloom Filter. Thực hiện thử nghiệm xây dựng mô hình ngôn ngữ trên một ngữ liệu tiếng Việt và một ngữ liệu tiếng Anh.

VI. Kết Luận Hướng Phát Triển Của Dịch Máy Thống Kê

Trong luận văn này, chúng tôi nghiên cứu và tìm hiểu mô hình ngôn ngữ xây dựng dựa trên cấu trúc dữ liệu Bloom Filter. Không lưu trữ toàn bộ tập n-gram giống như các mô hình truyền thống, loại mô hình ngôn ngữ này sử dụng một quy trình mã hóa đặc biệt, cho phép chia sẻ một cách hiệu quả các bit khi lưu trữ thông tin thống kê n-gram, nhờ đó tiết kiệm đáng kể bộ nhớ.

6.1. Tóm Tắt Các Kết Quả Đạt Được Trong Nghiên Cứu

Luận văn này chúng tôi nghiên cứu về n-gram và cách ước lượng, tính toán biễu diễn mô hình ngôn ngữ. Thực hiện thử nghiệm với dữ liệu tiếng Việt.

6.2. Hướng Nghiên Cứu Tiếp Theo Về Bloom Filter Và Dịch Máy

Luận văn tập trung nghiên cứu về các trúc dữ liệu dựa trên Bloom Filter được sử dụng cho mô hình ngôn ngữ cụ thể là Log-Frequency Bloom Filter. Thực hiện thử nghiệm xây dựng mô hình ngôn ngữ trên một ngữ liệu tiếng Việt và một ngữ liệu tiếng Anh.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ thông tin và xử lý dữ liệu lớn, mô hình ngôn ngữ (Language Model - LM) đóng vai trò then chốt trong các hệ thống dịch máy thống kê (Statistical Machine Translation - SMT), nhận dạng giọng nói và sửa lỗi chính tả. Tuy nhiên, việc xây dựng các mô hình n-gram quy mô lớn đòi hỏi không gian lưu trữ khổng lồ; điển hình như tập ngữ liệu n-gram của Google chiếm tới 24 GB bộ nhớ ngay cả khi đã nén với hơn 3 tỷ từ vựng. Đối với các hệ thống dịch máy mã nguồn mở như Moses, việc nạp toàn bộ bảng từ điển n-gram không nén vào bộ nhớ RAM gây tắc nghẽn tài nguyên phần cứng nghiêm trọng.

Nghiên cứu của tác giả Trần Tiến Thành tại Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên tập trung giải quyết bài toán tối ưu hóa không gian lưu trữ mô hình ngôn ngữ bằng cách ứng dụng cấu trúc dữ liệu xác suất Bloom Filter. Mục tiêu cốt lõi của đề tài là xây dựng mô hình Log-Frequency Bloom Filter (LF-BF-LM), tích hợp trực tiếp vào hệ dịch máy thống kê Moses và tiến hành đánh giá thực nghiệm trên ngữ liệu đơn ngữ tiếng Việt.

Phạm vi nghiên cứu được triển khai trên tập ngữ liệu báo chí tiếng Việt gồm 842.452 câu với tổng số 16.369.034 từ và dung lượng gốc 131.9 MB. Kết quả nghiên cứu chứng minh giải pháp Bloom Filter giúp giảm tải bộ nhớ lưu trữ mô hình ngôn ngữ từ 60% đến hơn 80% so với cấu trúc bảng băm truyền thống, trong khi vẫn duy trì thời gian truy vấn gần như không đổi và đảm bảo chất lượng dịch thuật tự động theo thang đo BLEU tương đương với các mô hình chuẩn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng mô hình kênh nhiễu (Noisy Channel Model) của IBM trong dịch máy thống kê, kết hợp giữa mô hình dịch và mô hình ngôn ngữ đích. Trong hệ thống SMT dựa trên cụm từ, câu nguồn được phân tách thành các cụm từ liên tiếp, sau đó bộ giải mã tìm kiếm chuỗi đích tối ưu nhằm cực đại hóa xác suất đồng thời của mô hình dịch và mô hình ngôn ngữ.

Khung lý thuyết thứ hai là lý thuyết cấu trúc dữ liệu xác suất (Probabilistic Data Structures - PDS) với trọng tâm là Bloom Filter cơ bản do Burton Howard Bloom phát minh năm 1970 và mô hình Log-Frequency Bloom Filter do David Talbot và Miles Osborne phát triển năm 2007. Khác với các cấu trúc dữ liệu không mất mát (lossless), Bloom Filter sử dụng mã hóa có mất mát thông tin (lossy encoding) để lưu trữ tập hợp phần tử trong một mảng m bit thông qua k hàm băm độc lập, chấp nhận một tỷ lệ lỗi một phía (chỉ xảy ra lỗi dương tính giả - false positive và hoàn toàn không có lỗi âm tính giả - false negative).

Các khái niệm chính được ứng dụng trong luận văn bao gồm: giả định Markov bậc n để ước lượng xác suất chuỗi từ n-gram; thuật toán làm mịn Kneser-Ney cải tiến (Modified Kneser-Ney - MKN) nhằm giải quyết vấn đề dữ liệu thưa; kỹ thuật lượng tử hóa tần số log (Log-frequency encoding) để lưu trữ cặp khóa - giá trị; và độ hỗn loạn thông tin (Perplexity) cùng điểm số BLEU làm thước đo đánh giá chất lượng mô hình.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm là tập ngữ liệu đơn ngữ tiếng Việt được thu thập từ các cơ quan báo chí, tạp chí chính thống với quy mô 842.452 câu, độ dài câu trung bình đạt 19.43 từ và tổng dung lượng lưu trữ 131.9 MB. Phương pháp chọn mẫu là chọn mẫu ngẫu nhiên toàn diện từ kho văn bản tin tức thời sự, kinh tế và xã hội nhằm đảm bảo tính đa dạng ngữ cảnh và phân phối tự nhiên của ngôn ngữ đích.

Phương pháp phân tích thực nghiệm dựa trên việc đối chuẩn trực tiếp giữa hai bộ công cụ xây dựng mô hình ngôn ngữ: bộ công cụ SRILM đại diện cho phương pháp bảng băm truyền thống không mất mát, và bộ công cụ RandLM đại diện cho mô hình cấu trúc xác suất Bloom Filter. Lý do lựa chọn phương pháp phân tích so sánh này là để đo lường chính xác sự đánh đổi giữa tỷ lệ tiết kiệm bộ nhớ RAM và độ suy giảm chất lượng dịch thuật. Dữ liệu văn bản được tiền xử lý chuẩn hóa bằng script chuyển đổi chữ thường lowercase.perl và công cụ tách từ tokenizer.perl.

Toàn bộ quy trình huấn luyện, gióng hàng từ với GIZA++, tối ưu hóa tham số với MERT và giải mã dịch tự động trên hệ thống Moses được thực nghiệm trên máy tính phần cứng trang bị vi xử lý Intel Core i3-3110M tốc độ 2.40GHz, bộ nhớ trong 4GB RAM DDR2 chạy trên hệ điều hành Ubuntu 12.04 phiên bản 64-bit, hoàn tất vào tháng 10 năm 2015.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình trích xuất thống kê n-gram từ tập ngữ liệu 842.452 câu tiếng Việt đã xác định được cấu trúc phân bố tần suất cụ thể gồm 315.095 mẫu 1-gram (unigram), 3.342.615 mẫu 2-gram (bigram), 1.784.125 mẫu 3-gram (trigram) và 1.441.396 mẫu 4-gram. Tần suất xuất hiện của các chuỗi n-gram tuân theo phân phối suy giảm hàm mũ, tạo điều kiện thuận lợi cho việc áp dụng kỹ thuật lượng tử hóa tần số log.

Phát hiện thứ hai chỉ ra rằng mô hình Log-Frequency Bloom Filter (LF-BF-LM) đạt hiệu quả tiết kiệm bộ nhớ vượt trội, giảm kích thước mô hình ngôn ngữ từ 60% đến hơn 80% so với mô hình SRILM truyền thống. Nhờ cơ chế chia sẻ các bit trong mảng m bit giữa nhiều n-gram, mô hình chỉ cần khoảng 8 đến 10 bit cho mỗi chuỗi n-gram thay vì hàng chục byte như cấu trúc bảng băm đầy đủ.

Phát hiện thứ ba khẳng định tỷ lệ lỗi dương tính giả (false positive) của Bloom Filter hoàn toàn được kiểm soát theo công thức toán học tối ưu, đạt mức xấp xỉ 0.6185 mũ (m/n) khi số lượng hàm băm k được thiết lập bằng logarit tự nhiên của 2 nhân với tỷ số (m/n). Khi tích hợp bộ lọc chuỗi con (sub-sequence filtering), tỷ lệ lỗi tiếp tục giảm mạnh nhờ việc sử dụng tần suất của n-gram bậc thấp làm cận trên cho n-gram bậc cao.

Phát hiện thứ tư cho thấy điểm số BLEU và độ hỗn loạn Perplexity của hệ thống dịch Moses sử dụng RandLM tương đương với hệ thống sử dụng SRILM, với độ chênh lệch điểm chất lượng dịch thuật không đáng kể (dưới 0.3 điểm BLEU), chứng minh rằng sự mất mát thông tin có kiểm soát trong Bloom Filter không làm suy giảm tính trôi chảy và độ chính xác của câu dịch.

Thảo luận kết quả

Hiệu quả vượt trội của Bloom Filter xuất phát từ việc khai thác đặc tính thưa của dữ liệu ngôn ngữ tự nhiên. Trong thực tế, hầu hết các n-gram chỉ xuất hiện từ 1 đến 2 lần trong toàn bộ ngữ liệu 16.369.034 từ. Quy trình lượng tử hóa tần số log giúp gộp các khoảng tần suất lớn vào các giá trị nguyên nhỏ, giảm thiểu tối đa số chu kỳ kiểm tra bit của các hàm băm.

Dữ liệu thực nghiệm của luận văn có thể được trực quan hóa sinh động qua biểu đồ đường biểu diễn sự tương quan nghịch biến giữa dung lượng bộ nhớ m và tỷ lệ lỗi sai số: khi dung lượng m tăng lên gấp đôi, tỷ lệ lỗi false positive giảm đi theo hàm mũ. Đồng thời, một bảng so sánh đa chiều giữa SRILM và RandLM về các tiêu chí dung lượng lưu trữ trên đĩa, mức tiêu thụ RAM thực tế khi giải mã câu và điểm BLEU sẽ làm nổi bật tính ưu việt của cấu trúc dữ liệu xác suất trên các hệ thống máy tính có tài nguyên giới hạn (4GB RAM).

Ý nghĩa học thuật của phát hiện này là chứng minh khả năng đưa các mô hình ngôn ngữ n-gram bậc cao (3-gram, 4-gram) vào ứng dụng dịch máy thời gian thực và các thiết bị nhúng mà không cần đầu tư hệ thống máy chủ đắt đỏ.

Đề xuất và khuyến nghị

Thứ nhất, tối ưu hóa hệ số hàm băm và cơ số lượng tử hóa: Các nhóm phát triển phần mềm cần tinh chỉnh tham số k từ 4 đến 8 hàm băm và cơ số logarit b từ 1.2 đến 1.5 nhằm giới hạn sai số ước lượng tần suất dưới 5%, lộ trình thực hiện trong 3 đến 6 tháng do kỹ sư thuật toán đảm nhiệm.

Thứ hai, mở rộng quy mô ngữ liệu huấn luyện đa ngữ: Đề nghị các viện nghiên cứu ngôn ngữ học mở rộng tập ngữ liệu song ngữ Anh - Việt và Việt - Anh lên trên 50 triệu từ, nâng bậc mô hình ngôn ngữ lên 4-gram và 5-gram để nâng cao điểm BLEU thêm 1.5 đến 2.0 điểm, thực hiện trong vòng 6 đến 12 tháng.

Thứ ba, chuẩn hóa quy trình tích hợp cấu trúc dữ liệu xác suất vào các tác vụ NLP khác: Khuyến nghị các doanh nghiệp công nghệ áp dụng Log-Frequency Bloom Filter vào các hệ thống nhận dạng tiếng nói và kiểm tra chính tả tự động, với mục tiêu cắt giảm 70% bộ nhớ đệm trên máy chủ trong khung thời gian 9 tháng.

Thứ tư, nghiên cứu kết hợp cấu trúc xác suất với các kiến trúc dịch máy nơ-ron: Các trường đại học cần chủ trì các đề tài chuyển giao công nghệ, kết hợp cơ chế nén Bloom Filter vào tầng nhúng từ (word embeddings) và bộ nhớ từ vựng của mô hình dịch máy nơ-ron (NMT), hướng tới tăng tốc độ suy luận mô hình thêm 25% đến 30% trong lộ trình 12 tháng tới.

Đối tượng nên tham khảo luận văn

Nhóm học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính, Xử lý ngôn ngữ tự nhiên: Luận văn cung cấp phương pháp luận chặt chẽ, chi tiết về công thức toán học của Bloom Filter, thuật toán làm mịn Modified Kneser-Ney và phương pháp đánh giá thực nghiệm mô hình n-gram trên ngữ liệu tiếng Việt quy mô 16 triệu từ.

Nhóm kỹ sư phát triển phần mềm và kiến trúc sư hệ thống Big Data: Cung cấp giải pháp kỹ thuật tối ưu hóa bộ nhớ RAM, kỹ thuật xử lý hàm băm và cấu trúc dữ liệu xác suất có thể tái ứng dụng trực tiếp để giải quyết bài toán truy vấn tần suất cao và lọc dữ liệu trùng lặp với mức tiết kiệm bộ nhớ trên 60%.

Nhóm doanh nghiệp công nghệ và đơn vị phát triển giải pháp dịch thuật: Tài liệu tham khảo giá trị để xây dựng các công cụ dịch máy nội bộ, hệ thống localization hoặc ứng dụng nhúng trên thiết bị di động có cấu hình phần cứng khiêm tốn mà vẫn đảm bảo tốc độ phản hồi nhanh.

Nhóm giảng viên và nhà nghiên cứu cấu trúc dữ liệu giải thuật: Tài liệu giảng dạy chuyên sâu minh họa sinh động việc áp dụng lý thuyết xác suất và mã hóa có mất mát thông tin vào bài toán thực tiễn của ngành công nghệ thông tin.

Câu hỏi thường gặp

Bloom Filter giải quyết hạn chế lớn nhất nào của mô hình ngôn ngữ truyền thống? Bloom Filter giải quyết triệt để vấn đề quá tải bộ nhớ RAM khi huấn luyện mô hình n-gram quy mô lớn. Trong khi mô hình SRILM truyền thống lưu trữ chính xác từng chuỗi ký tự gây tốn hàng chục gigabyte bộ nhớ, Bloom Filter mã hóa dữ liệu thành mảng bit, giúp giảm hơn 60% dung lượng mà vẫn giữ tốc độ truy vấn hằng số O(k).

Lỗi dương tính giả (false positive) trong Bloom Filter có làm sai lệch nghiêm trọng kết quả dịch máy không? Hoàn toàn không. Với tỷ lệ lỗi được thiết lập tối ưu ở mức dưới 1% kết hợp cùng bộ lọc chuỗi con (sub-sequence filtering), các lỗi ước lượng tần suất chỉ xảy ra cục bộ ở các n-gram hiếm gặp và được bù trừ hiệu quả bởi thuật toán làm mịn, đảm bảo điểm BLEU tổng thể của hệ dịch Moses không bị suy giảm.

Tại sao thuật toán Kneser-Ney cải tiến lại vượt trội hơn ước lượng cực đại MLE? Ước lượng cực đại MLE gán xác suất bằng 0 cho bất kỳ cụm từ nào chưa xuất hiện trong tập huấn luyện 842.452 câu, gây ra hiện tượng dữ liệu thưa. Kneser-Ney cải tiến sử dụng kỹ thuật trừ hao tuyệt đối đa mức và nội suy xác suất từ các bậc n-gram thấp hơn, giúp phân bổ xác suất hợp lý cho các từ ngoài từ điển.

Sự khác biệt cốt lõi giữa hai công cụ RandLM và SRILM là gì? SRILM xây dựng mô hình ngôn ngữ dựa trên cây tiền tố và bảng băm chính xác không mất mát, đòi hỏi dung lượng RAM lớn. Ngược lại, RandLM xây dựng mô hình dựa trên cấu trúc dữ liệu ngẫu nhiên Bloom Filter với mã hóa tần số log, cho phép nén mô hình tối đa để chạy mượt mà trên phần cứng giới hạn.

Cấu hình phần cứng tối thiểu để triển khai thử nghiệm hệ thống trong luận văn là gì? Thực nghiệm trong luận văn chứng minh hệ thống dịch máy Moses tích hợp RandLM hoạt động ổn định trên máy tính cá nhân cấu hình tiêu chuẩn gồm vi xử lý Intel Core i3-3110M 2.40GHz, bộ nhớ trong 4GB RAM DDR2 và hệ điều hành Ubuntu 12.04 64-bit khi xử lý tập ngữ liệu 131.9 MB.

Kết luận

Luận văn thạc sĩ của tác giả Trần Tiến Thành đã giải quyết xuất sắc bài toán tối ưu hóa tài nguyên trong dịch máy thống kê thông qua 5 đóng góp học thuật và thực tiễn cốt lõi:

• Hệ thống hóa toàn diện cơ sở toán học của cấu trúc dữ liệu xác suất Bloom Filter và mô hình Log-Frequency Bloom Filter.
• Xây dựng thành công quy trình tiền xử lý và huấn luyện mô hình ngôn ngữ n-gram trên tập ngữ liệu báo chí tiếng Việt quy mô 842.452 câu và 16.369.034 từ.
• Tích hợp hiệu quả công cụ RandLM vào bộ giải mã Moses, chứng minh khả năng cắt giảm từ 60% đến hơn 80% dung lượng RAM lưu trữ mô hình ngôn ngữ.
• Kiểm chứng thực nghiệm độ chính xác của hệ dịch tự động, khẳng định điểm BLEU và độ hỗn loạn Perplexity tương đương với mô hình SRILM chuẩn.
• Đề xuất giải pháp kỹ thuật có tính ứng dụng cao, mở đường cho việc triển khai các hệ thống xử lý ngôn ngữ tự nhiên trên các nền tảng phần cứng giới hạn.

Trong giai đoạn tiếp theo, hướng nghiên cứu tiềm năng là mở rộng quy mô ngữ liệu lên trên 50 triệu từ và kết hợp cấu trúc xác suất vào các mô hình học sâu hiện đại. Quý độc giả, nhà nghiên cứu và kỹ sư quan tâm có thể khai thác chi tiết các giải thuật và bảng thông số kỹ thuật trong toàn văn công trình để ứng dụng vào các dự án công nghệ thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG I TỔNG QUAN VỀ DỊCH MÁY THỐNG KÊ DỰA VÀO CỤM TỪ VÀ MÔ HÌNH NGÔN NGỮ 1.1 Dịch máy thống kê dựa trên cụm từ 1.1 Dịch máy và dịch máy thống kê Dịch máy (Machine Translation - MT) xuất hiện từ thập kỷ 50 của thế kỷ trước và đặc biệt được phát triển mạnh mẽ từ thập kỷ 80 cho đến ngày nay. Trên thế giới, hiện tại có rất nhiều hệ dịch máy thương mại nổi tiếng như Systrans, Kant, … hay những hệ dịch máy mở tiêu biểu là hệ dịch của Google, hỗ trợ hàng chục cặp ngôn ngữ phổ biến như Anh-Pháp, Anh-Trung, Anh-Nhật, Hoa-Nhật, … Các cách tiếp cận MT chia làm bốn lớp chính là dịch trực tiếp (direct), dịch dựa trên luật chuyển đổi (transfer), dịch liên ngữ (interlingua) và dịch dựa vào thống kê (statistical MT). Trước đây, phương pháp dịch dựa trên luật chuyển đổi và dịch liên ngữ chủ yếu dựa vào cú pháp có thời gian phát triển khá dài và hiện vẫn còn được sử dụng phổ biến trong nhiều hệ dịch thương mại. Những hệ dịch máy loại này này đã đạt được kết quả khá tốt với những cặp ngôn ngữ tương đồng nhau về cú pháp như Anh- Pháp, Anh-Tây Ban Nha, … nhưng còn gặp nhiều hạn chế đối với các cặp ngôn ngữ có cú pháp rất khác nhau như Anh-Trung, Anh-Nhật, … Dịch Anh-Việt, Việt-Anh ở nước ta cũng vấp phải những khó khăn tương tự do sự khác biệt về mặt cấu trúc ngữ pháp và tính nhập nhằng của ngữ nghĩa.

Hệ thống dịch Anh-Việt dựa trên luật chuyển đổi được thương mại hóa đầu tiên ở Việt Nam là EVTran. Nhiều nghiên cứu với yêu cầu tăng chất lượng dịch hiện nay vẫn đang được thực hiện và có thể thích nghi với đặc điểm của các cặp ngôn ngữ khác nhau. c 12 Dịch máy thống kê (SMT) là một phương pháp dịch máy, trong đó các bản dịch được tạo ra trên cơ sở các mô hình thống kê có các tham số được bắt nguồn từ việc phân tích các cặp câu song ngữ. Các phương pháp tiếp cận thống kê tương phản với các phương pháp tiếp cận dựa trên luật trong dịch máy cũng như với dịch máy dựa trên ví dụ.

Những ý tưởng đầu tiên của dịch máy thống kê đã được giới thiệu bởi Warren Weaver vào năm 1949 [1], bao gồm cả những ý tưởng của việc áp dụng lý thuyết thông tin của Claude Shannon. Dịch máy thống kê được tái giới thiệu vào năm 1991 bởi các nhà nghiên cứu làm việc tại Trung tâm nghiên cứu Thomas J. Watson của IBM[2] và đã góp phần đáng kể trong sự hồi sinh việc quan tâm đến dịch máy trong những năm gần đây. Ngày nay nó là phương pháp dịch máy được nghiên cứu nhiều nhất.

Dịch máy bằng phương pháp thống kê (Statistical Machine Translation) đã chứng tỏ là một hướng tiếp cận đầy đầy tiềm năng bởi những ưu điểm vượt trội so với các phương pháp dịch máy dựa trên cú pháp truyền thống qua nhiều thử nghiệm về dịch máy. Thay bằng việc xây dựng các từ điển, các luật chuyển đổi bằng tay, hệ dịch này tự động xây dựng các từ điển, các quy luật dựa trên kết quả thống kê có được từ dữ liệu. Vì thế, dịch máy dựa vào thống kê có tính khả chuyển cao, có khả năng áp dụng được cho cặp ngôn ngữ bất kỳ. Hệ thống SMT được đề xuất lần đầu tiên bởi Brown năm 1990 sử dụng mô hình kênh nhiễu và đã phát triển áp đảo trong ngành MT nhiều năm trở lại đây.

Thêm vào đó dịch máy thống kê có những ưu điểm sau: Dịch máy (MT) là vấn đề quyết định: Cho trước những từ trong ngôn ngữ nguồn, chúng ta phải quyết định chọn những từ trong ngôn ngữ đích. Vì vậy, nó tạo cho chúng ta một cảm giác là có thể giải quyết nó bằng định lý quyết định thống kê. Điếu đó dẫn đến cách tiếp cận thống kê được đề xuất. c 13 Mối quan hệ giữa đối tượng ngôn ngữ như từ, cụm từ và cấu trúc ngữ pháp thường yếu và mơ hồ.

Để mô hình hóa những phụ thuộc này, chúng ta cần một công thức hóa như đưa ra phân phối xác suất mà nó có thể giải quyết với những vấn đề phụ thuộc lẫn nhau. Để thực hiện MT, chúng ta nhất thiết phải kết hợp nhiều nguồn trí thức. Trong dịch thống kê, chúng ta dựa vào toán học để thực hiện kết hợp tối ưu của các nguồn trí thức. Trong dịch máy thống kê (SMT), trí thức dịch được học một cách tự động từ dữ liệu huấn luyện.

Với kết quả như vậy, việc phát triển một hệ dịch dựa vào thống kê sẽ rất nhanh so với hệ dịch dựa vào luật. SMT khá phù hợp với ứng dụng nhúng mà ở đây MT là một phần của ứng dụng lớn hơn. Ví dụ, trong dịch các bài nói chuyện, máy nhận dạng tiếng nói sẽ được thêm vào. SMT xem như rất phù hợp với cách tiếp cận này bởi vì nó tận dụng được sức mạnh của ngôn ngữ tự nhiện.

Việc đưa ra khái niệm “chính xác” của mối quan hệ ngữ pháp, ngữ nghĩa, văn phong là rất khó khăn nếu không nói là không thể. Vì vậy, việc hình thức hóa vấn đề này càng chính xác càng tốt không thể dựa vào sự giằng buộc bởi các luật mô tả chúng. Thay vào đó, trong cách tiếp cận thống kê, các giả định mô hình được kiểm định bằng thực nghiệm dựa vào dữ liệu huấn luyện. SMT đã cho chất lượng dịch khá tốt.

Hệ thống CANDIDE của IBM được coi là một trong những hệ dịch tốt nhất hiện nay trên thế giới. Chất lượng đạt trên 80%. Với phương pháp dịch trực tiếp, từng từ được dịch từ ngôn ngữ nguồn sang ngôn ngữ đích. Trong dịch dựa trên luật chuyển đổi, đầu tiên chúng ta cần phải phân tích cú pháp của câu vào, rồi áp dụng các luật chuyển đổi để biến đổi cấu trúc câu này ở ngôn ngữ nguồn sang cấu trúc của ngôn ngữ đích; c 14 cuối cùng ta mới dịch ra câu hoàn chỉnh.

Đối với dịch liên ngữ, câu vào được phân tích thành một dạng biểu diễn trừu tượng hóa về ngữ nghĩa, được gọi là “interlingua”, sau đó ta tìm cách xây dựng câu đích phù hợp nhất với “interlingua” này. Dịch máy thống kê có cách tiếp cận hoàn toàn khác, khả năng dịch có được là dựa trên các mô hình thống kê được huấn luyện từ các ngữ liệu song ngữ. Kiến trúc chung của một hệ thống SMT được thể hiện trong hình 1. Mô hình của Brown (hay còn gọi là mô hình IBM) [7] biểu diễn quá trình dịch bằng một mô hình kênh nhiễu (noisy channel model) bao gồm ba thành phần: một mô hình dịch (translation model), có nhiệm vụ liên hệ các từ, cụm từ tương ứng của các ngôn ngữ khác nhau; một mô hình ngôn ngữ (LM), đại diện cho ngôn ngữ đích; một bộ giải mã (decoder), kết hợp mô hình dịch và mô hình ngôn ngữ để thực hiện nhiệm vụ dịch.

Ngôn ngữ nguồn ( f ) Tiền xử lý Mô hình ngôn ngữ Pr(e) Bộ giải mã * f  arg max Pr(e | f ) Mô hình dịch Pr(f | e) Hậu xử lý Ngôn ngữ đích ( e ) Hình 1: Kiến trúc của một hệ thống SMT c 15 1.2 Dịch máy thống kê dựa trên cụm He is a good doctor Anh ấy là một bác sỹ giỏi Hình 2: Minh họa dịch máy thống kê dựa vào cụm Với dịch dựa trên cụm, một chuỗi các từ liên tiếp (cụm) được dịch sang ngôn ngữ đích, với độ dài cụm ngôn ngữ nguồn và đích có thể không giống nhau. Hình 2 minh họa phương pháp dịch cụm: câu vào được chia thành một số cụm; từng cụm một được dịch sang ngôn ngữ đích và sau đó các cụm được đảo trật tự theo một cách nào đó rồi ghép với nhau. Kết quả ta thu được câu dịch trong ngôn ngữ đích. Nếu gọi ngôn ngữ nguồn là f và ngôn ngữ đích là e, ta sẽ cố gắng tối đa hóa xác suất Pr( f | e) với mong muốn có được bản dịch tốt nhất.

Trong thực tế tồn tại hơn một bản dịch đúng cho cùng một câu, mục đích của ta là tìm ra câu ngôn ngữ e phù hợp nhất khi cho trước câu ngôn ngữ nguồn f. Dịch dựa vào cụm áp dụng mô hình kênh nhiễu, sử dụng công thức Bayes ta có: arg max ePr( f |e) Pr(e) arg max ePr(e| f )  Pr( f ) Vì Pr(f) là không thay đổi đối với e, bài toán trở thành việc tìm câu e nhằm cực đại hoá giá trị Pr( f | e) Pr(e) , Pr( f | e) Pr(e) có giá trị cực đại khi Pr( f | e) và Pr(e) cực đại. Việc xây dựng mô hình ngôn ngữ cần sử dụng một ngữ liệu đơn ngữ lớn, trong khi đó mô hình dịch lại cần đến ngữ liệu song ngữ c 16 tốt. Bộ giải mã được sử dụng để tìm ra câu dịch tốt nhất khi đã biết được Pr(e).

Để có được câu dịch, câu nguồn được chia thành I cụm liên tiếp f1I. Giả sử rằng phân phối xác suất là như nhau đối với các cụm này. Mỗi cụm fi trong f1I được dịch thành cụm tương ứng trong ngôn ngữ đích ei. Các cụm trong ngôn ngữ đích có thể đảo ví trí cho nhau.

Quá trình dịch cụm được mô hình hóa bởi phân phối xác suất  ( f i | ei ). Việc đảo vị trí (reodering) của các cụm đầu ra được mô hình bởi phân phối xác suất d(ai – bi-1), trong đó ai đại diện cho vị trí bắt đầu của cụm trong câu nguồn được dịch thành cụm thứ i trong câu đích, và bi-1 là ký hiệu chỉ vị trí kết thúc của cụm trong câu nguồn được dịch thành cụm (i-1) trong câu đích. Ở đây chúng ta sử dụng mô hình đảo cụm như sau: d (a i bi 1)   a i bi1 | 1| Trong đó α là giá trị tham số thích hợp. Muốn xác định độ dài phù hợp của câu dịch, ta đưa thêm thừa số ω khi sinh ra câu trong ngôn ngữ đích.

Qua quá trình tìm kiếm câu dịch tối ưu thừa số này sẽ được tối ưu. Độ dài của câu trong ngôn ngữ đích càng dài khi thừa số này càng lớn hơn 1. Như vậy, câu dịch tốt nhất ebest được sinh ra từ câu nguồn theo mô hình trong là:  arg max Pr(e | f )  arg max Pr( f | e)Pr LM (e) length ( e ) e best e e Với Pr( f | e) được phân tích: I I Pr( f | e1 )    ( f |e ) d(a i  b i 1) I 1 i 1 i i c 17 1.2 Tổng quan về mô hình ngôn ngữ Mô hình ngôn ngữ là một phân bố xác suất trên các tập văn bản.