chương 1 Chương này nêu lên lý do, mục đích và ý nghĩa khoa học, thực tiễn của đề tài nghiên cứu liên quan đến mô hình ngôn ngữ và sửa lỗi tiếng Ba Na tự động. Qua đó đề xuất mục tiêu, đối tượng, phạm vi và phương pháp nghiên cứu cho luận văn. 4 CHƯƠNG 2 TỔNG QUAN 2.1 Công trình nghiên cứu có liên quan Các nghiên cứu về mô hình ngôn ngữ và sửa lỗi tự động đã được nghiên cứu từ rất lâu trước đây và đạt được các thành tựu nhất định trong lĩnh vực xử lý ngôn ngữ tự nhiên. Hiện nay là các giải thuật học máy và học sâu về bài toán sửa lỗi chính tả đóng một vai trò quan trọng trong các đề tài nghiên cứu khoa học liên quan đến ứng dụng này.
Về đề tài xây dựng mô hình ngôn ngữ và sửa lỗi chính tả tự động có rất nhiều các công trình liên quan đến đề tài hiện tại như: - Recurrent neural network based language model - [3] Trong bài báo này, nhóm tác giả trình bày phương pháp hiện thực mô hình ngôn ngữ dựa trên mạng RNN ở cấp độ kí tự. Các kết quả thử nghiệm trên tập dữ liệu cho thấy kết quả vượt trội hơn nhiều so với các mô hình ngôn ngữ n-gram. - Vietnamese spelling detection and correction using Bi-gram, Minimum Edit Distance, SoundEx algorithms with some additional heuristics –[4] Bài báo này nêu bật việc sửa lỗi chính tả gồm hai bước chính: bước phát hiện và bước sửa lỗi. Nhóm tác giả đề xuất sử dụng phương pháp “hiệu chỉnh khoảng cách” tối thiểu giúp phát hiện những lỗi chính tả và thay thế chúng bằng những ký tự phù hợp hơn cho việc sửa lỗi.
- A Vietnamese Language Model Based on Recurrent Neural Network -[5] Bài báo này nghiên cứu mô hình RNN cho tiếng Việt, ở cấp độ ký tự và âm tiết. Các thí nghiệm được thực hiện dựa trên một tập dữ liệu lớn. Kết quả đạt được kết quả tốt hơn trong việc sử dụng mô hình ngôn ngữ dựa trên RNN so với mô hình ngôn ngữ truyền thống. Những cách tiếp cận trong của những bài báo này gợi mở cho tôi nhiều ý tưởng hơn trong việc xử lý, giải quyết bài toán của mình.2 Người Ba Na Dân tộc Ba Na là một trong những cư dân sinh tụ lâu đời ở Trường Sơn - Tây Nguyên đã kiến lập nên nền văn hoá độc đáo ở đây.
Họ là tộc người có dân số đông nhất, có dân số sấp xỉ 287 nghìn người vào năm 2019 [1], chiếm vị trí rất quan trọng trong các lĩnh vực văn hoá, xã hội ở tây nguyên và miền trung nước ta. 5 Người Ba Na nói tiếng Ba Na thuộc Ngữ chi Ba Na là một ngôn ngữ thuộc Ngữ hệ Nam Á, cùng với đó là Ngữ chi Ba Na và Ngữ chi Việt-Mường được xếp vào ngôn ngữ Môn-Khmer. 1 Dân tộc người Ba Na – nguồn: https://vi.org/wiki/Ng%C6%B0%E1%BB%9Di_Ba_Na Về mặt ngôn ngữ, tiếng Ba Na về cơ bản thống nhất trong cơ cấu ngữ âm, ngữ pháp. Tuy nhiên, do quá trình biến đổi lịch sử, do tiếp xúc với các ngôn ngữ khác nhau, tiếng nói của mỗi nhóm địa phương có sự khác biệt về cách phát âm, và một số về từ vựng.
Các phương ngữ chính tiếng Ba Na gồm: Ba Na Kon Tum, Ba Na An Khê, và Ba Na Tơ lo, Ba Na Kon Kơ Ðeh, Ba Na Kriêm; giữa các phương ngữ trên, tìm thấy sự khác biệt rõ rệt giữa Ba Na Kon tum, Ba Na Gia lai (An Khê) và Ba Na Bình Ðịnh (Ba Na Kriêm). Người Ba Na ở Vĩnh Thạnh còn giữ được nhiều nét văn hoá tộc người đặc thù hơn cả. Người Ba Na ở Vĩnh Thạnh, An Lão, một số xã ở Hoài Ân, thuộc nhóm Ba Na Kriêm. Theo đồng bào Ba Na ở Vĩnh Thạnh, tên gọi Kriêm, ban đầu là tên con sông Ðăc 6 Kriêm; người Ba Na Kriêm – người Ba Na sống quanh con sông Kriêm, ở vùng thấp.
Người dân Ba Na Kriêm cũng cho rằng, về nguồn gốc, Ba Na Kriêm vốn từ khu vực Gia Lai chuyển đến. Từ những nguồn trên, nghiên cứu xoay quanh ngôn ngữ Ba Na Kriêm gồm từ điển, các câu hội thoại cũng như nội dung phát thanh của truyền hình Vĩnh Thạnh – Bình Định. Ngôn ngữ tiếng Ba Na Người Ba Na ở Vĩnh Thạnh thuộc 1 trong 7 dòng Ba Na, gọi là Ba Na Kriêm. Cuộc sống của người Ba Na Kriêm gắn liền với nương rẫy, núi rừng.
Đồng bào rất nhiệt tình, cởi mở, thân thiện. Hòa vào nhịp sống hiện đại, nhiều giá trị văn hóa đã dần mai một. Do vậy, việc lưu giữ, bảo tồn bản sắc văn hóa truyền thống là điều vô cùng cần thiết. Từ điển Ba Na Kriêm Từ điển Ba Na Kriêm được xây dựng hoàn chỉnh trên cơ sở các tài liệu tiếng Bana tỉnh Gia Lai đã được Bộ Nội vụ thẩm định, do Sở Khoa học và Công nghệ tỉnh Bình Định phối hợp với Viện Ngôn ngữ học (thuộc Viện Khoa học xã hội Việt Nam) biên soạn, có bổ sung, chỉnh sửa nhiều phương ngữ tại Bình Định (còn gọi là Bana Kriêm).
2 Từ điển Bana Kriêm Bình Định - Nguồn: Sở Khoa học và Công nghệ tỉnh Bình Định phối hợp với Viện Ngôn ngữ học (thuộc Viện Khoa học xã hội Việt Nam) biên soạn. Đây là bộ tài liệu quan trọng nhằm giúp cán bộ, công chức, viên chức công tác tại vùng có đông đồng bào dân tộc Bana làm nhiệm vụ tuyên truyền, vận động đồng bào thực hiện chủ trương, chính sách của Đảng. Ngoài ra, tài liệu này cũng sẽ được sử dụng để giảng dạy cho cả đồng bào Bana trên địa bàn tỉnh Bình Định chưa biết chữ Bana. Bảng chữ cái và dấu tiếng Ba Na Hình 2.8 \* ARABIC 3 Bảng chữ cái và dấu tiếng Ba Na Hình 2.
3 Bảng chữ cái và dấu tiếng Bana - Nguồn: Chữ Bana kriêm Bình Định - Sở Khoa học và Công nghệ tỉnh Bình Định phối hợp với Viện Ngôn ngữ học (thuộc Viện Khoa học xã hội Việt Nam) biên soạn. Dấu: “'” – (dấu “phẩy trên”) và dấu “ ̆ ” (dấu “vành trăng khuyết”) Cách ghi các nguyên âm: a, ă, e, ĕ, ê, ê̆ , i, ĭ, o, ŏ, ô, ô̆ , ơ, ơ̆ , u, ŭ, ư, ư̆ , ươ Cách ghi các phụ âm đơn: b, 'b, ch, d, đ, g, h, i, j, k, kh, l, m, n, nh, ng, p, ph, r, s, t, th, u, w, y. Cách ghi các phụ âm kép: hm, hnh, 'm, 'n, 'ng, hk, kl, kr, br, li, pi, su, pu, ih, hngl, hri, 'ng, Các nguyên âm đôi: ia, iă, ie, iĕ, iô, iô̆ , ua, uă, ue, uĕ, uê, uê̆ 2. Một số quy luật của tiếng Ba Na Về tiếng nói, các nhánh người Ba Na cùng một thứ tiếng, tuy cũng có sự thay đổi ít nhiều tùy theo địa phương.
Về chữ viết, người Ba Na là dân tộc thiểu số đầu tiên ở Tây Nguyên biết đọc, biết viết và biết làm tính. Năm 1861, chữ Ba Na viết theo mẫu tự la tinh như chữ quốc ngữ được đặt ra và tồn tại, phát triển cho đến ngày nay. 9 Tiếng Ba Na còn hạn chế khi chưa có nhiều từ vựng, nên có những từ không có trong từ điển tiếng Ba Na sẽ mượn từ tiếng Việt, sau đó bỏ các dấu không có trong tiếng Ba Na như sắc, hỏi, ngã, nặng. Theo nghiên cứu của Tôi ở các đoạn hội thoại từ cuốn từ điển Ba Na Kriêm, tiếng Ba Na không có các thể bị động, chia các thì quá khứ, hiện tại hay tương lai như tiếng Anh.3 Vấn đề chung còn tồn đọng Hiện nay chưa có nhiều nghiên cứu khoa học về bài toán xây dựng mô hình ngôn ngữ và sửa lỗi chính tả tự động có liên quan đến ngôn ngữ tiếng Ba Na.
Trong quá trình thực hiện đề tài. Tôi gặp không ít khó khăn thách thức như: Rào cản ngôn ngữ. Quá trình thu thập dữ liệu. Dữ liệu ít gây khó khăn trong quá trình huấn luyện cũng như dịch thuật.
Kết luận chương 2 Chương này đầu tiên là khảo cứu các công trình nghiên cứu khoa học có liên quan đến việc xây dựng mô hình ngôn ngữ và sửa lỗi tiếng Ba Na tự động. Tiếp theo là tìm hiểu về người dân tộc Ba Na, từ điển Ba Na kriêm, bảng chữ cái và dấu tiếng Ba Na. Từ đó kế thừa giá trị của các nghiên cứu này, tác giả cũng nêu lên thực trạng và những vấn đề còn tồn đọng, qua đó đề xuất, đóng góp phương pháp nghiên cứu để giải quyết vấn đề của luận văn. 10 CHƯƠNG 3 CƠ SỞ LÝ THUYẾT VÀ PHƯƠNG PHÁP ĐỀ XUẤT 3.1 Mô hình ngôn ngữ Mô hình ngôn ngữ là một mô hình để gán xác suất cho một chuỗi các từ hay câu.
Mục đích của mô hình này là để cung cấp phân bố xác suất tiền nghiệm, từ đó giúp chúng ta biết được một câu có "chính xác" với ngôn ngữ xác định hay không hoặc một từ thêm vào sau 1 câu có đúng ngữ pháp và ngữ cảnh với các từ ở trước đó hay không. Thường được sử dụng để dự đoán từ hoặc ký tự tiếp theo của chuỗi đầu vào. Mô hình ngôn ngữ là một thuật ngữ mà bất cứ ai tìm hiểu về Xử lí ngôn ngữ tự nhiên (NLP) đều biết và cần phải biết để có thể hiểu rõ hơn về cách thức mà một ngôn ngữ được xây dựng từ một bộ từ vựng, về cách đánh giá, xử lí đối với ngôn ngữ tự nhiên cũng như là tiền đề để đi sâu vào tìm hiểu các lĩnh vực nghiên cứu có liên quan như : Nhận dạng chữ viết, Nhận dạng tiếng nói, dịch máy, tóm tắt văn bản, sửa lỗi chính tả … Một ứng dụng phổ biến của mô hình ngôn ngữ mà mọi người hầu như tiếp cận nhiều nhất đó là việc tự động gợi ý từ tiếp theo trên thanh tìm kiếm của Google. 1 Ứng dụng mô hình ngôn ngữ - Nguồn: https://viblo.asia/p/language- modeling-mo-hinh-ngon-ngu-va-bai-toan-them-dau-cau-trong-tieng-viet- 1VgZveV2KAw Trong thời gian gần đây, mô hình ngôn ngữ đóng vai trò quan trọng trong rất nhiều ứng dụng, bài toán của Xử lý ngôn ngữ tự nhiên và đang là chủ đề nghiên cứu thu hút được nhiều sự quan tâm của các nhà nghiên cứu trên toàn thế giới.
Tuy nhiên, do mỗi quốc gia, sẽ sử dụng một ngôn ngữ khác nhau với cấu trúc ngữ pháp, văn hóa, hình thức nói khác nhau, dẫn đến việc xây dựng mô hình ngôn ngữ cho từng ngôn ngữ sẽ phải giải quyết nhiều bài toán đặc thù của nó.2 Kiến trúc RNN RNN là viết tắt của Recurrent Neural Network, đây là một loại mạng nơron nhân tạo có thể xử lý dữ liệu tuần tự, nhận dạng các mẫu và dự đoán đầu ra cuối cùng. Ý tưởng chính của RNN là sử dụng chuỗi các thông tin.