Luận án TS Nguyễn Thị Bích Điệp: Dịch tự động Ngôn ngữ Ký hiệu Việt Nam

Luận án tiến sĩ về phương pháp tiếp cận cấu trúc và thống kê trong dịch tự động Ngôn ngữ Ký hiệu Việt Nam. Xem và tải toàn văn luận án miễn phí.

Chuyên ngành

Khoa học Máy tính

Người đăng

Ẩn danh

Thể loại

Luận án Tiến sĩ

2023

119
0
0

Phí lưu trữ

35 Point

Tóm tắt

I. Khái niệm và lịch sử dịch tự động ngôn ngữ ký hiệu Việt Nam

Dịch tự động ngôn ngữ ký hiệu Việt Nam là một lĩnh vực nghiên cứu quan trọng trong công nghệ ngôn ngữ tự nhiên và trí tuệ nhân tạo. Ngôn ngữ ký hiệu Việt Nam (VSL) là hệ thống giao tiếp chính của cộng đồng người khiếm thính Việt Nam, có cú pháp và ngữ pháp riêng biệt so với tiếng Việt nói. Phương pháp dịch tự động nhằm chuyển đổi các câu VSL thành tiếng Việt viết, giúp cầu nối giao tiếp giữa người khiếm thính và người bình thường. Nghiên cứu trong lĩnh vực này bắt đầu từ những năm 2020 tại các trường đại học và viện nghiên cứu hàng đầu Việt Nam, với mục tiêu phát triển công nghệ hỗ trợ cho cộng đồng khiếm thính.

1.1. Định nghĩa ngôn ngữ ký hiệu Việt Nam

Ngôn ngữ ký hiệu Việt Nam (VSL) là một ngôn ngữ tự nhiên sử dụng chuyển động tay, khuôn mặt và vị trí cơ thể để truyền đạt thông tin. VSL có cú pháp riêng, không theo quy tắc tiếng Việt nói, với thứ tự từ và cấu trúc câu độc lập. Đặc điểm nổi bật của VSL là sử dụng không gian 3D, chỉ các địa điểm cụ thể và thể hiện mối quan hệ giữa các đối tượng thông qua vị trí tay.

1.2. Tầm quan trọng của dịch tự động VSL

Dịch tự động VSL giúp loại bỏ rào cản giao tiếp cho người khiếm thính trong cuộc sống hàng ngày. Ứng dụng công nghệ dịch máy cho VSL hỗ trợ giáo dục, y tế, pháp lý và các dịch vụ công cộng. Đây là bước tiến quan trọng trong công nghệ hỗ trợ người khiếm thính và thúc đẩy sự bình đẳng xã hội.

II. Phương pháp tiếp cận dựa trên cấu trúc trong dịch VSL

Phương pháp dịch dựa trên cấu trúc (RBMT) là hướng tiếp cận truyền thống sử dụng luật ngôn ngữ để chuyển đổi VSL sang tiếng Việt. Phương pháp này dựa trên phân tích cú pháp câu VSL và áp dụng các quy tắc được xây dựng từ kiến thức ngôn ngữ học. Từ điển VSL-Lexicon được xây dựng với các mục từ ký hiệu cùng các thông tin ngữ pháp liên quan. Bộ dữ liệu song ngữ Vie-VSL10k chứa 10.000 cặp câu VSL-tiếng Việt, phục vụ cho việc huấn luyện và kiểm tra hệ thống. Hướng tiếp cận này có ưu điểm là dễ kiểm soát, minh bạch trong quy trình xử lý, nhưng nhược điểm là khó xử lý các trường hợp ngoại lệ.

2.1. Xây dựng từ điển và cơ sở dữ liệu VSL

Từ điển VSL-Lexicon là tài nguyên ngôn ngữ quan trọng, chứa các ký hiệu VSL với định nghĩa, từ loại và thông tin ngữ pháp. Bộ dữ liệu Vie-VSL10k được tạo từ quá trình ghi hình những người bản ngữ VSL, sau đó được chuyển ghi lại bằng ký hiệu và dịch sang tiếng Việt. Dữ liệu này đảm bảo tính chính xác và phản ánh đặc điểm thực tế của VSL.

2.2. Xây dựng và áp dụng luật dịch

Các luật dịch được xây dựng dựa trên tính chất rút gọn và đặc điểm cú pháp của VSL. Mỗi luật đại diện cho một mẫu chuyển đổi từ cấu trúc VSL sang tiếng Việt. Hệ thống dịch dựa trên luật áp dụng các luật này tuần tự để xử lý từng câu, sử dụng phân tích cú pháp để xác định cấu trúc câu và chọn luật phù hợp.

III. Phương pháp tiếp cận dựa trên thống kê và mạng nơ ron

Phương pháp dịch thống kê sử dụng dữ liệu lớn để học các mẫu dịch một cách tự động, không dựa trên luật được xây dựng thủ công. Mô hình Sequence-to-Sequence (Seq2Seq) với kiến trúc bộ mã hóa-giải mã được áp dụng để dịch từng chuỗi ký hiệu VSL sang chuỗi từ tiếng Việt. Mô hình Transformer là tiến bộ tiếp theo, sử dụng cơ chế Attention để xác định mối quan hệ giữa các phần tử trong câu. Những phương pháp này đạt hiệu suất cao trên bộ dữ liệu Vie-VSL10k và có khả năng xử lý các mẫu dịch phức tạp. Các mô hình được đánh giá thông qua điểm BLEUPerplexity, cho thấy sự cải thiện đáng kể so với phương pháp truyền thống.

3.1. Mô hình Sequence to Sequence cho dịch VSL

Mô hình Seq2Seq bao gồm bộ mã hóa nhận vào chuỗi ký hiệu VSL và bộ giải mã sinh ra chuỗi từ tiếng Việt. Quá trình huấn luyện sử dụng bộ dữ liệu song ngữ để tối ưu hóa hàm loss. Cơ chế Attention cho phép mô hình tập trung vào các phần tử quan trọng trong câu nguồn khi sinh ra từ dịch.

3.2. Mô hình Transformer trong dịch VSL

Mô hình Transformer sử dụng hoàn toàn cơ chế Attention tự loại (Self-Attention) thay vì RNN, giúp xử lý song song và nắm bắt được mối quan hệ từ xa trong câu. Mã hóa vị trí (Positional Encoding) giúp mô hình nhận thức được thứ tự ký hiệu trong chuỗi. Kết quả thực nghiệm cho thấy Transformer vượt trội hơn Seq2Seq trong việc dịch các câu VSL phức tạp.

IV. Làm giàu dữ liệu và đánh giá hiệu suất hệ thống dịch

Làm giàu dữ liệu (Data Augmentation) là kỹ thuật quan trọng để cải thiện hiệu suất dịch tự động VSL, đặc biệt khi dữ liệu huấn luyện còn hạn chế. Các phương pháp làm giàu bao gồm sao chép câu, thay thế từ đồng nghĩa, và sinh tổng hợp các câu mới từ dữ liệu hiện có. Bộ dữ liệu Vie-VSL10k được mở rộng thông qua các kỹ thuật này, giúp tăng từ 10.000 lên hơn 30.000 cặp câu. Đánh giá chất lượng dịch được thực hiện thông qua điểm BLEU để đo sự tương đồng giữa bản dịch máy và bản dịch tham chiếu, cũng như Perplexity để đánh giá chất lượng mô hình ngôn ngữ. Kết quả cho thấy việc làm giàu dữ liệu giúp cải thiện điểm BLEU từ 25-30% tùy theo phương pháp áp dụng.

4.1. Kỹ thuật làm giàu dữ liệu cho dịch VSL

Làm giàu dữ liệu bao gồm nhiều kỹ thuật như Back-translation (dịch ngược lại), Paraphrase (diễn đạt lại), và Synthesis (sinh dữ liệu tổng hợp). Các kỹ thuật này giúp tạo ra các biến thể của câu VSL-tiếng Việt, cung cấp đa dạng hơn cho mô hình học tập, từ đó cải thiện khả năng tổng quát hóa.

4.2. Đánh giá và kết quả thực nghiệm

Điểm BLEU so sánh bản dịch máy với bản dịch tham chiếu dựa trên n-gram overlap. Perplexity đo lường mức độ bối rối của mô hình ngôn ngữ trên tập kiểm tra. Kết quả cho thấy phương pháp Transformer đạt điểm BLEU cao nhất (khoảng 35-40), vượt trội so với Seq2Seq (25-30) và RBMT (20-25).

18/12/2025

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN DỊCH NGÔN NGỮ KÝ HIỆU VIỆT NAM Trong chương này, luận án trình bày những vấn đề tổng quan của bài toán dịch ngôn ngữ ký hiệu Việt Nam.1 là những vấn đề tổng quan về đặc điểm của VSL. Phần tiếp theo là những nghiên cứu liên quan về chủ đề dịch ngôn ngữ ký hiệu trên thế giới và những phân tích những ưu nhược điểm của các nghiên cứu này (mục 1. Đồng thời chỉ ra điểm mấu chốt của dịch ngôn ngữ ký hiệu Việt Nam trong bài toán dịch từ ngôn ngữ thông thường sang ngôn ngữ ký hiệu chính là vấn đề dịch từ văn bản tiếng Việt thông thường sang dạng văn bản đúng cú pháp trong VSL. Tổng quan về ngôn ngữ ký hiệu 1.

Lịch sử và phân loại ngôn ngữ ký hiệu trên thế giới Ngôn ngữ ký hiệu được hình thành từ rất sớm gắn với sự phát triển ngôn ngữ thông thường. Năm 1620, Juan Bonet đã đưa ra luận thuyết đầu tiên được coi là tiền đề cho ngôn ngữ ký hiệu. Cộng đồng người khiếm thính tạo ra ngôn ngữ ký là một loại ngôn ngữ riêng biệt để giao tiếp và thu nhận kiến thức của nhân loại. Thay vì ngôn ngữ thông thường diễn đạt bằng âm thanh, lời nói thì ngôn ngữ ký hiệu có thể là sự kết hợp giữ sự chuyển động của bàn tay, cả cánh tay kết hợp nét biểu cảm trên khuôn mặt.

Vì vậy trong ngôn ngữ học nó cũng thuộc một dạng ngôn ngữ tự nhiên. Tuy nhiên nó không phải là ngôn ngữ cơ thể - một loại giao tiếp phi ngôn ngữ [1]. Các cộng đồng người khiếm thính trên thế giới đều có ngôn ngữ ký hiệu của riêng họ. Trong khi một số ngôn ngữ ký hiệu như ngôn ngữ ký hiệu Anh, Ngôn ngữ ký hiệu Mỹ, ngôn ngữ ký hiệu Ba Lan, ngôn ngữ ký hiệu Ấn Độ,v.v…được công nhận pháp lý thì cũng có một số mang tính chất địa phương.

Có một quan niệm không chính xác là ngôn ngữ ký hiệu là một loại dùng chung trên toàn thế giới. Nhưng mỗi quốc gia lại có hơn một ngôn ngữ ký hiệu. Do những đặc điểm vùng miền về văn hoá xã hội nên chính trong ngôn ngữ ký hiệu Việt Nam cũng có những điểm khác biệt. Các chuyên gia về ngôn ngữ đã phân ra 3 vùng miền cho ngôn ngữ ký hiệu Việt Nam, đó là: Hà Nội, Hải Phòng và Thành phố Hồ Chí Minh.

Tuy vậy thì kể cả là ngôn ngữ ký hiệu trên thế giới cũng có một số điểm tương đồng nhất định về đặc điểm cú pháp hay hình thái của biểu diễn một số từ ngữ. Ví dụ như từ “lái ô tô” thì đều thể hiện là hai tay giơ lên nắm không khí và làm động tác quay quay xoay vô lăng. 8 Mặc dù ngôn ngữ ký hiệu đã phát sinh một cách tự nhiên trong cộng đồng người khiếm thính bên cạnh ngôn ngữ nói, tuy nhiên chúng không liên quan đến ngôn ngữ nói và có cấu trúc ngữ pháp khác nhau ở cốt lõi. Ngôn ngữ ký hiệu có thể được phân loại theo cách nó phát sinh.

Ngôn ngữ ký hiệu địa phương là một ngôn ngữ bản địa mà thường phát sinh nhiều thế hệ trong một cộng đồng tương đối biệt lập với một tỷ lệ cao người khiếm thính, và được sử dụng bởi người khiếm thính và một phần đáng kể của cộng đồng nghe, gồm có gia đình và bạn bè của người khiếm thính. Lúc đầu, ngôn ngữ ký hiệu cộng đồng người khiếm thính thường không được biết đến bởi người nghe nói bình thường, trong nhiều trường hợp thậm chí các thành viên trong gia đình cũng không thể sử dụng thứ ngôn ngữ này. Tuy nhiên, chúng có thể phát triển, trong một số trường hợp trở thành một ngôn ngữ giảng dạy và nhận được sự công nhận chính thức, như trong trường hợp của ASL. Đặc điểm về cú pháp trong câu ngôn ngữ ký hiệu Việt Nam Trong VSL, cũng tương tự như các ngôn ngữ ký hiệu khác trên thế giới đều có 2 đặc điểm quan trọng nhất đó chính là sự giản lược và nhấn mạnh trọng tâm.

Điều này là do trong đặc trưng tư duy của người khiếm thính và vì vậy có ảnh hưởng đến cách biểu đạt ngôn ngữ trong cú pháp của câu ngôn ngữ ký hiệu: sự rút gọn một số thành phần trong câu và sự sắp xếp trật tự các từ trong câu có sự khác biệt với ngôn ngữ thông thường. Vốn từ vựng của người khiếm thính cũng hạn chế so với thông thường nên những thành phần được coi là không quá quan trọng và không mang nhiều ý nghĩa trong câu sẽ được giản lược đi [2]. Việc giản lược này được phân tích kỹ ở phần tiếp theo. Ngoài ra, với đặc điểm nhấn mạnh trọng tâm, người khiếm thính có xu hướng đưa các từ quan trọng trong câu lên phía trước, khiến cho trật tự cú pháp của câu ngôn ngữ ký hiệu sẽ bị đảo lộn so với thông thường.

Việc đảo trật tự cú pháp cũng dựa trên từng loại câu. Có thể liệt kê ra như sau: Câu tường thuật: thường được lược bỏ một số giới từ, liên từ, đưa danh từ lên trước số đếm và động từ,. Câu nghi vấn: Đại từ nghi vấn thường được đặt ở cuối câu và đưa thông tin nghi vấn lên trên để tập trung chú ý. Thông thường câu nghi vấn có thể kèm thêm sự biểu đạt trên khuôn mặt.

Một điểm đáng chú ý là các biểu đạt khuôn mặt được sử dụng khá nhiều trong ngôn ngữ ký hiệu 9 Câu phủ định: Từ phủ định trong câu thường được đặt cuối câu, giống như đặc điểm mà ta vừa phân tích ở câu nghi vấn. Câu mệnh lệnh: từ tình thái là một thành phần chắc chắn được giản lược trong câu vì nếu bỏ ra khỏi câu, ý nghĩa hầu như vẫn được giữ nguyên để có thể hiệu được, trật tự từ trong câu mệnh lệnh cũng bị đảo vị trí so với ngôn ngữ tiếng Việt thông thường. Do vậy, đặc trưng cơ bản trong việc chuyển đổi câu Tiếng việt thông thường sang dạng câu đúng cú pháp trong VSL sẽ bao gồm 2 yếu tố: Rút gọn và thay đổi trật tự cú pháp. Những đặc điểm ngôn ngữ học đặc trưng này sẽ được phân tích cụ thể.

Rút gọn giới từ, liên từ và từ tình thái Giới từ được dùng để đánh dấu quan hệ chính phụ.Quan hệ chính phụ ở đây có thể là giữa một ngữ danh từ với định ngữ của nó ,giữa một ngữ vị từ với bổ ngữ của nó, giữa câu với trạng ngữ của nó. Liên từ thì thông thường được hình dung là từ dùng để liên kết các ngữ đoạn (ngữ, cấu trúc đề thuyết) đẳng lập với nhau. Dù liên từ có thể vẫn biểu đạt quan hệ ngữ nghĩa giữa các ngữ đoạn, các câu lại với nhau nhưng nó không đảm nhiệm vai trò đánh dấu vai nghĩa. Và vì vậy, chức năng nổi bật của nó vẫn chỉ là nối kết các ngữ đoạn, các câu lại với nhau để diễn đạt mối quan hệ ý nghĩa giữa các thành phần này.

Như vậy, giới từ là liên từ chính là thành phần phụ không mang nhiều ý nghĩa trong câu, nghĩa là khi ta bỏ nó khỏi câu thì câu rút gọn vẫn có thể hiểu được. Bởi sự hạn chế về mặt từ vựng và ngữ nghĩa nên trong câu VSL sẽ giản lược giới từ và liên từ trong câu. Điều này phù hợp với đặc điểm ngôn ngữ của người khiếm thính.1 trình bày một số mẫu câu rút gọn giới từ và liên từ. Tình thái từ là những từ được thêm vào câu để cấu tạo câu theo mục đích nói (nghi vấn, cầu khiến, cảm thán) và để biểu thị các sắc thái tình cảm của người đó.

Đối với người khiếm thính, việc biểu thị sắc thái tình cảm hay cấu tạo câu theo mục đích nói thông thường sẽ dùng biểu cảm khuôn mặt và một số dấu hiệu nhất định. Vì vậy mà trong ngôn ngữ ký hiệu không có những ký hiệu để biểu đạt các từ tình thái này. Trong phần này, luận án nghiên cứu các vấn đề liên quan đến từ tình thái và thu thập các luật rút gọn từ tình thái trong câu thông thường để biến đổi sang dạng 10 câu trong ngôn ngữ ký hiệu. Các tình thái từ là những từ biểu lộ thái độ tình cảm của người nói (người viết) đối với nội dung của câu hoặc đối với người cùng tham gia hoạt động giao tiếp (người nghe.

người đọc). Các tình thái từ không thể đóng vai trò thành phần cấu tạo trong cụm từ hay trong câu, chúng chỉ được dùng trong câu để bày tỏ thái độ tình cảm. Một số mẫu câu rút gọn giới từ và liên từ Câu thông thường Câu rút gọn liên từ và giới từ Viết bằng bút chì Viết bút chì Ăn và mặc là nhu cầu của mọi người Ăn mặc là nhu cầu mọi người Tôi và anh đi học Tôi anh đi học Anh ăn cháo hay ăn cơm? Anh ăn cháo ăn cơm? Mặc dầu trời mưa, tôi vẫn đi học Trời mưa, tôi đi học Lấy hộ chị quyển sách Lấy chị quyển sách Buổi sáng anh dắt xe giúp tôi ra cổng Buổi sáng anh dắt xe tôi ra cổng Áo của anh màu xanh Áo anh màu xanh Như vậy, trong ngôn ngữ tiếng Việt thông thường, khi rút gọn sang dạng ngôn ngữ ký hiệu, ta lược bỏ các từ tình thái trong câu. Các từ tình thái như đã liệt kê ở trên sẽ được loại bỏ câu theo một cấu trúc xác định dựa trên ngữ nghĩa.

Đặc điểm về trật tự cú pháp trong câu VSL Tính chất rút gọn trong câu VSL khiến cho bài toán chuyển đổi câu tiếng việt sang dạng đúng trong VSL gần giống như bài toán tóm tắt văn bản. Tuy nhiên đặc trưng khác biệt so với bài toán tóm tắt văn bản là vấn đề trật tự cú pháp trong câu VSL. Do những đặc điểm đặc trưng của ngôn ngữ, thông tin chính được nhấn mạnh và thường đưa lên trước nên cú pháp câu VSL có trật tự cú pháp khác so với câu tiếng Việt thông thường [3]. Tóm lại, đặc trưng cơ bản nhất của các ngôn ngữ ký hiệu trên thế giới nói chung hay ngôn ngữ ký hiệu Việt Nam nói riêng thì chúng đều có đặc điểm về tính giản lược và nhấn mạnh trọng tâm.

Điều đó khiến cho cú pháp trong câu ngôn ngữ ký hiệu có nhiều sự khác biệt với ngôn ngữ thông thường. Các đặc điểm này được phân tích, tổng hợp lại trong chương 3 liên quan đến việc dịch VSL theo cấu trúc. Các nghiên cứu liên quan Hầu hết các đặc điểm của bài toán dịch SL mang những tính chất tương đồng như vấn đề của các bài toán dịch ngôn ngữ khác.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ