mở đầu Chƣơng này giới thiệu tổng quan về đề tài gồm các nội dung nhƣ: tính cấp thiết của đề tài, mục tiêu và nhiệm vụ nghiên cứu, đối tƣợng và phạm vi nghiên cứu, phƣơng pháp nghiên cứu, nghĩa khoa học và thực tiễn cũng nhƣ cấu trúc chung của luận văn. Chƣơng 1: Tổng quan tình hình nghiên cứu Chƣơng này giới thiệu tổng quan về cơ sở dữ liệu VSL và tình hình nghiên cứu. Những kiến thức cơ bản này là tiền đề để áp dụng vào việc xây dựng mô hình nhận dạng ngôn ngữ ký hiệu. Chƣơng 2: Cơ sở lý thuyết 5 Chƣơng này giới thiệu lý thuyết về MediaPipe Holistic và mô hình LSTM.
Chƣơng 3: Mô hình nhận dạng ngôn ngữ ký hiệu Chƣơng này vận dụng những kiến thức đã đề cập ở chƣơng một và chƣơng hai để xây dựng mô hình nhận dạng ngôn ngữ ký hiệu. Chƣơng 4: Thực nghiệm và đánh giá Chƣơng này phân tích và đánh giá kết quả mô hình đề xuất. Chƣơng 5: Kết luận và hƣớng phát triển Chƣơng này tổng kết lại các kết quả mà luận văn đã đạt. Sau đó, đề xuất các hƣớng nghiên cứu tiếp theo nhằm nâng cao độ chính xác của bài toán nhận dạng ngôn ngữ ký hiệu.
6 CHƢƠNG 1 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1. Tổng quan về ngôn ngữ ký hiệu ở Việt Nam ―Ngôn ngữ ký hiệu hay ngôn ngữ dấu hiệu, thủ ngữ là ngôn ngữ dùng những biểu hiện của bàn tay thay cho âm thanh của tiếng nói. Ngôn ngữ ký hiệu do ngƣời khiếm thính tạo ra nhằm giúp họ có thể giao tiếp với nhau trong cộng đồng của mình và tiếp thu tri thức của xã hội. Chúng ta thƣờng hay quan niệm rằng ngôn ngữ ký hiệu là một ngôn ngữ quốc tế.
Thực tế không phải vậy, mỗi quốc gia có thể có một hoặc nhiều cách khác nhau để mô tả ký hiệu ngôn ngữ. Ở Việt Nam, ngôn ngữ ký hiệu đã đƣợc đƣa vào giáo dục và sử dụng từ rất sớm. ―Nhƣng do trƣớc đây chƣa có nhà khoa học nào tìm hiểu, nghiên cứu về nó nên ngƣời Việt Nam không nghĩ và đã không xem những dấu hiệu mà ngƣời điếc sử dụng là ngôn ngữ. Họ cho rằng đó chỉ là những điệu bộ khua tay của ngƣời điếc để cố gắng giao tiếp do thiếu ngôn ngữ.
Mãi đến năm 1996, một tiến sĩ ngôn ngữ học ngƣời Mỹ là James C. Woodward ngƣời đã từng làm việc với William Stokoe tại trƣờng đại học Gallaudet của Mỹ, đã sang Việt Nam thực hiện nghiên cứu về ngôn ngữ ký hiệu của cộng đồng ngƣời điếc ở Việt Nam.‖ [1] Từ những năm 2000, Việt Nam bắt đầu triển khai những nỗ lực của mình nhằm hoàn thiện và hệ thống hóa VSL. Các câu lạc bộ, nhóm học tập bắt đầu hình thành và phát triển. Tuy nhiên do ảnh hƣởng bởi văn hóa, đặc trƣng của từng vùng miền khác nhau nên dẫn đến sự phân loại trong việc thể hiện biểu diễn ngôn ngữ k hiệu khác nhau.
Nổi trội nhất là ngôn ngữ k hiệu ở Thành phố Hồ Chí Minh, Bình Dƣơng, Hà Nội, Hải Phòng. Bên cạnh đó, đã có thêm nhiều dự án đƣợc thực hiện để chuẩn hoá ngôn ngữ k hiệu nhằm xây dựng nên hệ thống ngôn ngữ kí hiệu hoàn chỉnh và thống nhất. Hiện nay, các tài liệu đã đƣợc đƣa vào sử dụng cho ngƣời 7 khiếm thính ở Việt Nam nhƣ là bộ ba tập K hiệu cho ngƣời khiếm thính Việt Nam, Từ điển ngôn ngữ k hiệu Việt Nam. Bảng chữ cái của VSL cũng tƣơng ứng với bảng chữ cái của ngôn ngữ viết bao gồm 29 chữ cái, các chữ ghép và dấu thanh.
Bảng chữ cái của VSL đƣợc xây dựng tƣơng tự với bảng chữ cái của ASL (American Sign Languague). Tuy nhiên, do mang tính chất đặc trƣng về văn hóa của đất nƣớc, bảng chữ cái VSL cũng mang những nét đặc trƣng riêng biệt (Hình 1. Bảng chữ cái của ASL [2] và bảng chữ cái của VSL [3]. Việc giao tiếp bằng ngôn ngữ k hiệu rất đa dạng, không chỉ liên quan đến ngôn ngữ ở bàn tay mà còn liên quan đến cử chỉ, điệu bộ, nét mặt.
Tất cả các ngữ nghĩa của ngôn ngữ k hiệu thƣờng đƣợc cấu thành từ 5 thành tố cơ bản (Hình 1. Năm thành tố của một ký hiệu [4]. 8 Từ những đặc điểm khác biệt trong việc cấu tạo từ của VSL đã chứng t rằng VSL là một ngôn ngữ đích thực, có ngữ pháp riêng, độc lập với tiếng Việt. VSL đã trở thành một hệ thống các tín hiệu cần thiết và quan trọng nhất để đáp ứng nhu cầu giao tiếp và tƣ duy logic của ngƣời khiếm thính, trở thành ngôn ngữ mẹ đẻ, ngôn ngữ thứ nhất của ngƣời khiếm thính.
Những nghiên cứu liên quan Ngày nay, nhờ sự phát triển của khoa học và công nghệ mà việc xây dựng những ứng dụng nhận dạng ngôn ngữ ký hiệu ngày càng đƣợc quan tâm. Hầu hết những nghiên cứu nhận dạng ngôn ngữ ký hiệu thƣờng chia làm hai loại là dựa trên dữ liệu cảm biến và dựa trên thị giác máy tính. Phương pháp dựa trên dữ liệu cảm biến Dữ liệu cảm biến đƣợc thu thập từ hoạt động mô tả các từ ngôn ngữ ký hiệu của ngƣời thực hiện khi sử dụng một hoặc một số thiết bị cảm biến. Mô hình bao gồm một máy xử lý dữ liệu, một hệ vi điều khiển thu thập dữ liệu, hệ thống màn hình hiển thị và thiết bị cảm biến.
Trong đó, các thiết bị cảm biến đƣợc trang bị cho khả năng lọc nhiễu và yếu tố phức tạp của môi trƣờng. Chính vì vậy, việc tiền xử lý của dữ liệu trở nên đơn giản hóa. Trong cách tiếp cận này, tín hiệu từ các thiết bị cảm biến sẽ truyền tải đến một thiết bị từ xa để xử lý nhận dạng. Vào năm 2009, việc ra đời của Microsoft Kinect đã mở ra một hƣớng nghiên cứu mới trong bài toán nhận dạng ngôn ngữ cử chỉ.
Với giá thành vừa phải, khả năng ứng dụng của thiết bị vào ứng dụng của rất khả thi. Do đó, đã có rất nhiều nghiên cứu nhận dạng ngôn ngữ ký hiệu sử dụng thiết bị Microsoft Kinect. Điển hình là nghiên cứu của Z. Zafrulla và cộng sự [5], nhóm tác giả đã so sánh hệ thống dựa trên Kinect và hệ thống CopyCat của họ dựa trên bộ dữ liệu 1000 cụm từ trong ASL để minh chứng cho thấy Kinect là một lựa chọn khả thi để xác minh ký hiệu.
Bởi vì, hệ thống sử dụng Kinect 9 mang đến tỷ lệ xác minh câu là 51.5% đối với những dữ liệu mà ngƣời dùng ngồi và 76.12% đối với những dữ liệu mà ngƣời đứng, trong khi đó, khi sử dụng hệ thống CopyCat chỉ mang lại tỷ lệ xác minh ở những dữ liệu ngồi là 74. Trong nhận dạng VSL, P. Hai và cộng sự [3] đã đề xuất một cách tiếp cận tự động để trích xuất các đặc trƣng của ngôn ngữ ký hiệu tiếng Việt trong phân loại các chữ cái trong bảng chữ cái tiếng Việt. Bộ dữ liệu đƣợc nghiên cứu gồm các hình ảnh chiều sâu, hình ảnh RGB và bản đồ khớp xƣơng.
Nhờ vào thiết bị Kinect phiên bản 1, hệ thống của nhóm tác giả đề xuất đã tự động trích xuất cử chỉ tay của ngƣời đƣợc quan sát. Các cử chỉ tay bao gồm cả dấu phụ động và tĩnh đều có thể đƣợc nhận dạng nhờ phƣơng pháp phát hiện chuyển động. Trong giai đoạn nhận dạng, tất cả các cử chỉ tay đƣợc trích xuất, chuẩn hóa và sau đó đƣợc lọc ra dựa trên sự khác biệt về khoảng cách Euclide của các vị trí tay trong các khung hình đƣợc chụp để đi qua các Support Vector Machines (SVM) chính xác. Kết quả thử nghiệm chứng minh hệ thống mà nhóm tác giả đề xuất đã nhận dạng VSL trong thời gian thực với độ chính xác cao.
Mặc dù các phƣơng pháp tiếp cận này đạt độ chính xác cao dựa trên thiết bị cảm biến nhƣng hệ thống trở nên bất tiện hơn khi ngƣời thực hiện phải tốn tiền để trang bị thiết bị cảm biến hoặc đeo nhiều thiết bị cảm biến. Phương pháp dựa trên thị giác máy tính Thị giác máy tính có nhiều ứng dụng trong thực tế nhƣ điều khiển tự động, mô ph ng chuyển động, đặc biệt nó cũng đƣợc áp dụng trong việc nghiên cứu về ngôn ngữ k hiệu. Nhận biết ngôn ngữ k hiệu qua ảnh đã đƣợc nghiên cứu và phát triển từ rất sớm và đạt đƣợc những kết quả tốt và đầy khả quan. Trong phƣơng pháp này sẽ sử dụng những camera để ghi lại dữ liệu đầu vào.
Do đƣợc ghi hình bằng những máy thu hình cho nên giảm chi phí giá thành trong việc không cần trang bị thiết bị cảm biến. Hơn thế, hiện nay, các 10 thiết bị thu hình hầu nhƣ đều là thiết bị với độ phân giải cao. Điều đó, trở thành một tiềm năng lớn cho dữ liệu đầu vào cho hệ thống. Vì thế, cách tiếp cận này khiến cho hệ thống nhận dạng ngôn ngữ k hiệu trở nên tự nhiên và thuận tiện trong sử dụng.
Do những lợi ích đƣợc đề cập, nhiều nhà nghiên cứu tập trung vào nghiên cứu và đề xuất nhận dạng ngôn ngữ k hiệu dựa trên thị giác máy tính. Trọng tâm bài báo của tác giả K. Bantupalli và cộng sự [6] là sử dụng bộ dữ liệu ASL để tạo ra một ứng cung cấp bản dịch ngôn ngữ k hiệu sang văn bản, từ đó hỗ trợ giao tiếp giữa ngƣời sử dụng ngôn ngữ k hiệu và ngƣời không ngôn ngữ k hiệu. Mô hình mà bài báo đề xuất gồm hai phần chính CNN và RNN.
Đầu tiên, nhóm tác giả lấy các chuỗi video và trích xuất các đặc điểm không gian và thời gian từ các chuỗi video đó. Sau đó, họ sử dụng Inception của mô hình CNN để nhận dạng các đặc điểm không gian. Từ kết quả thu đƣợc từ mô hình CNN để vào mô hình RNN, mục đích là dùng để đào tạo về các tính năng tạm thời. Vo và các cộng sự [7] đã đóng góp bộ dữ liệu gồm 24 chữ cái, 3 dấu phụ âm, và 5 âm của tiếng Việt.
Bộ dữ liệu này đƣợc nhóm tác giả thu thập chỉ sử dụng camera 2D. Ngoài ra, nhóm tác giả sử dụng điểm đặc trƣng (local features), gồm ba loại là đặc trƣng không gian (spatial features), đặc trƣng dựa trên cảnh (scene-based feature) và đặc trƣng chuyển động (motion-based feature). Trong đó, đặc trƣng không gian và đặc trƣng dựa trên cảnh đƣợc coi là đặc trƣng dựa trên một khung hình vì chúng đƣợc trích xuất từ một khung hình duy nhất của chuỗi video đầu vào. Còn đặc trƣng chuyển động đƣợc coi là đặc trƣng dựa trên chuyển động của nhiều khung hình và phải đƣợc tính toán từ nhiều chuỗi video đầu vào.