Luận văn thạc sĩ về hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam

Luận văn thạc sĩ nghiên cứu nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu việt nam, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực tiễn.

Trường đại học

Đại học Thái Nguyên

Chuyên ngành

Khoa học máy tính

Người đăng

Ẩn danh

Thể loại

luận văn thạc sĩ

2017

67
8
0

Phí lưu trữ

30 Point

Tóm tắt

I. Tổng quan về hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam

Hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam đang trở thành một lĩnh vực nghiên cứu quan trọng. Với khoảng 2,5 triệu người khiếm thính tại Việt Nam, việc phát triển công nghệ hỗ trợ giao tiếp cho họ là rất cần thiết. Ngôn ngữ ký hiệu không chỉ giúp người khiếm thính giao tiếp mà còn là cầu nối giữa họ và xã hội. Nghiên cứu này sẽ tập trung vào các phương pháp nhận dạng ngôn ngữ ký hiệu, từ đó phát triển các ứng dụng thực tiễn.

1.1. Khái niệm và vai trò của ngôn ngữ ký hiệu

Ngôn ngữ ký hiệu là phương tiện giao tiếp chính của người khiếm thính. Nó sử dụng cử chỉ, điệu bộ và nét mặt để truyền đạt thông tin. Ngôn ngữ này không chỉ giúp người khiếm thính giao tiếp mà còn đóng vai trò quan trọng trong việc tiếp thu tri thức.

1.2. Đặc điểm ngôn ngữ học của ngôn ngữ ký hiệu

Ngôn ngữ ký hiệu có cấu trúc ngữ pháp riêng biệt, độc lập với tiếng Việt. Điều này cho thấy ngôn ngữ ký hiệu Việt Nam là một ngôn ngữ đích thực, có khả năng đáp ứng nhu cầu giao tiếp của người khiếm thính.

II. Vấn đề và thách thức trong nghiên cứu ngôn ngữ ký hiệu Việt Nam

Mặc dù ngôn ngữ ký hiệu đã được nghiên cứu nhiều, nhưng vẫn còn nhiều thách thức trong việc phát triển hệ thống nhận dạng. Các vấn đề như độ chính xác trong nhận diện cử chỉ, sự đa dạng trong cách biểu đạt của người dùng và thiếu dữ liệu huấn luyện chất lượng cao là những khó khăn lớn. Việc giải quyết những vấn đề này là cần thiết để nâng cao hiệu quả của hệ thống.

2.1. Độ chính xác trong nhận diện cử chỉ

Độ chính xác trong nhận diện cử chỉ là một trong những thách thức lớn nhất. Các yếu tố như ánh sáng, khoảng cách và tốc độ cử động có thể ảnh hưởng đến kết quả nhận diện.

2.2. Sự đa dạng trong cách biểu đạt của người dùng

Mỗi người khiếm thính có thể có cách biểu đạt khác nhau, điều này tạo ra sự khó khăn trong việc xây dựng một hệ thống nhận diện đồng nhất. Cần có các nghiên cứu sâu hơn để hiểu rõ hơn về sự đa dạng này.

III. Phương pháp nhận dạng ngôn ngữ ký hiệu Việt Nam hiệu quả

Để phát triển hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam, có nhiều phương pháp khác nhau được áp dụng. Hai phương pháp chính là nhận diện bằng phân tích hình ảnh và nhận diện bằng cảm biến. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp là rất quan trọng.

3.1. Nhận diện bằng phân tích hình ảnh

Phương pháp này sử dụng camera để theo dõi cử chỉ của người dùng. Tuy nhiên, độ chính xác phụ thuộc vào chất lượng hình ảnh và điều kiện ánh sáng.

3.2. Nhận diện bằng cảm biến

Phương pháp này sử dụng các cảm biến gắn trên găng tay để thu thập dữ liệu. Nó cho phép nhận diện chính xác hơn trong nhiều điều kiện khác nhau và có thể áp dụng cho nhiều lĩnh vực khác nhau.

IV. Ứng dụng thực tiễn của hệ thống nhận dạng ngôn ngữ ký hiệu

Hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam có nhiều ứng dụng thực tiễn. Nó không chỉ giúp người khiếm thính giao tiếp hiệu quả hơn mà còn có thể được áp dụng trong giáo dục, y tế và các lĩnh vực khác. Việc phát triển các ứng dụng này sẽ góp phần nâng cao chất lượng cuộc sống cho người khiếm thính.

4.1. Ứng dụng trong giáo dục

Hệ thống nhận dạng ngôn ngữ ký hiệu có thể được sử dụng trong các lớp học dành cho người khiếm thính, giúp họ tiếp thu kiến thức một cách hiệu quả hơn.

4.2. Ứng dụng trong y tế

Trong lĩnh vực y tế, hệ thống này có thể giúp bác sĩ giao tiếp với bệnh nhân khiếm thính, đảm bảo rằng họ nhận được thông tin cần thiết về tình trạng sức khỏe của mình.

V. Kết luận và tương lai của nghiên cứu ngôn ngữ ký hiệu Việt Nam

Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam đang mở ra nhiều cơ hội mới. Với sự phát triển của công nghệ, việc cải thiện độ chính xác và khả năng nhận diện của hệ thống là hoàn toàn khả thi. Tương lai của ngôn ngữ ký hiệu Việt Nam hứa hẹn sẽ có nhiều bước tiến mới, góp phần nâng cao chất lượng cuộc sống cho người khiếm thính.

5.1. Triển vọng phát triển công nghệ

Công nghệ nhận diện ngôn ngữ ký hiệu sẽ tiếp tục phát triển, mở ra nhiều cơ hội mới cho người khiếm thính trong việc giao tiếp và hòa nhập xã hội.

5.2. Tầm quan trọng của nghiên cứu liên ngành

Nghiên cứu ngôn ngữ ký hiệu cần sự hợp tác giữa các lĩnh vực như công nghệ thông tin, ngôn ngữ học và giáo dục để đạt được hiệu quả cao nhất.

16/07/2025
Luận văn thạc sĩ nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu việt nam

Trích đoạn nội dung tài liệu

chương 1, học viên xây dựng hệ thống nhận dạng theo phương pháp sử dụng hệ thống cảm biến thu thập dữ liệu. Hệ thống bao gồm 2 phần, phần thứ nhất là thiết bị găng tay gồm hệ các cảm biến gắn trên một găng tay để cố định vị trí các cảm biến và phần hệ vi điều khiển để thu thập và truyền tải dữ liệu. Trong chương này học viên trình bày về cấu tạo và cách hoạt động của găng tay cảm biến. Hệ thống hoạt động dựa trên việc thu thập dữ liệu từ hệ thống các cảm biến gắn trên bàn tay thực.

Để mô phỏng lại bàn tay học viên sử dụng 2 loại cảm biến: cảm biến độ cong gắn trên các ngón tay và cảm biến gia tốc gắn trên lưng của bàn tay. Phần hệ vi điều khiển học viên sử dụng KIT dựa trên Chip ATmega324U thuộc họ AVR. Cảm biến cong Hình 2.Cảm biến độ cong Để xác định độ cong của các ngón tay, học viên sử dụng cảm biến độ uốn cong gắn dọc theo trục của các ngón tay. Cảm biến độ cong là một thanh điện trở dài mà điện trở sẽ thay đổi theo độ uốn cong của thanh, thanh càng cong lớn thì sẽ có điện trở càng lớn.

Cảm biến được gắn cố định theo các khớp chuyển động trong các thiết bị để tính toán, được sử dụng trong các ứng dụng robot, xây dựng đơn giản hay các thiết bị y tế, vật lý trị liệu. 13 Cảm biến học viên sử dụng trong thiết bị là loại dài 2,2 inch, độ dài phù hợp để gắn trên ngón tay bao phủ một khớp, một ngón tay gắn 2 cảm biến. Thẳng Bẻ cong 45o Bẻ cong 90o Hình 2.Các vị trí của cảm biến độ cong Ở trạng thái thẳng điện trở của thanh là 25kΩ (có thể có sai số), khi uốn cong tối đa điện trở thanh sẽ tăng lên đến 45kΩ. Mô hình các cảm biến gắn trên găng tay Cách sử dụng cảm biến cong: Cảm biến cong được gắn trên các ngón tay , mỗi ngón tay 2 cảm biến gắn trên 2 khớp tích cực, khớp đầu ngón tay không có khả năng chuyển động tự do và cũng không quá ảnh hưởng đến quá trình nhận dạng nên bỏ qua.

Riêng ngón cái chỉ 2 cảm biến cong là không đủ, 14 do ngón cái có khả năng xoay tự do, học viên gắn thêm một cảm biến gia tốc để xác định góc của ngón cái. Mạch ghép nối cảm biến cong Mắc cảm biến vào mạch điện theo sơ đồ như trên, với Vin được cấp cố định, ta sẽ có Vout biến đổi theo công thức như sau: 𝑅1 Vout = Vin ( ) 𝑅1 +𝑅2 Ta cần chọn R2 thích hợp sao cho khoảng biến thiên của R1 gây ra thay đổi đủ lớn trên Vout và giá trị này sẽ được vi điều khiển đọc và đưa về máy tính xử lý. Với giá trị R1 của flex, học viên chọn giá trị R2 là xấp xỉ 40kΩ. Dữ liệu đọc được từ ADC là các dữ liệu tương tự (analog).

Trong khi đó, vi điều khiển là một thiết bị số (digital), các giá trị mà một vi điều khiển có thể thao tác là các con số rời rạc vì thực chất chúng được tạo thành từ sự kết hợp của hai mức 0 và 1. Ví dụ chúng ta muốn dùng một thanh ghi 8 bit trong vi điều khiển để lưu lại các giá trị nhiệt độ từ 0oC đến 255oC, như chúng ta đã biết, một thanh ghi 8 bit có thể chứa tối đa 256 (28) giá trị nguyên từ 0 đến 255, như thế các mức nhiệt độ không nguyên như 28.123 oC sẽ không được ghi lại. Quá trình này thường được thực hiện bởi một thiết bị gọi là bộ chuyển đổi tương tự - số ADC (Analog to Digital Converter). 15 Có rất nhiều phương pháp chuyển đổi ADC, học viên sẽ trình bày một cách chuyển đổi rất cơ bản và phổ biến, phương pháp chuyển đổi mà học viên nói là phương pháp chuyển đổi trực tiếp (direct converting) hoặc flash ADC.

Các bộ chuyển đổi ADC theo phương pháp này được cấu thành từ một dãy các bộ so sánh (như opamp), các bộ so sánh được mắc song song và được kết nối trực tiếp với tín hiệu analog cần chuyển đổi. Một điện áp tham chiếu (reference) và một mạch chia áp được sử dụng để tạo ra các mức điện áp so sánh khác nhau cho mỗi bộ so sánh.5 mô tả một bộ chuyển đổi flash ADC có 4 bộ so sánh, Vin là tín hiệu analog cần chuyển đổi và giá trị sau chuyển đổi là các con số tạo thành từ sự kết hợp các mức nhị phân trên các chân Vo.5, bạn thấy rằng do ảnh hưởng của mạch chia áp (các điện trở mắc nối tiếp từ điện áp +15V đến ground), điện áp trên chân âm (chân -) của các bộ so sánh sẽ khác nhau. Trong lúc chuyển đổi, giả sử điện áp Vin lớn hơn điện áp “V-” của bộ so sánh 1 (opamp ở phía thấp nhất trong mạch) nhưng lại nhỏ hơn điện áp V- của các bộ so sánh khác, khi đó ngõ Vo1 ở mức 1 và các ngõ Vo khác ở mức 0, chúng ta thu được một kết quả số. Một cách tương tự, nếu tăng điện áp Vin ta thu được các tổ hợp số khác nhau.

Với mạch điện có 4 bộ so sánh như trong hình 1, sẽ có tất cả 5 trường hợp có thể xảy ra, hay nói theo cách khác điện áp analog Vin được chia thành 5 mức số khác nhau. Tuy nhiên, bạn chú ý là các ngõ Vo không phải là các bit của tín hiệu số ngõ ra, chúng chỉ là đại diện để tổ hợp thành tín hiệu số ngõ ra, dễ hiểu hơn chúng ta không sử dụng được các bit Vo trực tiếp mà cần một bộ giải mã (decoder). Trong bảng 1 học viên trình bày kết quả sau khi giải mã ứng với các tổ hợp của các ngõ Vo. Mạch flash ADC với 4 bộ so sánh.

Độ phân giải (resolution): như trong ví dụ trên, nếu mạch điện có 4 bộ so sánh, ngõ ra digital sẽ có 5 mức giá trị. Tương tự nếu mạch điện có 7 bộ so sánh thì sẽ có 8 mức giá trị có thể ở ngõ ra digital, khoảng cách giữa các mức tín hiệu trong trường hợp 8 mức sẽ nhỏ hơn trường hợp 4 mức. Nói cách khác, mạch chuyển đổi với 7 bộ so sánh có giá trị digital ngõ ra “mịn” hơn khi chỉ có 4 bộ, độ “mịn” càng cao tức độ phân giải càng lớn. Trong trường hợp có 8 mức giá trị ngõ ra, chúng ta cần 3 bit nhị phân để mã hóa hết các giá trị này, vì thế mạch chuyển đổi ADC với 7 bộ so sánh sẽ có độ phân giải là 3 bit.

Một cách tổng quát, nếu một mạch chuyển đổi ADC có độ phân giải n bit thì sẽ có 2n mức giá trị có thể có ở ngõ ra digital. Để tạo ra một mạch chuyển đổi flash ADC có độ phân giải n bit, chúng ta cần đến 2n-1 bộ so sánh, giá trị này rất lớn khi thiết kế bộ chuyển đổi ADC có độ phân giải cao. Độ phân giải liên quan mật thiết 17 đến chất lượng chuyển đổi ADC, việc lựa chọn độ phân giải phải phù hợp với độ chính xác yêu cầu và khả năng xử lý của bô điều khiển. Analog và digital của hàm sin.

Điện áp tham chiếu (reference voltage): Cùng một bộ chuyển đổi ADC nhưng có người muốn dùng cho các mức điện áp khác nhau, ví dụ người A muốn chuyển đổi điện áp trong khoảng 0-1V trong khi người B muốn dùng cho điện áp từ 0V đến 5V. Rõ ràng nếu hai người này dùng 2 bộ chuyển đổi ADC đều có khả năng chuyển đổi đến điện áp 5V thì người A không sử dụng hết khả năng của thiết bị. Vấn đề sẽ được giải quyết bằng một đại lượng gọi là điện áp tham chiếu - Vref (reference voltage). Điện áp tham chiếu thường là giá trị điện áp lớn nhất mà bộ ADC có thể chuyển đổi.

Trong các bộ ADC, Vref thường là thông số được đặt bởi người dùng, nó là điện áp lớn nhất mà thiết bị có thể chuyển đổi. Ví dụ, một bộ ADC 10 bit có Vref=3V, nếu điện áp ở ngõ vào là 1V thì giá trị số thu được sau khi chuyển đổi sẽ là: 1023x(1/3)=314. Trong đó 1023 là giá trị lớn nhất mà một bộ ADC 10 bit có thể tạo ra (1023=210-1). Vì điện áp tham chiếu ảnh hưởng đến độ chính xác của quá trình chuyển đổi, chúng ta cần tính toán để chọn 1 điện áp tham chiếu phù hợp, không được nhỏ hơn giá trị lớn nhất của input nhưng cũng đừng quá lớn.

Chuyển đổi ADC trên AVR: Chip AVR Atmega32U4 của Atmel có tích hợp sẵn các bộ chuyển đổi ADC với độ phân giải 10 bit. Có tất cả 12 kênh 18 đơn (các chân ADC0 đến ADC11), 16 tổ hợp chuyển đổi dạng so sánh, trong đó có 2 kênh so sánh có thể khuyếch đại. Bộ chuyển đổi ADC trên AVR không hoạt động theo nguyên lý flash ADC mà học viên đề cập ở phần trên, ADC trong AVR là loại chuyển đổi xấp xỉ lần lượt (successive approximation ADC). ADC trên AVR cần được duy trì bằng nguồn điện áp riêng ở chân AVCC, giá trị điện áp cấp cho AVCC không được khác nguồn nuôi chip (VCC) quá +/-0.

Nhiễu (noise) là vấn đề rất quan trọng khi sử dụng các bộ ADC, để giảm thiểu sai số chuyển đổi do nhiễu, nguồn cấp cho ADC cần phải được lọc kỹ càng. Cảm biến gia tốc Cảm biến gia tốc dùng để xác định hướng của bàn tay. Trong luận văn học viên sử dụng 2 cảm biến gia tốc, một gắn trên lưng bàn tay để xác định hướng cho cả bàn tay và một trên ngón tay cái để xác định góc cho riêng ngón tay cái. Cảm biến gia tốc ADXL345 Ứng dụng phổ biến: 19  Cell Phone/PMP/PDA: Image Stability, Text Scroll, Motion Dialing, E;Compass, Tap to Mute  HDD: phát hiện trạng thái rơi tự do (Freefall Detection)  Laptop PC: phát hiện rơi hay bị lấy cắp (Freefall Detection, Anti Theft)  Bổ chính độ nghiêng cho la bàn điện tử (E Compass Tilt Compensation)  3D Gaming: Cảm biến đo độ nghiêng và chuyển động (Tilt and Motion Sensing), Ghi sự kiện (Event Recorder) Cảm biến gia tốc sẽ đo hình chiếu của gia tốc trọng trường lên 3 trục của cảm biến.

Ta biết, gia tốc trọng trường g luôn không đổi. Khi cảm biến accelerometer thực hiện chuyển động quay, hệ trục xyz gắn liền với nó cũng quay theo, với mỗi vị trí khác nhau của accelerometer trong không gian, hình chiếu của gia tốc trọng trường g lên hệ trục xyz đó sẽ cho ra những giá trị khác nhau phụ thuộc vào góc hợp bởi phương ngang và phương của mỗi trục.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu "Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam" mang đến cái nhìn sâu sắc về việc phát triển các hệ thống công nghệ hỗ trợ người khiếm thính trong việc giao tiếp. Nghiên cứu này không chỉ tập trung vào việc nhận dạng ngôn ngữ ký hiệu mà còn khám phá các phương pháp học sâu để cải thiện độ chính xác và hiệu quả của hệ thống. Những lợi ích mà tài liệu này cung cấp cho độc giả bao gồm việc hiểu rõ hơn về công nghệ hiện đại trong lĩnh vực hỗ trợ người khuyết tật, cũng như cách mà các giải pháp này có thể thay đổi cuộc sống của người khiếm thính.

Để mở rộng thêm kiến thức của bạn về chủ đề này, bạn có thể tham khảo tài liệu Đề tài nghiên cứu khoa học xây dựng hệ thống nhận dạng ngôn ngữ ký hiệu tiếng việt hỗ trợ hiểu ngôn ngữ của người khiếm thính bằng phương pháp học sâu, nơi cung cấp cái nhìn chi tiết về các phương pháp nghiên cứu và ứng dụng thực tiễn. Ngoài ra, tài liệu Luận văn thạc sĩ khoa học máy tính nhận dạng ngôn ngữ ký hiệu tiếng việt của người khiếm thính bằng phương pháp học sâu sẽ giúp bạn hiểu rõ hơn về các nghiên cứu chuyên sâu trong lĩnh vực này. Cuối cùng, bạn cũng có thể tìm hiểu về Khóa luận tốt nghiệp hệ thống thông tin nghiên cứu và xây dựng module chuyển đổi ngôn ngữ ký hiệu cho người khiếm thính thông qua công nghệ ai tạo sinh, tài liệu này sẽ cung cấp thông tin về ứng dụng công nghệ AI trong việc phát triển các hệ thống hỗ trợ người khiếm thính. Những tài liệu này sẽ giúp bạn có cái nhìn toàn diện hơn về lĩnh vực quan trọng này.