Luận văn thạc sĩ về hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam

Khám phá luận văn thạc sĩ về hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam, ứng dụng công nghệ trong giao tiếp và hỗ trợ người khiếm thính.

Chuyên ngành

Khoa học máy tính

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2017

67
7
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CAM ĐOAN

LỜI CẢM ƠN

MỞ ĐẦU

1. CHƯƠNG 1: TỔNG QUAN VỀ NGÔN NGỮ KÍ HIỆU VIỆT NAM

1.1. Khái niệm và vai trò của ngôn ngữ ký hiệu

1.2. Đặc điểm ngôn ngữ học của ngôn ngữ ký hiệu

1.3. Ngôn ngữ ký hiệu Việt Nam

1.4. Các phương pháp nhận biết ngôn ngữ kí hiệu

1.4.1. Nhận biết bằng phân tích hình ảnh

1.4.2. Nhận biết bằng cảm biến

2. CHƯƠNG 2: GĂNG TAY CẢM BIẾN

2.1. Cảm biến cong

2.2. Cảm biến gia tốc

2.3. Mô hình găng tay cảm biến

3. CHƯƠNG 3: PHƯƠNG PHÁP NHẬN DẠNG NGÔN NGỮ KÍ HIỆU VIỆT NAM DÙNG GĂNG TAY CẢM BIẾN VÀ ỨNG DỤNG

3.1. Tập dữ liệu nhận dạng

3.2. Thuật toán phân lớp và nhận dạng

3.3. Chương trình thu thập dữ liệu

3.4. Xử lý dữ liệu

3.5. Giới thiệu về WPF

3.6. Áp dụng WPF mô phỏng bàn tay

3.7. Kết quả nhận dạng và đánh giá

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam

Hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam đang trở thành một lĩnh vực nghiên cứu quan trọng. Với khoảng 2,5 triệu người khiếm thính tại Việt Nam, việc phát triển công nghệ hỗ trợ giao tiếp cho họ là rất cần thiết. Ngôn ngữ ký hiệu không chỉ giúp người khiếm thính giao tiếp mà còn là công cụ để họ tiếp cận tri thức và thông tin. Nghiên cứu này sẽ tập trung vào các phương pháp nhận dạng ngôn ngữ ký hiệu, từ đó xây dựng một hệ thống hiệu quả.

1.1. Khái niệm và vai trò của ngôn ngữ ký hiệu

Ngôn ngữ ký hiệu là phương tiện giao tiếp chính của người khiếm thính. Nó sử dụng các cử chỉ, điệu bộ và nét mặt để truyền đạt thông tin. Ngôn ngữ ký hiệu không chỉ giúp người khiếm thính giao tiếp mà còn đóng vai trò quan trọng trong việc giáo dục và hòa nhập xã hội.

1.2. Đặc điểm ngôn ngữ học của ngôn ngữ ký hiệu

Ngôn ngữ ký hiệu có cấu trúc ngữ pháp riêng biệt, độc lập với tiếng Việt. Các ký hiệu có thể khác nhau giữa các vùng miền, nhưng vẫn có những điểm tương đồng nhất định. Điều này cho thấy ngôn ngữ ký hiệu là một ngôn ngữ tự nhiên, có tính chất độc lập.

II. Vấn đề và thách thức trong nghiên cứu ngôn ngữ ký hiệu

Mặc dù ngôn ngữ ký hiệu đã được nghiên cứu và phát triển, nhưng vẫn còn nhiều thách thức trong việc nhận dạng chính xác. Các vấn đề như độ chính xác của hệ thống, khả năng nhận diện trong môi trường khác nhau và sự đa dạng của ngôn ngữ ký hiệu là những yếu tố cần được giải quyết.

2.1. Độ chính xác trong nhận dạng ngôn ngữ ký hiệu

Độ chính xác của hệ thống nhận dạng ngôn ngữ ký hiệu phụ thuộc vào nhiều yếu tố, bao gồm chất lượng hình ảnh và khoảng cách giữa camera và người sử dụng. Việc cải thiện độ chính xác là một trong những thách thức lớn nhất trong nghiên cứu này.

2.2. Sự đa dạng của ngôn ngữ ký hiệu Việt Nam

Ngôn ngữ ký hiệu Việt Nam có nhiều biến thể khác nhau giữa các vùng miền. Điều này tạo ra khó khăn trong việc xây dựng một hệ thống nhận dạng đồng nhất. Cần có nghiên cứu sâu hơn để hiểu rõ sự đa dạng này và phát triển các giải pháp phù hợp.

III. Phương pháp nhận dạng ngôn ngữ ký hiệu Việt Nam

Có nhiều phương pháp để nhận dạng ngôn ngữ ký hiệu, trong đó hai phương pháp chính là nhận dạng bằng phân tích hình ảnh và nhận dạng bằng cảm biến. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, cần được nghiên cứu và phát triển để đạt hiệu quả cao nhất.

3.1. Nhận dạng bằng phân tích hình ảnh

Phương pháp này sử dụng camera để theo dõi chuyển động của bàn tay và phân tích hình ảnh để nhận diện ngôn ngữ ký hiệu. Tuy nhiên, độ chính xác của phương pháp này phụ thuộc vào chất lượng hình ảnh và điều kiện ánh sáng.

3.2. Nhận dạng bằng cảm biến

Phương pháp này sử dụng các cảm biến gắn trên găng tay để thu thập dữ liệu về chuyển động của bàn tay. Dữ liệu này sau đó được truyền về máy tính để xử lý. Phương pháp này có thể cho kết quả chính xác hơn trong nhiều trường hợp.

IV. Ứng dụng thực tiễn của hệ thống nhận dạng ngôn ngữ ký hiệu

Hệ thống nhận dạng ngôn ngữ ký hiệu có thể được ứng dụng trong nhiều lĩnh vực khác nhau, từ giáo dục đến giao tiếp xã hội. Việc phát triển các ứng dụng này sẽ giúp nâng cao chất lượng cuộc sống cho người khiếm thính và tạo ra cơ hội giao tiếp tốt hơn cho họ.

4.1. Ứng dụng trong giáo dục

Hệ thống nhận dạng ngôn ngữ ký hiệu có thể được sử dụng trong các lớp học để giúp giáo viên truyền đạt kiến thức cho học sinh khiếm thính. Điều này sẽ tạo ra môi trường học tập tích cực và hiệu quả hơn.

4.2. Ứng dụng trong giao tiếp xã hội

Hệ thống này cũng có thể được sử dụng trong các tình huống giao tiếp hàng ngày, giúp người khiếm thính dễ dàng tương tác với người khác. Việc này sẽ góp phần nâng cao sự hòa nhập xã hội cho người khiếm thính.

V. Kết luận và tương lai của nghiên cứu ngôn ngữ ký hiệu

Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam đang mở ra nhiều cơ hội mới cho người khiếm thính. Với sự phát triển của công nghệ, hy vọng rằng các hệ thống này sẽ ngày càng hoàn thiện và mang lại nhiều lợi ích cho cộng đồng người khiếm thính.

5.1. Tương lai của công nghệ nhận dạng ngôn ngữ ký hiệu

Công nghệ nhận dạng ngôn ngữ ký hiệu sẽ tiếp tục phát triển với sự hỗ trợ của trí tuệ nhân tạo và học máy. Điều này sẽ giúp cải thiện độ chính xác và khả năng nhận diện của hệ thống.

5.2. Tầm quan trọng của việc nghiên cứu và phát triển

Việc nghiên cứu và phát triển hệ thống nhận dạng ngôn ngữ ký hiệu không chỉ giúp nâng cao chất lượng cuộc sống cho người khiếm thính mà còn góp phần vào sự phát triển của xã hội. Cần có sự đầu tư và quan tâm hơn nữa từ các cơ quan chức năng.

17/07/2025
Luận văn thạc sĩ hay nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu việt nam

Trích đoạn nội dung tài liệu

chương 1, học viên xây dựng hệ thống nhận dạng theo phương pháp sử dụng hệ thống cảm biến thu thập dữ liệu. Hệ thống bao gồm 2 phần, phần thứ nhất là thiết bị găng tay gồm hệ các cảm biến gắn trên một găng tay để cố định vị trí các cảm biến và phần hệ vi điều khiển để thu thập và truyền tải dữ liệu. Trong chương này học viên trình bày về cấu tạo và cách hoạt động của găng tay cảm biến. Hệ thống hoạt động dựa trên việc thu thập dữ liệu từ hệ thống các cảm biến gắn trên bàn tay thực.

Để mô phỏng lại bàn tay học viên sử dụng 2 loại cảm biến: cảm biến độ cong gắn trên các ngón tay và cảm biến gia tốc gắn trên lưng của bàn tay. Phần hệ vi điều khiển học viên sử dụng KIT dựa trên Chip ATmega324U thuộc họ AVR. Cảm biến cong Hình 2.Cảm biến độ cong Để xác định độ cong của các ngón tay, học viên sử dụng cảm biến độ uốn cong gắn dọc theo trục của các ngón tay. Cảm biến độ cong là một thanh điện trở dài mà điện trở sẽ thay đổi theo độ uốn cong của thanh, thanh càng cong lớn thì sẽ có điện trở càng lớn.

Cảm biến được gắn cố định theo các khớp chuyển động trong các thiết bị để tính toán, được sử dụng trong các ứng dụng robot, xây dựng đơn giản hay các thiết bị y tế, vật lý trị liệu. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 13 Cảm biến học viên sử dụng trong thiết bị là loại dài 2,2 inch, độ dài phù hợp để gắn trên ngón tay bao phủ một khớp, một ngón tay gắn 2 cảm biến. Thẳng Bẻ cong 45o Bẻ cong 90o Hình 2.Các vị trí của cảm biến độ cong Ở trạng thái thẳng điện trở của thanh là 25kΩ (có thể có sai số), khi uốn cong tối đa điện trở thanh sẽ tăng lên đến 45kΩ. Mô hình các cảm biến gắn trên găng tay Cách sử dụng cảm biến cong: Cảm biến cong được gắn trên các ngón tay , mỗi ngón tay 2 cảm biến gắn trên 2 khớp tích cực, khớp đầu ngón tay không có khả năng chuyển động tự do và cũng không quá ảnh hưởng đến quá trình nhận dạng nên bỏ qua.

Riêng ngón cái chỉ 2 cảm biến cong là không đủ, LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 14 do ngón cái có khả năng xoay tự do, học viên gắn thêm một cảm biến gia tốc để xác định góc của ngón cái. Mạch ghép nối cảm biến cong Mắc cảm biến vào mạch điện theo sơ đồ như trên, với Vin được cấp cố định, ta sẽ có Vout biến đổi theo công thức như sau: 𝑅1 Vout = Vin ( ) 𝑅1 +𝑅2 Ta cần chọn R2 thích hợp sao cho khoảng biến thiên của R1 gây ra thay đổi đủ lớn trên Vout và giá trị này sẽ được vi điều khiển đọc và đưa về máy tính xử lý. Với giá trị R1 của flex, học viên chọn giá trị R2 là xấp xỉ 40kΩ. Dữ liệu đọc được từ ADC là các dữ liệu tương tự (analog).

Trong khi đó, vi điều khiển là một thiết bị số (digital), các giá trị mà một vi điều khiển có thể thao tác là các con số rời rạc vì thực chất chúng được tạo thành từ sự kết hợp của hai mức 0 và 1. Ví dụ chúng ta muốn dùng một thanh ghi 8 bit trong vi điều khiển để lưu lại các giá trị nhiệt độ từ 0oC đến 255oC, như chúng ta đã biết, một thanh ghi 8 bit có thể chứa tối đa 256 (28) giá trị nguyên từ 0 đến 255, như thế các mức nhiệt độ không nguyên như 28.123 oC sẽ không được ghi lại. Quá trình này thường được thực hiện bởi một thiết bị gọi là bộ chuyển đổi tương tự - số ADC (Analog to Digital Converter). LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 15 Có rất nhiều phương pháp chuyển đổi ADC, học viên sẽ trình bày một cách chuyển đổi rất cơ bản và phổ biến, phương pháp chuyển đổi mà học viên nói là phương pháp chuyển đổi trực tiếp (direct converting) hoặc flash ADC.

Các bộ chuyển đổi ADC theo phương pháp này được cấu thành từ một dãy các bộ so sánh (như opamp), các bộ so sánh được mắc song song và được kết nối trực tiếp với tín hiệu analog cần chuyển đổi. Một điện áp tham chiếu (reference) và một mạch chia áp được sử dụng để tạo ra các mức điện áp so sánh khác nhau cho mỗi bộ so sánh.5 mô tả một bộ chuyển đổi flash ADC có 4 bộ so sánh, Vin là tín hiệu analog cần chuyển đổi và giá trị sau chuyển đổi là các con số tạo thành từ sự kết hợp các mức nhị phân trên các chân Vo.5, bạn thấy rằng do ảnh hưởng của mạch chia áp (các điện trở mắc nối tiếp từ điện áp +15V đến ground), điện áp trên chân âm (chân -) của các bộ so sánh sẽ khác nhau. Trong lúc chuyển đổi, giả sử điện áp Vin lớn hơn điện áp “V-” của bộ so sánh 1 (opamp ở phía thấp nhất trong mạch) nhưng lại nhỏ hơn điện áp V- của các bộ so sánh khác, khi đó ngõ Vo1 ở mức 1 và các ngõ Vo khác ở mức 0, chúng ta thu được một kết quả số. Một cách tương tự, nếu tăng điện áp Vin ta thu được các tổ hợp số khác nhau.

Với mạch điện có 4 bộ so sánh như trong hình 1, sẽ có tất cả 5 trường hợp có thể xảy ra, hay nói theo cách khác điện áp analog Vin được chia thành 5 mức số khác nhau. Tuy nhiên, bạn chú ý là các ngõ Vo không phải là các bit của tín hiệu số ngõ ra, chúng chỉ là đại diện để tổ hợp thành tín hiệu số ngõ ra, dễ hiểu hơn chúng ta không sử dụng được các bit Vo trực tiếp mà cần một bộ giải mã (decoder). Trong bảng 1 học viên trình bày kết quả sau khi giải mã ứng với các tổ hợp của các ngõ Vo. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Mạch flash ADC với 4 bộ so sánh. Độ phân giải (resolution): như trong ví dụ trên, nếu mạch điện có 4 bộ so sánh, ngõ ra digital sẽ có 5 mức giá trị. Tương tự nếu mạch điện có 7 bộ so sánh thì sẽ có 8 mức giá trị có thể ở ngõ ra digital, khoảng cách giữa các mức tín hiệu trong trường hợp 8 mức sẽ nhỏ hơn trường hợp 4 mức. Nói cách khác, mạch chuyển đổi với 7 bộ so sánh có giá trị digital ngõ ra “mịn” hơn khi chỉ có 4 bộ, độ “mịn” càng cao tức độ phân giải càng lớn.

Trong trường hợp có 8 mức giá trị ngõ ra, chúng ta cần 3 bit nhị phân để mã hóa hết các giá trị này, vì thế mạch chuyển đổi ADC với 7 bộ so sánh sẽ có độ phân giải là 3 bit. Một cách tổng quát, nếu một mạch chuyển đổi ADC có độ phân giải n bit thì sẽ có 2n mức giá trị có thể có ở ngõ ra digital. Để tạo ra một mạch chuyển đổi flash ADC có độ phân giải n bit, chúng ta cần đến 2n-1 bộ so sánh, giá trị này rất lớn khi thiết kế bộ chuyển đổi ADC có độ phân giải cao. Độ phân giải liên quan mật thiết LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 17 đến chất lượng chuyển đổi ADC, việc lựa chọn độ phân giải phải phù hợp với độ chính xác yêu cầu và khả năng xử lý của bô điều khiển.

Analog và digital của hàm sin. Điện áp tham chiếu (reference voltage): Cùng một bộ chuyển đổi ADC nhưng có người muốn dùng cho các mức điện áp khác nhau, ví dụ người A muốn chuyển đổi điện áp trong khoảng 0-1V trong khi người B muốn dùng cho điện áp từ 0V đến 5V. Rõ ràng nếu hai người này dùng 2 bộ chuyển đổi ADC đều có khả năng chuyển đổi đến điện áp 5V thì người A không sử dụng hết khả năng của thiết bị. Vấn đề sẽ được giải quyết bằng một đại lượng gọi là điện áp tham chiếu - Vref (reference voltage).

Điện áp tham chiếu thường là giá trị điện áp lớn nhất mà bộ ADC có thể chuyển đổi. Trong các bộ ADC, Vref thường là thông số được đặt bởi người dùng, nó là điện áp lớn nhất mà thiết bị có thể chuyển đổi. Ví dụ, một bộ ADC 10 bit có Vref=3V, nếu điện áp ở ngõ vào là 1V thì giá trị số thu được sau khi chuyển đổi sẽ là: 1023x(1/3)=314. Trong đó 1023 là giá trị lớn nhất mà một bộ ADC 10 bit có thể tạo ra (1023=210-1).

Vì điện áp tham chiếu ảnh hưởng đến độ chính xác của quá trình chuyển đổi, chúng ta cần tính toán để chọn 1 điện áp tham chiếu phù hợp, không được nhỏ hơn giá trị lớn nhất của input nhưng cũng đừng quá lớn. Chuyển đổi ADC trên AVR: Chip AVR Atmega32U4 của Atmel có tích hợp sẵn các bộ chuyển đổi ADC với độ phân giải 10 bit. Có tất cả 12 kênh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 18 đơn (các chân ADC0 đến ADC11), 16 tổ hợp chuyển đổi dạng so sánh, trong đó có 2 kênh so sánh có thể khuyếch đại. Bộ chuyển đổi ADC trên AVR không hoạt động theo nguyên lý flash ADC mà học viên đề cập ở phần trên, ADC trong AVR là loại chuyển đổi xấp xỉ lần lượt (successive approximation ADC).

ADC trên AVR cần được duy trì bằng nguồn điện áp riêng ở chân AVCC, giá trị điện áp cấp cho AVCC không được khác nguồn nuôi chip (VCC) quá +/-0. Nhiễu (noise) là vấn đề rất quan trọng khi sử dụng các bộ ADC, để giảm thiểu sai số chuyển đổi do nhiễu, nguồn cấp cho ADC cần phải được lọc kỹ càng. Cảm biến gia tốc Cảm biến gia tốc dùng để xác định hướng của bàn tay. Trong luận văn học viên sử dụng 2 cảm biến gia tốc, một gắn trên lưng bàn tay để xác định hướng cho cả bàn tay và một trên ngón tay cái để xác định góc cho riêng ngón tay cái.

Cảm biến gia tốc ADXL345 Ứng dụng phổ biến: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 19  Cell Phone/PMP/PDA: Image Stability, Text Scroll, Motion Dialing, E;Compass, Tap to Mute  HDD: phát hiện trạng thái rơi tự do (Freefall Detection)  Laptop PC: phát hiện rơi hay bị lấy cắp (Freefall Detection, Anti Theft)  Bổ chính độ nghiêng cho la bàn điện tử (E Compass Tilt Compensation)  3D Gaming: Cảm biến đo độ nghiêng và chuyển động (Tilt and Motion Sensing), Ghi sự kiện (Event Recorder) Cảm biến gia tốc sẽ đo hình chiếu của gia tốc trọng trường lên 3 trục của cảm biến. Ta biết, gia tốc trọng trường g luôn không đổi.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu "Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam" mang đến cái nhìn sâu sắc về việc phát triển các hệ thống công nghệ hỗ trợ người khiếm thính trong việc giao tiếp. Nghiên cứu này không chỉ tập trung vào các phương pháp nhận dạng ngôn ngữ ký hiệu mà còn nhấn mạnh tầm quan trọng của việc áp dụng công nghệ học sâu để cải thiện khả năng hiểu và sử dụng ngôn ngữ ký hiệu của người khiếm thính.

Độc giả sẽ tìm thấy nhiều lợi ích từ tài liệu này, bao gồm việc hiểu rõ hơn về các thách thức trong việc phát triển hệ thống nhận dạng ngôn ngữ ký hiệu và cách mà công nghệ có thể giúp giải quyết những vấn đề này. Để mở rộng kiến thức, bạn có thể tham khảo thêm tài liệu Đề tài nghiên cứu khoa học xây dựng hệ thống nhận dạng ngôn ngữ ký hiệu tiếng việt hỗ trợ hiểu ngôn ngữ của người khiếm thính bằng phương pháp học sâu, nơi cung cấp cái nhìn chi tiết về các phương pháp học sâu trong lĩnh vực này.

Ngoài ra, tài liệu Luận văn thạc sĩ khoa học máy tính nhận dạng ngôn ngữ ký hiệu tiếng việt của người khiếm thính bằng phương pháp học sâu cũng sẽ giúp bạn hiểu rõ hơn về các ứng dụng thực tiễn của công nghệ trong việc hỗ trợ người khiếm thính. Cuối cùng, bạn có thể khám phá thêm về Khóa luận tốt nghiệp hệ thống thông tin nghiên cứu và xây dựng module chuyển đổi ngôn ngữ ký hiệu cho người khiếm thính thông qua công nghệ ai tạo sinh, tài liệu này sẽ mở ra những góc nhìn mới về việc ứng dụng công nghệ AI trong việc phát triển hệ thống ngôn ngữ ký hiệu.

Những tài liệu này không chỉ giúp bạn nắm bắt kiến thức cơ bản mà còn mở rộng hiểu biết về các xu hướng và công nghệ mới trong lĩnh vực nhận dạng ngôn ngữ ký hiệu.