Đồ Án Tốt Nghiệp: Ứng Dụng Thuật Toán YOLO Nhận Diện Thủ Ngữ Hỗ Trợ Giao Tiếp Cho Người Khiếm Thính

Khám phá cách thuật toán YOLO hỗ trợ nhận diện thủ ngữ, nâng cao giao tiếp cho người khiếm thính và khiếm thị trong đồ án tốt nghiệp.

Người đăng

Ẩn danh

Thể loại

Đồ Án Tốt Nghiệp

2024

80
10
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI CAM ĐOAN

TÓM TẮT

ABSTRACT

DANH MỤC HÌNH

CÁC TỪ VIẾT TẮT

1. CHƯƠNG 1: GIỚI THIỆU

1.1. MỞ ĐẦU

1.2. MỤC TIÊU ĐỀ TÀI

1.3. GIỚI HẠN ĐỀ TÀI

1.3.1. Về mặt kỹ thuật

1.3.2. Về mặt ứng dụng

1.4. PHƯƠNG PHÁP NGHIÊN CỨU

1.5. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU

1.5.1. Đối tượng nghiên cứu

1.5.2. Phạm vi nghiên cứu

1.6. BỐ CỤC QUYỂN BÁO CÁO

2. CHƯƠNG 2: GIỚI THIỆU VỀ THỦ NGỮ

2.1. Khái niệm thủ ngữ trong giao tiếp

2.2. Đặc tính của thủ ngữ

2.3. Vai trò của thủ ngữ đối với người khuyết tật

3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG NHẬN DIỆN THỦ NGỮ SỬ DỤNG THUẬT TOÁN YOLOv8

3.1. ĐẶC TẢ KỸ THUẬT VÀ THIẾT KẾ HỆ THỐNG

3.1.1. Yêu cầu chức năng

3.1.2. Yêu cầu phi chức năng

3.1.3. Lựa chọn thuật toán

3.1.4. Thiết kế kiến trúc hệ thống

3.2. MÔ HÌNH HỆ THỐNG

3.3. THIẾT KẾ PHẦN CỨNG

3.3.1. Chức năng của phần cứng

3.3.2. Sơ đồ khối phần cứng

3.3.3. Thiết kế từng khối

3.4. THIẾT KẾ PHẦN MỀM

3.4.1. Chức năng hoạt động của phần mềm

3.4.2. Thiết kế ứng dụng người dùng

4. CHƯƠNG 4: KẾT QUẢ

4.1. KẾT QUẢ MÔ HÌNH THI CÔNG

4.2. HOẠT ĐỘNG CỦA HỆ THỐNG

5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

5.1. HƯỚNG PHÁT TRIỂN

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Ứng Dụng Thuật Toán YOLO Nhận Diện Thủ Ngữ

Thuật toán YOLO (You Only Look Once) đã trở thành một công cụ mạnh mẽ trong lĩnh vực nhận diện hình ảnh. Ứng dụng của nó trong việc nhận diện thủ ngữ hỗ trợ giao tiếp cho người khiếm thính là một bước tiến quan trọng. Hệ thống này không chỉ giúp cải thiện khả năng giao tiếp mà còn tạo ra cơ hội hòa nhập xã hội cho những người khuyết tật. Việc sử dụng YOLO cho phép nhận diện thủ ngữ trong thời gian thực, mang lại sự tiện lợi và hiệu quả cho người dùng.

1.1. Khái Niệm Về Thuật Toán YOLO Trong Nhận Diện Hình Ảnh

YOLO là một thuật toán học sâu cho phép phát hiện và phân loại đối tượng trong hình ảnh một cách nhanh chóng. Nó hoạt động bằng cách chia hình ảnh thành lưới và dự đoán các bounding box cho từng đối tượng trong mỗi ô lưới. Điều này giúp tăng tốc độ nhận diện và giảm thiểu độ trễ trong giao tiếp.

1.2. Tầm Quan Trọng Của Thủ Ngữ Trong Giao Tiếp

Thủ ngữ là phương thức giao tiếp chính của người khiếm thính, giúp họ truyền đạt ý tưởng và cảm xúc. Việc nhận diện chính xác các thủ ngữ không chỉ giúp cải thiện giao tiếp mà còn tạo ra sự kết nối giữa người khiếm thính và cộng đồng xung quanh.

II. Vấn Đề Giao Tiếp Của Người Khiếm Thính Khiếm Thị

Người khiếm thính - khiếm thị thường gặp khó khăn trong việc giao tiếp, điều này ảnh hưởng đến khả năng hòa nhập xã hội của họ. Các phương pháp giao tiếp hiện tại như ngôn ngữ ký hiệu và chữ nổi Braille đều có những hạn chế nhất định. Việc thiếu công cụ hỗ trợ giao tiếp hiệu quả dẫn đến sự cô lập và khó khăn trong việc tương tác với người khác.

2.1. Thách Thức Trong Việc Sử Dụng Ngôn Ngữ Ký Hiệu

Người khiếm thính thường phải học ngôn ngữ ký hiệu, điều này đòi hỏi thời gian và công sức. Không phải ai cũng có khả năng học và sử dụng ngôn ngữ ký hiệu một cách thành thạo, dẫn đến việc giao tiếp gặp khó khăn.

2.2. Thiếu Công Cụ Hỗ Trợ Giao Tiếp

Nhiều người khiếm thính - khiếm thị không có đủ công cụ hỗ trợ để giao tiếp hiệu quả. Điều này không chỉ gây khó khăn trong việc truyền đạt thông điệp mà còn làm giảm khả năng hòa nhập xã hội của họ.

III. Phương Pháp Sử Dụng Thuật Toán YOLO Nhận Diện Thủ Ngữ

Để phát triển hệ thống nhận diện thủ ngữ, thuật toán YOLO được áp dụng để xử lý và phân tích hình ảnh. Hệ thống sẽ được huấn luyện trên một tập dữ liệu phong phú về các thủ ngữ phổ biến, từ đó có thể nhận diện và chuyển đổi chúng thành văn bản hoặc âm thanh. Phương pháp này không chỉ giúp cải thiện độ chính xác mà còn tăng tốc độ nhận diện.

3.1. Quy Trình Huấn Luyện Mô Hình YOLO

Quy trình huấn luyện mô hình YOLO bao gồm việc thu thập dữ liệu, xử lý hình ảnh và điều chỉnh các tham số để tối ưu hóa hiệu suất. Dữ liệu huấn luyện cần phải đa dạng và phong phú để mô hình có thể nhận diện chính xác các thủ ngữ trong nhiều tình huống khác nhau.

3.2. Tích Hợp Hệ Thống Vào Ứng Dụng Giao Tiếp

Sau khi huấn luyện, mô hình YOLO sẽ được tích hợp vào một ứng dụng giao tiếp thân thiện với người dùng. Ứng dụng này sẽ cho phép người khiếm thính - khiếm thị giao tiếp một cách dễ dàng và hiệu quả thông qua việc nhận diện thủ ngữ.

IV. Ứng Dụng Thực Tiễn Của Hệ Thống Nhận Diện Thủ Ngữ

Hệ thống nhận diện thủ ngữ dựa trên thuật toán YOLO đã được thử nghiệm và áp dụng trong nhiều tình huống thực tế. Kết quả cho thấy hệ thống có khả năng nhận diện chính xác và nhanh chóng, giúp người khiếm thính - khiếm thị giao tiếp hiệu quả hơn. Điều này không chỉ cải thiện chất lượng cuộc sống mà còn tạo ra cơ hội hòa nhập xã hội cho họ.

4.1. Kết Quả Thử Nghiệm Hệ Thống

Kết quả thử nghiệm cho thấy độ chính xác của hệ thống đạt trên 90%, cho phép nhận diện các thủ ngữ trong thời gian thực. Điều này chứng tỏ tính khả thi và hiệu quả của việc ứng dụng YOLO trong nhận diện thủ ngữ.

4.2. Phản Hồi Từ Người Dùng

Phản hồi từ người dùng cho thấy họ cảm thấy hài lòng với hệ thống và cho rằng nó giúp họ giao tiếp dễ dàng hơn. Nhiều người đã chia sẻ rằng họ cảm thấy tự tin hơn khi giao tiếp với người khác nhờ vào công nghệ này.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Hệ thống nhận diện thủ ngữ sử dụng thuật toán YOLO đã chứng minh được tính hiệu quả trong việc hỗ trợ giao tiếp cho người khiếm thính - khiếm thị. Tuy nhiên, vẫn còn nhiều thách thức cần phải vượt qua để cải thiện độ chính xác và khả năng nhận diện trong các tình huống phức tạp. Hướng phát triển tương lai sẽ tập trung vào việc mở rộng tập dữ liệu và cải thiện thuật toán để đáp ứng tốt hơn nhu cầu của người dùng.

5.1. Cải Thiện Độ Chính Xác Của Hệ Thống

Cần tiếp tục nghiên cứu và phát triển để cải thiện độ chính xác của hệ thống trong việc nhận diện các thủ ngữ phức tạp. Việc thu thập thêm dữ liệu và tối ưu hóa mô hình sẽ là những bước quan trọng trong quá trình này.

5.2. Mở Rộng Ứng Dụng Của Công Nghệ

Công nghệ nhận diện thủ ngữ có thể được mở rộng ra nhiều lĩnh vực khác nhau, từ giáo dục đến dịch vụ công cộng. Việc áp dụng công nghệ này sẽ giúp nâng cao chất lượng cuộc sống cho người khiếm thính - khiếm thị và tạo ra một xã hội hòa nhập hơn.

10/07/2025
Sử dụng thuật toán yolo nhận diện thủ ngữ hỗ trợ giao tiếp cho người khiếm thính khiếm thị đồ án tốt nghiệp ngành công nghệ kỹ thuật máy tính

Trích đoạn nội dung tài liệu

Chương 1 GIỚI THIỆU : Giới thiệu chung về đề tài, mục tiêu nghiên cứu, giới hạn đề tài, phương pháp nghiên cứu, đối tượng và phạm vi nghiên cứu. - Chương 2 CƠ SỞ LÝ THUYẾT : giới thiệu về ngôn ngữ thủ ngữ và mô hình YOLO - Chương 3 THIẾT KẾ HỆ THỐNG NHẬN DIỆN THỦ NGỮ SỬ DỤNG THUẬT TOÁN YOLOv8: đưa ra mô hình chung của toàn hệ thống, các khối của hệ thống, thiết kế từng khối và các thiết bị được sử dụng trong các khối. - Chương 4 KÉT QUẢ: trình bày kết quả thi công của mô hình hệ thống. - Chương 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN: rút ra các kết luận và hướng phát triển của mô hình.1 GIỚI THIỆU VỀ THỦ NGỮ 2.1 Khái niệm thủ ngữ trong giao tiếp Thủ ngữ đóng vai trò vô cùng quan trọng trong giao tiếp và hòa nhập xã hội của người khiếm thính và những người có nhu cầu giao tiếp đặc biệt.

Các dấu hiệu ký hiệu không chỉ là phương tiện truyền đạt ngôn ngữ, mà còn là cửa ngõ để họ tiếp cận với thế giới, tham gia vào các hoạt động hàng ngày và phát triển các mối quan hệ xã hội. Các ký hiệu từ vựng quy ước chứa đựng nội dung mệnh đề nhiều nhất trong bất kỳ ngôn ngữ ký hiệu nào. Chúng gần giống nhất với các từ vựng trong ngôn ngữ nói và chủ yếu được phát âm bằng tay. Mặc dù hầu hết các dấu hiệu đều có một số loại liên kết mang tính biểu tượng giữa hình thức của một dấu hiệu và hình thức của vật ám chỉ nó, khi người ký hiệu sử dụng các mục từ vựng, họ thường không có “ý định minh họa” cụ thể (Cuxac & Sallandre 2007) mà chỉ đơn giản sử dụng chúng đưa ra thông tin mà một người muốn nói [1].

Hơn nữa, thủ ngữ giúp bảo tồn và phát triển văn hóa, truyền thống của cộng đồng người khiếm thính – khiếm thị. Thông qua các dấu hiệu ký hiệu, họ có thể chia sẻ câu chuyện, kinh nghiệm và di sản văn hóa của mình, qua đó củng cố và duy trì bản sắc cộng đồng. Vì thế ta có thể nói rằng ngôn ngữ và bối cảnh sử dụng văn hóa xã hội của chúng có mối liên hệ chặt chẽ với nhau. Ảnh hưởng liên tục được phát huy giữa họ, bên cạnh những ảnh hưởng bên ngoài, chẳng hạn như việc sử dụng ngôn ngữ đòi hỏi phải đóng một vai trò nào đó trong (các) nền văn hóa liên quan của nó theo một cách nào đó.

Tương tự như vậy, để hiểu một ngôn ngữ, cần phải có sự hiểu biết về bối cảnh và vị trí văn hóa của nó trên thế giới [2]. 6 Vì vậy, có thể nói rằng thủ ngữ là một phần không thể thiếu trong việc đảm bảo quyền bình đẳng, hòa nhập xã hội và phát triển toàn diện của người khiếm thính. Đây là một công cụ giao tiếp quan trọng cần được công nhận và hỗ trợ trong xã hội.2 Đặc tính của thủ ngữ Một trong những đặc tính nổi bật của ngôn ngữ là khả năng tượng trưng, tức là sử dụng từ ngữ để biểu đạt những ý nghĩa vượt xa bản thân chúng. Để hiểu đúng đặc tính này, chúng ta cần nghiên cứu và phân biệt giữa các khái niệm về dấu hiệu và biểu tượng.

Dấu hiệu là bất cứ thứ gì được dùng để biểu trưng hoặc nhắc đến một điều gì đó. Mỗi dấu hiệu ngôn ngữ có hai mặt: mặt biểu hiện (hình thức tín hiệu) và mặt được biểu hiện (nội dung tín hiệu). Mặt hình thức của dấu hiệu là những âm thanh cụ thể được con người thiết lập trong quá trình giao tiếp, tức là những đặc trưng âm thanh của từng ngôn ngữ. Mặt nội dung là những thông tin, thông điệp về thế giới xung quanh hoặc những cách phân chia tư duy, thực tại.

Mối liên hệ giữa cái biểu hiện và cái được biểu hiện là rất đặc trưng của ngôn ngữ, thể hiện ở chỗ mỗi biểu hiện luôn có một nội dung tương ứng. Khi mối liên hệ 1-1 này bị đứt gãy, các quá trình giao tiếp sẽ bị ảnh hưởng hoặc không thể thực hiện được.3 Vai trò của thủ ngữ đối với người khuyết tật Gần 1/4 chặng đường của thế kỷ 21, tình trạng BSL đã vẽ nên một bức tranh gây tò mò (được trình bày chi tiết và thảo luận thêm trong các tác phẩm như Lawson và cộng sự, 2019). Đầu tiên, một câu hỏi xung quanh số lượng người dùng BSL được đặt ra, đây là một con số cực kỳ khó xác định. Nhìn lại khoảng một thập kỷ, Điều tra dân số Vương quốc Anh năm 2011 (Văn phòng 7 Thống kê Quốc gia, 2013) ước tính có 15.000 người dùng BSL ở Vương quốc Anh.

Tuy nhiên, gần đây hơn, Hiệp hội Người Điếc Anh (2019) đã ước tính có 151.000 người dùng BSL ở Anh, trong số trong đó 87.000 người được xác định là bị điếc. Con số sau này phù hợp với ước tính của Hiệp hội Người Điếc Hoàng gia (2020) là 87.000, nhưng con số này đề cập đến tổng số người dùng BSL ở Vương quốc Anh bất kể danh tính người điếc hay thính lực của họ. Từ góc độ học thuật cũng vậy, các số liệu dường như không phù hợp. Ví dụ, Napier và Leeson (2016) tuyên bố rằng “250.000 người sử dụng BSL hàng ngày ở Anh, 70.000 người trong số họ bị điếc”.

Sự khác biệt này có thể được quy cho nhiều yếu tố, chẳng hạn như phương pháp khảo sát không đầy đủ, các giá trị văn hóa xã hội được nhận thức khi xác định là người sử dụng BSL và tác động của việc đưa ngôn ngữ ký hiệu vào luật pháp quốc gia và quốc tế có thể gây ra đối với những nhận thức đó [2]. Thủ ngữ, chẳng hạn như Ngôn ngữ Ký hiệu Anh (BSL) hoặc ngôn ngữ ký hiệu Mỹ (ASL), đóng một vai trò cực kỳ quan trọng trong cuộc sống của cộng đồng người khiếm thính và những người giao tiếp bằng ký hiệu. Mặc dù việc xác định chính xác số lượng người sử dụng ngôn ngữ ký hiệu có nhiều khác biệt và thách thức, các con số ước tính đều cho thấy có hàng trăm nghìn người sử dụng ngôn ngữ ký hiệu này ở Vương quốc Anh. Sự nhận thức và công nhận thủ ngữ như một phương tiện giao tiếp chính thức và chính đáng đã có những tác động quan trọng, như được phản ánh trong luật pháp quốc gia và quốc tế.

Tuy nhiên, vẫn còn nhiều khó khăn và thách thức cần phải giải quyết để đảm bảo quyền và cơ hội bình đẳng cho cộng đồng người khiếm thính trong việc tiếp cận và sử dụng ngôn ngữ ký hiệu. Nhìn chung, ngôn ngữ ký hiệu như BSL hoặc ASL đóng vai trò quan trọng trong việc duy trì, bảo tồn và phát triển văn hóa, cộng đồng của những người khiếm thính. Việc tiếp tục thúc đẩy sự công nhận và hỗ trợ cho ngôn ngữ 8 ký hiệu là điều thiết yếu để đảm bảo quyền bình đẳng và hòa nhập xã hội của cộng đồng này.4 Sử dụng thủ ngữ trong giao tiếp của người khuyết tật Người khiếm thính – khiếm thị cũng muốn được đóng góp cống hiến cho xã hội, ngôn ngữ ký hiệu chính là một phương tiện hiệu quả cho họ.1 Một số thủ ngữ Vì lẽ này, các nhà nghiên cứu đã cho ra ngôn ngữ ký hiệu phổ biến và những người khuyết tật sử dụng rất nhiều trên thế giới hiện nay đó là ngôn ngữ ký hiệu Mỹ (ASL). Đây thực sự là một loại ngôn ngữ được sử dụng rất phổ biến hiện nay.

Không như trước đây chỉ những người khuyết tật mới sử dụng, hiện nay rất nhiều người bình thường cũng đang học loại ngôn ngữ này để có thể giao tiếp với cộng đồng người khuyết tật. Bởi vì ASL được sử dụng bởi những người khiếm thính, thông qua quá trình biểu tượng hóa, chính trị của các lớp ASL được kết nối với chính trị về khuyết tật và điếc. Những ý tưởng và niềm tin của người 9 không khuyết tật về cuộc sống của người khuyết tật là những hệ tư tưởng được công chúng chấp nhận là “lẽ thường tình”. Những người không khuyết tật có xu hướng tưởng tượng cuộc sống của một người khuyết tật gặp nhiều vấn đề hơn nhiều so với thực tế mà nhiều người khuyết tật cảm thấy.

Các học giả Nghiên cứu về Người khuyết tật cho rằng những trở ngại mà người khuyết tật gặp phải bắt nguồn từ cách xã hội đối xử với họ như những người khiếm khuyết, chứ không phải từ sự khác biệt về cơ thể của họ (Longmore 2003). Mô hình "thương hại" bệnh lý của khuyết tật tập trung vào việc áp đặt sự bình thường với cái giá phải trả là chất lượng cuộc sống của người khuyết tật [3]. Vì thế, ngôn ngữ ký hiệu Mỹ (ASL) đã trở thành một ngôn ngữ phổ biến không chỉ trong cộng đồng người khiếm thính mà còn được nhiều người bình thường học tập và sử dụng. Điều này thể hiện sự tiến bộ về ý thức và sự chấp nhận của xã hội đối với những người khuyết tật.

Thay vì chỉ nhìn họ như những người khiếm khuyết, nhiều người đã có cái nhìn sâu sắc hơn và coi họ như những thành viên bình đẳng trong xã hội. Mô hình "thương hại" bệnh lý về khuyết tật đang dần được thay thế bằng các quan điểm và chính sách tôn trọng quyền bình đẳng của người khuyết tật. Điều này là một bước quan trọng trong việc xây dựng một xã hội hòa nhập, bình đẳng và cởi mở hơn.1 Giới thiệu mạng YOLO YOLO (You Only Look Once) là thuật toán phát hiện đối tượng tiên tiến có thể tạo ra kết quả theo thời gian thực. Redmon và cộng sự đã giới thiệu YOLO và mang đến một chiều hướng mới cho lĩnh vực thị giác máy tính.

Nhiều phiên bản cải tiến của YOLO đã được phát triển kể từ đó. Tên của nó xuất phát từ cách YOLO hoạt động. Hầu hết các hệ thống phát hiện đối tượng đều sử dụng mô hình phân loại để nhận dạng đối tượng và sau đó đánh giá thông tin chi tiết đó về các vị trí khác nhau của hình ảnh. Nhiều hệ thống, chẳng hạn như mô hình bộ phận biến dạng (DPM), sử dụng kỹ thuật cửa sổ trượt để định vị đối tượng trong ảnh.

Hệ thống DPM trượt bộ phân loại dọc theo toàn bộ hình ảnh tại các vị trí cách 10 đều nhau. Mặt khác, YOLO coi việc phát hiện đối tượng là một vấn đề hồi quy đơn. Hệ thống xem xét toàn bộ hình ảnh cùng một lúc và đưa ra dự đoán [4]. YOLO là một thuật toán phát hiện đa đối tượng nhanh chóng, theo thời gian thực.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu với tiêu đề "Ứng Dụng Thuật Toán YOLO Nhận Diện Thủ Ngữ Hỗ Trợ Giao Tiếp Cho Người Khiếm Thính" trình bày một nghiên cứu sâu sắc về việc áp dụng thuật toán YOLO (You Only Look Once) trong việc nhận diện thủ ngữ, nhằm hỗ trợ giao tiếp cho người khiếm thính. Bài viết không chỉ giải thích cách thức hoạt động của thuật toán mà còn nêu bật những lợi ích mà nó mang lại, như cải thiện khả năng giao tiếp và tăng cường sự hòa nhập xã hội cho người khiếm thính.

Để mở rộng thêm kiến thức về các ứng dụng của công nghệ trong xã hội, bạn có thể tham khảo tài liệu "Luận văn phương pháp định giá công nghệ trong chuyển giao công nghệ sản xuất công nghiệp tại Việt Nam", nơi cung cấp cái nhìn tổng quan về giá trị của công nghệ trong bối cảnh chuyển giao công nghệ. Ngoài ra, tài liệu "Hướng tiếp cận dựa trên phổ tần số cho bài toán nhận thức tiếng nói" sẽ giúp bạn hiểu rõ hơn về các phương pháp nhận thức tiếng nói, một lĩnh vực có liên quan mật thiết đến việc phát triển công nghệ hỗ trợ giao tiếp. Những tài liệu này sẽ là cơ hội tuyệt vời để bạn khám phá sâu hơn về các ứng dụng công nghệ trong cuộc sống.