Giải pháp giao tiếp cho người khiếm thính bằng kỹ thuật xử lý ảnh và học máy

Đồ án giải pháp giao tiếp cho người khiếm thính bằng xử lý ảnh - ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Phạm Trung Kiên
• Người hướng dẫn: PGS. Hoàng Văn Dũng
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Giải pháp giao tiếp cho người khiếm thính bằng kỹ thuật xử lý ảnh và học máy
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan giải pháp giao tiếp cho người khiếm thính

Ngôn ngữ ký hiệu giữ vai trò thiết yếu đối với cộng đồng khiếm thính. Phương tiện biểu đạt này kết hợp chuyển động của bàn tay, biểu cảm gương mặt và tư thế cơ thể. Phần lớn người bình thường không hiểu được hệ thống ký hiệu này. Sự cách biệt ngôn ngữ tạo ra rào cản xã hội lớn. Người khiếm thính gặp nhiều trở ngại trong học tập, làm việc và sinh hoạt hàng ngày. Đồ án tốt nghiệp tại Trường Đại học Sư phạm Kỹ thuật TP.HCM tập trung giải quyết bài toán cấp thiết đó. Đề tài xây dựng giải pháp giao tiếp cho người khiếm thính dựa trên trí tuệ nhân tạo. Nghiên cứu thuộc ngành Kỹ thuật Dữ liệu, Khoa Công nghệ Thông tin. Đề tài do sinh viên Phạm Trung Kiên và Lương Gia Huy thực hiện dưới sự hướng dẫn của Phó Giáo sư Hoàng Văn Dũng. Mục tiêu cốt lõi là phát triển công cụ tự động nhận dạng cử chỉ tay. Hệ thống chuyển đổi trực tiếp ký hiệu thành văn bản và âm thanh. Giải pháp này giúp thiết lập cầu nối thông tin hiệu quả giữa người khiếm thính và xã hội.

1.1. Bối cảnh nghiên cứu tại ĐH Sư phạm Kỹ thuật TP.HCM

Trường Đại học Sư phạm Kỹ thuật TP.HCM luôn chú trọng đào tạo thực tiễn và nghiên cứu mang tính nhân văn. Đề tài tốt nghiệp của ngành Kỹ thuật Dữ liệu xuất phát từ nhu cầu thực tế của hàng triệu người khiếm thính tại Việt Nam. Cộng đồng này thường chịu nhiều thiệt thòi khi tiếp cận dịch vụ công, y tế và giáo dục. Những công cụ hỗ trợ truyền thống hiện có giá thành đắt đỏ và tính linh hoạt thấp. Nghiên cứu tập trung tận dụng năng lực tính toán hiện đại để tạo ra phần mềm trực quan, dễ tiếp cận. Công trình là sự kết tinh của kiến thức học máy và mong muốn đóng góp cho xã hội. Sản phẩm hướng tới khả năng triển khai rộng rãi trên thiết bị cá nhân thông thường.

1.2. Mục tiêu và phạm vi ứng dụng của đề tài

Mục tiêu trọng tâm của nghiên cứu là xây dựng mô hình trí tuệ nhân tạo có độ chính xác cao. Hệ thống phải nhận diện tốt các cử chỉ tay đại diện cho ký tự và từ ngữ thông dụng. Phạm vi đề tài bao gồm thu thập dữ liệu hình ảnh, tiền xử lý và huấn luyện mô hình học sâu. Dữ liệu đầu vào lấy từ camera thông thường để tiết kiệm chi phí đầu tư phần cứng. Đầu ra của mô hình hiển thị văn bản tương ứng trên màn hình và phát âm thanh tương thích. Nhóm tác giả hướng đến việc ứng dụng giải pháp tại trường học đặc biệt, bệnh viện và quầy giao dịch công cộng. Ứng dụng hoạt động theo thời gian thực với độ trễ thấp nhất.

II. Phân tích rào cản và giải pháp giao tiếp cho người khiếm thính

Giao tiếp là nhu cầu sinh tồn cơ bản của con người. Người khiếm thính thường gặp khó khăn nghiêm trọng khi truyền đạt ý nghĩ cho người xung quanh. Hiện nay, số lượng người thành thạo ngôn ngữ ký hiệu trong cộng đồng rất hạn chế. Sự thiếu hụt phiên dịch viên chuyên nghiệp khiến người khiếm thính bị cô lập trong nhiều tình huống cấp bách. Môi trường công cộng, cơ quan hành chính và cơ sở khám chữa bệnh thường thiếu các công cụ giao tiếp trợ giúp. Việc sử dụng giấy bút tốn thời gian và dễ gây hiểu lầm ngữ cảnh. Thiết bị cảm biến đeo tay truyền thống thường cồng kềnh, bất tiện và có giá thành đắt đỏ. Ngoài ra, việc xử lý dữ liệu hình ảnh cử chỉ tay đối mặt với nhiều thách thức kỹ thuật lớn. Chuyển động bàn tay thường có tốc độ nhanh và biến thiên góc nhìn liên tục. Điều kiện ánh sáng thay đổi và phông nền phức tạp cũng làm giảm độ tin cậy của thuật toán. Những hạn chế này đặt ra yêu cầu cấp thiết về một giải pháp giao tiếp cho người khiếm thính có khả năng nhận diện hình ảnh ổn định, chính xác và tiện lợi.

2.1. Khó khăn thực tế trong kết nối xã hội hàng ngày

Người khiếm thính thường chịu áp lực tâm lý nặng nề khi hòa nhập xã hội. Ngôn ngữ ký hiệu có ngữ pháp riêng và không đồng nhất giữa các vùng miền. Người bình thường rất khó học và ghi nhớ các quy tắc này trong thời gian ngắn. Tại nơi công cộng, sự bất đồng ngôn ngữ làm phát sinh hiểu lầm không đáng có. Các thủ tục hành chính, khám chữa bệnh hay mua sắm đều trở nên phức tạp. Tình trạng này thu hẹp cơ hội việc làm và làm giảm thu nhập của người khuyết tật. Xã hội hiện đại đòi hỏi một công cụ hỗ trợ giao tiếp tức thời để giải quyết triệt để rào cản đó.

2.2. Thách thức kỹ thuật trong xử lý ảnh ký hiệu tay

Xử lý thị giác đối với cử chỉ bàn tay là bài toán phức tạp trong thị giác máy tính. Bàn tay người có cấu trúc giải phẫu linh hoạt với nhiều khớp nối. Các ngón tay dễ bị che khuất lẫn nhau khi cử động ở các góc quay khác nhau. Tốc độ chuyển động nhanh thường gây hiện tượng mờ nhòe khung hình trên camera tiêu chuẩn. Nhiễu môi trường như ánh sáng chói, phông nền phức tạp làm sai lệch quá trình tách biên đặc trưng. Ngoài ra, sự khác biệt về kích thước bàn tay và màu da giữa các cá nhân cũng tạo ra độ biến thiên dữ liệu lớn. Mô hình thị giác cần sở hữu khả năng biểu diễn đặc trưng mạnh mẽ để đảm bảo phân loại chuẩn xác.

III. Phương pháp xây dựng giải pháp giao tiếp cho người khiếm thính

Nhóm nghiên cứu tại ĐH Sư phạm Kỹ thuật TP.HCM phát triển quy trình kỹ thuật toàn diện để xử lý dữ liệu cử chỉ tay. Hệ thống sử dụng camera tiêu chuẩn để ghi nhận luồng video liên tục từ người dùng. Thuật toán thị giác máy tính thực hiện định vị các điểm mốc giải phẫu trên bàn tay. Dữ liệu tọa độ này biểu diễn cấu trúc không gian ba chiều của từng cử chỉ ký hiệu. Tiếp theo, hệ thống áp dụng các mô hình học sâu hiện đại để trích xuất đặc trưng và phân loại hành động. Mô hình mạng nơ-ron học sâu được huấn luyện kỹ lưỡng trên tập dữ liệu chuẩn hóa đa dạng. Quá trình xử lý ngôn ngữ tự nhiên (NLP) cũng được tích hợp để ghép nối các ký tự thành câu hoàn chỉnh và chuẩn ngữ pháp. Cơ chế truyền thông điệp (MPNN) hỗ trợ biểu diễn mối quan hệ giữa các khớp ngón tay một cách tối ưu. Nhờ đó, hệ thống nhận diện chính xác các cử chỉ tĩnh lẫn chuỗi cử động động. Tốc độ suy luận đạt mức thời gian thực, đáp ứng yêu cầu giao tiếp tương tác trực tiếp.

3.1. Kỹ thuật tiền xử lý ảnh và trích xuất đặc trưng bàn tay

Quy trình xử lý ảnh bắt đầu từ việc chuẩn hóa kích thước và cân bằng độ sáng khung hình. Thuật toán nhận diện phát hiện chính xác vùng bàn tay từ ảnh chụp camera. Điểm mốc của các khớp ngón tay được xác định và số hóa thành đồ thị không gian. Kỹ thuật này loại bỏ ảnh hưởng của nền phức tạp và sự thay đổi màu da. Các phép biến đổi hình học giúp chuẩn hóa tọa độ bàn tay về hệ quy chiếu thống nhất. Nhờ vậy, dữ liệu đầu vào luôn duy trì tính nhất quán trước khi đưa vào mô hình phân loại. Thuật toán đảm bảo tốc độ tiền xử lý mượt mà và tiêu tốn ít tài nguyên phần cứng.

3.2. Ứng dụng học máy và mô hình xử lý ngôn ngữ tự nhiên

Sau bước trích xuất đặc trưng, kiến trúc mạng nơ-ron thực hiện nhiệm vụ phân loại mẫu ký hiệu. Mô hình học sâu nắm bắt mối quan hệ không gian và chuỗi thời gian của cử chỉ tay. Kết hợp với mạng đồ thị (MPNN), hệ thống học được cấu trúc tương quan giữa các khớp xương. Khi ký tự được nhận diện, mô hình xử lý ngôn ngữ tự nhiên (NLP) tiếp nhận dữ liệu chuỗi. Thuật toán tự động sửa lỗi ngữ pháp và ghép từ đơn lẻ thành câu văn có nghĩa hoàn chỉnh. Hệ thống chuyển đổi văn bản sang âm thanh thông qua module tổng hợp giọng nói. Toàn bộ quy trình diễn ra tự động và phản hồi tức thời cho người sử dụng.

IV. Đánh giá và triển khai giải pháp giao tiếp cho người khiếm thính

Đồ án tốt nghiệp tại Đại học Sư phạm Kỹ thuật TP.HCM đạt được các kết quả thực nghiệm ấn tượng. Mô hình chứng minh độ chính xác nhận diện cao trên tập dữ liệu kiểm thử độc lập. Hệ thống phản hồi nhanh với độ trễ thấp, đáp ứng tốt yêu cầu đối thoại thời gian thực. Việc không cần trang bị phần cứng chuyên dụng giúp giải pháp có tính kinh tế cao. Người dùng chỉ cần một chiếc điện thoại thông minh hoặc máy tính có camera thông thường. Giải pháp mở ra triển vọng lớn trong việc ứng dụng công nghệ hỗ trợ cộng đồng yếu thế. Nghiên cứu khẳng định tiềm năng to lớn của ngành Kỹ thuật Dữ liệu trong việc giải quyết các thách thức xã hội nhân văn. Sản phẩm có khả năng tích hợp linh hoạt vào các nền tảng hội nghị trực tuyến, cổng dịch vụ công trực tuyến và thiết bị di động cá nhân. Đây là bước tiến thực tiễn, đóng góp tích cực cho mục tiêu xây dựng một xã hội số bao trùm và không rào cản.

4.1. Khả năng ứng dụng thực tế trong đời sống

Ứng dụng có thể phục vụ trực tiếp tại các bệnh viện, trung tâm hành chính và trường học. Khi đến khám bệnh, người khiếm thính chỉ cần thao tác trước màn hình để bác sĩ hiểu rõ triệu chứng. Tại quầy thủ tục công dân, nhân viên tiếp nhận dễ dàng trao đổi thông tin nhanh chóng và chính xác. Trong môi trường học đường, học sinh khiếm thính có thể phát biểu và tham gia thảo luận cùng thầy cô và những người học khác. Ứng dụng cũng hữu ích khi tích hợp vào các nền tảng gọi video trực tuyến. Sự phổ cập của phần mềm giúp cộng đồng người khuyết tật tự tin giao tiếp và nâng cao năng suất làm việc mỗi ngày.

4.2. Hướng phát triển và hoàn thiện hệ thống

Nghiên cứu mở ra nhiều hướng mở rộng giá trị trong giai đoạn tiếp theo. Đề tài cần làm giàu thêm bộ dữ liệu ngôn ngữ ký hiệu với nhiều chủ đề chuyên ngành. Việc bổ sung nhận diện biểu cảm nét mặt và tư thế cơ thể sẽ tăng độ chính xác của ngữ cảnh hội thoại. Nhóm nghiên cứu có kế hoạch tối ưu hóa kích thước mô hình học sâu để chạy trực tiếp trên thiết bị nhúng và điện thoại di động giá rẻ. Việc phát triển giao diện người dùng thân thiện, đa ngôn ngữ cũng là ưu tiên then chốt. Sự chung tay phát triển từ cộng đồng công nghệ sẽ giúp giải pháp ngày càng hoàn thiện và vươn xa hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển của trí tuệ nhân tạo, trọng tâm là học máy (Machine Learning) và học sâu (Deep Learning), đã tạo ra những bước tiến đáng kể trong việc xử lý các dạng dữ liệu phức tạp từ văn bản, âm thanh đến hình ảnh và video. Trong đời sống xã hội, các mô hình học sâu đã được ứng dụng rộng rãi vào các lĩnh vực như y tế, giáo dục, giao thông, an ninh và dịch vụ giải trí. Các kiến trúc mạng nơ-ron chuyên biệt như mạng nơ-ron tích chập (CNN) khẳng định ưu thế trong việc xử lý, phân loại hình ảnh; mạng nơ-ron hồi quy (RNN) thể hiện hiệu quả trong xử lý ngôn ngữ tự nhiên và chuỗi thời gian; trong khi các mạng đối nghịch sinh thành (GAN) được ứng dụng trong sáng tạo nội dung số. Tuy nhiên, rào cản giao tiếp giữa cộng đồng người bình thường và người khiếm thính vẫn là một vấn đề xã hội cần các giải pháp công nghệ hỗ trợ. Ngôn ngữ ký hiệu là phương tiện giao tiếp chính của người khiếm thính, nhưng phần lớn người bình thường không nắm được hệ thống ngôn ngữ này, dẫn đến sự hạn chế trong tương tác và hòa nhập xã hội.

Mục tiêu chính của đề tài là xây dựng một hệ thống nhận dạng cử chỉ tay sử dụng kỹ thuật học sâu mạng nơ-ron tích chập (CNN) kết hợp xử lý ngôn ngữ tự nhiên nhằm hỗ trợ người khiếm thính giao tiếp với người bình thường. Hệ thống hướng tới việc nhận diện cử chỉ tay qua camera máy tính, chuyển đổi các cử chỉ thành dạng văn bản (text) và phát âm thanh giọng nói (speech).

Theo đề cương luận văn tốt nghiệp, các nhiệm vụ nghiên cứu cụ thể được xác định bao gồm:

1. Tìm hiểu các bài báo liên quan sử dụng ứng dụng học sâu và xử lý ảnh.
2. Tìm hiểu các cách thức hoạt động của ngôn ngữ ký hiệu.
3. Tìm hiểu các khái niệm học sâu, mạng nơ-ron nhân tạo, mạng nơ-ron tích chập, mô hình ngôn ngữ tự nhiên.
4. Tìm hiểu mô hình học sâu trong xử lý ngôn ngữ.
5. Ứng dụng nhận dạng cử chỉ chuyển đổi thành văn bản hoặc giọng nói.

Đối tượng và phạm vi nghiên cứu của đề tài được giới hạn như sau:

• Đối tượng nghiên cứu: Các giải pháp giao tiếp giữa người khiếm thính và người bình thường; ứng dụng các mô hình học sâu (Deep Learning) để nhận diện và chuyển đổi ngôn ngữ ký hiệu sang văn bản hoặc giọng nói; tập trung vào ngôn ngữ ký hiệu tiếng Anh (American Sign Language - ASL), không bao quát toàn bộ các hệ ngôn ngữ ký hiệu trên thế giới.
• Phạm vi nghiên cứu:
  • Về dữ liệu: Sử dụng nguồn dữ liệu video ngôn ngữ ký hiệu có sẵn từ bộ dữ liệu WLASL (Word-Level American Sign Language).
  • Về kỹ thuật: Tiếp nhận dữ liệu hình ảnh trực tiếp thông qua camera; triển khai các mô hình phân loại trên các tập từ vựng theo quy mô lớp khác nhau (150 lớp, 300 lớp và 1000 lớp).
  • Về tài nguyên: Bị giới hạn trong phạm vi các thiết bị phần cứng và công cụ phần mềm hiện có tại đơn vị đào tạo.
  • Về thời gian: Thực hiện theo kế hoạch từ ngày 04/03/2024 đến ngày 15/06/2024.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng dựa trên các lý thuyết cốt lõi của học sâu, thị giác máy tính và xử lý ngôn ngữ tự nhiên.

Về cơ sở lý thuyết toán học và mạng nơ-ron:

• Mạng nơ-ron nhân tạo (ANN): Mô phỏng nơ-ron sinh học với đầu vào là các tín hiệu $x_i$, trọng số liên kết $w_i$, hệ số chặn $b$ và hàm kích hoạt. Hàm tổng hợp có dạng: $$y = \sum_{i=0}^{n} w_i x_i + b$$
• Các hàm kích hoạt: Khóa luận phân tích và so sánh bốn hàm kích hoạt cơ bản:
  • Hàm Sigmoid: $\sigma(x) = \frac{1}{1 + e^{-x}}$, giá trị đầu ra nằm trong khoảng $(0, 1)$, có đạo hàm $\sigma'(x) = f(x)(1 - f(x))$. Nhược điểm là chi phí tính toán cao và dễ gặp hiện tượng suy giảm độ dốc (vanishing gradient).
  • Hàm Tanh: Chuyển đổi giá trị đầu ra về khoảng $(-1, 1)$, có giá trị trung bình gần bằng 0 nhưng vẫn gặp vấn đề bão hòa nơ-ron.
  • Hàm ReLU (Rectified Linear Unit): Được biểu diễn bởi $f(x) = \max(0, x)$, không bão hòa ở miền dương và có hiệu quả tính toán cao.
  • Hàm Softmax: Sử dụng ở tầng đầu ra của các bài toán phân loại đa lớp để đưa ra phân phối xác suất: $$\sigma(z_j) = \frac{e^{z_j}}{\sum_{k=1}^{K} e^{z_k}}$$
• Thị giác máy tính và biểu diễn ảnh: Ảnh số được biểu diễn dưới dạng ma trận điểm ảnh (pixel). Đối với ảnh xám, giá trị pixel dao động từ 0 (đen) đến 255 (trắng). Đối với ảnh màu hệ RGB, ảnh là một mảng ba chiều kích thước $W \times H \times D$ (với $D = 3$ ứng với ba kênh Red, Green, Blue), cho phép tạo ra tối đa $256 \times 256 \times 256 = 16.777.216$ màu sắc.
• Toán tử tích chập (Convolution): Phép tích chập liên tục được định nghĩa theo tích phân: $$(f * g)(t) := \int_{-\infty}^{\infty} f(\tau) g(t - \tau) d\tau$$ Trong xử lý ảnh số, tích chập 2D sử dụng ma trận kernel kích thước $i \times j$ trượt qua ảnh: $$g(x, y) = w * f(x, y) = \sum_{i=-a}^{a} \sum_{j=-b}^{b} w(i, j) f(x - i, y - j)$$ Kích thước đầu ra của ảnh qua phép tích chập phụ thuộc vào kích thước ảnh đầu vào $n$, kích thước bộ lọc $f$, giá trị đệm (padding) $p$ và bước trượt (stride) $s$, được tính bằng công thức: $$\left[\frac{n + 2p - f}{s} + 1\right] \times \left[\frac{n + 2p - f}{s} + 1\right]$$
• Mạng tích chập 3D (3D-CNN): Mở rộng tích chập 2D sang không gian ba chiều bằng cách quét kernel qua cả chiều không gian $(H, W)$ và chiều thời gian $(T)$, nhận đầu vào là tensor có kích thước $T \times H \times W \times C_{in}$ và tạo ra đầu ra kích thước $T' \times H' \times W' \times C_{out}$.
• Mạng nơ-ron đồ thị (Graph Neural Network - GNN): Sử dụng cơ chế truyền tin nhắn (message passing) trên đồ thị $G = (V, E)$, cập nhật đặc trưng đỉnh theo công thức: $$h_u = \phi\left(x_u, \bigoplus_{v \in N_u} \psi(x_u, x_v, e_{uv})\right)$$ với $N_u$ là tập đỉnh láng giềng, $\phi$ là hàm cập nhật, $\psi$ là hàm thông điệp và $\bigoplus$ là toán tử tổng hợp bất biến hoán vị.

Phương pháp nghiên cứu thực nghiệm bao gồm: thu thập dữ liệu video; trích xuất các điểm mốc cơ thể (pose keypoints) và bàn tay (hand keypoints) thành các tập tin JSON; xây dựng mô hình huấn luyện; đánh giá thông qua các chỉ số đo lường độ chính xác và kiểm thử tương tác trực tiếp qua camera máy tính.

Khóa luận phân tích và đối sánh với các công trình liên quan trong việc xử lý chuỗi hành động và cử chỉ:

Nghiên cứu	Mô hình / Phương pháp	Tập dữ liệu	Kết quả công bố
Kun Xia, Jianguang Huang, Hanyu Wang	LSTM-CNN kết hợp lớp Global Average Pooling (GAP)	UCI-HAR WISDM OPPORTUNITY	- UCI-HAR: Độ chính xác 95,80% (2940 mẫu đúng) - WISDM: Độ chính xác 95,75% (3036 phiên bản) - OPPORTUNITY: Độ chính xác 92,63%
Muhammad Attique Khan và cộng sự	3D-CNN kết hợp LSTM, tối ưu hóa Adadelta (lr=0.00001), chuẩn hóa L2 và Batch Normalization	20BN-jester (15 lớp)	- Huấn luyện: 99% - Xác thực: 97,5% (dừng sớm ở epoch 50, loss 0,09) - Thời gian thực: 97%
Simonyan và Zisserman	Two-Stream Networks (RGB + Optical Flow 10 khung hình), Inception-V1, tích chập 3D $3 \times 3 \times 3$ với 512 kênh	HMDB	Cải thiện hiệu suất nhận dạng hành động bằng cách kết hợp luồng không gian và luồng quang học
Du Tran	3D ConvNets	Dữ liệu video	Khai thác đặc trưng không gian - thời gian (spatiotemporal) vượt trội hơn so với ConvNet 2D

Nội dung chính theo từng chương

Chương 1: Tìm hiểu học sâu mạng nơ-ron và các ứng dụng của deep learning

Chương này khái quát tiến trình lịch sử của học sâu, xuất phát từ các nghiên cứu về thuật toán lan truyền ngược của Werbos (1974), Rumelhart (1986) và LeCun (1998) giúp khắc phục bài toán XOR và huấn luyện mạng nơ-ron đa tầng. Tác giả phân tích bước chuyển từ các phương pháp học máy truyền thống sử dụng đặc trưng thiết kế thủ công (như thuật toán HOG, Deformable Parts Model, SVM Exemplar) sang các mô hình học sâu có khả năng tự động học biểu diễn đặc trưng phân cấp. Chương 1 làm rõ mối quan hệ giữa quy mô dữ liệu và độ chính xác của mô hình: khi lượng dữ liệu nhỏ, học máy truyền thống và học sâu có sự tương đương; nhưng khi quy mô dữ liệu lớn, học sâu vượt trội rõ rệt. Các nội dung kỹ thuật chi tiết được trình bày gồm: cấu trúc nơ-ron toán học, các hàm kích hoạt (Sigmoid, Tanh, ReLU, Softmax), nguyên lý biểu diễn điểm ảnh và hệ màu RGB, các phép biến đổi ma trận trong tích chập 2D (cơ chế trượt cửa sổ, kỹ thuật padding, tham số stride), kiến trúc mạng tích chập 3D xử lý video, cấu trúc mạng nơ-ron đồ thị (lớp biến đổi tương đương hoán vị, lớp gộp cục bộ, lớp gộp toàn cục và truyền tin nhắn MPNN) cùng khái niệm nền tảng về xử lý ngôn ngữ tự nhiên theo Guida và Mauri (1986), Russell và Norvig (2002).

Chương 2: Giải pháp giao tiếp qua cử chỉ bằng mô hình nhận diện và NLP

Chương 2 tập trung vào giải pháp kỹ thuật nhận dạng cử chỉ tay và biên dịch ngôn ngữ ký hiệu. Tác giả phân loại các cử chỉ tay và giới thiệu mô hình baseline trong nhận diện và phiên dịch thủ ngữ. Kiến trúc mô hình được xây dựng dựa trên việc kết hợp mạng I3D (Inflated 3D ConvNet) và mạng tích chập đồ thị (GNN). Trong đó, các khớp trên cơ thể người và bàn tay được mô hình hóa dưới dạng một biểu đồ hoàn chỉnh, sử dụng các khối tích chập đồ thị dư (residual graph convolution blocks) để học các chuyển động không gian - thời gian từ chuỗi tọa độ khớp. Để dịch chuyển từ nhận dạng từ ngữ đơn lẻ sang cấu trúc câu hoàn chỉnh, đồ án tích hợp mô hình ngôn ngữ T5 dựa trên tập dữ liệu CommonGen, cùng các công cụ hỗ trợ như PyTorch, OpenCV, Flask và API Google Translate để chuyển đổi sang tiếng Việt.

Đồng thời, chương này chỉ ra các thách thức đặc thù trong ngôn ngữ ký hiệu thông qua dữ liệu hình ảnh trực quan:

• Cử chỉ có hình thái rất giống nhau nhưng mang ý nghĩa khác biệt: Cặp ký hiệu "read" và "dance" chỉ khác nhau ở một chuyển động rất nhỏ của bàn tay; động từ "Wish" và tính từ "Hungry" có cùng dạng cử chỉ; từ "rice" và "soup" có cùng một chuyển động cơ học.
• Hiện tượng một từ có nhiều biến thể cử chỉ khác nhau: Ký hiệu của từ "Scream" có nhiều cách thực hiện cử chỉ tay khác nhau tùy thuộc vào ngữ cảnh người sử dụng.

Chương 3: Thực nghiệm đánh giá

Chương 3 trình bày chi tiết quá trình huấn luyện và kiểm thử mô hình. Dữ liệu thực nghiệm được lấy từ bộ dữ liệu WLASL (Word-Level American Sign Language). Quy trình tiền xử lý bao gồm việc chuẩn hóa kích thước khung hình, trích xuất các điểm mốc tư thế cơ thể và các điểm mốc bàn tay, sau đó lưu trữ có cấu trúc trong các tệp JSON. Tệp dữ liệu JSON được phân chia theo tỷ lệ tương ứng phục vụ các tập huấn luyện, xác thực và kiểm thử. Khóa luận triển khai thực nghiệm huấn luyện mô hình qua các mức độ dữ liệu mở rộng: 150 lớp, 300 lớp và 1000 lớp dữ liệu. Toàn bộ thông số huấn luyện được thiết lập trong tệp cấu hình và các tệp văn bản (.txt) lưu giữ tham số mô hình. Phần đánh giá ghi nhận kết quả kiểm thử trên các video mẫu cụ thể, bao gồm video ID 67715 và video ID 30388, thử nghiệm phân loại các ký hiệu cử chỉ như "good", "arrive", cùng việc phân tích ba trường hợp dự đoán cụ thể. Cuối cùng, hệ thống được tích hợp vào ứng dụng demo có giao diện kết nối camera trực tiếp để đánh giá khả năng nhận diện thời gian thực.

Thiết kế và triển khai

Hệ thống được thiết kế dưới dạng một ứng dụng phần mềm tương tác hoàn chỉnh phục vụ giao tiếp hai chiều, bao gồm kiến trúc đường ống xử lý (pipeline) và các công nghệ triển khai:

1. Kiến trúc luồng xử lý dữ liệu:

   • Tiếp nhận luồng hình ảnh: Thu nhận dữ liệu video thời gian thực từ camera máy tính thông qua thư viện OpenCV.
   • Trích xuất đặc trưng hình thể: Nhận diện và bóc tách tọa độ các điểm mốc (keypoints) của bàn tay và tư thế cơ thể người theo từng khung hình liên tiếp, cấu trúc hóa thành định dạng JSON.
   • Nhận dạng và phân loại cử chỉ: Đưa chuỗi đặc trưng qua mô hình mạng học sâu đã huấn luyện (kết hợp cơ chế tích chập không gian - thời gian và đồ thị) để dự đoán nhãn từ vựng tương ứng trong tập dữ liệu WLASL.
   • Xử lý ngôn ngữ và chuyển đổi đa phương thức: Từ nhãn nhận diện, hệ thống tích hợp API Google Translate để chuyển đổi ngữ nghĩa sang tiếng Việt, sau đó kích hoạt mô-đun Text-to-Speech để phát âm thanh giọng nói qua loa.

2. Công nghệ và môi trường triển khai:

   • Ngôn ngữ và thư viện học máy: Sử dụng Python kết hợp với nền tảng PyTorch để huấn luyện mô hình; OpenCV phục vụ xử lý hình ảnh; Scikit-learn (SKlearn) hỗ trợ các tác vụ tính toán và phân tích.
   • Giao diện ứng dụng: Xây dựng trên nền tảng web micro-framework Flask, tích hợp khung hiển thị video từ camera.
   • Tính năng giao diện: Được thiết kế với các chức năng hiển thị kết quả phân loại, xử lý hiển thị đúng phông chữ tiếng Việt trong Flask, các nút điều khiển xóa kết quả, nút đặt lại (reset), tính năng chuyển đổi chữ viết sang giọng nói và tính năng chuyển đổi giọng nói thành chữ viết để phục vụ phản hồi hai chiều.

Kết quả và đóng góp

Về kết quả thực nghiệm và kỹ thuật:

• Đã hệ thống hóa toàn diện cơ sở lý thuyết toán học và học sâu liên quan đến mạng nơ-ron nhân tạo, mạng tích chập 2D/3D, mạng nơ-ron đồ thị và xử lý ngôn ngữ tự nhiên.
• Xây dựng thành công quy trình xử lý dữ liệu video thủ ngữ WLASL, trích xuất và số hóa các điểm mốc tư thế cơ thể và bàn tay thành định dạng dữ liệu có cấu trúc.
• Triển khai huấn luyện thực nghiệm mô hình phân loại cử chỉ tay trên các quy mô 150 lớp, 300 lớp và 1000 lớp dữ liệu.
• Kiểm thử thành công mô hình trên các mã video độc lập (video ID 67715, video ID 30388) và các cử chỉ mẫu như "good", "arrive" với các kịch bản dự đoán được ghi nhận.
• Xây dựng hoàn chỉnh ứng dụng web demo bằng Flask, cho phép thu nhận hình ảnh trực tiếp từ camera, dự đoán cử chỉ, hiển thị văn bản tiếng Việt và phát âm giọng nói tương ứng.

Về đóng góp khoa học và thực tiễn do tác giả tự nêu:

• Đề xuất giải pháp kết hợp giữa kỹ thuật xử lý ảnh, trích xuất điểm mốc không gian - thời gian và xử lý ngôn ngữ tự nhiên nhằm tự động hóa quá trình nhận dạng và biên dịch thủ ngữ.
• Tích hợp thành công công cụ dịch máy và tổng hợp giọng nói, tạo thành công cụ hỗ trợ giao tiếp hai chiều thực tế giữa người khiếm thính và người bình thường.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ các giới hạn tồn tại trong quá trình thực hiện:

• Phạm vi ngôn ngữ: Mô hình mới chỉ tập trung huấn luyện trên bộ dữ liệu cử chỉ American Sign Language (ASL - tiếng Anh), chưa xây dựng và huấn luyện được trên tập dữ liệu ngôn ngữ ký hiệu bản địa của Việt Nam.
• Dữ liệu huấn luyện: Dữ liệu video thu thập có chất lượng không đồng đều về độ phân giải, tỷ lệ khung hình và thời lượng; việc cắt ghép chuẩn hóa video tiềm ẩn nguy cơ làm mất thông tin vận động quan trọng.
• Điều kiện môi trường: Khả năng nhận dạng của hệ thống chịu ảnh hưởng lớn từ các yếu tố môi trường thực tế như sự thay đổi ánh sáng, thời tiết, hiện tượng che khuất mục tiêu hoặc khi camera di chuyển.
• Sự tương đồng cử chỉ: Khó khăn trong việc phân biệt các ký hiệu có quỹ đạo chuyển động gần như trùng khớp (như "read" và "dance", "Wish" và "Hungry", "rice" và "soup") khi mở rộng không gian nhãn lên 1000 lớp.
• Tài nguyên tính toán: Quá trình nghiên cứu bị giới hạn bởi cấu hình phần cứng và thiết bị sẵn có tại trường.

Hướng phát triển tiếp theo được đề xuất:

• Mở rộng tập dữ liệu cho ngôn ngữ ký hiệu tiếng Việt.
• Tối ưu hóa kiến trúc mô hình học sâu để giảm tải tính toán, tăng tốc độ xử lý thời gian thực trên các thiết bị nhúng hoặc thiết bị di động.
• Nâng cao năng lực của mô hình xử lý ngôn ngữ tự nhiên để sinh câu hoàn chỉnh có ngữ cảnh ngữ pháp phức tạp hơn từ chuỗi cử chỉ rời rạc.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo kỹ thuật phù hợp cho sinh viên, học viên chuyên ngành Kỹ thuật dữ liệu, Công nghệ thông tin, Trí tuệ nhân tạo và Khoa học máy tính, đặc biệt là những người đang nghiên cứu về các bài toán:

• Nhận dạng hành động từ video (Video Action Recognition) và nhận dạng ngôn ngữ ký hiệu (Sign Language Recognition).
• Kỹ thuật mô hình hóa dữ liệu dạng đồ thị (Graph Neural Network) dựa trên chuỗi tọa độ khớp xương cơ thể và bàn tay.
• Kiến trúc tích hợp đa phương thức giữa thị giác máy tính (Computer Vision), xử lý ngôn ngữ tự nhiên (NLP) và ứng dụng web thời gian thực với Flask.

Các phần có giá trị tham khảo cao gồm: phần phân tích toán học chi tiết về các hàm kích hoạt và tích chập trong Chương 1; phương pháp luận xử lý các ca cử chỉ đa nghĩa, đồng dạng trong Chương 2; và quy trình trích xuất keypoints cùng cấu trúc thiết lập tệp cấu hình thực nghiệm trên bộ dữ liệu WLASL trong Chương 3.

Câu hỏi thường gặp

1. Bộ dữ liệu nào được sử dụng để huấn luyện mô hình trong đề tài và quy mô dữ liệu phân chia ra sao?
Đề tài sử dụng bộ dữ liệu video cử chỉ WLASL (Word-Level American Sign Language). Dữ liệu sau khi trích xuất keypoints được cấu trúc hóa trong các tệp JSON và tiến hành huấn luyện qua ba mức độ phân loại gồm 150 lớp, 300 lớp và 1000 lớp cử chỉ.

2. Đồ án kết hợp những kiến trúc học sâu nào để xử lý đặc trưng cử chỉ tay và ngôn ngữ?
Đồ án sử dụng mô hình kết hợp giữa mạng tích chập 3D (I3D) và mạng nơ-ron đồ thị (GNN với các khối tích chập đồ thị dư) để trích xuất đặc trưng không gian - thời gian từ các khớp cơ thể và bàn tay, kết hợp với mô hình ngôn ngữ T5 (huấn luyện trên CommonGen) để sinh câu ngữ cảnh và API Google Translate để dịch sang tiếng Việt.

3. Thách thức lớn nhất trong việc phân loại chính xác các từ ngữ bằng cử chỉ trong nghiên cứu là gì?
Thách thức lớn nhất nằm ở hiện tượng các cử chỉ có hình thái tương đồng nhưng khác biệt ngữ nghĩa (như "read" và "dance" chỉ khác nhau cử động nhỏ; "Wish" và "Hungry" có cùng cử chỉ; "rice" và "soup" cùng chuyển động), cùng với việc một từ đơn lẻ (như từ "Scream") lại có nhiều biến thể cử chỉ khác nhau.

4. Ứng dụng demo thực tế được xây dựng bằng công nghệ gì và cung cấp những tính năng nào?
Ứng dụng demo được xây dựng bằng framework Flask, tiếp nhận video qua camera bằng OpenCV, cung cấp các tính năng nhận diện cử chỉ, sửa lỗi phông chữ hiển thị tiếng Việt, nút xóa/làm mới kết quả, tích hợp chức năng chuyển đổi chữ sang giọng nói (Text-to-Speech) và giọng nói thành chữ.

Kết luận

Khóa luận tốt nghiệp của hai sinh viên Phạm Trung Kiên và Lương Gia Huy đã xây dựng thành công giải pháp kỹ thuật hỗ trợ người khiếm thính giao tiếp bằng cách kết hợp xử lý ảnh, trích xuất điểm mốc và mạng học sâu. Nghiên cứu đã hoàn thành việc khảo sát lý thuyết toàn diện, thử nghiệm phân loại trên bộ dữ liệu WLASL qua các quy mô từ 150 đến 1000 lớp, đồng thời tích hợp mô hình ngôn ngữ và công cụ dịch máy. Sản phẩm demo trên nền tảng Flask đáp ứng khả năng nhận diện qua camera thời gian thực và chuyển đổi đa phương thức, tạo nền tảng thực nghiệm quan trọng cho các hướng nghiên cứu mở rộng sang ngôn ngữ ký hiệu tiếng Việt trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1: TÌM HIỂU HỌC SÂU MẠNG NƠ-RON VÀ CÁC ỨNG DỤNG CỦA DEEP LEARNING. Khái quát lịch sử mạng nơ-ron và học sâu. Artificial Neural Network. Ảnh trong thị giác máy tính.

Tổng quan thuật toán Convolution. Graph Neural Network. Mô hình ngôn ngữ tự nhiên. 36 Chương 2: GIẢI PHÁP GIAO TIẾP QUA CỬ CHỈ BẰNG MÔ HÌNH NHẬN DIỆN VÀ NLP.

Giới thiệu nhận dạng cử chỉ tay. Hướng tiếp cận đề tài. Phương pháp mô hình. Các công cụ hỗ trợ.

47 Chương 3: THỰC NGHIỆM ĐÁNH GIÁ. Giới thiệu bộ dữ liệu WLASL. Cài đặt và tiền xử lý dữ liệu. Chi tiết triển khai.

Huấn luyện mô hình. Kiểm thử đánh giá mô hình qua camera. Kết quả đạt được. Ý nghĩa thực tiễn.

Hướng phát triển. 61 DANH MỤC TÀI LIỆU THAM KHẢO. 63 DANH MỤC HÌNH VẼ Hình 1. Confusion Matrix trên tập dữ liệu UCI-HAR.

Confusion Matrix trên tập dữ liệu WISDM. Confusion Matrix trên tập dữ liệu OPPORTUNITY. Sơ đồ tổng thể mô hình. So sánh các trình tối ưu hóa khác nhau.

Cấu trúc của một mạng nơ-ron. Định lượng nội dung ảnh có chứa thuốc theo toa thông qua mô tả ảnh nền màu đen, kết cấu và hình dạng hình ảnh. Mối quan hệ giữa độ chính xác của Deep Learning và Machine Learning. Cấu trúc của một mạng Nơ-ron sinh hoạt.

Mô hình toán của nơ-ron. Quá trình xử lý của 1 Nơ-ron nhân tạo. Đồ thị hàm Sigmoid. Đồ thị hàm tanh.

Đồ thị hàm RELU. Đồ thị hàm Softmax. Ảnh có có kích thước là 1000 pixel và chiều cao là 750 pixel. Tổng số là 1000x750 pixel.

Hệ màu RGB gồm ba màu chính là xanh lá, xanh dương, đỏ. Minh họa ảnh màu. Biểu diễn ma trận của ảnh. Ảnh màu kích thước 3*3 biểu diễn dạng ma trận, mỗi pixel biểu diễn giá trị (r,g,b).

Tách ma trận trên thành 3 ma trận cùng kích thước: mỗi ma trận lưu giá trị từng màu khác nhau red, green, blue. Tách ma trận biểu diễn màu ra 3 ma trận, mỗi ma trận lưu giá trị 1 màu. Ảnh được tách thành 3 lớp màu RGB. Tương tác giữa f và g theo thời gian.

Cửa sổ tích chập, nhân tích chập với đơn vị đầu tiên cùa ma trận hình ảnh. Phép tính kết quả tiếp theo khi trượt cửa sổ tích chập sang phải 1 đơn vị. Kết quả cuối cùng khi đã hoàn thành việc trượt cửa sổ tích chập. Ví dụ về Padding.

Các loại kernel được sử dụng. Tích chập 2D và tích chập 2D nhiều khung hình. Các lớp trong Graph neural network. Các bước xử lý ngôn ngữ tự nhiên.

Luồng tiền xử lý dữ liệu cơ bản trong các bài toán xử lý ngôn ngữ tự nhiên. Các loại cử chỉ tay. Ví dụ về một số dạng thủ ngữ. Baseline nhận diện và phiên dịch ngôn ngữ ký hiệu.

Kiến trúc model của mạng I3D. Các khớp trên cơ thể người như một biểu đồ hoàn chỉnh. Các khối tích chập đồ thị dư. Kiến trúc mô hình T5.

Dữ liệu CommonGen. Ký hiệu "read" (hàng bên trên) và kí hiệu "dance" (hàng bên dưới) chỉ khác nhau chuyển động nhỏ của tay. Động từ "Wish" (bên trên) và tính từ "Hungry" (bên dưới) có cùng cử chỉ. Cùng một chuyển động nhưng đều thể hiện "rice" (bên trên) and "soup" (bên dưới).

Ký hiệu từ "Scream" nhưng có nhiều cử chỉ khác nhau. Dữ liệu video thủ ngữ. Ví dụ file json lưu các keypoint. Các keypoint trên tư thế.

Các keypoint bàn tay. File json dữ liệu được chia theo tỷ lệ. Nội dung tệp cấu hình để huấn luyện mô hình. Tệp txt lưu giữ thông số mô hình.

Ví dụ kiểm thử mô hình với video ID 67715. Ví dụ kiểm thử mô hình với video ID 30388. Giao diện demo ứng dụng dùng camera. Ký hiệu cử chỉ cho từ "good".

Ký hiệu cử chỉ cho từ "arrive". Dự đoán trường hợp 1. Dự đoán trường hợp 2. Dự đoán trường hợp 3.

Tính cấp thiết của đề tài Gần đây, sự phát triển của trí tuệ nhân tạo, đặc biệt là machine learning và deep learning, đã trải qua một cuộc "cách mạng" và lan rộng mạnh mẽ vào nhiều lĩnh vực trong xã hội. Những thành tựu nổi bật của deep learning đã xâm nhập sâu vào y tế, giáo dục, giao thông, dịch vụ giải trí, và nhiều lĩnh vực khác. Deep learning đã mang đến những khả năng ấn tượng trong việc xử lý dữ liệu phức tạp và trích xuất thông tin từ hình ảnh, văn bản và âm thanh. Ví dụ, trong lĩnh vực nhận dạng giọng nói, deep learning đã giúp xây dựng các hệ thống dịch máy chất lượng cao, nâng cao trải nghiệm người dùng khi tương tác với các ứng dụng trí tuệ nhân tạo.

Deep learning không chỉ bó hẹp trong việc truyền tải thông tin đơn thuần, mà còn vươn lên tầm cao mới, mở ra cánh cửa đến một tương lai hứa hẹn với vô vàn giải pháp sáng tạo và đột phá. Nhờ sự đa dạng trong các mô hình mạng nơ-ron, deep learning có khả năng đáp ứng nhu cầu của nhiều lĩnh vực khác nhau, mang đến những ứng dụng đầy tiềm năng. Mạng nơ-ron tích chập (CNN) - "nhà vô địch" trong lĩnh vực xử lý và phân loại ảnh, góp phần tạo nên những ứng dụng ấn tượng như nhận diện khuôn mặt, xe cộ, hay phân tích y tế với độ chính xác cao. Mạng nơ-ron hồi quy (RNN) - "chuyên gia ngôn ngữ", đóng vai trò quan trọng trong việc phá vỡ rào cản ngôn ngữ với các ứng dụng dịch máy, trợ lý ảo thông minh, hay phân tích văn bản hiệu quả.

Và cuối cùng là Mạng đối nghịch sinh thành (GAN) - "nghệ sĩ tài ba", mở ra tiềm năng to lớn trong việc sáng tạo nội dung, có thể tạo ra hình ảnh, âm nhạc, hay thậm chí cả văn bản một cách sống động và độc đáo. Trong đề tài này, nhóm quyết định tập trung vào mạng nơ-ron tích chập (CNN) vì nó phù hợp với vấn đề cụ thể mà nhóm đang nghiên cứu, đó là phân loại cử chỉ tay dựa trên hình ảnh từ camera. Điều này đánh dấu một bước tiến quan trọng trong việc phát triển các ứng dụng hỗ trợ và đa dạng hóa cách giao tiếp, đặc biệt dành cho người khiếm thính. Mục tiêu của đề tài Nghiên cứu này hướng đến xây dựng một hệ thống nhận dạng cử chỉ tay sử dụng kỹ thuật học sâu mạng nơ-ron tích chập (CNN) nhằm hỗ trợ người khiếm thính giao tiếp hiệu quả với người bình thường.

Hệ thống này có khả năng nhận diện cử chỉ tay nhanh chóng và chính xác, qua đó góp phần nâng cao chất lượng cuộc sống cho người khiếm thính. Phạm vi nghiên cứu và đối tượng nghiên cứu Đối tượng nghiên cứu: - Đề tài tập trung nghiên cứu các giải pháp giao tiếp giữa người khiếm thính và người bình thường. - Ứng dụng các mô hình học sâu (Deep Learning) để nhận diện và chuyển đổi ngôn ngữ ký hiệu sang văn bản hoặc giọng nói. - Đề tài tập trung vào một hoặc một vài loại ngôn ngữ ký hiệu cụ thể ngôn ngữ tiếng anh, không bao quát tất cả các ngôn ngữ ký hiệu trên thế giới.

Phạm vi nghiên cứu: - Sử dụng công nghệ nhận diện hình ảnh từ camera. - Dữ liệu sử dụng trong nghiên là các video ngôn ngữ ký hiệu được thu thập từ nguồn có sẵn cụ thể WLASL. - Tài nguyên phần cứng và phần mềm phục vụ nghiên cứu bị giới hạn trong phạm vi những thiết bị và công cụ hiện có tại. Cách tiếp cận và phương pháp nghiên cứu - Cách tiếp cận: + Sử dụng lý thuyết học máy, học sâu.

+ Sử dụng các thư viện hỗ trợ xử lý hình ảnh như OpenCV, SKlearn… + Sử dụng thư viện hỗ trợ train mô hình pytorch. - Phương pháp nghiên cứu: + Thu thập các bài báo lý thuyết, nghiên cứu về cấu trúc Convolutional Neural Network (CNN) cho việc xử lý hình ảnh và mạng Long short term memory (LSTM). 2 + Sử dụng dataset có sẵn từ các video hướng dẫn ngôn ngữ ký hiệu American Sign Language. + Xây dựng thuật toán, huấn luyện mô hình, viết chương trình để xác định phân loại.

+ Đánh giá mô hình, sử dụng các độ đo để đánh giá khả năng nhận dạng và xác định độ tin cậy của nó. Những thách thức trong nghiên cứu. Nhận dạng hành động đã đạt được tiến bộ đáng kể trong quản lý giao thông, chăn nuôi động vật, phòng chống tội phạm và tương tác người-máy. Tuy nhiên, thách thức nghiên cứu đang ngăn cản sự phát triển tiếp theo.

Các nhà nghiên cứu gần đây đã đề xuất giải pháp và ý tưởng mới để vượt qua những thách thức này. Những thay đổi môi trường phức tạp: Khi máy ảnh cố định, thời tiết và các yếu tố như ánh sáng, mưa, sương mù, cùng với vấn đề che khuất giữa nhiều mục tiêu, tạo ra thách thức trong việc nhận dạng hành động. Khi camera di chuyển, vấn đề tắc nghẽn có thể giảm bớt ở một mức độ, nhưng sự phức tạp và thay đổi nhanh chóng của môi trường tăng cường những khó khăn, đặt ra thách thức lớn cho quá trình nhận dạng hành động. Đối mặt với sự biến động phức tạp của môi trường, việc tiền xử lý hiệu quả được xem xét là một giải pháp khả thi.

Các phương pháp như sử dụng kỹ thuật theo dõi và phát hiện đối tượng trước khi trích xuất đặc trưng, cùng với việc nhận dạng và định vị hành động trong video, đều đại diện cho những cách tiếp cận này. Dữ liệu huấn luyện chất lượng thấp Trong quá trình nghiên cứu và phát triển các mô hình học máy, việc sử dụng dữ liệu huấn luyện chất lượng thấp là một thách thức đáng kể. Một trong những lý do chính đằng sau vấn đề này là khó khăn trong việc chuẩn hóa dữ liệu huấn luyện để phù hợp với các mô hình học máy. Một vấn đề cụ thể là việc xử lý dữ liệu video.

Khi chuyển đổi dữ liệu video thành dữ liệu huấn luyện cho mô hình, chúng ta thường phải đối mặt với việc đưa các video có độ phân giải, tỷ lệ khung hình, và định dạng khác nhau về cùng một kích thước và thời 3 lượng. Việc này không chỉ đòi hỏi sự công phu trong xử lý dữ liệu mà còn ảnh hưởng đến chất lượng của dữ liệu huấn luyện. Đồng thời, việc chỉnh sửa thời lượng của các video để phù hợp với yêu cầu của mô hình cũng gây ra một số vấn đề.