Ứng dụng mô hình học sâu để tối ưu hóa hệ thống nhận diện thủ ngữ

Đồ án ứng dụng học sâu tối ưu hóa nhận diện thủ ngữ - ĐH Sư phạm Kỹ thuật TP.HCM 2025

• Tác giả: Nguyễn Đức Kha
• Người hướng dẫn: ThS. Lê Thị Minh Châu
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Ứng dụng mô hình học sâu để tối ưu hóa hệ thống nhận diện thủ ngữ
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan nghiên cứu nhận diện thủ ngữ bằng học sâu

Nghiên cứu nhận diện thủ ngữ bằng học sâu được thực hiện tại Trường ĐH Sư phạm Kỹ thuật TP.HCM nhằm xây dựng cầu nối giao tiếp cho cộng đồng người khiếm thính. Đề tài thuộc ngành Kỹ thuật dữ liệu dưới sự hướng dẫn chuyên môn của ThS. Lê Thị Minh Châu. Công trình tập trung giải quyết bài toán chuyển đổi cử chỉ bàn tay thành chuỗi ngôn ngữ tự nhiên theo thời gian thực. Thủ ngữ chứa đựng các biến thể phức tạp về hình thái ngón tay, hướng lòng bàn tay và quỹ đạo vận động. Các phương pháp xử lý ảnh truyền thống thường gặp khó khăn trước điều kiện ánh sáng thay đổi hoặc nền chuyển động. Sự ra đời của các mô hình học sâu hiện đại mở ra bước ngoặt mới. Các kiến trúc nơ-ron nhân tạo có khả năng tự động học biểu diễn đặc trưng phân cấp từ dữ liệu video thô. Nhờ vậy, độ chính xác phân loại cử chỉ tăng lên đáng kể. Dự án này kết hợp lý thuyết thị giác máy tính tiên tiến với các tập dữ liệu chuẩn hóa. Mục tiêu trọng tâm hướng đến việc triển khai hệ thống thông minh trên thiết bị cá nhân hỗ trợ sinh hoạt thường nhật.

1.1. Bối cảnh nghiên cứu tại Trường ĐH Sư phạm Kỹ thuật TP.HCM

Ngành Kỹ thuật dữ liệu thuộc Khoa Công nghệ Thông tin tại Trường ĐH Sư phạm Kỹ thuật TP.HCM chú trọng đào tạo thực chiến. Sinh viên tiếp cận trực tiếp các bài toán trí tuệ nhân tạo có giá trị nhân văn cao. Đề tài nhận diện thủ ngữ hình thành từ nhu cầu thực tiễn của xã hội. Khoảng hàng trăm nghìn người khiếm thính tại Việt Nam gặp rào cản lớn khi tiếp cận dịch vụ công, giáo dục và y tế. Các tác giả Nguyễn Đức Kha và Nguyễn Nhật Tân đã thực hiện dự án nghiên cứu dưới sự dẫn dắt của ThS. Lê Thị Minh Châu. Mục tiêu của nhóm là phát triển một công cụ dịch tự động với độ trễ thấp và độ tin cậy vượt trội.

1.2. Vai trò của học sâu trong nhận diện ngôn ngữ ký hiệu

Học sâu mang lại bước tiến vượt bậc so với các kỹ thuật thị giác máy tính cổ điển. Mô hình học sâu xử lý trực tiếp chuỗi khung hình video liên tục mà không cần trích xuất đặc trưng thủ công. Khả năng ghi nhớ ngữ cảnh dài hạn giúp phân biệt các cử chỉ có hình thái gần tương đồng. Mạng nơ-ron sâu tự động tối ưu hóa hàm mất mát trên các tập dữ liệu quy mô lớn. Quá trình huấn luyện giúp hệ thống đạt độ bền vững cao trước nhiễu môi trường, thay đổi phông nền hoặc góc quay camera. Phương pháp này đóng vai trò nền tảng để tự động hóa quy trình dịch thuật thủ ngữ với độ chính xác cao.

II. Thách thức phân tích nhận diện thủ ngữ bằng học sâu

Quy trình nhận diện thủ ngữ đối mặt nhiều rào cản kỹ thuật phức tạp trong môi trường thực tế. Ngôn ngữ ký hiệu kết hợp chuyển động ngón tay, biểu cảm khuôn mặt và tư thế cơ thể. Sự thay đổi nhanh của cử chỉ tay thường gây ra hiện tượng nhòe mờ trong khung hình video. Vấn đề che khuất xảy ra thường xuyên khi hai bàn tay đan chéo hoặc bị thân người che mất. Sự khác biệt về tốc độ ra dấu giữa từng người thực hiện cũng tạo ra biến thiên thời gian rất lớn. Bên cạnh đó, việc nhận dạng các dấu hiệu phụ thuộc vào ngữ cảnh xuất hiện trước và sau. Nếu chỉ phân tích từng khung hình riêng lẻ, mô hình sẽ không nắm bắt được ý nghĩa đầy đủ của toàn bộ câu nói. Dữ liệu thủ ngữ tiếng Việt hiện nay vẫn còn khan hiếm và thiếu sự đồng nhất về định dạng nhãn. Việc huấn luyện mô hình sâu trên dữ liệu video độ phân giải cao đòi hỏi tài nguyên tính toán lớn. Các nhà nghiên cứu phải tìm kiếm giải pháp cân bằng giữa độ chính xác và tốc độ xử lý để đảm bảo phản hồi tức thì trên thiết bị biên.

2.1. Thách thức về biến thiên không gian và sự che khuất

Biến thiên không gian là trở ngại lớn nhất trong xử lý hình ảnh bàn tay. Bàn tay người có cấu trúc giải phẫu linh hoạt với hai mươi mốt khớp chuyển động tự do. Trong nhiều cử chỉ phức tạp, lòng bàn tay xoay nghiêng hoặc các ngón tay gập sát vào nhau gây hiện tượng tự che khuất. Sự che khuất làm mất mát điểm mốc hình học quan trọng khi camera quay góc hẹp. Môi trường ghi hình có phông nền lộn xộn hoặc độ rọi ánh sáng yếu làm giảm độ tương phản cạnh. Những yếu tố này khiến thuật toán định vị khớp xương dễ xảy ra sai lệch nghiêm trọng nếu không có cơ chế ước lượng tư thế chuyên biệt.

2.2. Khó khăn trong mô hình hóa chuỗi thời gian liên tục

Thủ ngữ diễn ra như một dòng chảy chuyển động liên tục theo trục thời gian. Ranh giới giữa điểm kết thúc của từ trước và điểm bắt đầu của từ sau thường không rõ ràng. Tốc độ biểu đạt thay đổi phụ thuộc vào cảm xúc và thói quen của từng cá nhân. Các mô hình hồi quy truyền thống như RNN hoặc LSTM tiêu chuẩn dễ bị tiêu tán đạo hàm khi xử lý chuỗi dài. Việc nắm bắt mối tương quan xa giữa các ký hiệu trở nên kém hiệu quả. Mô hình cần có năng lực duy trì bộ nhớ dài hạn và tính toán song song để không gây tắc nghẽn thông lượng dữ liệu.

III. Phương pháp tối ưu nhận diện thủ ngữ bằng học sâu

Đề tài tại Trường ĐH Sư phạm Kỹ thuật TP.HCM triển khai kiến trúc lai kết hợp mạng HRNet và Transformer. Mô hình HRNet duy trì biểu diễn độ phân giải cao xuyên suốt toàn bộ quá trình trích xuất đặc trưng. Cơ chế kết nối song song giữa các nhánh độ phân giải khác nhau giúp bảo tồn thông tin không gian chi tiết của bàn tay. Phiên bản HRNetV2 tăng cường kích thước và kết hợp đa tỷ lệ đặc trưng trước khi chuyển sang khối phân loại. Tiếp theo, chuỗi đặc trưng hình ảnh được mã hóa thông qua bộ biến đổi Transformer Encoder. Thành phần Self-Attention cho phép mỗi vị trí token trong chuỗi chú ý đến toàn bộ các token khác để hiểu rõ ngữ cảnh toàn cục. Vector biểu diễn Query, Key và Value tương tác với nhau để phân bổ trọng số tập trung vào cử chỉ chủ đạo. Mạng truyền thẳng kết hợp chuẩn hóa tầng và kết nối tắt đảm bảo quá trình lan truyền gradient ổn định. Nhờ sự kết hợp này, hệ thống vừa nắm bắt tọa độ không gian chính xác, vừa biểu diễn trọn vẹn tiến trình thời gian phức tạp.

3.1. Ứng dụng mạng HRNet trong ước lượng tư thế chi tiết

Mạng HRNet giải quyết triệt để vấn đề mất mát thông tin không gian trong các kiến trúc tích chập truyền thống. Khác với ResNet hay VGG liên tục giảm kích thước ảnh, HRNet duy trì luồng phân giải cao liên tục song song với các nhánh phân giải thấp. Thông tin giữa các nhánh được trao đổi định kỳ qua các khối dung hợp đa độ phân giải. Đầu ra HRNetV2 kết hợp đặc trưng từ tất cả nhánh thông qua phép nội suy song tuyến tính và tích chập một nhân một. Kết quả tạo ra bản đồ nhiệt tư thế sắc nét, định vị chính xác từng đốt ngón tay và khớp xương cơ thể ngay cả trong điều kiện chuyển động nhanh.

3.2. Cơ chế Self Attention và Transformer xử lý ngữ cảnh

Cơ chế Self-Attention trong khối Transformer Encoder đóng vai trò quyết định trong việc giải mã ngữ nghĩa hành động. Ma trận đặc trưng đầu vào kết hợp cùng mã hóa vị trí để bảo toàn thứ tự thời gian của chuỗi khung hình. Tại lớp Multi-Head Attention, các ma trận Query, Key và Value được tính toán song song trên nhiều không gian con biểu diễn. Thuật toán đo lường mức độ tương quan giữa các thời điểm ra dấu, giúp mô hình tập trung vào pha chuyển động quan trọng nhất. Mạng truyền thẳng FFN độc lập bổ sung tính phi tuyến sâu sắc cho từng vector biểu diễn. Hệ thống nhận diện chính xác các câu thủ ngữ phức tạp mà không bị trễ pha.

IV. Ứng dụng thực tiễn nhận diện thủ ngữ bằng học sâu

Nghiên cứu ứng dụng mô hình học sâu nhận diện thủ ngữ khẳng định năng lực ứng dụng công nghệ cao của sinh viên ĐH Sư phạm Kỹ thuật TP.HCM. Sự kết hợp giữa mạng HRNet và Transformer mang lại độ chính xác vượt trội cùng tốc độ phản hồi tối ưu. Hệ thống chứng minh tính khả thi khi vận hành trên video thời gian thực, mở ra triển vọng ứng dụng rộng rãi. Công nghệ này có thể tích hợp trực tiếp vào ứng dụng di động hỗ trợ giao tiếp hàng ngày giữa người khiếm thính và cộng đồng. Trong môi trường y tế, giải pháp giúp bệnh nhân khiếm thính trao đổi bệnh tình với bác sĩ một cách chính xác mà không cần thông dịch viên. Các trung tâm hành chính công có thể lắp đặt ki-ốt thông minh để hỗ trợ thủ tục hồ sơ thuận tiện. Kết quả đồ án tốt nghiệp này không chỉ đóng góp về mặt học thuật mà còn mang lại giá trị nhân văn sâu sắc. Hướng nghiên cứu tiếp theo sẽ tập trung mở rộng vốn từ vựng và tối ưu hóa mô hình nhẹ cho các vi xử lý biên.

4.1. Triển khai phần mềm hỗ trợ giao tiếp cho cộng đồng

Sản phẩm từ đề tài có tiềm năng thương mại hóa thành ứng dụng trợ lý ảo trên điện thoại thông minh. Người bình thường và người câm điếc có thể trò chuyện hai chiều mượt mà thông qua camera quan sát và loa phát âm thanh tổng hợp. Hệ thống dịch tức thời cử chỉ tay thành phụ đề hiển thị trực quan trên màn hình. Thiết kế giao diện thân thiện giúp người lớn tuổi hoặc trẻ em khiếm thính đều sử dụng dễ dàng. Ứng dụng còn đóng vai trò công cụ giảng dạy trực quan trong các lớp giáo dục chuyên biệt, hỗ trợ học sinh rèn luyện kỹ năng ra dấu chuẩn xác hơn.

4.2. Định hướng phát triển hệ thống trên thiết bị biên

Hướng phát triển tương lai của nhóm nghiên cứu tập trung vào việc nén mô hình học sâu thông qua kỹ thuật lượng tử hóa và cắt tỉa trọng số. Mục tiêu là vận hành mạng nơ-ron trực tiếp trên các chip xử lý biên như Raspberry Pi hoặc vi điều khiển nhúng công suất thấp. Việc xử lý dữ liệu ngay tại thiết bị biên loại bỏ hoàn toàn sự phụ thuộc vào đường truyền mạng Internet. Đồng thời, giải pháp này giúp bảo vệ tối đa tính riêng tư dữ liệu hình ảnh của người sử dụng. Đây là bước đi chiến lược nhằm đưa giải pháp trí tuệ nhân tạo tiếp cận đông đảo người dùng phổ thông.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU MÔ HÌNH NHẬN DIỆN THỦ NGỮ 1.1 Mô hình nhận diện thủ ngữ: Nhận diện Ngôn ngữ Ký hiệu (SLR) là một lĩnh vực ngày càng thu hút sự chú ý trong cộng đồng nghiên cứu, với tiềm năng to lớn trong việc thu hẹp khoảng cách giao tiếp giữa người khiếm thính và cộng đồng nghe. Mặc dù đạt được nhiều tiến bộ, SLR vẫn là một nhiệm vụ đầy thách thức do tính phức tạp của ngôn ngữ ký hiệu, bao gồm các cử động tay phức tạp, biểu cảm khuôn mặt và chuyển động cơ thể. Sự khác biệt về ký hiệu và cử chỉ giữa các cá nhân và khu vực khác nhau, cùng với nhu cầu về các mô hình mạnh mẽ có thể hoạt động trong điều kiện thực tế, càng làm tăng thêm độ khó của bài toán. Trong số nhiều phương pháp tiếp cận đã được phát triển, mô hình Sign Pose-based Transformer để nhận diện video thủ ngữ mức từ và mô hình Two-Stream Network để nhận diện video thủ ngữ mức câu nổi lên như hai trong số những kiến trúc nổi bật nhất.

Phần này sẽ cung cấp chi tiết về hai phương pháp này, xem xét kiến trúc, hiệu suất và tính phù hợp của chúng đối với các tác vụ SLR khác nhau.2 Mô hình Sign Pose-based Transformer cho nhận diện thủ ngữ mức từ: Mô hình Sign Pose-based Transformer (SPOTER) là mô hình được áp dụng trong bài toán nhận diện hoặc dịch ngôn ngữ ký hiệu mức từ (Sign Language Recognition). Nó tận dụng các đặc trưng từ các khung hình video hoặc bộ cảm biến để mô tả chuyển động và vị trí (Pose-based) của cơ thể và tay. Transformer được sử dụng để học mối quan hệ không gian và thời gian của các chuyển động này.1 Mediapipe Holistic: MediaPipe Holistic là một pipeline đa nhiệm do Google phát triển, tích hợp các mô hình khác nhau để nhận diện và theo dõi tư thế cơ thể, các điểm mốc trên khuôn mặt và chuyển động tay trong thời gian thực. Đây là một giải pháp tiên tiến, cho phép phát hiện đồng thời các bộ phận trên cơ thể con người từ một video hoặc luồng hình ảnh trực tiếp, giúp cung cấp một hệ thống nhất quán để theo dõi toàn diện toàn bộ cơ thể.

[8] Đặc điểm nổi bật của MediaPipe Holistic: 1. Đa giai đoạn (Multi-stage Pipeline): MediaPipe Holistic sử dụng các mô hình riêng biệt cho từng bộ phận – tư thế cơ thể, khuôn mặt, và tay – nhưng vẫn đảm 18 bảo kết hợp chúng một cách mượt mà và nhất quán. Các vùng này được xử lý bằng độ phân giải phù hợp để đảm bảo tính chính xác cao nhất cho từng chi tiết, ví dụ, tay và mặt được theo dõi với độ phân giải cao hơn. Ứng dụng thời gian thực: Nhờ tối ưu hóa hiệu suất, MediaPipe Holistic có thể hoạt động trên thiết bị di động và thực hiện nhận diện đồng thời ba phần: tư thế cơ thể, khuôn mặt và tay trong thời gian thực, đáp ứng được nhu cầu của nhiều ứng dụng hiện đại như phân tích thể thao, thực tế tăng cường, điều khiển bằng cử chỉ và nhận diện ngôn ngữ ký hiệu.

Các ứng dụng thực tiễn: MediaPipe Holistic hỗ trợ nhiều lĩnh vực trong đời sống hiện đại, chẳng hạn như: o Phân tích thể thao và thể dục: Giúp người dùng phân tích chuyển động và cải thiện kỹ thuật tập luyện. o Điều khiển bằng cử chỉ và nhận diện ngôn ngữ ký hiệu: Tạo ra những cách thức giao tiếp và tương tác mới, đặc biệt là cho người khiếm thính. o Thực tế tăng cường (AR): Áp dụng vào thử đồ và thêm các hiệu ứng trên khuôn mặt và tay. Cách hoạt động: MediaPipe Holistic kết hợp ba mô hình riêng biệt và thực hiện suy luận đồng thời trên nhiều mạng nơ-ron phụ thuộc lẫn nhau.

Điều này tạo ra một hệ thống mạnh mẽ có thể theo dõi các bộ phận của cơ thể con người theo cách có ý nghĩa về mặt ngữ nghĩa, cho phép các mô hình hoạt động cùng nhau một cách đồng nhất và mạch lạc. Nhìn chung, MediaPipe Holistic mang lại khả năng nhận diện toàn diện, chính xác và có hiệu suất cao cho nhiều ứng dụng khác nhau, đặc biệt là trên các thiết bị di động. 19 Ảnh 1: Ví dụ về MediaPipe Holistic [8] 1.2 Mạng nơ-ron Transformer: 1.1 Tại sao chọn Transformer: Transformer lần đầu tiên được giới thiệu trong bài báo “Attention Is All You Need” vào năm 2017. Trước đó, các mô hình như Recurrent Neural Networks (RNNs) thường được sử dụng cho các bài toán NLP, đặc biệt là dịch máy.

RNNs có khả năng xử lý chuỗi dữ liệu theo thời gian, tuy nhiên, cách hoạt động tuần tự của chúng dẫn đến hạn chế về tốc độ và khó khăn trong việc nắm bắt mối quan hệ giữa các từ cách xa nhau trong câu. Điều này khiến RNNs kém hiệu quả khi làm việc với chuỗi dài. [14] Transformer đã khắc phục hoàn toàn những vấn đề trên bằng cách sử dụng cơ chế Attention, giúp mô hình xử lý toàn bộ chuỗi dữ liệu một cách đồng thời thay vì tuần tự. Điều này không chỉ tăng tốc độ xử lý mà còn cho phép mô hình học được các mối liên hệ xa giữa các phần tử trong chuỗi.

Recurrent Neural Networks (RNNs) Mạng nơ-ron hồi tiếp (Recurrent Neural Networks – RNNs) là một mở rộng của mạng nơ-ron truyền thống, được thiết kế đặc biệt để xử lý dữ liệu dạng chuỗi, chẳng hạn như chuỗi từ trong câu. Điểm đặc trưng của RNNs nằm ở khả năng ghi nhớ thông tin từ các bước trước đó trong chuỗi, bởi mỗi bước xử lý đều phụ thuộc vào kết quả từ các bước trước, tạo nên tính chất hồi tiếp trong quá trình học và dự đoán.Nhờ khả năng ghi nhớ thông tin trong chuỗi, RNNs phù hợp với các bài toán cần biểu diễn mối quan hệ tuần tự giữa các phần tử. 20 Với tính chất này, RNNs từng được áp dụng rộng rãi trong xử lý ngôn ngữ tự nhiên (NLP). Một ví dụ phổ biến là mô hình sequence-to-sequence, thường dùng trong bài toán dịch máy.

Trong mô hình này, một câu đầu vào được mã hóa thành vector (encoder), sau đó được giải mã để tạo ra câu đầu ra (decoder). Cả quá trình mã hóa và giải mã đều dựa trên RNNs. Ngoài ra, RNNs còn được dùng trong các bài toán khác như dự đoán chuỗi thời gian, ví dụ: dự đoán giá cổ phiếu hoặc doanh thu. Tuy nhiên, sau một thời gian được áp dụng, RNNs bộc lộ nhiều hạn chế.

• Tốc độ huấn luyện chậm: Ngay cả khi dùng kỹ thuật Truncated Backpropagation, việc huấn luyện RNNs vẫn tốn nhiều thời gian. • Hiện tượng Gradient Vanishing: Khi xử lý các chuỗi dài, gradient trong RNNs dần nhỏ lại, khiến mô hình khó ghi nhớ mối quan hệ xa. Ví dụ: Với câu “After years of working in Japan, I became fluent in ____,” chúng ta dễ dàng đoán từ cần điền là "Japanese" nhờ thông tin "working in Japan." Tuy nhiên, RNNs thường gặp khó khăn với các chuỗi dài như vậy, dẫn đến việc không thể kết nối thông tin ở các vị trí xa trong chuỗi. Long Short Term Memory (LSTM) Ảnh 2: Mô hình Long Short Term Memory (LSTM).

[13] Mô hình Long Short Term Memory (LSTM) được phát triển như một giải pháp để khắc phục vấn đề Gradient Vanishing thường gặp ở RNNs. Nhờ vào cơ chế cổng (gates), LSTM có khả năng ghi nhớ thông tin quan trọng trong chuỗi dài và bỏ qua những thông tin không cần thiết, giúp cải thiện đáng kể hiệu suất trên các chuỗi dữ liệu phức tạp. Tuy nhiên, nhược điểm của LSTM là cấu trúc phức tạp, dẫn đến thời gian 21 huấn luyện chậm hơn đáng kể so với RNNs thông thường. Điều này đã làm giảm tính thực tiễn của LSTM trong các ứng dụng cần tốc độ xử lý cao, đặc biệt khi triển khai trong các hệ thống NLP yêu cầu khả năng mở rộng nhanh.

Mạng nơ-ron Transformer đã khắc phục triệt để những hạn chế của RNNs, đánh dấu một bước tiến lớn trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Transformer được thiết kế để giải quyết nhiều bài toán khác nhau, bao gồm dịch máy, sinh ngôn ngữ, phân loại văn bản, nhận dạng thực thể, nhận dạng giọng nói, và chuyển đổi văn bản thành giọng nói. Điểm khác biệt chính so với RNNs là Transformer không yêu cầu xử lý dữ liệu đầu vào theo thứ tự tuần tự. Thay vì phải phân tích phần đầu câu trước rồi mới đến phần cuối, Transformer xử lý toàn bộ chuỗi dữ liệu cùng lúc.

Nhờ khả năng này, Transformer tận dụng hiệu quả sức mạnh tính toán song song của GPU, giúp tăng tốc độ xử lý đáng kể so với các mô hình trước đây. Ảnh 3: Kiến trúc tổng quan của Transformer Neural Network.2 Embedding Layer with Position Encoding: Transformer không xử lý dữ liệu tuần tự như RNNs mà xử lý toàn bộ chuỗi đầu vào (sequence) cùng một lúc. Tuy nhiên, do mô hình không có cơ chế tuần tự tự nhiên, nó không biết thứ tự của các phần tử trong chuỗi. Embedding Layer with Positional Encoding giải quyết vấn đề này bằng cách: - Embedding Layer: Biểu diễn từng token trong chuỗi thành một vector đặc trưng (feature vector).

Mỗi từ (hoặc token) trong từ điển được ánh xạ tới một vector trong không gian số chiều cố định dmodel (thường là 512, 768, v. Embedding layer giống như một bảng tra cứu, với mỗi từ có một vector tương ứng.4] Ví dụ thực tế: • Chuỗi đầu vào: "I love AI" • Đầu tiên, các từ này được mã hóa thành các token số nguyên dựa trên từ điển, ví dụ: o "I" → 101, "love" → 546, "AI" → 892. • Sau đó, mỗi token số nguyên được ánh xạ tới một vector nhờ Embedding layer: o "I" → [0.9] Kết quả: • Ma trận nxdmodel , trong đó n là số lượng token trong chuỗi, dmodel là số chiều của vector embedding. - Positional Encoding: Thêm thông tin về vị trí (thứ tự) của từng token vào các vector đặc trưng, để mô hình hiểu được quan hệ giữa các vị trí trong chuỗi.

23 Transformer sử dụng hàm sin và cos để tạo ra các vector vị trí (positional vectors). Các vector này được cộng vào vector embedding của từng token. Công thức Positional Encoding tại vị trí pos và chiều i (trong vector). Cụ thể, tại vị trí chẵn, ta sử dụng hàm sin, và với vị trí lẻ ta sử dụng hàm cos để tính giá trị tại chiều đó.

[14] sin( wk  t ) if i = 2k pti = f (t )i =  cos( wk  t ) if i = 2k + 1 Trong đó 1 wk = 2k 10000 d Hàm sin và cos tạo ra các vector vị trí mà mỗi vị trí có một biểu diễn duy nhất. Các vector này có tính chất tuần tự: vị trí gần nhau sẽ có các giá trị tương đồng, giúp mô hình dễ dàng học mối quan hệ giữa các token.