Khóa luận: Ứng dụng hỗ trợ người khiếm thị nhận biết giao thông bằng AI và MLOps tại ĐH Sư phạm Kỹ thuật TP.HCM

Giải pháp xây dựng ứng dụng hỗ trợ người khiếm thị nhận biết môi trường giao thông thông minh nhờ công nghệ AI và quy trình MLOps toàn diện.

• Tác giả: Bùi Đức Nhân
• Người hướng dẫn: PGS.TS. Hoàng Văn Dũng
• Trường học: Trường Đại học Sư phạm Kỹ thuật TP.HCM
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Xây dựng ứng dụng hỗ trợ người khiếm thị nhận biết môi trường giao thông dựa trên AI và MLOps
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan ứng dụng AI hỗ trợ người khiếm thị nhận biết giao thông

Đề tài tốt nghiệp ngành Kỹ thuật Dữ liệu tại Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE) tập trung giải quyết bài toán hỗ trợ di chuyển cho người khiếm thị. Sinh viên Bùi Đức Nhân, Huỳnh Thiện Nhân và Đái Triệu Phi thực hiện công trình dưới sự hướng dẫn của PGS.TS Hoàng Văn Dũng. Nghiên cứu kết hợp trí tuệ nhân tạo thị giác máy tính và kỹ thuật MLOps hiện đại. Mục tiêu chính là xây dựng trợ lý ảo nhận diện ngữ cảnh đường sá chính xác. Thiết bị thu nhận khung cảnh giao thông qua camera. Mô hình AI phân tích dữ liệu hình ảnh phức tạp. Sau đó, hệ thống tự động sinh lời thuyết minh tự nhiên bằng tiếng Việt. Âm thanh phản hồi truyền đến tai nghe người dùng nhanh chóng. Mô hình giúp người khiếm thị nhận biết phương tiện, người đi bộ và chướng ngại vật xung quanh. Công trình chứng minh năng lực ứng dụng khoa học dữ liệu vào an sinh xã hội. Toàn bộ kiến trúc được tối ưu hóa liên tục để thích nghi môi trường đô thị Việt Nam.

1.1. Bối cảnh đề tài khóa luận tại Khoa CNTT HCMUTE

Khoa Công nghệ Thông tin tại Đại học Sư phạm Kỹ thuật TP.HCM luôn khuyến khích các đề tài nghiên cứu nhân văn. Đề tài tốt nghiệp ngành Kỹ thuật Dữ liệu khóa 2021-2025 xuất phát từ thực tế khó khăn của cộng đồng khiếm thị. Khi di chuyển ngoài đường, người khiếm thị đối mặt nguy hiểm rình rập từ xe cộ và chướng ngại vật. Giao thông tại các đô thị Việt Nam có lưu lượng xe máy dày đặc và vỉa hè không đồng nhất. Nhóm nghiên cứu dưới sự định hướng của PGS.TS Hoàng Văn Dũng đã đặt ra bài toán số hóa môi trường xung quanh. Nghiên cứu phát triển công cụ hỗ trợ thị giác nhân tạo chính xác, mang lại sự độc lập cho người khuyết tật.

1.2. Mục tiêu tích hợp AI và MLOps trong hỗ trợ thị giác

Mục tiêu cốt lõi của nghiên cứu là xây dựng cầu nối giữa thị giác máy tính và ngôn ngữ tự nhiên tiếng Việt. AI đảm nhận vai trò 'đôi mắt thông minh' để nhận diện không gian xung quanh. Trong khi đó, nền tảng MLOps đảm bảo toàn bộ vòng đời của mô hình diễn ra trơn tru. Quá trình thu thập dữ liệu, huấn luyện, đánh giá và triển khai được tự động hóa hoàn toàn. Nhờ MLOps, hệ thống có thể liên tục cập nhật và thích ứng với các tình huống giao thông mới mà không bị gián đoạn dịch vụ. Sự kết hợp này biến mô hình nghiên cứu lý thuyết thành một sản phẩm thực tế có khả năng mở rộng. Mô hình hướng tới độ trễ xử lý cực thấp, phục vụ nhu cầu dẫn đường ngay lập tức.

II. Thách thức nhận biết giao thông đô thị đối với người khiếm thị

Không gian giao thông tại các thành phố lớn ở Việt Nam có tính chất hỗn loạn và phức tạp. Đường phố có nhiều phương tiện cơ giới đan xen với mật độ dày đặc. Vỉa hè thường bị chiếm dụng bởi hàng quán, cây xanh và phương tiện đỗ sai quy định. Người khiếm thị gặp vô vàn rào cản khi sử dụng gậy dẫn đường truyền thống. Gậy chỉ phát hiện vật cản ở tầm thấp gần mặt đất. Thiết bị cơ học này không thể nhận diện biển báo, đèn tín hiệu hay phương tiện đang lao tới từ xa. Hơn nữa, tiếng ồn đô thị làm giảm khả năng định vị qua thính giác thông thường. Những hạn chế này làm tăng nguy cơ tai nạn giao thông nghiêm trọng. Các công nghệ nhận diện hình ảnh trước đây thường chỉ tập trung vào tiếng Anh hoặc chạy đơn lẻ trên máy tính cấu hình cao. Chúng thiếu tính đồng bộ và khó triển khai thời gian thực ngoài thực địa. Môi trường ánh sáng thay đổi thất thường cũng gây khó khăn cho các thuật toán xử lý ảnh cổ điển. Nhu cầu đặt ra là phải có giải pháp công nghệ toàn diện và thông minh hơn.

2.1. Hạn chế của công cụ dẫn đường truyền thống và mô hình cũ

Gậy trắng và chó dẫn đường là hai phương tiện truyền thống phổ biến nhất hiện nay. Tuy nhiên, gậy trắng chỉ có phạm vi tiếp xúc hạn chế trong bán kính một mét. Công cụ này hoàn toàn bất lực trước chướng ngại vật treo lơ lửng ngang tầm ngực hoặc đầu. Nuôi dưỡng và huấn luyện chó dẫn đường lại tốn kém chi phí quá lớn và chưa khả thi tại Việt Nam. Về mặt công nghệ số, nhiều mô hình nhận diện ảnh trước đây chỉ phân loại vật thể đơn lẻ bằng khung chữ nhật. Chúng thiếu khả năng phân tích mối quan hệ không gian đa chiều giữa các phương tiện di chuyển. Ngoài ra, việc thiếu hụt tập dữ liệu giao thông nội địa khiến các mô hình ngoại quốc đưa ra dự đoán sai lệch.

2.2. Khó khăn trong quản lý vòng đời mô hình học máy ngoài thực tế

Triển khai mô hình học máy đối mặt với bài toán suy giảm hiệu năng theo thời gian. Hiện tượng lệch dữ liệu (data drift) xảy ra khi thời tiết, ánh sáng hoặc quy hoạch hạ tầng thay đổi. Nếu thiếu một quy trình MLOps bài bản, việc cập nhật mô hình đòi hỏi can thiệp thủ công rất tốn thời gian. Quá trình kiểm thử, đóng gói và phát hành phiên bản mới dễ phát sinh lỗi kỹ thuật. Ngoài ra, việc vận hành mô hình trí tuệ nhân tạo thị giác trên thiết bị di động bị giới hạn bởi năng lượng pin và bộ nhớ. Việc đồng bộ hóa dữ liệu từ thiết bị đầu cuối về máy chủ trung tâm đòi hỏi độ ổn định cao. Thiếu hạ tầng MLOps khiến hệ thống không thể tự phục hồi và duy trì độ tin cậy.

III. Giải pháp mô hình PVG và quy trình MLOps nhận biết giao thông

Nhóm nghiên cứu tại HCMUTE đề xuất giải pháp đột phá mang tên BartPho-ViT-GPT2 (ký hiệu là PVG). Kiến trúc kết hợp linh hoạt giữa xử lý thị giác và sinh ngôn ngữ tự nhiên. Phương pháp áp dụng cấu trúc Encoder-Decoder dựa trên nền tảng Transformer tân tiến. Bộ mã hóa sử dụng Vision Transformer (ViT) để trích xuất đặc trưng hình ảnh sâu sắc. ViT chia nhỏ bức ảnh thành các mảng vá rồi chuyển đổi thành chuỗi vector ngữ nghĩa. Bộ giải mã ngôn ngữ sử dụng kiến trúc GPT-2 mạnh mẽ. Nhóm tích hợp thêm bộ tách từ BARTpho tokenizer để tối ưu hóa việc phân tách từ ngữ tiếng Việt. Mô hình tiếp nhận luồng hình ảnh giao thông và lập tức dịch thành câu miêu tả mạch lạc. Hệ thống tự động chuyển đổi văn bản thành âm thanh để đọc cho người khiếm thị. Bên cạnh đó, nhóm xây dựng đường ống MLOps tự động hóa từ khâu tiền xử lý đến giám sát vận hành. Quy trình này đảm bảo mô hình hoạt động ổn định và có khả năng tự sửa lỗi liên tục.

3.1. Kiến trúc Encoder Decoder của mô hình BartPho ViT GPT2

Kiến trúc PVG tạo ra bước tiến quan trọng trong bài toán sinh chú thích hình ảnh tiếng Việt. Visual Encoder dựa trên Vision Transformer tiếp nhận ảnh đầu vào từ camera di động. Khung cảnh được chia thành các mảnh nhỏ và xử lý qua các tầng tự chú ý (self-attention). Cơ chế này giúp mô hình nắm bắt cả chi tiết cục bộ lẫn ngữ cảnh tổng thể của giao thông. Sau đó, các biểu diễn đặc trưng được truyền sang Caption Decoder sử dụng kiến trúc GPT-2. Bộ tách từ BARTpho đóng vai trò chuẩn hóa và chia nhỏ từ vựng tiếng Việt chính xác. Sự kết hợp này giúp văn bản đầu ra đúng ngữ pháp và sát thực tế. Câu văn sinh ra mô tả rõ phương tiện, vị trí và khoảng cách an toàn.

3.2. Đường ống MLOps tự động hóa kiểm thử và triển khai mô hình

Đường ống MLOps khép kín giữ vai trò then chốt trong việc duy trì hiệu suất ứng dụng. Hệ thống thiết lập quy trình tích hợp và triển khai liên tục (CI/CD) chuyên biệt cho máy học. Dữ liệu hình ảnh mới được tự động gắn nhãn, kiểm định chất lượng và bổ sung vào kho lưu trữ. Khi phát hiện hiện tượng suy giảm độ chính xác, quy trình huấn luyện lại (continuous training) lập tức kích hoạt. Mô hình sau khi huấn luyện được đánh giá khắt khe qua các bộ chỉ số định lượng. Chỉ những phiên bản vượt qua bài kiểm thử an toàn mới được đóng gói thành container và triển khai lên máy chủ. Việc giám sát chỉ số độ trễ giúp bảo đảm phản hồi âm thanh luôn tức thì.

IV. Hiệu quả thực tiễn và triển vọng ứng dụng AI hỗ trợ khiếm thị

Nghiên cứu của nhóm sinh viên HCMUTE khẳng định tính khả thi vượt trội của việc ứng dụng trí tuệ nhân tạo vào hỗ trợ người yếu thế. Mô hình PVG mang lại kết quả vượt bậc trong việc tạo câu mô tả tiếng Việt chuẩn xác và giàu ngữ cảnh. Tốc độ nhận diện nhanh giúp hệ thống phản hồi tức thì về các hiểm họa giao thông xung quanh. Người khiếm thị có thể tự tin sải bước trên đường phố đông đúc. Họ không còn hoàn toàn phụ thuộc vào sự trợ giúp của người thân hay gậy cơ học. Hơn thế nữa, kiến trúc MLOps chuyên nghiệp giúp dự án vận hành bền vững và sẵn sàng mở rộng quy mô. Ứng dụng có tiềm năng tích hợp sâu rộng vào điện thoại thông minh hoặc kính thực tế ảo thông minh trong tương lai. Sự thành công của đề tài mở ra hướng tiếp cận mới cho các công trình giao thông thông minh phục vụ cộng đồng tại Việt Nam. Đây là minh chứng rõ nét cho giá trị nhân văn mà công nghệ dữ liệu hiện đại mang lại.

4.1. Khả năng triển khai trên thiết bị di động và thiết bị đeo

Mô hình PVG được định hướng tích hợp trực tiếp lên điện thoại thông minh nhỏ gọn. Người dùng chỉ cần đeo điện thoại trước ngực hoặc gắn kèm kính đeo thông minh có camera. Hình ảnh môi trường giao thông được truyền liên tục về khối tính toán xử lý. Hệ thống tối ưu hóa thuật toán để tiết kiệm tối đa năng lượng tiêu thụ trên thiết bị di động. Âm thanh thông báo được truyền tải qua tai nghe dẫn truyền xương chuyên dụng. Thiết bị này giúp người khiếm thị vừa nghe được cảnh báo AI vừa lắng nghe được tiếng động thực của môi trường. Khả năng tương thích phần cứng cao là tiền đề giúp sản phẩm nhân rộng nhanh chóng trong cộng đồng.

4.2. Hướng phát triển hoàn thiện hạ tầng dữ liệu và trợ lý thông minh

Trong giai đoạn tiếp theo, nhóm nghiên cứu hướng tới mở rộng tập dữ liệu ảnh giao thông đa dạng hơn. Hệ thống sẽ bổ sung các dữ liệu thời tiết cực đoan như mưa bão, sương mù dày hoặc ban đêm thiếu sáng. Đồng thời, công nghệ xử lý giọng nói hai chiều sẽ được tích hợp để tạo thành trợ lý tương tác hoàn chỉnh. Người khiếm thị có thể trực tiếp hỏi đáp bằng khẩu lệnh về vị trí trạm xe buýt hoặc lối đi sang đường. Đường ống MLOps sẽ liên tục được nâng cấp với tính năng tự động phát hiện lỗi và tự thích nghi. Nhờ đó, ứng dụng duy trì được sự chuẩn xác lâu dài và ngày càng thông minh hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực trí tuệ nhân tạo, bài toán chú thích hình ảnh tự động (Image Captioning) là sự kết hợp liên ngành giữa thị giác máy tính (Computer Vision - CV) và xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP). Mục tiêu cốt lõi của bài toán là chuyển đổi các đặc trưng trực quan cấp thấp của một hình ảnh thành chuỗi biểu diễn ngữ nghĩa cấp cao dưới dạng ngôn ngữ tự nhiên. Ứng dụng thực tiễn của công nghệ này mang ý nghĩa xã hội sâu sắc, đặc biệt là việc hỗ trợ người khiếm thị nhận thức không gian xung quanh, tiếp cận thông tin trực quan và hòa nhập cộng đồng.

Tại Việt Nam, giao thông đường bộ có đặc thù phức tạp với mật độ phương tiện đông đúc, cơ sở hạ tầng đa dạng và sự đan xen của nhiều loại hình phương tiện. Người khiếm thị khi tham gia giao thông phải đối mặt với nhiều rào cản và rủi ro nghiêm trọng về an toàn. Mặc dù các nghiên cứu về Image Captioning trên thế giới đã đạt được nhiều bước tiến lớn với các mô hình tiếng Anh dựa trên các tập dữ liệu quy mô lớn như MSCOCO, việc ứng dụng cho bối cảnh Việt Nam vẫn gặp thách thức nghiêm trọng:

• Sự khan hiếm dữ liệu huấn luyện tiếng Việt chuyên sâu: Phần lớn các bộ dữ liệu chú thích hình ảnh tiếng Việt hiện có (như UiT-ViIC, KTViC) chỉ tập trung vào các ngữ cảnh đời sống tổng quát, hoàn toàn thiếu vắng các tập dữ liệu chuyên biệt về môi trường giao thông đường bộ tại Việt Nam.
• Rào cản ngôn ngữ và cấu trúc ngữ pháp: Tiếng Việt có đặc thù ngữ pháp, cách ngắt từ và cấu trúc biểu đạt riêng biệt, đòi hỏi các bộ tách từ (tokenizer) và bộ giải mã ngôn ngữ phải được thiết kế tối ưu thay vì áp dụng trực tiếp các mô hình tiếng Anh.
• Thiếu hụt quy trình vận hành tự động (MLOps): Nhiều công trình dừng lại ở mức độ nghiên cứu thực nghiệm rời rạc, chưa xây dựng được quy trình kỹ thuật dữ liệu (Data Pipeline), hồ dữ liệu (Data Lake) và hệ thống MLOps khép kín để tự động hóa việc thu thập, lưu trữ, kiểm thử, huấn luyện tăng cường (Incremental Learning) và triển khai mô hình vào đời sống thực tế.

Nhằm giải quyết các hạn chế trên, đề tài đã xác lập các mục tiêu và nhiệm vụ nghiên cứu cụ thể:

Mục tiêu nghiên cứu: Xây dựng giải pháp công nghệ toàn diện hỗ trợ người khiếm thị nhận biết môi trường giao thông tại Việt Nam thông qua các mô tả ngắn gọn, chính xác bằng tiếng Việt từ hình ảnh camera; đồng thời thiết lập hệ thống MLOps tự động hóa toàn bộ vòng đời phát triển và cập nhật mô hình.

Nhiệm vụ lý thuyết:

1. Tìm hiểu các khó khăn của người khiếm thị khi tham gia giao thông và khảo sát các giải pháp công nghệ hỗ trợ hiện có.
2. Nghiên cứu nền tảng xử lý hình ảnh và văn bản trong nhận diện đối tượng giao thông, trọng tâm là kiến trúc Transformer và các độ đo đánh giá học thuật.
3. Nghiên cứu phương pháp thiết kế Data Pipeline, Data Lake và toàn bộ quy trình MLOps nhằm tự động hóa các bước phát triển, huấn luyện và theo dõi mô hình.
4. Nghiên cứu thiết kế ứng dụng di động cơ bản, tối ưu trải nghiệm tương tác cho người khiếm thị.

Nhiệm vụ thực hành:

1. Xây dựng tập dữ liệu giao thông Việt Nam (Traffic Pictures Captioning - TPC37k) gán nhãn tiếng Việt với hơn 37.000 mẫu dữ liệu.
2. Thiết kế và huấn luyện mô hình học sâu đa mô thức kết hợp BARTpho Tokenizer, Vision Transformer (ViT) và GPT-2 (mô hình PVG) phục vụ sinh chú thích tự động.
3. Thiết kế, xây dựng và tối ưu quy trình MLOps tự động hóa từ khâu nạp dữ liệu đến quản lý phiên bản mô hình và lập lịch huấn luyện định kỳ.
4. Xây dựng ứng dụng di động tích hợp camera thu nhận hình ảnh, gọi mô hình AI suy luận và phản hồi kết quả bằng giọng nói (Text-to-Speech).
5. Thực nghiệm, kiểm thử và đánh giá hiệu năng hệ thống bằng các độ đo học thuật chuyên ngành.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Mô hình tạo chú thích hình ảnh (Image Captioning) giao thông tiếng Việt và quy trình MLOps hỗ trợ lưu trữ, huấn luyện, triển khai và cập nhật mô hình tự động.
• Phạm vi nghiên cứu: Giới hạn trong việc thu thập, xử lý các bối cảnh và đối tượng giao thông đường bộ phổ biến tại Việt Nam, bao gồm 4 nhóm chính: phương tiện giao thông, tình trạng giao thông, biển báo/đèn hiệu, và đối tượng tham gia giao thông. Dữ liệu bao quát các điều kiện ánh sáng (ngày, đêm, hoàng hôn), thời tiết và góc chụp đa dạng (từ camera giao thông và camera góc nhìn người dùng). Thời gian thực hiện khóa luận từ ngày 06/01/2025 đến ngày 06/06/2025.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng khoa học dựa trên sự tích hợp giữa các kiến trúc học sâu tiên tiến và kỹ thuật kỹ thuật dữ liệu hiện đại:

Khung lý thuyết và mô hình ứng dụng

1. Kiến trúc Transformer và mô hình Encoder-Decoder: Đề tài vận dụng kiến trúc mã hóa - giải mã (Encoder-Decoder) kết hợp cơ chế chú ý (Scaled Dot-Product Attention và Multi-Head Attention). Bộ mã hóa tiếp nhận dữ liệu thị giác và trích xuất vector đặc trưng, trong khi bộ giải mã tiếp nhận biểu diễn này để dự đoán phân phối xác suất của từ tiếp theo thông qua cơ chế Masked Multi-Head Attention.
2. Vision Transformer (ViT): Sử dụng làm bộ mã hóa hình ảnh (Visual Encoder). Thay vì dùng mạng tích chập truyền thống (CNN), ViT chia ảnh đầu vào thành các mảnh (patches) có kích thước cố định, chiếu tuyến tính thành các embedding và áp dụng cơ chế tự chú ý (Self-Attention) để nắm bắt quan hệ không gian toàn cục.
3. BARTpho Tokenizer: Bộ tách từ tiền huấn luyện ở cấp độ từ (word-level tokenizer) dành riêng cho tiếng Việt với kích thước từ vựng (vocabulary size) là 64.000. Thành phần này giải quyết triệt để sự nhập nhằng từ vựng và đặc thù đơn lập của tiếng Việt.
4. GPT-2 Decoder: Sử dụng làm bộ giải mã ngôn ngữ (Language Decoder), nhận các token văn bản và vector biểu diễn hình ảnh từ ViT để sinh câu mô tả tuần tự nhờ hàm kích hoạt Softmax trên lớp phân loại tuyến tính.
5. Kỹ thuật tối ưu hóa tham số (PEFT):
   • Low-Rank Adaptation (LoRA): Giữ nguyên ma trận trọng số gốc của mô hình tiền huấn luyện, chỉ chèn và huấn luyện hai ma trận hạng thấp $A$ và $B$ tại các lớp chú ý. Kỹ thuật này giúp giảm số lượng tham số cần cập nhật lên đến hàng nghìn lần và tiết kiệm bộ nhớ GPU gấp 3 lần so với tinh chỉnh toàn bộ (full fine-tuning).
   • Freeze Layer: Đóng băng trọng số của một số tầng trích xuất đặc trưng nền tảng, tập trung tài nguyên huấn luyện vào các lớp thích ứng và giải mã.
6. Kiến trúc Huy Chương (Medallion Architecture) trong Data Lake: Phân chia hồ lưu trữ thành 3 tầng chức năng:
   • Tầng Bronze (Raw Layer): Lưu trữ dữ liệu ảnh và siêu dữ liệu thô ban đầu thu thập từ internet và người dùng.
   • Tầng Silver (Refined Layer): Chứa dữ liệu đã được làm sạch, loại bỏ bản ghi lỗi/trùng lặp, chuẩn hóa định dạng và đồng bộ cấu trúc.
   • Tầng Gold (Featured Layer): Lưu trữ dữ liệu đặc trưng chất lượng cao, các vector nhúng (embeddings) và bảng dữ liệu đã xử lý phục vụ trực tiếp cho huấn luyện mô hình và báo cáo phân tích.
7. Hệ thống độ đo học thuật:
   • BLEU (Bilingual Evaluation Understudy): Đánh giá mức độ trùng khớp n-grams giữa câu sinh ra và câu tham chiếu kết hợp hệ số phạt ngắn gọn (Brevity Penalty - BP).
   • ROUGE (Recall-Oriented Understudy for Gisting Evaluation): Đo lường sự trùng lặp n-grams (ROUGE-N) và chuỗi con chung dài nhất (ROUGE-L dựa trên Longest Common Subsequence).
   • CIDEr (Consensus-based Image Description Evaluation): Độ đo chuyên biệt cho Image Captioning, tính toán tần suất n-grams kết hợp trọng số TF-IDF cho các từ hiếm để đo lường mức độ đồng thuận ngữ nghĩa với mô tả chuẩn của con người.

Phương pháp nghiên cứu

Khóa luận kết hợp đồng bộ các phương pháp nghiên cứu khoa học và kỹ thuật:

• Phương pháp phân tích - tổng hợp tài liệu: Khảo sát các công trình quốc tế về chú thích ảnh (Show, Attend and Tell; Meshed-Memory Transformer; VinVL; Florence-2) và các nghiên cứu về xử lý ngôn ngữ tiếng Việt (BARTpho, ViIC) để thiết kế kiến trúc hệ thống.
• Phương pháp kỹ thuật dữ liệu: Xây dựng quy trình tích hợp dữ liệu ELT (Extract - Load - Transform), sử dụng kỹ thuật cào dữ liệu từ internet, lọc URL, tăng cường ảnh bằng thư viện Albumentations (biến đổi cường độ pixel, biến đổi không gian, thêm nhiễu Gaussian, Random Resize Crop) và thiết kế prompt trên mô hình Gemini 2.0 Flash để tạo caption bán tự động.
• Phương pháp thiết kế hệ thống MLOps: Triển khai các công cụ mã nguồn mở phục vụ lưu trữ phân tán, điều phối pipeline tự động, quản lý vòng đời thử nghiệm và phục vụ mô hình theo kiến trúc microservices.
• Phương pháp thực nghiệm và đánh giá định lượng: So sánh hiệu năng mô hình qua các cấu hình huấn luyện (có LoRA và không có LoRA), kiểm thử chiến lược học mở rộng (Incremental Learning) và đánh giá độ chính xác qua các chỉ số BLEU, ROUGE, CIDEr.
• Phương pháp chuyên gia: Định kỳ tiếp nhận định hướng khoa học và đánh giá phản biện từ giảng viên hướng dẫn chuyên môn.

---

Thiết kế và triển khai hệ thống

Do đề tài là công trình nghiên cứu xây dựng phần mềm và hệ thống kỹ thuật dữ liệu ứng dụng AI, kiến trúc tổng thể được thiết kế theo các tiêu chuẩn công nghiệp hiện đại:

[ Nguồn ảnh: Internet / Mobile Client ]
       [ Apache Kafka Message Broker ]
       (Topics: minio-parquets, mobile_image)
      [ Tầng Lưu trữ: MinIO Object Storage ]
      (Kiến trúc Huy Chương: Bronze ➔ Silver ➔ Gold)
     [ Tầng Xử lý: Apache Spark & Airflow ]
     (Augmentation DAG, Feature Encoding DAG)
[ Trino & Superset ]    [ MLflow Tracking & Registry ]
(Query & BI Dashboard)  (LoRA Fine-tuning / Incremental Learning)
                     [ API Gateway: Nginx ]
       [ Data Query Service ]      [ Model Deploying Service ]
            (FastAPI)                   (FastAPI - PVG)
                                    [ Ứng dụng Mobile Android ]
                                    (Camera + Audio TTS)

1. Kiến trúc hệ thống MLOps và Hồ dữ liệu (Data Lake)

Hệ thống được tổ chức thành 4 tầng chức năng khép kín:

• Tầng nhập dữ liệu (Data Ingestion): Sử dụng Apache Kafka làm hàng đợi thông điệp phân tán. Dữ liệu hình ảnh từ ứng dụng di động hoặc file siêu dữ liệu được gửi vào các Kafka Topic như minio-parquets và mobile_image để bảo đảm khả năng tiếp nhận không tắc nghẽn.
• Tầng lưu trữ dữ liệu (Data Storage): MinIO Object Storage đóng vai trò kho lưu trữ đối tượng trung tâm tương thích S3. Dữ liệu được tổ chức theo kiến trúc Huy Chương: bucket Bronze chứa ảnh và file CSV gốc; bucket Silver chứa ảnh đã làm sạch và lọc URL; bucket Gold chứa ảnh đã tăng cường và các tệp định dạng Parquet tối ưu truy vấn.
• Tầng xử lý dữ liệu (Data Processing):
  • Apache Spark: Chạy các tác vụ xử lý hàng loạt (Spark Jobs) để phân tích, biến đổi dữ liệu lớn và trích xuất siêu dữ liệu.
  • Apache Airflow: Điều phối các luồng công việc tự động (DAGs), bao gồm DAG thực hiện tăng cường ảnh (data augmentation) và DAG mã hóa đặc trưng hình ảnh/caption, theo dõi chi tiết thời gian thực thi của từng tác vụ.
• Tầng tiêu thụ và giám sát (Data Consumption & Monitoring):
  • Trino (SQL Query Engine): Đóng vai trò công cụ truy vấn phân tán, cho phép thực thi SQL trực tiếp trên các tầng lưu trữ của Data Lake mà không cần chuyển đổi dữ liệu.
  • Apache Superset: Kết nối với Trino để thiết lập bảng điều khiển (Dashboard) trực quan hóa các chỉ số: phân phối danh mục ảnh, top nguồn ảnh, độ dài câu chú thích và tốc độ tăng trưởng dữ liệu trong Data Lake.
  • MLflow: Theo dõi quá trình huấn luyện, ghi nhận các siêu tham số (hyperparameters), đường cong hàm mất mát (loss curves), quản lý phiên bản mô hình (Model Registry) và hỗ trợ cơ chế nạp tự động mô hình đạt chuẩn vào môi trường Production.

2. Kiến trúc mô hình đa mô thức PVG (BartPho - ViT - GPT2)

Mô hình giải quyết bài toán sinh chú thích qua các khối chức năng:

• Khối trích xuất hình ảnh (Vision Encoder): Sử dụng Vision Transformer (ViT) chia ảnh thành các patch, trích xuất ma trận biểu diễn đặc trưng không gian của các thực thể giao thông.
• Khối chuyển đổi và gắn nhãn (Token Mapping): Tận dụng BARTpho Tokenizer để chuyển đổi chuỗi văn bản tiếng Việt thành các token id tương ứng với kho từ điển 64.000 từ.
• Khối giải mã ngôn ngữ (Caption Decoder): GPT-2 nhận các vector đặc trưng từ ViT và chuỗi token ngữ cảnh, sử dụng cơ chế chú ý có mặt nạ (Masked Attention) để dự đoán từng từ tiếp theo trong câu mô tả.
• Tối ưu hóa LoRA: Tích hợp các ma trận tích hợp hạng thấp vào các tầng Multi-Head Attention của GPT-2 và ViT, cho phép mô hình học nhanh ngữ cảnh giao thông Việt Nam trên nền tài nguyên tính toán giới hạn.

3. Kiến trúc Microservices và Ứng dụng di động

• Hạ tầng Backend: Triển khai theo mô hình vi dịch vụ với Nginx đóng vai trò API Gateway điều phối lưu lượng. Hệ thống bao gồm hai dịch vụ chính xây dựng trên nền FastAPI:
  • Data Query Service: Cung cấp các endpoint phục vụ truy vấn dữ liệu, siêu dữ liệu từ Data Lake.
  • Model Deploying Service: Cung cấp endpoint suy luận thời gian thực, tự động tải phiên bản mô hình tốt nhất từ MLflow Registry để tạo chú thích từ ảnh người dùng tải lên.
• Hệ thống ứng dụng khách (Mobile App): Ứng dụng di động được thiết kế đơn giản, giao diện tập trung vào khả năng trợ năng (accessibility). Ứng dụng mở trực tiếp camera, chụp khung cảnh giao thông phía trước, gửi yêu cầu tới Model Deploying Service qua API Gateway, nhận chuỗi chú thích văn bản và chuyển đổi thành âm thanh phát qua loa/tai nghe cho người khiếm thị.

---

Nội dung chính theo từng chương

Phần Mở đầu

Phần mở đầu thiết lập tính cấp thiết của đề tài trong việc giải quyết rào cản di chuyển an toàn cho người khiếm thị tại Việt Nam thông qua công nghệ trí tuệ nhân tạo. Tác giả chỉ ra lỗ hổng lớn của các nghiên cứu hiện nay là sự thiếu hụt dữ liệu Image Captioning tiếng Việt chuyên ngành giao thông và sự vắng bóng của các quy trình MLOps tự động hóa hoàn chỉnh. Phần này xác định rõ mục tiêu, đối tượng, phạm vi nghiên cứu 4 nhóm đối tượng giao thông, và điểm qua các công trình nền tảng trên thế giới từ kiến trúc Soft Attention, Bottom-Up/Top-Down, Transformer, đến các mô hình lớn như Florence-2, qua đó định vị hướng đi kết hợp giữa ViT, GPT-2 và BARTpho.

Chương 1: Cơ sở lý thuyết

Chương 1 hệ thống hóa toàn bộ các nền tảng toán học và kỹ thuật làm cơ sở xây dựng hệ thống:

• Phân tích các bước tiền xử lý văn bản (xóa ký tự đặc biệt, dấu câu, khoảng trắng, chuyển chữ thường) và các giải pháp tokenization (Word-level, Character-level, BPE, SentencePiece), khẳng định tính phù hợp của BARTpho tokenizer cấp từ với tiếng Việt.
• Trình bày các kỹ thuật tăng cường hình ảnh (biến đổi cường độ pixel, biến đổi không gian, thêm nhiễu Gaussian, Random Resize Crop).
• Phân tích chi tiết cơ chế Attention, Scaled Dot-Product Attention, Multi-Head Attention và cấu trúc mạng truyền thẳng (FFN) trong Transformer.
• Phân tích kiến trúc mã hóa - giải mã (Encoder-Decoder) kết hợp giữa ViT và GPT-2; cơ chế hoạt động của LoRA và Freeze Layer trong tối ưu hóa tham số.
• Trình bày kiến trúc Huy Chương (Bronze, Silver, Gold), kỹ thuật tổ chức lưu trữ hồ dữ liệu (Data Lake) phân tầng, định dạng tệp cột (Parquet), và cơ chế phân tách giữa metadata và data.
• Chi tiết hóa công thức toán học của các chỉ số đánh giá học thuật: BLEU (tính toán n-grams và Brevity Penalty), ROUGE (ROUGE-N, ROUGE-L dựa trên LCS) và CIDEr (tần suất n-grams kết hợp trọng số TF-IDF).

Chương 2: Giải pháp phát triển đề tài

Chương 2 trình bày chi tiết giải pháp kỹ thuật do nhóm nghiên cứu đề xuất:

• Phương pháp xây dựng bộ dữ liệu TPC37k (Traffic Pictures Captioning): Quy trình thu thập dữ liệu ảnh từ internet dựa trên danh mục từ khóa giao thông, lọc URL hợp lệ, loại bỏ giá trị rỗng/lỗi cú pháp trong file CSV. Áp dụng thư viện Albumentations để tăng cường dữ liệu và sử dụng mô hình Gemini 2.0 Flash thông qua API để sinh chú thích tiếng Việt tự nhiên theo khuôn mẫu prompt định sẵn (ràng buộc độ dài không quá 40 từ/câu).
• Thống kê chi tiết bộ dữ liệu TPC37k: Tổng quy mô đạt 37.056 mẫu dữ liệu (gồm 9.300 ảnh gốc và gần 28.000 ảnh tăng cường). Dữ liệu được phân chia thành 3 tập riêng biệt: Train, Validation và Test:

Tập dữ liệu (Split)	Số lượng ảnh (Images)	Số câu chú thích (Captions)	Tỷ lệ Ảnh/Chú thích	Độ dài tối đa (Max Length)	Độ dài trung bình (Avg Length)
Train	29.644	7.266	4	71 từ	31,34 từ
Val	3.706	922	4	64 từ	31,12 từ
Test	3.706	920	4	58 từ	31,16 từ
Tổng cộng / Toàn bộ	37.056	9.108	4	71 từ	31,21 từ

Thống kê từ vựng của bộ dữ liệu:

• Tổng số từ (Word total): 1.267.648 từ; Số từ duy nhất (Word unique): 2.356 từ.

• Tổng số token (Token total): 1.160.004 token; Số token duy nhất (Token unique): 1.731 token.

• Giải pháp xây dựng mô hình PVG: Thiết kế chi tiết cơ chế tương thích giữa ViT Encoder trích xuất đặc trưng hình ảnh và GPT-2 Decoder sinh văn bản tiếng Việt thông qua từ điển của BARTpho Tokenizer; tích hợp LoRA vào các khối chú ý để tối ưu hóa quá trình học.

• Quy trình MLOps tổng thể: Thiết lập sơ đồ vòng đời MLOps khép kín bao gồm thu thập dữ liệu (Kafka), lưu trữ Data Lake (MinIO), xử lý (Spark, Airflow), quản lý phiên bản (MLflow) và phân phối dịch vụ (FastAPI, Nginx).

Chương 3: Thực nghiệm mô hình và kết quả

Chương 3 ghi nhận toàn bộ quá trình triển khai thực tế trên môi trường tính toán:

• Cài đặt và cấu hình cụm công cụ MLOps: Spark Master, Kafka Control Center, MinIO Console, Airflow Webserver, Trino CLI, Superset Dashboard và MLflow Tracking Server kết nối cơ sở dữ liệu MySQL.
• Thực nghiệm đo lường hiệu năng của các DAG trên Apache Airflow: ghi nhận biểu đồ thời gian và thông số xử lý của pipeline tăng cường ảnh và pipeline mã hóa đặc trưng ảnh/caption.
• Triển khai chiến lược huấn luyện mô hình PVG: Thực hiện nạp dữ liệu từ Gold Layer của Data Lake, so sánh giữa mô hình áp dụng LoRA và mô hình huấn luyện thông thường (không áp dụng LoRA). Kết quả qua các chu kỳ huấn luyện (epochs) chứng minh LoRA giúp hàm mất mát (loss) hội tụ ổn định, giảm tải bộ nhớ GPU rõ rệt mà vẫn duy trì độ chính xác cao.
• Đánh giá chất lượng mô hình trên các độ đo học thuật (BLEU-1, BLEU-2, BLEU-3, BLEU-4, ROUGE-L, CIDEr) và so sánh định tính các câu chú thích do mô hình PVG sinh ra với câu mô tả chuẩn; kiểm thử cơ chế học tăng cường (Incremental Learning) theo phương pháp Replay-based trên môi trường Kaggle được lập lịch định kỳ nhằm cập nhật tri thức mới mà không bị hiện tượng quên thảm khốc.

Chương 4: Ứng dụng Mobile

Chương 4 mô tả sản phẩm ứng dụng di động hoàn chỉnh:

• Thiết kế kiến trúc Backend kết nối thông suốt: Ứng dụng di động gửi ảnh qua Nginx API Gateway tới Model Deploying Service (FastAPI) để nhận kết quả sinh nhãn trong thời gian thực.
• Thiết kế giao diện ứng dụng hướng tới đối tượng người khiếm thị: lược bỏ các thao tác phức tạp, sử dụng cử chỉ chạm đơn giản trên màn hình để chụp ảnh, tự động kích hoạt tính năng chuyển đổi chú thích thành giọng nói tiếng Việt nhằm thông báo tức thì môi trường giao thông xung quanh.

---

Kết quả và đóng góp

Khóa luận đã hoàn thành toàn diện các mục tiêu đề ra với các kết quả cụ thể:

1. Kết quả định lượng và sản phẩm kỹ thuật

• Bộ dữ liệu chuẩn hóa TPC37k: Xây dựng thành công bộ dữ liệu giao thông đường bộ Việt Nam đầu tiên dành riêng cho Image Captioning với quy mô 37.056 mẫu dữ liệu có cấu trúc, bao gồm 1.267.648 từ và 1.160.004 token, được phân chia khoa học thành 3 tập Train (29.644 ảnh), Validation (3.706 ảnh), và Test (3.706 ảnh).
• Mô hình học sâu PVG: Hiện thực hóa thành công mô hình kết hợp BARTpho, Vision Transformer và GPT-2. Việc áp dụng LoRA và Freeze Layer giúp tối ưu hóa đáng kể tài nguyên tính toán, cho phép mô hình hội tụ tốt với giá trị loss giảm đều qua các epoch huấn luyện, tạo ra các câu mô tả tiếng Việt mạch lạc, đúng trọng tâm đối tượng giao thông.
• Hệ thống MLOps hoàn chỉnh: Thiết lập thành công hệ thống dữ liệu tự động hóa quy mô lớn:
  • Tích hợp MinIO lưu trữ dữ liệu theo kiến trúc Huy Chương (Bronze, Silver, Gold).
  • Tự động hóa pipeline tăng cường và mã hóa dữ liệu với Apache Airflow và Apache Spark.
  • Xây dựng dashboard giám sát dữ liệu thời gian thực trên Apache Superset thông qua truy vấn Trino.
  • Quản trị vòng đời, phiên bản mô hình và triển khai Incremental Learning (Replay-based) trên MLflow.
• Ứng dụng di động thực tế: Triển khai thành công ứng dụng di động kết nối vi dịch vụ FastAPI qua Nginx API Gateway, phản hồi chú thích bằng giọng nói tiếng Việt ổn định.

2. Đóng góp khoa học và thực tiễn

• Về mặt dữ liệu: Đóng góp bộ dữ liệu TPC37k chuyên đề giao thông Việt Nam, lấp đầy khoảng trống dữ liệu có nhãn trong lĩnh vực thị giác - ngôn ngữ tiếng Việt, tạo nguồn tài nguyên nghiên cứu mở cho cộng đồng.
• Về mặt kiến trúc mô hình: Đề xuất giải pháp tích hợp hiệu quả giữa tokenizer tiếng Việt chuyên biệt (BARTpho) vào khung kiến trúc Vision Transformer và GPT-2, chứng minh tính khả thi của việc kết hợp các mô hình tiền huấn luyện dị thể để giải quyết bài toán đa mô thức cho ngôn ngữ bản địa.
• Về mặt kỹ thuật hệ thống: Xây dựng một trường hợp ứng dụng thực tế điển hình (case study) về việc triển khai quy trình MLOps và hồ dữ liệu hoàn chỉnh trong môi trường học thuật, thu hẹp khoảng cách giữa mô hình nghiên cứu lý thuyết và sản phẩm phần mềm có thể vận hành trong thực tế.

---

Hạn chế và hướng nghiên cứu tiếp

Khóa luận thẳng thắn chỉ ra các hạn chế hiện tại dựa trên phạm vi nghiên cứu và đề xuất các định hướng mở rộng:

Hạn chế

• Phạm vi dữ liệu: Bộ dữ liệu TPC37k tập trung chủ yếu vào giao thông đường bộ đô thị phổ biến; chưa bao quát sâu các môi trường giao thông phức tạp khác như ngõ hẻm nhỏ hẹp, đường nông thôn, điều kiện thời tiết cực đoan (mưa bão lớn, sương mù dày) hoặc điều kiện ban đêm thiếu sáng nghiêm trọng.
• Tạo nhãn bán tự động: Việc tạo chú thích ban đầu dựa trên API của mô hình Gemini 2.0 Flash mặc dù đảm bảo tính khái quát và ngữ điệu tự nhiên, nhưng vẫn có xác suất tồn tại các sai lệch ngữ nghĩa nhỏ ở các chi tiết biển báo giao thông đặc thù của Việt Nam mà chưa được con người kiểm tra thủ công 100%.
• Hạ tầng triển khai suy luận: Mô hình hiện tại vận hành theo cơ chế Client-Server (điện toán đám mây), phụ thuộc vào kết nối internet của thiết bị di động. Độ trễ truyền tải mạng có thể ảnh hưởng đến khả năng cảnh báo tức thì trong các tình huống giao thông phát sinh nhanh.

Hướng nghiên cứu tiếp

• Mở rộng quy mô và chất lượng dữ liệu: Thu thập thêm dữ liệu hình ảnh trong các điều kiện ánh sáng yếu, thời tiết xấu và các tình huống giao thông đặc biệt nguy hiểm; kết hợp chuyên gia con người thẩm định chi tiết các nhãn chú thích.
• Tối ưu hóa mô hình biên (On-device AI): Nghiên cứu các kỹ thuật nén mô hình như lượng tử hóa (Quantization) và cắt tỉa (Pruning) để tối ưu mô hình PVG, cho phép chạy trực tiếp trên thiết bị di động mà không cần kết nối internet, giảm thiểu độ trễ suy luận xuống mức mili-giây.
• Nâng cấp vòng đời MLOps: Hoàn thiện cơ chế tự động kích hoạt huấn luyện (Continuous Training trigger) khi phát hiện dữ liệu bị trôi (Data Drift) hoặc hiệu năng suy luận suy giảm (Concept Drift) dựa trên phản hồi của người dùng thực tế.

---

Giá trị tham khảo

Bản khóa luận tốt nghiệp là tài liệu tham khảo có giá trị chuyên môn cao đối với:

• Sinh viên và học viên cao học ngành Kỹ thuật Dữ liệu, Khoa học Dữ liệu và Công nghệ Thông tin: Có thể tham khảo phương pháp luận thiết kế hồ dữ liệu (Data Lake) theo kiến trúc Huy Chương, kỹ thuật xây dựng Data Pipeline với Spark và Airflow, cũng như cách tổ chức truy vấn phân tán bằng Trino kết hợp trực quan hóa Superset.
• Nhà nghiên cứu về Thị giác máy tính và Xử lý ngôn ngữ tự nhiên: Cung cấp tài liệu thực chứng về phương pháp ghép nối các kiến trúc Transformer dị thể (ViT, BARTpho, GPT-2), kỹ thuật tinh chỉnh tham số hiệu quả với LoRA và phương pháp thiết kế prompt tạo nhãn dữ liệu bằng các mô hình ngôn ngữ lớn (LLMs).
• Kỹ sư AI và MLOps: Cung cấp bức tranh toàn cảnh về cách thiết kế kiến trúc vi dịch vụ (Microservices), thiết lập Gateway bằng Nginx, quản trị thử nghiệm và phiên bản mô hình với MLflow, cùng chiến lược huấn luyện tăng cường (Incremental Learning) cập nhật mô hình liên tục.
• Nhóm phát triển công nghệ trợ năng cho người yếu thế: Cung cấp kinh nghiệm thiết kế giao diện tối giản và cơ chế phản hồi giọng nói hỗ trợ người khiếm thị tương tác với môi trường vật lý an toàn.

---

Câu hỏi thường gặp

1. Mô hình PVG đề xuất trong khóa luận được cấu thành từ những kiến trúc nền tảng nào và cơ chế hoạt động ra sao?
Mô hình PVG (viết tắt của BartPho - ViT - GPT2) được xây dựng theo khuôn mẫu Encoder-Decoder. Trong đó, Vision Transformer (ViT) đảm nhận vai trò bộ mã hóa trích xuất vector đặc trưng không gian từ hình ảnh; BARTpho Tokenizer (cấp độ từ với vocab_size 64.000) đảm nhận vai trò phân tách và biểu diễn từ ngữ tiếng Việt; và GPT-2 đóng vai trò bộ giải mã ngôn ngữ, tiếp nhận biểu diễn đặc trưng thị giác để dự đoán tuần tự các từ tiếp theo tạo thành câu mô tả hoàn chỉnh.

2. Bộ dữ liệu TPC37k được xây dựng với quy mô bao nhiêu và có cấu trúc phân chia như thế nào?
Bộ dữ liệu TPC37k (Traffic Pictures Captioning) bao gồm 37.056 mẫu dữ liệu (trong đó có 9.300 ảnh gốc và gần 28.000 ảnh sau tăng cường bằng Albumentations). Dữ liệu được chia theo tỷ lệ: tập Train gồm 29.644 ảnh (độ dài trung bình 31,34 từ/câu), tập Validation gồm 3.706 ảnh (độ dài trung bình 31,12 từ/câu), và tập Test gồm 3.706 ảnh (độ dài trung bình 31,16 từ/câu). Tổng lượng từ vựng đạt 1.267.648 từ với 2.356 từ duy nhất.

3. Tại sao nhóm tác giả lại áp dụng kỹ thuật LoRA trong quá trình huấn luyện mô hình PVG?
Nhóm tác giả sử dụng LoRA (Low-Rank Adaptation) nhằm giải quyết bài toán hạn chế về tài nguyên tính toán và thời gian khi huấn luyện mô hình ngôn ngữ - thị giác lớn. LoRA giữ nguyên trọng số ban đầu của mô hình tiền huấn luyện và chỉ cập nhật hai ma trận hạng thấp được chèn vào các tầng chú ý, giúp giảm số lượng tham số cần tối ưu lên tới hàng nghìn lần, giảm dung lượng bộ nhớ GPU khoảng 3 lần mà vẫn đảm bảo độ hội tụ và hiệu năng mô tả tương đương fine-tuning toàn bộ.

4. Hồ dữ liệu (Data Lake) của hệ thống MLOps được phân tầng lưu trữ theo mô hình nào?
Data Lake của hệ thống được tổ chức trên MinIO theo kiến trúc Huy Chương (Medallion Architecture) gồm 3 tầng: Tầng Bronze lưu trữ dữ liệu ảnh và file CSV thô ban đầu thu thập được; Tầng Silver chứa dữ liệu ảnh đã qua sàng lọc, làm sạch, loại bỏ URL hỏng; Tầng Gold chứa dữ liệu ảnh đã tăng cường và các file Parquet chứa embedding/đặc trưng phục vụ trực tiếp cho quá trình huấn luyện và phân tích.

5. Ứng dụng di động trong đề tài tương tác với hệ thống backend AI như thế nào để phục vụ người khiếm thị?
Ứng dụng di động hoạt động như một client kết nối tới hệ thống backend qua Nginx API Gateway. Khi người dùng chạm màn hình, camera sẽ chụp ảnh và gửi yêu cầu đến vi dịch vụ Model Deploying Service (viết bằng FastAPI). Dịch vụ này nạp mô hình PVG tốt nhất từ MLflow Model Registry để sinh câu chú thích tiếng Việt và trả kết quả về điện thoại, nơi ứng dụng sẽ tự động kích hoạt tính năng Text-to-Speech để phát âm thanh cảnh báo tới người dùng.

---

Kết luận

Khóa luận tốt nghiệp "Xây dựng ứng dụng hỗ trợ người khiếm thị nhận biết môi trường giao thông dựa trên AI và MLOps" của nhóm sinh viên Trường Đại học Sư phạm Kỹ thuật TP.HCM đã giải quyết thành công bài toán tạo sinh chú thích hình ảnh giao thông tiếng Việt thông qua mô hình đa mô thức PVG kết hợp ViT, BARTpho và GPT-2. Công trình không chỉ đóng góp bộ dữ liệu TPC37k với hơn 37.000 mẫu chuyên biệt cho bối cảnh đường bộ Việt Nam mà còn thiết lập hoàn chỉnh một hệ thống kỹ thuật dữ liệu và MLOps khép kín từ khâu thu thập, lưu trữ Data Lake đến vận hành vi dịch vụ và ứng dụng di động. Kết quả nghiên cứu mang lại giá trị thực tiễn to lớn trong việc nâng cao an toàn di chuyển cho người khiếm thị, đồng thời cung cấp một tài liệu tham khảo học thuật chuẩn mực cho việc ứng dụng AI và MLOps vào các bài toán xã hội phức tạp.

Trích đoạn nội dung tài liệu

Chương 1 trình bày cơ sở lý thuyết; Chương 2 trình bày cách tiếp cận được đề xuất để xây dựng bộ dữ liệu chú thích hình ảnh Việt Nam, kiến trúc đa phương thức làm nền tảng cho nghiên cứu và thiết kế quy trình MLOps; Chương 3 trình bày chi tiết các bước thực nghiệm và đánh giá kết quả dựa trên phương pháp được đề xuất về mô hình và MLOps; Chương 4 trình bày sản phẩm ứng dụng. Tính cấp thiết của đề tài Trong thời đại công nghệ hiện nay, việc chú thích hình ảnh bằng ngôn ngữ tự nhiên là sự kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên để mở ra nhiều ứng dụng thiết thực. Một số ví dụ tiêu biểu bao gồm hướng dẫn đường đi cho Robot/AUV thông qua camera quan sát, hay hỗ trợ người khiếm thị nhận biết môi trường xung quanh từ hình ảnh và video. Mô hình chú thích hình ảnh đang cho thấy tiềm năng to lớn trong việc cải thiện chất lượng cuộc sống của người khiếm thị.

Bằng cách chuyển đổi thông tin trực quan thành lời nói hoặc văn bản, công nghệ này mang lại cho người mù khả năng tương tác gần gũi hơn với thế giới xung quanh, từ việc nhận biết cảnh vật đến việc tham gia các hoạt động xã hội và giáo dục. Tuy nhiên, việc triển khai mô hình này còn gặp nhiều thách thức, bao gồm khả năng nhận diện chính xác trong các ngữ cảnh phức tạp và hoạt động ổn định trong điều kiện ánh sáng đa dạng. 2 Tuy nhiên, một trong những rào cản lớn đối với việc phát triển mô hình chú thích hình ảnh cho tiếng Việt là sự khan hiếm của các tập dữ liệu huấn luyện chất lượng cao. Hiện nay, phần lớn các bộ dữ liệu chú thích ảnh công khai đều tập trung vào tiếng Anh, trong khi tiếng Việt – với cấu trúc ngữ pháp và đặc trưng ngôn ngữ riêng – lại chỉ có số lượng rất hạn chế các tập dữ liệu tương ứng.

Đặc biệt, các tập dữ liệu chuyên đề như giao thông – vốn rất quan trọng trong các ứng dụng hỗ trợ người khiếm thị đi lại an toàn – lại càng hiếm hoi hơn. Chính sự thiếu hụt này đã cản trở hiệu quả huấn luyện và khả năng tổng quát hóa của các mô hình, khiến việc xây dựng các hệ thống hỗ trợ ngôn ngữ tự nhiên trong bối cảnh tiếng Việt trở nên thách thức hơn bao giờ hết. Do đó, đề tài không chỉ hướng đến xây dựng mô hình hiệu quả, mà còn góp phần giải quyết vấn đề dữ liệu bằng cách tập trung vào một chủ đề cụ thể và mang tính ứng dụng cao. Thông qua đề tài này, chúng em mong muốn phát triển một mô hình chú thích hình ảnh tự động, cung cấp giải pháp toàn diện hỗ trợ người khiếm thị trong cuộc sống và học tập, đồng thời thúc đẩy tiến bộ trong lĩnh vực công nghệ trí tuệ nhân tạo.

Ngoài ra, đề tài còn góp phần giải quyết vấn đề dữ liệu bằng cách tập trung vào một chủ đề cụ thể và mang tính ứng dụng cao. Mục tiêu nghiên cứu Mục tiêu là phát triển một giải pháp hỗ trợ người khiếm thị nhận biết môi trường giao thông tại Việt Nam qua các mô tả ngắn gọn và chính xác từ hình ảnh. Đề tài tập trung vào việc xây dựng mô hình có khả năng phân tích hình ảnh, nhận diện các đối tượng và bối cảnh, sau đó chuyển đổi chúng thành mô tả bằng ngôn ngữ tự nhiên, dễ hiểu và hữu ích trong các tình huống thực tế. Để thực hiện nghiên cứu này, nhóm em đã thu thập các bài báo khoa học, tài liệu tham khảo về các mô hình tương tự.

Xác định các hạn chế trong các nghiên cứu hiện tại, từ đó đưa ra các mục tiêu sau: − Xây dựng tập dữ liệu Image Captioning cho bối cảnh giao thông tại Việt Nam với ngôn ngữ Tiếng Việt. Áp dụng các kỹ thuật tăng cường ảnh và Prompt Engineering để định hướng nhãn caption theo một template nhất định, giúp giảm gánh nặng trong quá trình huấn luyện. 3 − Phát hiện và trích xuất đặc trưng từ hình ảnh bằng bộ mã hóa ảnh sử dụng kiến trúc Vision Transformers (ViT). − Phân tích ngữ cảnh của các đối tượng bằng bộ mã hóa caption của BARTpho kết hợp kiến trúc GPT-2 Transformers nhằm hiểu và diễn giải các ngữ cảnh khác nhau.

− Phát triển quy trình MLOps hỗ trợ khả năng tự động thu thập, lưu trữ, quản lý và học mở rộng trong tương lai. − Phát triển một phần mềm mobile tạo chú thích ảnh đơn giản bằng cách tích hợp mô hình đã huấn luyện vào camera. Đối tượng và phạm vi nghiên cứu 4. Đối tượng nghiên cứu Đối tượng nghiên cứu của đề tài bao gồm mô hình tạo chú thích cho hình ảnh (Image Captioning), và quy trình MLOps hỗ trợ huấn luyện, triển khai và cập nhật mô hình.

Đề tài tập trung phát triển một giải pháp hỗ trợ người khiếm thị nhận biết môi trường giao thông tại Việt Nam qua các mô tả ngắn gọn và chính xác từ hình ảnh. Ngoài ra, nghiên cứu còn tập trung vào xây dựng quy trình MLOps nhằm đảm bảo khả năng tự động hóa các bước phát triển mô hình gần sát với môi trường thực tế. Phạm vi nghiên cứu Phạm vi nghiên cứu các tài liệu, bài báo khoa học, và sách về tạo sinh chú thích hình ảnh (Image Captioning). Phạm vi nghiên cứu được giới hạn trong việc xử lý hình ảnh liên quan đến các bối cảnh và đối tượng phổ biến trong giao thông Việt Nam hằng ngày.

Những hình ảnh được phân chia thành các thể loại sau: − Phương tiện giao thông − Tình trạng giao thông − Biển báo và đèn hiệu − Đối tượng tham gia giao thông Phạm vi này nhằm đảm bảo dữ liệu đầu vào của mô hình phản ánh đầy đủ các tình huống mà người khiếm thị thường gặp trong giao thông. Các bức ảnh được thu thập và xử lý sẽ mang tính đa dạng, bao quát nhiều điều kiện ánh sáng, góc chụp, và bố cục để tăng cường tính ứng dụng thực tế của hệ thống. Việc giới hạn phạm vi nghiên cứu giúp tập trung vào việc tối ưu hóa mô hình Image Caption, hướng tới mục tiêu cuối cùng là hỗ 4 trợ người khiếm thị di chuyển và tương tác hiệu quả với môi trường giao thông tại Việt Nam một cách độc lập và an toàn. Phương pháp nghiên cứu Để thực hiện được đề tài nghiên cứu nhóm đã sử dụng các phương pháp sau: − Phương pháp phân tích tổng hợp: Tiến hành đọc và phân tích các tài liệu, bài báo khoa học, bài viết, video có liên quan đến lĩnh vực phát hiện đạo văn và hệ thống quản lý học tập trực tuyến.

Từ đó tổng hợp kiến thức lý thuyết làm nền tảng cho việc xây dựng hệ thống. − Phương pháp xây dựng tập dữ liệu: Thu thập dữ liệu ảnh từ internet và tận dụng Gemini API cho việc tạo caption mẫu, phục vụ xây dựng tập dữ liệu giao thông Việt Nam cho huấn luyện. − Phương pháp xử lý ngôn ngữ tự nhiên: Xử lý ngôn ngữ tự nhiên tại bước tiền xử lý giúp chuẩn hóa chú thích và giúp mô hình tiếp nhận dữ liệu nhất quán và hiệu quả hơn trong giai đoạn huấn luyện. − Phương pháp xử lý ảnh: Chuẩn hóa kích thước, định dạng hình ảnh theo tiêu chuẩn thống nhất, đảm bảo tính đồng nhất của đầu vào cho mô hình trích xuất đặc trưng.

− Phương pháp thiết kế hệ thống MLOps: Xây dựng quy trình triển khai mô hình tự động bao gồm các bước: thu thập dữ liệu, lưu trữ, huấn luyện, kiểm thử, triển khai và theo dõi. − Phương pháp đánh giá kết quả: Đánh giá hiệu quả của mô hình sinh chú thích ảnh bằng cách sử dụng các chỉ số phù hợp và phân tích chất lượng của tập dữ liệu tự xây dựng. − Phương pháp chuyên gia: Tiếp nhận ý kiến đóng góp, tư vấn và hướng dẫn chuyên môn từ giảng viên hướng dẫn – Thầy Hoàng Văn Dũng – trong suốt quá trình thực hiện đề tài. Các nghiên cứu liên quan Chú thích ảnh (Image Captioning) đã và đang là một chủ đề được nghiên cứu mạnh mẽ trong những năm gần đây, khi nhiều mô hình đã tận dụng thành công các kỹ thuật huấn luyện đa mô thức (vision-language pretraining) và cơ chế attention.

Một trong những công trình tiên phong là "Show, Attend and Tell" của Xu và cộng sự [1], trong đó attention mềm (soft attention) được sử dụng để tập trung linh hoạt vào các vùng quan 5 trọng của ảnh trong việc tạo chú thích. Nghiên cứu này đã mở đường cho hàng loạt kiến trúc chú thích ảnh dựa trên attention. Tiếp nối hướng đi này, Anderson và cộng sự đã đề xuất cơ chế Bottom-Up và Top-Down Attention [2], trong đó việc trích xuất đặc trưng ở cấp độ đối tượng và việc sinh chú thích được tách riêng, giúp mô hình tập trung vào các vùng ảnh quan trọng hiệu quả hơn. Tương tự, Huang và cộng sự đã tăng cường cơ chế attention thông qua mô hình Attention on Attention (AoA) [3], cải thiện khả năng biểu diễn bằng cách kết hợp cả trọng số attention và đặc trưng đã được attention.

Kiến trúc Transformer, lần đầu tiên được giới thiệu trong bài báo "Attention Is All You Need" của Vaswani và cộng sự [4], đã trở thành nền tảng vững chắc cho nhiều nghiên cứu về chú thích ảnh. Nhiều công trình đã áp dụng kiến trúc này, điển hình như Meshed- Memory Transformer của Cornia và cộng sự [5], mô hình sử dụng các kết nối dạng lưới và bộ nhớ để tăng cường khả năng truyền tải thông tin giữa các tầng. Pan và cộng sự [6] đã giới thiệu X-Linear Attention Networks, khai thác các tương tác bậc cao giữa các đặc trưng hình ảnh thông qua phép nhân bilinear, đặt ra một tiêu chuẩn mới cho mô hình chú thích ảnh. Herdade và cộng sự [7] đề xuất một phương pháp ánh xạ đối tượng thành từ (object-to-word) mới, trực tiếp chuyển đổi các phát hiện đối tượng thành các token ngữ nghĩa, góp phần thu hẹp khoảng cách giữa mô thức hình ảnh và văn bản.

Bên cạnh đó, sự phát triển của các mô hình tiền huấn luyện quy mô lớn đã mở ra nhiều cơ hội mới. Zhou và cộng sự [8] đã phát triển một framework tiền huấn luyện thống nhất cho cả hai nhiệm vụ: chú thích ảnh và trả lời câu hỏi bằng hình ảnh (VQA). Zhang và cộng sự giới thiệu VinVL [9], một mô hình chú trọng việc cải thiện biểu diễn thị giác thông qua các đặc trưng mạnh hơn và hệ thống phát hiện đối tượng tốt hơn.