Bối cảnh và vấn đề nghiên cứu
Trong thời đại số hóa, khối lượng dữ liệu video lưu hành trên không gian mạng và các hệ thống lưu trữ gia tăng nhanh chóng. Theo thống kê của Cisco được trích dẫn trong văn bản, tính đến năm 2022, tổng dung lượng dữ liệu Internet đã đạt ngưỡng tăng trưởng đột biến. Nguồn phát sinh dữ liệu video chủ yếu đến từ ba nhóm: các nền tảng mạng xã hội (Facebook, YouTube, TikTok, Instagram) với nhu cầu chia sẻ hình ảnh và video độ phân giải cao; hệ thống camera giám sát an ninh tại các hộ gia đình, doanh nghiệp, khu vực công cộng hoạt động liên tục 24/7; và các lĩnh vực chuyên biệt như giáo dục, y tế, truyền thông và giải trí. Sự bùng nổ này mở ra tiềm năng lớn cho khai thác thông tin, song cũng đặt ra các thách thức kỹ thuật lớn trong quản lý và truy xuất dữ liệu.
Các hệ thống hiện nay đối mặt với nhiều khó khăn trong việc tìm kiếm các đoạn video chứa sự kiện hoặc đối tượng cụ thể trong khối lượng dữ liệu khổng lồ. Từ bối cảnh đó, bài toán truy vấn sự kiện video tương tác người dùng (User Interactive Video Event Retrieval) trở thành một hướng nghiên cứu trọng tâm trong lĩnh vực thị giác máy tính (computer vision) và tính toán đa phương tiện (multimedia computing). Bài toán này cũng là chủ đề chính của nhiều cuộc thi học thuật quốc tế và trong nước như Video Browser Showdown (VBS), Hồ Chí Minh AI Challenge (HCM AIC) và FPT AI Challenge (Quy Nhơn AI Challenge).
Tác giả chỉ ra 5 thách thức cốt lõi cần giải quyết:
- Quản lý và truy xuất dữ liệu lớn: Khối lượng dữ liệu cần xử lý lên tới hàng trăm hoặc hàng nghìn giờ video, gây áp lực lớn lên không gian lưu trữ và tốc độ phản hồi truy vấn.
- Sự đa dạng của thông tin trong video: Dữ liệu video tích hợp đa dạng các phương thức biểu đạt như hình ảnh, ngữ nghĩa hành động, âm thanh/tiếng nói, vật thể và ký tự văn bản xuất hiện trong khung hình.
- Tính đa dạng và chủ quan của nội dung truy vấn: Yêu cầu từ phía người dùng rất phong phú và mang tính chủ quan cao, đòi hỏi hệ thống phải linh hoạt đáp ứng nhiều hình thức diễn đạt khác nhau.
- Khó khăn trong xử lý trình tự thời gian: Sự kiện trong video mang tính tuần tự; hệ thống phải có khả năng hiểu và xâu chuỗi các mối liên hệ thời gian và ngữ nghĩa giữa các khung hình liên tiếp.
- Rào cản ngôn ngữ và ngữ cảnh địa phương: Các bộ dữ liệu video tại Việt Nam chứa nhiều từ ngữ, cụm từ và bối cảnh văn hóa đặc thù mà các mô hình thị giác - ngôn ngữ lớn được tiền huấn luyện trên dữ liệu tiếng Anh không thể khai thác chính xác.
Mục tiêu nghiên cứu của khóa luận được phân định cụ thể:
- Tìm hiểu các phương pháp, giải pháp hiệu quả đã được áp dụng tại các cuộc thi quốc tế (điển hình là VBS giai đoạn 2022–2023).
- Xây dựng hệ thống truy vấn sự kiện video tương tác người dùng hỗ trợ đa dạng phương thức đầu vào: câu mô tả văn bản, văn bản quang học (OCR) trong khung hình, nội dung âm thanh (ASR), định danh vật thể xuất hiện, và hình ảnh tương tự.
- Tích hợp khả năng kết hợp đa phương thức trong một truy vấn.
- Hỗ trợ cơ chế truy vấn các sự kiện diễn ra tuần tự theo trục thời gian.
- Xây dựng bộ ánh xạ ngữ nghĩa hỗ trợ xử lý từ ngữ và ngữ cảnh đặc thù trong dữ liệu video tiếng Việt.
- Tối ưu hóa hiệu năng hệ thống nhằm đạt tốc độ truy vấn cao (khoảng 300ms trên 300 giờ video) song song với độ chính xác cao.
Đối tượng và phạm vi nghiên cứu:
- Đối tượng nghiên cứu: Khung hình (frame), khung hình chính (keyframe), đoạn video (video segment), sự kiện trong video, đặc trưng đa phương thức (hình ảnh, âm thanh, văn bản) và cấu trúc chỉ mục dữ liệu.
- Phạm vi dữ liệu: Bộ dữ liệu video thời sự tiếng Việt từ cuộc thi Hồ Chí Minh AI Challenge (HCM AI Challenge 2022, 2023) và dữ liệu camera an ninh từ FPT AI Challenge 2023. Quy mô dữ liệu thử nghiệm đạt khoảng 300 giờ video.
- Phạm vi thời gian: Khóa luận hoàn thành bảo vệ vào tháng 6 năm 2024 tại Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP. Hồ Chí Minh.
Cơ sở lý thuyết và phương pháp
Khóa luận áp dụng phương pháp tiếp cận kỹ thuật hệ thống kết hợp học sâu (deep learning) và kỹ thuật tính toán đa phương tiện. Hệ thống tích hợp một chuỗi các mô hình trích xuất đặc trưng tiên tiến cùng các giải pháp lập chỉ mục dữ liệu chuyên dụng.
Khung lý thuyết và mô hình trích xuất thông tin
- Mô hình Visual-Language CLIP (Contrastive Language-Image Pre-training): Được OpenAI phát triển dựa trên cơ chế học tương phản giữa 400 triệu cặp văn bản - hình ảnh (WebImageText). Mô hình gồm Text Encoder (Text Transformer 63 triệu tham số) và Image Encoder (kiến trúc ResNet hoặc Vision Transformer - ViT). Khóa luận sử dụng biến thể ViT-L/14@336 (được tinh chỉnh ở độ phân giải 336x336 pixel) để trích xuất vector đặc trưng ngữ nghĩa cho khung hình và truy vấn văn bản, cho phép phân loại zero-shot với độ chính xác tương đương mô hình có giám sát trên ImageNet (đạt mức 76.2).
- Mô hình nhận dạng ký tự quang học (OCR):
- Phát hiện chữ viết: Sử dụng mạng nơ-ron tích chập YOLOv7 với kiến trúc mở rộng E-ELAN (Extended Efficient Layer Aggregation Networks) và kỹ thuật tái tham số hóa mô hình.
- Nhận diện chữ viết: Sử dụng mô hình PARSeq (Permutation Autoregressive Sequence Vision-Language Model). PARSeq kết hợp mô hình ngôn ngữ không ngữ cảnh (context-free) và tinh chỉnh lặp (iterative-refinement) thông qua cơ chế hoán vị (Permutation Language Modeling - PLM), cùng khối giải mã Visio-lingual decoder chứa 2 lớp attention.
- Mô hình nhận dạng tiếng nói tự động (ASR): Mô hình Whisper của OpenAI đảm nhiệm chuyển đổi tín hiệu âm thanh trong video thành chuỗi văn bản (text script).
- Mô hình phát hiện đối tượng (Object Detection): Co-DETR (Collaborative DETR) được khảo sát để nhận diện các thực thể xuất hiện trong khung hình nhờ tối ưu hóa các điểm phân biệt đặc trưng và cơ chế chú ý trong bộ mã hóa/giải mã.
Phương pháp tiền xử lý và lưu trữ dữ liệu
- Tiền xử lý hình ảnh: Thực hiện trích xuất khung hình chính (keyframe) nhằm giảm thiểu dư thừa dữ liệu. Hai phương pháp được xem xét là lấy mẫu phụ cố định khoảng cách (subsample frames) và trích xuất dựa trên ngưỡng sai khác đặc trưng hình ảnh (threshold-based). Các khung hình sau đó được gom cụm thành các đoạn video (video segment) dựa trên ranh giới chuyển cảnh.
- Tiền xử lý âm thanh: Áp dụng kỹ thuật Dense Chunking. Luồng âm thanh được phân tách thành các đoạn nhỏ có phần chồng lấp (overlap) nhằm bảo toàn tính liên tục của ngữ cảnh đàm thoại, tránh mất mát thông tin khi ngắt câu.
- Hạ tầng lưu trữ và lập chỉ mục:
- Faiss (Facebook AI Similarity Search): Lưu trữ và tìm kiếm vector tương đồng (kNN) dựa trên độ đo cosine similarity cho các đặc trưng trích xuất từ CLIP.
- Elasticsearch: Lưu trữ dữ liệu dạng văn bản và metadata thông qua cấu trúc chỉ mục đảo (Inverted Index), phục vụ truy vấn thông tin OCR, ASR và siêu dữ liệu video.
Thiết kế và kiến trúc triển khai hệ thống
Khóa luận triển khai một hệ thống phần mềm hoàn chỉnh theo mô hình client-server, phân tách rõ ràng giữa quy trình xử lý ngoại tuyến (offline processing) và quy trình phục vụ tương tác trực tuyến (online serving).
[Dữ liệu Video Gốc]
Các thành phần công nghệ trong hệ thống
| Thành phần |
Công nghệ / Mô hình |
Vai trò kỹ thuật trong hệ thống |
| Giao diện người dùng (Frontend) |
ReactJS |
Cung cấp giao diện tìm kiếm đa phương thức, hiển thị lưới keyframe, cửa sổ khung hình lân cận và phụ đề text script. |
| Máy chủ Web & Điều hướng |
Nginx |
Đóng vai trò Reverse Proxy, định tuyến lưu lượng mạng và cân bằng tải. |
| Máy chủ Dịch vụ (Backend) |
FastAPI (Python) |
Tiếp nhận yêu cầu tìm kiếm, điều phối truy vấn song song, tính toán độ tương đồng và hợp nhất kết quả. |
| Truy vấn Vector |
Faiss |
Lập chỉ mục các vector đặc trưng hình ảnh; thực hiện tìm kiếm láng giềng gần nhất (kNN) với cosine similarity. |
| Truy vấn Văn bản & Metadata |
Elasticsearch |
Quản lý chỉ mục đảo (Inverted Index) cho dữ liệu văn bản từ OCR, ASR (Whisper) và thông tin siêu dữ liệu video. |
| Trích xuất Ngữ nghĩa Hình ảnh |
CLIP (ViT-L/14@336) |
Ánh xạ khung hình và văn bản mô tả vào không gian vector đa chiều chung. |
| Nhận diện Ký tự (OCR) |
YOLOv7 + PARSeq |
YOLOv7 định vị vùng chứa chữ; PARSeq giải mã nội dung văn bản quang học tiếng Việt. |
| Xử lý Tiếng nói (ASR) |
Whisper |
Chuyển đổi âm thanh hội thoại từ video sang văn bản theo cơ chế Dense Chunking có chồng lấp. |
| Bổ trợ Ngữ cảnh Tiếng Việt |
Bộ ánh xạ ngữ nghĩa (102 cặp) |
Ánh xạ các từ/cụm từ đặc trưng văn hóa Việt Nam sang không gian vector tương thích với CLIP. |
Cơ chế truy vấn tích hợp
- Truy vấn đa phương thức: Người dùng có thể kết hợp mô tả ngữ nghĩa (CLIP), văn bản xuất hiện trên hình (OCR), lời thoại (ASR) và hình ảnh mẫu trong cùng một phiên tìm kiếm. Hệ thống kết hợp điểm số từ Faiss và Elasticsearch để xếp hạng kết quả trả về.
- Truy vấn tuần tự theo thời gian: Hỗ trợ tìm kiếm hai sự kiện liên tiếp (Event 1 và Event 2). Hệ thống xác định các ứng viên thỏa mãn điều kiện nội dung của từng sự kiện, sau đó lọc theo ràng buộc thời gian (thời điểm xảy ra Event 1 đi trước Event 2 trong cùng một tệp video).
- Bộ ánh xạ ngữ nghĩa tiếng Việt: Khắc phục việc CLIP thiếu hiểu biết về văn hóa bản địa bằng cách xây dựng thủ công danh mục 102 cặp mô tả ngữ nghĩa văn ảnh - hình ảnh cho các từ vựng và ngữ cảnh đặc trưng của Việt Nam.
Nội dung chính theo từng chương
Chương 1: Giới thiệu
Chương 1 thiết lập cơ sở nghiên cứu của khóa luận. Tác giả phân tích hiện trạng gia tăng dữ liệu video trên mạng xã hội và camera giám sát, chỉ rõ nhu cầu cấp thiết của bài toán truy vấn sự kiện video tương tác người dùng. Chương nêu bật 5 thách thức lớn (quy mô dữ liệu lớn, thông tin đa dạng, nội dung truy vấn phức tạp, xử lý sự kiện tuần tự, và rào cản ngữ cảnh tiếng Việt). Trên cơ sở đó, chương xác định 6 mục tiêu, phạm vi nghiên cứu, tóm tắt các đóng góp chính và giới thiệu bố cục gồm 6 chương của toàn bộ báo cáo.
Chương 2: Các nghiên cứu liên quan
Chương 2 hệ thống hóa các khái niệm nền tảng trong bài toán: khung hình (frame), khung hình chính (keyframe), đoạn video (video segment), sự kiện và hệ thống truy vấn. Tác giả khảo sát các công trình và hệ thống thi đấu tại VBS và Lifelog Search Challenge (như VISIONE, VERGE, IVIST, AVSeeker, VIREO, VideoFall, vitrivr, diveXplore).
Nội dung phân tích chi tiết các kỹ thuật:
- Tiền xử lý: Phương pháp chọn keyframe (lấy mẫu phụ so với ngưỡng sai khác đặc trưng), phân đoạn video, và kỹ thuật Dense Chunking trong xử lý âm thanh.
- Trích xuất và phương thức truy vấn: Tìm kiếm theo khái niệm (đối tượng, màu sắc, hành động), truy vấn qua vector đặc trưng (CLIP, TERN, CLIP2Video), truy vấn thời gian và truy vấn theo hình ảnh ví dụ.
- Lưu trữ dữ liệu: Đánh giá vai trò của PCA, cấu trúc đồ thị (graph-based), Elasticsearch, Faiss, Apache Lucene và Cottontail DB.
- Xử lý truy vấn: Các kỹ thuật tìm kiếm đa phương thức, tái xếp hạng (reranking), tái cấu trúc truy vấn (query reformulation) và hợp nhất kết quả (result aggregation).
Chương 3: Cơ sở lý thuyết
Chương 3 trình bày chi tiết cấu trúc toán học và kỹ thuật của các mô hình được chọn:
- CLIP: Cơ chế Contrastive Pre-training tối ưu hóa ma trận cosine similarity trên ma trận $N \times N$ mẫu văn bản - hình ảnh; kiến trúc Text Transformer (63M tham số) và Vision Transformer (ViT-L/14@336). Tác giả cung cấp thuật toán trích xuất đặc trưng văn bản và hình ảnh để thực hiện phân loại zero-shot.
- OCR (YOLOv7 & PARSeq): YOLOv7 áp dụng khối E-ELAN, mở rộng mô hình và tái tham số hóa. PARSeq sử dụng cơ chế Permutation Language Modeling với 3 chiến lược masking (AR, NAR, cloze) và Visio-lingual decoder gồm 2 lớp attention, khắc phục nhược điểm tách rời của ABINet.
- ASR (Whisper) và Object Detection (Co-DETR): Cơ chế chuyển đổi giọng nói thành văn bản và phát hiện vật thể đa quy mô.
- Công cụ lưu trữ: Nguyên lý Inverted Index trong Elasticsearch và cấu trúc chỉ mục vector trong Faiss.
Chương 4: Xây dựng hệ thống
Chương 4 mô tả thiết kế kỹ thuật và hiện thực hóa hệ thống. Tác giả chi tiết hóa pipeline trích xuất thông tin ngoại tuyến bằng CLIP, YOLOv7, PARSeq và Whisper kết hợp Dense Chunking. Chương trình bày quá trình xây dựng bộ ánh xạ ngữ nghĩa gồm 102 cặp mô tả ngữ cảnh đặc trưng Việt Nam. Cấu trúc lưu trữ được phân định giữa Faiss (cho vector đặc trưng) và Elasticsearch (cho văn bản và metadata).
Về xử lý truy vấn trực tuyến, chương trình bày thuật toán truy vấn kết hợp đa phương thức và thuật toán xử lý sự kiện tuần tự thời gian. Cuối cùng, chương giới thiệu giao diện ứng dụng web xây dựng bằng ReactJS, Nginx và FastAPI với các chức năng tương tác, duyệt keyframe và xem phụ đề đoạn video.
Chương 5: Kết quả thực nghiệm và phân tích
Chương 5 trình bày việc đánh giá hệ thống trên bộ dữ liệu Hồ Chí Minh AI Challenge 2023. Tác giả phân tích các số liệu thực nghiệm:
- Hiệu quả của việc kết hợp đa phương thức (hình ảnh, văn bản, âm thanh) so với truy vấn đơn phương thức.
- Tác động của bộ ánh xạ ngữ nghĩa tiếng Việt: Cải thiện rõ rệt kết quả trả về đối với các truy vấn chứa từ vựng và ngữ cảnh địa phương so với CLIP nguyên bản.
- Tốc độ xử lý: So sánh hiệu năng lập chỉ mục và truy xuất vector đặc trưng, khẳng định hệ thống đạt độ trễ xấp xỉ 300ms cho mỗi lượt tìm kiếm trên kho dữ liệu 300 giờ.
- Thành tích thi đấu: Phân tích kết quả đạt được tại các cuộc thi chuyên môn lớn (AIC HCM 2022, AIC HCM 2023, FPT AI Challenge 2023).
Chương 6: Kết luận và hướng phát triển
Chương 6 tổng kết các kết quả đạt được đối chiếu với các mục tiêu ban đầu, khẳng định tính đúng đắn của giải pháp thiết kế. Đồng thời, tác giả chỉ ra các điểm còn hạn chế của hệ thống và định hướng các nghiên cứu tiếp theo để mở rộng quy mô và nâng cao độ chính xác.
Kết quả thực nghiệm và đóng góp khoa học
Kết quả định lượng và thực nghiệm
- Tốc độ truy vấn: Hệ thống đạt thời gian phản hồi trung bình xấp xỉ 300ms cho một truy vấn trên kho dữ liệu video có tổng thời lượng 300 giờ.
- Hiệu năng zero-shot: Khảo sát và triển khai thành công mô hình CLIP ViT-L/14@336, đạt mức độ chính xác 76.2 trên tập dữ liệu chuẩn ImageNet mà không cần huấn luyện lại có giám sát.
- Quy mô bộ ánh xạ: Xây dựng hoàn chỉnh từ điển ngữ nghĩa văn ảnh - hình ảnh với 102 cặp mô tả các khái niệm, từ vựng và ngữ cảnh đặc trưng tiếng Việt.
- Khả năng truy vấn tuần tự: Hệ thống thực hiện thành công các truy vấn chuỗi thời gian hai sự kiện liên tiếp (ví dụ kiểm nghiệm trong văn bản: Sự kiện 1: "Người đàn ông mặc áo xanh đang bỏ các vật bằng kim loại vào túi" và Sự kiện 2: "Các vật bằng kim loại đang được trưng bày").
Thành tích tại các cuộc thi học thuật và ứng dụng
| Cuộc thi |
Năm tổ chức |
Thành tích đạt được |
Điểm nhấn kỹ thuật |
| Hồ Chí Minh AI Challenge (HCM AIC) |
2022 |
Giải Nhất |
Truy vấn sự kiện trên dữ liệu video tin tức thời sự tiếng Việt. |
| Hồ Chí Minh AI Challenge (HCM AIC) |
2023 |
Giải Ba |
Nâng cấp khả năng kết hợp đa phương thức và xử lý truy vấn mở rộng. |
| FPT AI Challenge (Quy Nhơn AI Challenge) |
2023 |
Giải Ba |
Giải pháp được đánh giá cao nhất trong các đội xử lý dữ liệu camera an ninh. |
Đóng góp khoa học và kỹ thuật
- Hiện thực hóa thành công một hệ thống tương tác người dùng đa phương thức hoàn chỉnh, cho phép truy xuất linh hoạt theo văn bản tự nhiên, ký tự trong ảnh (OCR), giọng nói (ASR) và hình ảnh tương đồng.
- Đề xuất giải pháp khắc phục rào cản ngôn ngữ và văn hóa Việt Nam trong các mô hình thị giác lớn (như CLIP) thông qua bộ ánh xạ ngữ nghĩa 102 cặp đặc trưng.
- Tối ưu hóa hạ tầng tìm kiếm kết hợp Faiss và Elasticsearch, cho phép đạt độ trễ tìm kiếm thời gian thực trên tập dữ liệu quy mô lớn.
- Đóng góp 01 công trình khoa học được công bố tại Hội nghị Quốc tế SOICT 2023 (The 12th International Symposium on Information and Communication Technology).
Hạn chế và hướng nghiên cứu tiếp
Khóa luận ghi nhận một số giới hạn kỹ thuật dựa trên phạm vi triển khai thực tế:
- Quy mô bộ ánh xạ ngữ nghĩa: Số lượng 102 cặp mô tả ngữ nghĩa văn ảnh - hình ảnh tiếng Việt hiện tại còn mang tính chọn lọc, chưa bao quát toàn bộ các biến thể ngữ cảnh phức tạp trong đời sống văn hóa Việt Nam.
- Độ phức tạp của truy vấn thời gian: Cơ chế truy vấn tuần tự hiện tại mới tập trung xử lý chuỗi gồm 2 sự kiện liên tiếp; chưa hỗ trợ các cấu trúc logic thời gian phức tạp hơn (nhiều hơn 2 sự kiện hoặc các mối quan hệ thời gian phi tuyến tính).
- Nhiễu môi trường trong âm thanh: Xử lý ASR qua Whisper phụ thuộc vào chất lượng âm thanh; trong các video có tạp âm lớn hoặc nhạc nền phức tạp, hiệu quả trích xuất text script bị suy giảm.
Hướng phát triển tiếp theo được đề xuất:
- Mở rộng quy mô và mức độ tự động hóa cho bộ từ điển ánh xạ ngữ nghĩa tiếng Việt.
- Nâng cấp thuật toán lập chỉ mục và phân cụm phân cấp để duy trì tốc độ dưới 300ms khi quy mô dữ liệu tăng từ hàng trăm lên hàng nghìn giờ video.
- Nghiên cứu áp dụng các mô hình Video-Language chuyên sâu (như CLIP2Video) và nâng cao khả năng lọc nhiễu âm thanh cho module ASR.
Giá trị tham khảo
Báo cáo khóa luận mang giá trị thực tiễn và học thuật cho các nhóm đối tượng:
- Sinh viên và học viên ngành Khoa học máy tính, Trí tuệ nhân tạo: Cung cấp tài liệu tham khảo chi tiết về quy trình xây dựng hệ thống Video Retrieval end-to-end từ lý thuyết mô hình đến triển khai phần mềm thực tế.
- Các đội thi học thuật (HCM AIC, VBS, Lifelog Search): Là tài liệu kỹ thuật có giá trị tham khảo cao về kiến trúc tích hợp Faiss, Elasticsearch, FastAPI, Nginx và ReactJS phục vụ các cuộc thi tìm kiếm đa phương tiện tương tác trực tiếp.
- Các phần đáng chú ý nhất:
- Kỹ thuật kết hợp hai lớp attention trong khối Visio-lingual decoder của PARSeq và việc triển khai YOLOv7 cho bài toán OCR.
- Phương pháp xử lý âm thanh không gián đoạn bằng kỹ thuật Dense Chunking kết hợp Whisper.
- Phương pháp luận xây dựng bộ ánh xạ vector cho dữ liệu ngôn ngữ bản địa.
Câu hỏi thường gặp
1. Khóa luận sử dụng mô hình nào làm nòng cốt để trích xuất đặc trưng ngữ nghĩa hình ảnh và văn bản?
Tác giả sử dụng mô hình thị giác - ngôn ngữ CLIP (Contrastive Language-Image Pre-training) của OpenAI, cụ thể là cấu hình ViT-L/14@336 (Vision Transformer Large, kích thước patch 14, tinh chỉnh ở độ phân giải 336x336 pixel). Mô hình này sử dụng Text Transformer 63 triệu tham số và bộ trích xuất ảnh ViT, đạt điểm zero-shot 76.2 trên tập dữ liệu chuẩn ImageNet.
2. Hệ thống giải quyết rào cản ngữ cảnh và văn hóa Việt Nam bằng giải pháp gì?
Do mô hình CLIP được tiền huấn luyện chủ yếu trên dữ liệu tiếng Anh (WebImageText) và khó nắm bắt các ngữ cảnh bản địa, nhóm tác giả đã xây dựng một bộ ánh xạ ngữ nghĩa văn ảnh - hình ảnh gồm 102 cặp mô tả các từ vựng, khái niệm và ngữ cảnh đặc trưng của Việt Nam sang không gian vector, giúp hệ thống nhận diện và truy vấn chính xác nội dung video tiếng Việt.
3. Kỹ thuật Dense Chunking trong module tiền xử lý âm thanh có vai trò gì?
Trong tiền xử lý âm thanh trước khi đưa vào mô hình ASR (Whisper), việc cắt đoạn âm thanh dài có thể làm đứt gãy câu thoại và mất ngữ cảnh. Kỹ thuật Dense Chunking chia luồng âm thanh thành các đoạn nhỏ có phần chồng lấp (overlap) lên nhau, đảm bảo thông tin lời nói được duy trì toàn vẹn và không bị gián đoạn giữa các đoạn cắt.
4. Cơ chế lưu trữ và lập chỉ mục của hệ thống được tổ chức như thế nào để đạt tốc độ phản hồi 300ms?
Hệ thống phân tách lưu trữ thành hai nhánh độc lập:
- Faiss chịu trách nhiệm lập chỉ mục và tìm kiếm vector đặc trưng hình ảnh (trích xuất từ CLIP) dựa trên khoảng cách cosine similarity.
- Elasticsearch quản lý chỉ mục đảo (Inverted Index) cho dữ liệu văn bản xuất hiện trong hình (OCR từ YOLOv7 + PARSeq) và lời thoại (ASR từ Whisper).
Việc phân tách này giúp tối ưu hóa không gian bộ nhớ và đạt tốc độ truy xuất trung bình xấp xỉ 300ms trên 300 giờ dữ liệu video.
5. Khóa luận đã đạt được những kiểm chứng thực tế và giải thưởng nào?
Hệ thống đã được kiểm chứng qua các kỳ thi lớn với kết quả: Giải Nhất cuộc thi Hồ Chí Minh AI Challenge (HCM AIC) năm 2022; Giải Ba cuộc thi Hồ Chí Minh AI Challenge năm 2023; Giải Ba cuộc thi FPT AI Challenge 2023 (đứng đầu trong nhóm xử lý dữ liệu camera an ninh). Ngoài ra, giải pháp kỹ thuật của khóa luận đã đóng góp 01 bài báo khoa học tại Hội nghị Quốc tế SOICT 2023.
Kết luận
Khóa luận tốt nghiệp của sinh viên Trần Siêu và Võ Anh Hào đã giải quyết thành công bài toán truy vấn sự kiện video tương tác người dùng thông qua việc tích hợp các mô hình học sâu tiên tiến (CLIP, YOLOv7, PARSeq, Whisper, Co-DETR) cùng hạ tầng lưu trữ kết hợp giữa Faiss và Elasticsearch. Đề tài có đóng góp kỹ thuật rõ nét khi đề xuất bộ ánh xạ ngữ nghĩa 102 cặp hỗ trợ xử lý đặc trưng ngôn ngữ và văn hóa tiếng Việt, đồng thời tối ưu hóa hệ thống đạt tốc độ phản hồi thời gian thực khoảng 300ms trên 300 giờ video. Hiệu quả và tính ứng dụng của hệ thống đã được chứng minh qua 01 công bố khoa học tại hội nghị quốc tế SOICT 2023 và các giải thưởng đạt được tại các kỳ thi Hồ Chí Minh AI Challenge và FPT AI Challenge.
