Hệ Thống Mô Tả Ảnh Thời Gian Thực Cho Ứng Dụng Dữ Liệu Lớn

Luận văn tốt nghiệp kỹ thuật nghiên cứu tốt nghiệp khoa học dữ liệu xây dựng hệ thống mô tả ảnh theo thời gian thực cho ứng dụng dữ liệu lớn, điều tra thực trạng, phân tích số

• Tác giả: Ha Minh Quan
• Người hướng dẫn: TS. Do Trong Hop
• Trường học: Đại Học Quốc Gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa Học Dữ Liệu
• Đề tài: Hệ Thống Mô Tả Ảnh Thời Gian Thực Cho Ứng Dụng Dữ Liệu Lớn
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN KHÓA LUẬN
• 1.1. Tính ứng dụng của khoá luận
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Lĩnh vực mô tả ảnh tự động
• 2.2. Lĩnh vực xử lý dòng dữ liệu và học liên tục
• 3. CHƯƠNG 3: CÁC PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. Tổng quan phương pháp đề xuất
• 3.2. Phương pháp Streaming dữ liệu
• 3.3. Phương pháp thu thập và xử lý dữ liệu
• 3.3.1. Phương pháp thu thập dữ liệu
• 3.3.2. Phương pháp xử lý dữ liệu
• 3.4. Phương pháp tăng cường chất lượng dữ liệu
• 3.5. Phương pháp xây dựng bộ dữ liệu kiểm thử
• 3.6. Phương pháp mô tả ảnh tự động
• 3.7. Phương pháp trích xuất thông tin
• 3.7.1. Các mô hình mô tả ảnh tự động
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Quy trình thực nghiệm mô tả ảnh
• 4.2. Cài đặt thực nghiệm cho các mô hình
• 4.2.1. Mô hình trích xuất đặc trưng VinVL
• 4.2.2. Mô hình Meshed Memory Transformer
• 4.2.3. Mô hình Object Relation Transformer
• 4.2.4. Cài đặt thực nghiệm học liên tục cho các mô hình
• 4.3. Độ đo đánh giá cho mô hình mô tả ảnh tự động
• 4.4. Dữ liệu thực nghiệm
• 4.5. Cài đặt, phân tích và đánh giá thực nghiệm
• 4.5.1. Phân tích lỗi
• 5. CHƯƠNG 5: XÂY DỰNG ỨNG DỤNG TRÊN HỆ THỐNG HỖ TRỢ MÔ TẢ ẢNH TỰ ĐỘNG THEO THỜI GIAN THỰC CHO ỨNG DỤNG DỮ LIỆU LỚN
• 5.1. Môi trường thực hiện
• 5.2. Xây dựng ứng dụng mô phỏng tương tác với mô hình
• 5.3. Back-end
• 5.4. Cách thức hoạt động và giao diện của ứng dụng
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Hệ Thống Mô Tả Ảnh Thời Gian Thực

Hệ thống mô tả ảnh thời gian thực cho ứng dụng dữ liệu lớn đang trở thành một trong những xu hướng công nghệ quan trọng. Với sự phát triển của công nghệ thông tin và dữ liệu lớn, việc mô tả ảnh tự động không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả trong việc xử lý thông tin. Hệ thống này cho phép người dùng nhận được mô tả chính xác và nhanh chóng cho các hình ảnh, từ đó hỗ trợ nhiều lĩnh vực như y tế, giáo dục và thương mại điện tử.

1.1. Định nghĩa và Tính Năng Của Hệ Thống Mô Tả Ảnh

Hệ thống mô tả ảnh thời gian thực là một ứng dụng sử dụng machine learning để tự động tạo ra mô tả cho hình ảnh. Tính năng nổi bật của hệ thống này bao gồm khả năng nhận diện đối tượng, phân tích ngữ nghĩa và tạo ra câu mô tả tự nhiên.

1.2. Lợi Ích Của Hệ Thống Mô Tả Ảnh Trong Thực Tiễn

Hệ thống mô tả ảnh mang lại nhiều lợi ích cho người dùng, bao gồm việc cải thiện khả năng truy cập thông tin cho người khiếm thị, hỗ trợ trong việc tìm kiếm hình ảnh và nâng cao trải nghiệm người dùng trong các ứng dụng thương mại điện tử.

II. Vấn Đề và Thách Thức Trong Mô Tả Ảnh Thời Gian Thực

Mặc dù có nhiều tiềm năng, nhưng việc phát triển hệ thống mô tả ảnh tự động vẫn gặp phải nhiều thách thức. Các vấn đề như thiếu dữ liệu chất lượng, sự phức tạp trong việc nhận diện đối tượng và ngữ nghĩa, cũng như khả năng xử lý dữ liệu lớn là những trở ngại chính.

2.1. Thiếu Dữ Liệu Chất Lượng Cho Mô Tả Ảnh

Một trong những thách thức lớn nhất là việc thiếu hụt các bộ dữ liệu chất lượng cao cho việc huấn luyện mô hình. Điều này đặc biệt đúng với ngôn ngữ tiếng Việt, nơi mà các bộ dữ liệu như UIT-ViIC và VieCAP4H còn hạn chế.

2.2. Khó Khăn Trong Việc Nhận Diện Đối Tượng

Việc nhận diện chính xác các đối tượng trong hình ảnh là một thách thức lớn. Các mô hình hiện tại vẫn gặp khó khăn trong việc phân tích các tình huống phức tạp và mối quan hệ giữa các đối tượng.

III. Phương Pháp Xây Dựng Hệ Thống Mô Tả Ảnh Thời Gian Thực

Để xây dựng một hệ thống mô tả ảnh hiệu quả, cần áp dụng các phương pháp tiên tiến trong xử lý dữ liệu và học sâu. Các phương pháp này bao gồm thu thập dữ liệu, xử lý và tăng cường dữ liệu để tạo ra bộ dữ liệu phong phú cho việc huấn luyện mô hình.

3.1. Phương Pháp Thu Thập Dữ Liệu

Quá trình thu thập dữ liệu cần được thực hiện một cách hệ thống và liên tục. Sử dụng các công nghệ như Apache Kafka để thu thập dữ liệu từ nhiều nguồn khác nhau sẽ giúp tạo ra một bộ dữ liệu đa dạng và phong phú.

3.2. Phương Pháp Xử Lý và Tăng Cường Dữ Liệu

Sau khi thu thập, dữ liệu cần được xử lý và tăng cường để đảm bảo chất lượng. Các kỹ thuật như data augmentation có thể được áp dụng để tạo ra nhiều biến thể của dữ liệu, từ đó cải thiện khả năng học của mô hình.

IV. Ứng Dụng Thực Tiễn Của Hệ Thống Mô Tả Ảnh

Hệ thống mô tả ảnh thời gian thực có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau. Từ việc hỗ trợ người khiếm thị đến việc cải thiện trải nghiệm người dùng trong thương mại điện tử, hệ thống này đang chứng tỏ giá trị của mình.

4.1. Ứng Dụng Trong Y Tế

Trong lĩnh vực y tế, hệ thống mô tả ảnh có thể giúp bác sĩ nhanh chóng nhận diện và phân tích hình ảnh y khoa, từ đó đưa ra quyết định chính xác hơn trong chẩn đoán.

4.2. Ứng Dụng Trong Giáo Dục

Hệ thống cũng có thể được sử dụng trong giáo dục để tạo ra các tài liệu học tập tương tác, giúp học sinh dễ dàng tiếp cận và hiểu biết về các khái niệm phức tạp thông qua hình ảnh.

V. Kết Luận và Tương Lai Của Hệ Thống Mô Tả Ảnh

Hệ thống mô tả ảnh thời gian thực cho ứng dụng dữ liệu lớn không chỉ là một công nghệ mới mà còn là một giải pháp tiềm năng cho nhiều vấn đề trong xã hội. Tương lai của hệ thống này hứa hẹn sẽ mang lại nhiều cải tiến và ứng dụng mới.

5.1. Tương Lai Của Công Nghệ Mô Tả Ảnh

Với sự phát triển không ngừng của công nghệ thông tin và machine learning, hệ thống mô tả ảnh sẽ ngày càng trở nên chính xác và hiệu quả hơn, mở ra nhiều cơ hội mới cho các ứng dụng trong thực tiễn.

5.2. Đề Xuất Hướng Nghiên Cứu Tương Lai

Cần tiếp tục nghiên cứu và phát triển các phương pháp mới để cải thiện khả năng mô tả ảnh, đồng thời mở rộng bộ dữ liệu để đáp ứng nhu cầu ngày càng cao trong xã hội hiện đại.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp của tác giả Hà Minh Quân và Đỗ Ngọc An, sinh viên ngành Khoa học Dữ liệu thuộc Khoa Khoa học và Kỹ thuật Thông tin, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP. Hồ Chí Minh (năm 2023), tập trung giải quyết bài toán mô tả hình ảnh tự động (Image Captioning) bằng tiếng Việt trong môi trường dữ liệu lớn.

Theo số liệu từ Statista được tác giả trích dẫn, trung bình mỗi ngày có khoảng 328,77 Terabyte dữ liệu mới được sinh ra, trong đó dữ liệu từ năm 2020 đến nay chiếm tới 90% tổng khối lượng dữ liệu toàn cầu. Dữ liệu hình ảnh chiếm tỷ trọng lớn và mang nguồn thông tin phong phú nhưng chưa được khai thác toàn diện. Mặc dù bài toán mô tả ảnh tự động đã nhận được nhiều sự quan tâm từ cộng đồng nghiên cứu thị giác máy tính (Computer Vision) và xử lý ngôn ngữ tự nhiên (Natural Language Processing), việc ứng dụng vào tiếng Việt vẫn gặp nhiều trở ngại lớn. Tại thời điểm nghiên cứu, tiếng Việt chỉ có hai bộ dữ liệu quy mô lớn và uy tín là UIT-ViIC (chuyên sâu về thể thao) và VieCap4H (chuyên sâu về y tế). Sự thiếu hụt về độ lớn dữ liệu cũng như tính đa dạng về miền tri thức khiến các mô hình huấn luyện tĩnh khó có thể mô tả chính xác những hình ảnh ngoài miền dữ liệu và không theo kịp các biến đổi của đời sống xã hội.

Để giải quyết các vấn đề trên, tác giả đã xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể:

1. Xây dựng bộ dữ liệu mở mới mang tên OpenDomainVIIC (Open Domain for Vietnamese Image Captioning), tập hợp dữ liệu hình ảnh và câu mô tả đa lĩnh vực bằng tiếng Việt từ Wikipedia, có khả năng cập nhật liên tục thông qua công nghệ luồng dữ liệu lớn (Data Streaming).
2. Thực nghiệm, so sánh và điều chỉnh các mô hình học sâu hiện đại phục vụ việc trích xuất đặc trưng và tạo sinh chú thích (VinVL, Meshed-Memory Transformer, Object Relation Transformer), đồng thời thiết lập cơ chế học liên tục (Continual Learning) nhằm tiếp thu dữ liệu mới mà không cần huấn luyện lại toàn bộ từ đầu.
3. Tìm hiểu, vận hành và tích hợp các hạ tầng dữ liệu lớn cùng dịch vụ điện toán đám mây (Apache Kafka, MongoDB Atlas, Google Cloud Platform).
4. Xây dựng một ứng dụng di động hoàn chỉnh có kết nối hệ thống dịch vụ đám mây nhằm mô phỏng quy trình tương tác và sinh mô tả ảnh theo thời gian thực từ dữ liệu người dùng.

Đối tượng nghiên cứu của khóa luận là các kỹ thuật học sâu trong tạo sinh văn bản từ hình ảnh, công nghệ dòng dữ liệu lớn Apache Kafka và các dịch vụ điện toán đám mây. Phạm vi nghiên cứu giới hạn ở việc thu thập và tiền xử lý dữ liệu tiếng Việt từ nền tảng Wikipedia, thử nghiệm các mô hình học sâu dạng Transformer trên hai bộ dữ liệu (UIT-ViIC và bộ kiểm thử Wiki-Test do nhóm tự xây dựng), cùng với việc triển khai hệ thống dịch vụ giao diện lập trình ứng dụng (API) phục vụ mô phỏng tương tác di động trong năm 2023.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp liên ngành giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên theo kiến trúc chuỗi-sang-chuỗi (sequence-to-sequence), bao gồm bộ mã hóa hình ảnh (Encoder) và bộ giải mã văn bản (Decoder). Tác giả đã tổng hợp và sử dụng các cơ sở lý thuyết cùng công nghệ sau:

• Mô hình trích xuất đặc trưng thị giác: Thay vì sử dụng các mạng CNN truyền thống (như VGG-16, ResNet-152, Inception V3) hoặc mô hình Bottom-up and Top-down cũ, khóa luận ứng dụng mô hình VinVL dựa trên kiến trúc ResNet-152 C4. VinVL được khởi tạo trọng số từ mô hình tiền huấn luyện ImageNet-5K và tinh chỉnh trên tập dữ liệu Visual Genome với 1.594 lớp đối tượng và thuộc tính, cung cấp biểu diễn đặc trưng vùng (region features) và hộp giới hạn (bounding box) chi tiết.
• Mô hình tạo sinh ngôn ngữ: Nghiên cứu áp dụng hai biến thể Transformer tiên tiến:
  • Object Relation Transformer (ORT): Bổ sung thông tin hình học (geometric attention) dựa trên khoảng cách và tọa độ tương đối của các hộp bao vật thể từ Faster R-CNN, kết hợp nhúng vị trí (Positional Embedding) và phép nhân Hadamard để định hình mối quan hệ không gian giữa các chủ thể.
  • Meshed-Memory Transformer ($M^2$): Ứng dụng cơ chế bộ nhớ tăng cường (Memory-Augmented Encoder) với các ma trận tri thức tiên nghiệm $M_k$ và $M_v$ gắn vào ma trận khóa (Keys) và giá trị (Values), kết hợp bộ giải mã liên kết lưới (Meshed Cross-Attention Decoder) kết nối đa tầng nhằm tận dụng triệt để thông tin từ mọi lớp mã hóa.
• Phương pháp học liên tục (Continual Learning): Nghiên cứu các giải pháp cho phép mô hình thích ứng và cập nhật trọng số dần dần theo dòng dữ liệu trực tuyến mà không gặp phải hiện tượng quên lãng thảm họa (catastrophic forgetting).
• Phương pháp thu thập và dòng dữ liệu: Sử dụng ngôn ngữ Python với thư viện Requests và BeautifulSoup để cào dữ liệu tự động từ Wikipedia tiếng Việt thông qua từ khóa; sử dụng nền tảng Apache Kafka đóng vai trò trung gian phân phối dữ liệu theo cơ chế Producer - Topic - Consumer; lưu trữ dữ liệu dưới định dạng JSON trên MongoDB Atlas.
• Phương pháp tiền xử lý và tăng cường chất lượng dữ liệu:
  • Lọc ảnh bằng thư viện PIL (loại bỏ ảnh có chiều rộng hoặc chiều cao dưới 300 pixel).
  • Lọc văn bản bằng mô hình ngôn ngữ vi_core_news_lg thuộc thư viện spaCy thông qua 5 tiêu chuẩn cú pháp và từ loại.
  • Lọc tương quan đa phương thức bằng Google Cloud Vision API (gán nhãn ảnh và đối soát với từ ngữ trong câu mô tả).
  • Tăng cường và tổng quát hóa câu mô tả: loại bỏ địa điểm qua Google Name Entity API, loại bỏ ngày tháng thời gian bằng biểu thức chính quy (Regex), và chuyển đổi tên riêng cụ thể thành khái niệm tổng quát bằng Google Knowledge Graph API.
• Nguồn dữ liệu thực nghiệm:
  • Bộ dữ liệu chuẩn UIT-ViIC: 3.850 hình ảnh thể thao từ MS COCO 2017, gồm 19.250 câu phụ đề tiếng Việt (5 câu/ảnh).
  • Bộ dữ liệu kiểm thử Wiki-Test: 769 cặp ảnh - câu mô tả tiếng Việt được chọn lọc và gán nhãn thủ công từ Wikipedia.

Thiết kế và triển khai

Hệ thống được thiết kế theo mô hình xử lý phân tán hướng dòng dữ liệu (streaming pipeline) và phục vụ ứng dụng người dùng cuối theo kiến trúc máy khách - máy chủ (Client - Server).

Thành phần hệ thống	Công nghệ / Dịch vụ sử dụng	Vai trò và chức năng kỹ thuật
Data Crawler	Python, Requests, BeautifulSoup	Gửi truy vấn tìm kiếm theo từ khóa, phân tích cú pháp HTML của Wikipedia, trích xuất URL ảnh và câu chú thích gốc.
Data Pipeline & Streaming	Apache Kafka (Producer, Broker, Consumer)	Quản lý và điều phối luồng dữ liệu thời gian thực; nhận thông điệp từ crawler, đưa vào Topic và đẩy đến bộ xử lý tiêu thụ.
Data Preprocessing	PIL, spaCy (vi_core_news_lg)	Kiểm tra độ phân giải ảnh (> 300px); phân tích từ loại POS tagging, lọc tần suất từ lặp, tỷ lệ danh từ, từ viết hoa.
Semantic Filtering	Google Cloud Vision API	Nhận diện đối tượng trong ảnh (5–20 nhãn/ảnh trên tập $10^5$ nhãn) và kiểm tra tính tương quan với chú thích.
Text Normalization	Google Name Entity API, Knowledge Graph API, Regex	Khử yếu tố thời gian; loại bỏ địa danh; khái quát hóa tên riêng thực thể (ví dụ: chuyển tên nhân vật thành danh xưng nghề nghiệp).
Database Storage	MongoDB Atlas	Lưu trữ có cấu trúc các cặp dữ liệu đã tinh chế dưới định dạng JSON gồm các trường URL ảnh và trường văn bản mô tả.
Model Inference & Training	VinVL (ResNet-152 C4), ORT, Meshed-Memory Transformer	Trích xuất đặc trưng thị giác dựa trên vùng đối tượng và tạo sinh chuỗi chú thích; tinh chỉnh học liên tục trên luồng dữ liệu.
Application & Backend	Ứng dụng di động (Frontend), Hệ thống API trên Cloud	Cho phép người dùng chụp ảnh/chọn ảnh từ thư viện, gửi ảnh lên hệ thống để nhận mô tả tự động; tiếp nhận phản hồi hiệu chỉnh chú thích từ người dùng.

Quy trình vận hành kỹ thuật diễn ra như sau: Trình thu thập dữ liệu Wikipedia hoạt động tự động, gửi dữ liệu thô vào hệ thống thông qua Kafka Producer. Khi dữ liệu đến Kafka Broker, các dịch vụ Consumer sẽ chuyển tiếp dữ liệu qua các bước lọc khắt khe về kích thước ảnh, tính đa dạng ngữ pháp của câu mô tả và độ tương thích ngữ nghĩa giữa ảnh và chữ. Tiếp theo, các thực thể riêng biệt được chuẩn hóa thành khái niệm trừu tượng để tạo độ bao phủ rộng cho mô hình học máy. Dữ liệu chuẩn được ghi vào MongoDB Atlas để cung cấp liên tục cho tiến trình huấn luyện mô hình. Phía người dùng cuối, ứng dụng di động gửi ảnh trực tiếp đến máy chủ backend để nhận câu mô tả tức thời, đồng thời cho phép người dùng đóng góp lại câu chú thích chuẩn xác hơn khi phát hiện sai sót, tạo thành vòng phản hồi dữ liệu khép kín.

Nội dung chính theo từng chương

Chương 1. Tổng quan khóa luận

Chương này phân tích bối cảnh bùng nổ dữ liệu số toàn cầu với con số 328,77 TB mỗi ngày, trong đó dữ liệu hình ảnh chiếm ưu thế lớn nhưng đang bị lãng phí do thiếu công cụ khai thác ngữ nghĩa tự động. Tác giả chỉ ra tính cấp thiết của đề tài trong việc giải quyết tình trạng khan hiếm dữ liệu mô tả ảnh tiếng Việt, khi hầu hết nghiên cứu trước đây chỉ giới hạn trong miền dữ liệu hẹp. Tác giả xác định tính ứng dụng thực tiễn của hệ thống trong việc hỗ trợ người khiếm thị nhận biết môi trường, ứng dụng trong hệ khuyến nghị y tế, hỗ trợ bác sĩ ra quyết định, và tăng cường năng lực giám sát an ninh thông minh.

Chương 2. Các công trình nghiên cứu liên quan

Tác giả hệ thống hóa lịch sử phát triển của bài toán mô tả ảnh tự động, từ các phương pháp tiếp cận sơ khai sử dụng bộ nhận diện vật thể đơn giản, các mô hình kết hợp CNN (ResNet, VGG) và RNN (LSTM, GRU), đến sự xuất hiện của cơ chế chú ý (Attention mechanism) trong mô hình Show, Attend and Tell. Chương này cũng phân tích bước chuyển biến từ phương pháp Bottom-up and Top-down sang các kiến trúc dựa trên Transformer hoàn toàn. Đối với mảng dữ liệu lớn và học liên tục, tác giả tổng kết các công trình về học trực tuyến (Online SVM, Passive-Aggressive), các nền tảng phân tán (Apache Kafka, Apache Flink), cùng các kiến trúc mạng có bộ nhớ ngoài như Neural Turing Machines (NTMs) và Differentiable Neural Computers (DNCs) nhằm khắc phục hiện tượng quên tri thức cũ.

Chương 3. Các phương pháp đề xuất

Chương 3 trình bày chi tiết toàn bộ giải pháp kỹ thuật do nhóm nghiên cứu xây dựng. Tác giả thiết lập quy trình thu thập dữ liệu từ Wikipedia bằng BeautifulSoup và Requests; xây dựng quy chuẩn lọc dữ liệu đa tầng với các ngưỡng định lượng cụ thể:

• Loại bỏ ảnh có kích thước dưới 300 pixel bằng thư viện PIL.
• Kiểm tra tỷ lệ lặp lại của một từ trong câu $\le 0,5$.
• Kiểm tra tỷ lệ 5 loại từ hợp lệ (danh từ, động từ, tính từ, danh từ riêng, phó từ) $\ge 0,7$.
• Tỷ lệ danh từ $\le 0,9$ (nhằm loại bỏ các chú thích chỉ ghi tên người hoặc sự vật).
• Tỷ lệ từ viết hoa $< 0,5$ (nhằm tránh các câu chỉ liệt kê tên riêng).
• Lọc tương quan ngữ nghĩa ảnh - văn bản thông qua Google Cloud Vision API với không gian nhãn xấp xỉ $10^5$ lớp.
• Tổng quát hóa câu mô tả: loại bỏ địa danh bằng Google Name Entity API, loại bỏ mốc thời gian bằng Regex, và thay thế tên riêng bằng danh xưng nghề nghiệp/chủ thể rộng hơn thông qua Google Knowledge Graph API (ví dụ: chuyển đổi "Justin Bieber" thành "Ca sĩ kiêm sáng tác nhạc", "Messi" thành "cầu thủ bóng đá").

Đồng thời, chương này mô tả phương pháp gán nhãn thủ công 1.000 ảnh từ Wikipedia dựa trên 4 nguyên tắc (Khách quan, Chi tiết, Ngắn gọn, Đúng ngữ pháp) để xây dựng tập kiểm thử Wiki-Test (769 ảnh đạt chuẩn); trình bày chi tiết công thức toán học của mô hình Object Relation Transformer (tính toán ma trận dời dịch không gian, hình học) và Meshed-Memory Transformer (tích hợp ma trận nhớ tăng cường $M_k, M_v$ và cơ chế liên kết lưới đa tầng).

Chương 4. Thực nghiệm và đánh giá kết quả

Chương này mô tả quy trình thực nghiệm và các thiết lập siêu tham số chi tiết. Mô hình VinVL được thiết lập dựa trên kiến trúc ResNet-152 C4 tiền huấn luyện trên ImageNet-5K và Visual Genome (1.594 đối tượng/thuộc tính), chạy $1,8$ triệu bước lặp (iterations) với kích thước lô (batch size) là 16. Các siêu tham số thành phần bao gồm: BACKBONE_OUT_CHANNELS: 2048, STRIDE_IN_1X1: False, NUM_GROUPS: 32, WIDTH_PER_GROUP: 8. Hệ thống sử dụng các độ đo tiêu chuẩn học thuật gồm BLEU (1, 2, 3, 4), ROUGE và CIDEr để đánh giá chéo giữa các mô hình Transformer trên hai tập dữ liệu UIT-ViIC và Wiki-Test. Các tác giả tiến hành phân tích thực nghiệm tác động của phương pháp tiền xử lý và cơ chế học liên tục, đồng thời chỉ ra các lỗi tạo sinh câu thực tế.

Chương 5. Xây dựng ứng dụng trên hệ thống hỗ trợ mô tả ảnh tự động theo thời gian thực cho ứng dụng dữ liệu lớn

Chương 5 hiện thực hóa đề tài bằng một hệ thống phần mềm hoàn chỉnh. Tác giả trình bày kiến trúc phân tầng kết hợp giữa môi trường thực thi trên nền tảng điện toán đám mây và ứng dụng máy khách di động. Ứng dụng cung cấp các giao diện chính: màn hình chụp ảnh trực tiếp từ camera, màn hình chọn ảnh từ thư viện, màn hình hiển thị kết quả mô tả ảnh bằng tiếng Việt được sinh ra theo thời gian thực, và giao diện tiếp nhận phản hồi chỉnh sửa mô tả từ người dùng để gửi ngược về hệ thống phục vụ việc tái huấn luyện.

Chương 6. Kết luận và hướng phát triển

Chương cuối tổng kết lại các mục tiêu đã hoàn thành, bao gồm việc giải quyết bài toán thiếu hụt dữ liệu tiếng Việt đa lĩnh vực, chứng minh tính khả thi của việc tích hợp công nghệ dòng dữ liệu lớn với mô hình học sâu, và hoàn thiện ứng dụng di động thực tế. Tác giả cũng chỉ ra các giới hạn còn tồn đọng và đề xuất các hướng mở rộng cho hệ thống trong tương lai.

Kết quả và đóng góp

Nghiên cứu mang lại những kết quả kỹ thuật và đóng góp học thuật cụ thể:

• Về mặt dữ liệu: Xây dựng thành công quy trình tự động thu thập, tinh chế và tăng cường dữ liệu chú thích ảnh tiếng Việt từ Wikipedia. Đóng góp bộ dữ liệu kiểm thử chuẩn hóa Wiki-Test gồm 769 hình ảnh và chú thích chất lượng cao được gán nhãn và kiểm duyệt thủ công, mở rộng phạm vi dữ liệu tiếng Việt từ các miền hẹp (thể thao, y tế) sang miền dữ liệu mở (Open Domain).
• Về mặt kỹ thuật mô hình: Ứng dụng thành công mô hình nhận diện vật thể và trích xuất đặc trưng VinVL (thay thế cho bộ trích xuất Faster R-CNN truyền thống), giúp trích xuất phong phú 1.594 lớp đối tượng và thuộc tính. Kết hợp thành công các kiến trúc Transformer tiên tiến gồm Meshed-Memory Transformer và Object Relation Transformer trên dữ liệu tiếng Việt, cho phép mô hình nắm bắt tốt mối quan hệ không gian và ngữ cảnh trừu tượng giữa các thực thể trong ảnh.
• Về mặt hệ thống và triển khai: Tích hợp thành công nền tảng phân tán Apache Kafka cùng MongoDB Atlas vào bài toán học liên tục cho mô hình học sâu, cho phép hệ thống tự cập nhật tri thức mới theo thời gian thực mà không làm suy giảm hiệu năng trên các dữ liệu đã học. Xây dựng thành công ứng dụng di động hoàn chỉnh có khả năng tương tác trực tiếp với các dịch vụ đám mây, chứng minh tính khả thi ứng dụng vào đời sống.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung khóa luận, nghiên cứu còn một số hạn chế và định hướng phát triển:

• Hạn chế:
  • Nguồn dữ liệu mới chỉ tập trung khai thác trên Wikipedia, chưa thể mở rộng sang các nguồn mạng xã hội hay báo chí do sự phức tạp và nhiễu loạn về mặt ngữ nghĩa và cảm xúc cá nhân trong câu từ.
  • Quy trình tiền xử lý và lọc ngữ nghĩa còn phụ thuộc vào các dịch vụ API bên ngoài (Google Cloud Vision, Google Name Entity, Google Knowledge Graph), gây ra độ trễ nhất định và phụ thuộc vào chi phí cũng như giới hạn hạ tầng của bên thứ ba.
  • Mô hình ngôn ngữ tiếng Việt trong hệ thống pipeline tách từ (vi_core_news_lg) chưa hỗ trợ trực tiếp các bộ nhận diện ngày tháng chuyên biệt, buộc nhóm phải xử lý thủ công thông qua biểu thức chính quy (Regex).
• Hướng nghiên cứu tiếp:
  • Mở rộng phạm vi thu thập dữ liệu sang nhiều nền tảng số khác với các bộ lọc ngôn ngữ tinh vi hơn.
  • Tối ưu hóa các mô hình học sâu để giảm tải tài nguyên tính toán, cho phép tăng tốc độ suy luận và huấn luyện liên tục trên các cụm máy chủ nội bộ.
  • Cải tiến giao diện và tính năng của ứng dụng di động, tích hợp thêm các công cụ hỗ trợ giọng nói (Text-to-Speech) nhằm phục vụ tối ưu cho đối tượng người khiếm thị trong đời sống thực tế.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị học thuật và kỹ thuật thực tiễn cao:

• Đối tượng tham khảo: Sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành Khoa học Dữ liệu, Khoa học Máy tính, Trí tuệ Nhân tạo và Kỹ thuật Phần mềm đang tìm kiếm giải pháp kết hợp giữa kỹ thuật học sâu (Deep Learning) và kỹ thuật kỹ nghệ dữ liệu lớn (Data Engineering).
• Các nội dung đáng tham khảo chuyên sâu:
  • Quy trình thiết kế bộ lọc dữ liệu đa phương thức (Ảnh - Văn bản) chi tiết, định lượng hóa các tiêu chuẩn ngôn ngữ học bằng spaCy và Google Cloud Vision API tại [Chương 3].
  • Phương pháp tích hợp ma trận hình học trong Object Relation Transformer và ma trận tri thức tiên nghiệm trong Meshed-Memory Transformer tại [Chương 3].
  • Cấu hình và thiết lập siêu tham số chi tiết của mô hình VinVL cho tác vụ nhận diện vật thể và trích xuất đặc trưng tại [Chương 4].
  • Kiến trúc đường ống dòng dữ liệu kết hợp Apache Kafka, MongoDB Atlas và ứng dụng di động thực tế tại [Chương 3 và Chương 5].

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lại lựa chọn nguồn dữ liệu từ Wikipedia mà không phải là mạng xã hội hay các trang báo điện tử?
Các tác giả đã phân tích và loại trừ các nguồn khác vì: trên mạng xã hội, các câu chú thích thường phản ánh suy nghĩ, cảm xúc cá nhân của người đăng chứ không mô tả nội dung trực tiếp của bức ảnh; trên các trang báo chí, câu mô tả thường gắn chặt với một sự kiện, bối cảnh bài báo hay địa danh quá chi tiết mang nặng tính bình luận. Ngược lại, Wikipedia cung cấp dữ liệu đa dạng lĩnh vực với các câu chú thích mang tính khách quan, miêu tả trực tiếp chủ thể và hành động đang diễn ra, rất phù hợp cho bài toán mô tả ảnh tự động.

2. Quy trình lọc câu mô tả từ Wikipedia sử dụng những tiêu chí định lượng cụ thể nào?
Quy trình sử dụng mô hình ngôn ngữ vi_core_news_lg của thư viện spaCy để kiểm tra 5 điều kiện: (1) Tỷ lệ từ lặp lại nhiều nhất chia tổng số từ trong câu không vượt quá $0,5$; (2) Tỷ lệ các loại từ hợp lệ (danh từ, động từ, tính từ, danh từ riêng, phó từ) phải đạt tối thiểu từ $0,7$ trở lên; (3) Tỷ lệ danh từ không được vượt quá $0,9$ nhằm loại bỏ các chú thích chỉ ghi tên người/vật; (4) Tỷ lệ từ viết hoa phải dưới $0,5$ nhằm loại bỏ các câu liệt kê tên riêng; (5) Tương quan giữa từ trong câu và nhãn đối tượng do Google Cloud Vision API gán cho ảnh phải có sự trùng khớp.

3. Khóa luận đã sử dụng giải pháp nào để giải quyết vấn đề câu mô tả chứa tên riêng hoặc thông tin quá chi tiết?
Nhóm tác giả sử dụng kỹ thuật tăng cường dữ liệu gồm ba bước: loại bỏ các từ chỉ vị trí, địa điểm bằng Google Name Entity API; loại bỏ các thông tin ngày tháng, thời lượng bằng biểu thức chính quy (Regex); và sử dụng Google Knowledge Graph API để thay thế các danh từ riêng cụ thể thành các khái niệm/danh xưng nghề nghiệp có tính tổng quát cao hơn (ví dụ: chuyển "Justin Bieber" thành "Ca sĩ kiêm sáng tác nhạc", chuyển "Messi" thành "cầu thủ bóng đá").

4. Kiến trúc trích xuất đặc trưng hình ảnh VinVL có điểm gì ưu việt hơn so với phương pháp Bottom-up and Top-down truyền thống?
VinVL sử dụng mạng đường trục lớn ResNet-152 C4, được tiền huấn luyện trên tập dữ liệu ImageNet-5K và tinh chỉnh trên tập Visual Genome với 1.594 lớp đối tượng và thuộc tính (lớn hơn nhiều so với các tập dữ liệu nhận diện thông thường). Điều này cho phép VinVL nắm bắt và trích xuất các biểu diễn đối tượng, vùng ảnh và thuộc tính trực quan chi tiết và phong phú hơn, giúp nâng cao độ chính xác của ngữ cảnh đầu vào cho các bộ giải mã Transformer.

5. Cơ chế lưu trữ và truyền luồng dữ liệu trong hệ thống được thiết lập như thế nào?
Dữ liệu cào từ Wikipedia được đưa vào thành phần Producer của Apache Kafka, truyền qua các Topic tại Kafka Broker đến Consumer. Sau khi dữ liệu trải qua các bước lọc và tăng cường, các cặp URL ảnh và chú thích được đóng gói dưới định dạng JSON và lưu trữ trực tiếp trên cơ sở dữ liệu đám mây MongoDB Atlas để phục vụ quá trình học liên tục của mô hình.

Kết luận

Khóa luận tốt nghiệp của Hà Minh Quân và Đỗ Ngọc An đã xây dựng thành công một hệ thống mô tả hình ảnh tự động tiếng Việt theo thời gian thực ứng dụng công nghệ dữ liệu lớn. Công trình đã giải quyết hiệu quả bài toán khan hiếm dữ liệu thông qua quy trình thu thập, lọc ngữ nghĩa đa tầng và chuẩn hóa tri thức từ Wikipedia, đồng thời xây dựng bộ kiểm thử chất lượng cao Wiki-Test. Việc tích hợp kiến trúc trích xuất đặc trưng VinVL với các mô hình Transformer tiên tiến (ORT, Meshed-Memory Transformer) trên nền tảng phân tán Apache Kafka đã tạo nên một giải pháp hoàn chỉnh từ nghiên cứu lý thuyết đến triển khai ứng dụng thực tiễn trên thiết bị di động.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan khoá luận Trong chương nay, chúng tôi sẽ nói về tổng quan bài toán mô tả ảnh theo thời gian thực và nêu rõ ý nghĩa cũng như tính ứng dụng của đề tài trong đời sống thực tế. > Chương 2: Các công trình nghiên cứu liên quan Các công trình nghiên cứu có liên quan tới bài toán mô tả ảnh theo thời gian thực sẽ được giới thiệu ở chương này. Đây là cơ sở học thuật tìm hiểu và phát triển bài toán. Cùng với với đó là các công trình về việc kiểm soát dòng dữ liệu (Data Streaming).

> Chương 3: Các phương pháp đề xuất Trong chương này sẽ nói tới những phương pháp được đề xuất dé thực nghiệm, bắt đầu với giới thiệu phương pháp streaming dữ liệu với nhiều bước dé phù hợp với đề tài: Dữ liệu đầu tiên sẽ được thu thập, tiếp đến sẽ trải qua bước xử lý, rồi thực hiền tăng cường để tạo ra bộ dữ liệu phù hợp nhất cho VIỆC huấn luyện. Sau đó là làm rõ phương pháp đề xuất dùng để mô tả ảnh tự động thông qua các mô hình học sâu. > Chương 4: Thực nghiệm và đánh giá kết quả Thực nghiệm những đề xuất ở Chương 3. Đầu tiên chúng tôi trién khai phương pháp streaming dữ liệu dé tạo bộ dữ liệu đáp ứng cho bài toán.

Sau đó chúng tôi trién khai các mô hình trích suất đặc trưng như VinVL, lay những đặc trưng này làm nguyên luyện đầu vào cho những mô hình học sâu phức tạp dùng dé tạo câu mô tả ảnh như Meshed Memory Transformer, Object Relation Transformer. Các mô hình này được liên tục huấn luyện dựa trên dữ liệu mới được cập nhật thường xuyên vào hệ thống. > Chương 5: Xây dựng ứng dụng hỗ trợ mô tả ảnh tự động theo thời gian thực Chúng tôi sẽ trình bày về quy trình triển khai và công nghệ được sử dụng để tạo ra ứng dụng điện thoại cung cấp công cụ hỗ trợ tạo câu mô tả cho hình ảnh. > Chương 6: Kết luận và hướng phát triển Chúng tôi đánh giá lại và đưa ra những thành tựu sau khi thực hiện khoá luận, cũng như chỉ ra những điều còn hạn chế và đề xuất hướng có thể giúp phát triên khoá luận sau này.

Tổng quan khóa luận 1. Giới thiệu khoá luận Đề tài của chúng tôi nghiên cứu năm trong thời đại của kỹ thuật số, nơi mà dữ liệu đóng vai trò nòng cốt trong hầu hết mọi mặt đời sống, từ kinh doanh tới an ninh và cả ngành có tính chất đặc thù giáo dục. Dữ liệu được sinh ra liên tục, theo thống kê của trang Statista [1], mỗi ngày có trung bình 328.77 Terra Byte dữ liệu được tạo ra. Dữ liệu được tạo ra là rất phong phú và dưới đa dạng hình thức khác nhau, bao gồm văn bản, hình ảnh, video, âm thanh và nhiều hơn nữa.

Nhưng nỗi bật lên chính là dit liệu đưới dang hình anh, dạng dữ liệu này chiếm tỷ trọng không hề nhỏ trong tổng lượng dit liệu đã từng được sinh ra. Lý do cho chuyện đó xuất phat từ sự phát triển như vũ bão của công nghệ hình ảnh số, từ smartphone, máy ảnh kỹ thuật số, cho tới drone và các loại cảm biến hình ảnh khác. Dữ liệu hình ảnh là một trong những dạng dữ liệu giàu thông tin và có tiềm năng khai thác đáng kê. Điều này sẽ thật sự đáng tiếc là nếu chúng ta không tận dụng và khai thác dữ liệu này một cách triệt để, nó sẽ trở thành một sự lãng phí không dang có.

Mô tả hình ảnh tự động là bài toán không mới nó đã thu hút được sự quan tâm từ rất lâu tước đây. Tuy nhiên việc tiếp cận bài toán còn nhiều khó khăn, trong đó sự thiếu hụt về nguồn đữ liệu chính là nguyên nhân chính. Đặc biệt là sự thiếu hụt nguồn dir liệu tiếng Việt. Nhưng trong bối cảnh hiện nay cùng với nhiều công nghệ đủ sức làm thay đôi cách thé giới vận hành như công nghệ dữ liệu lớn, trí tuệ nhân tao, Internet vạn vật,.Chính điều này trở thành chìa khoá để vượt qua những khó khăn của bài toán.

Do đó nhóm chúng tôi chọn chọn cách sử dụng công nghệ đữ liệu lớn, cụ thé là Kafka, một công nghệ dòng dit liệu (Data Streaming) phô biến, dé thu thập dữ liệu hình ảnh và văn bản thông qua các kênh khác nhau một cách liên tục theo thời gian thực. Việc này không chỉ mang lại cho mô hình nguồn dé liệu đa lĩnh vực, mà còn khiến mô hình học liên tục và cập nhật kiến thức của mình theo thời gian, từ đó tăng cường chât lượng của câu mô tả. Bài toán chúng tôi đang giải có thể hiểu đơn giản như sau: Khi nhận được hình anh chúng tôi sẽ tiễn hành tạo ra một câu mô tả tương ứng. Cụ thé hơn: ° Đầu vào: Một hình ảnh ngẫu nhiên có thé thu thập từ bat kỳ đâu.

° Đầu ra: Câu mô tả diễn giải hình ảnh tương ứng. Người thổ dân dùng cỏ Hệ thông mô tả ảnh khô tạo lửa Hình 1.1: Một ví dụ cho việc tao sinh câu mô tả Đề tài khoá luận này không chỉ đóng góp cho khoa học, mà còn mở ra con đường cho những ứng dụng thực tế mới của công nghệ này. Đây chính là lý do chúng tôi thực hiện khoá luận với niềm tin rằng khả năng của máy móc trong việc hiểu và mô tả hình ảnh sẽ tiếp tục được cải tiến, trở thành một công cụ đắc lực hỗ trợ giải quyết nhiều những khó khăn còn tồn đọng trong xã hội hiện đại giúp cải thiện cuộc sống. Tính ứng dụng của khoá luận Như đã đề cập ở phần giới thiệu khoá luận, trong thế giới ngày càng hiện đại hóa và số hoá, nhu cầu của xã hội đối với việc xử lý thông tin tự động và nhanh chóng ngày cảng tăng.

Đặc biệt, với sự bùng nô của đữ liệu hình ảnh, việc khai thác thông tin từ hình ảnh trở thành một yêu cầu không thê thiếu trong mọi lĩnh vực. Điều này đặt ra nhu cau cho việc phát triển một hệ thống có thé mô tả ảnh tự động theo thời gian thực ở nhiều lĩnh vực khác nhau là vô cũng cấp thiết. Trong bối cảnh cấp thiết đó, giải 10 pháp của chúng tôi đề xuất có tiềm năng ứng dụng rất lớn trong nhiều lĩnh vực đời sông từ đó làm đòn bây cho sự phát triển kinh tế, xã hội ở Việt Nam. Sau quá trình nghiên cứu các mô hình, kết quả nghiên cứu của chúng tôi đã cho phép mô tả các hình ảnh ở nhiều lĩnh vực khác nhau với sự đầy đủ về ngữ cảnh và ngữ nghĩa.

Từ đó có thể làm cơ sở để ứng dụng vào việc hỗ trợ đời sống của những người có khiếm khuyết về thị giác, khó khăn trong vấn đề diễn tả ngôn ngữ. Không chỉ dừng lại ở hỗ trợ đời sống thường ngày mà nó còn có khả năng ứng dụng ngay cả trong pháp triển kinh tế, y tế, an ninh,. bằng cách mô tả các dữ liệu ảnh đầu vào cần thiết làm cơ sở giúp người quản trị có thé quản trị và đưa ra các quyết định nhanh chóng và hiệu quả. Với những ứng dụng thực tiễn này, chúng ta có thê thấy việc phát triển một hệ thống mô tả ảnh đa lĩnh vực tự động theo thời gian thực không chỉ đáp ứng nhu cầu của xã hội mà còn đóng góp vào việc cải thiện chât lượng cuộc sông một cách mạnh mẽ.

Các công trình nghiên cứu liên quan 2. Lĩnh vực mô tả ảnh tự động Với sự đột phá trong kiến trúc mô hình học sâu, điều này đã nền móng cho áp dụng trí tuệ nhân tạo vào cải thiện chất lượng đời song và dich vụ. Không ngoại lệ, bai toán mô tả ảnh tự động trở thành một thách thức mới lạ và thu hút được phần đông giới khoa học. Từ những bài toán sơ khai, mô tả ảnh tự động đơn giản chỉ sử dụng các mô hình nhận diện vật thé dé đưa ra các chú thích don giản với tên của đối tượng chính trong ảnh như trong nghiên cứu của [2, 3].

Từ lúc đây, với sự ra đời mạnh mẽ của những bộ dữ liệu có kích thước lớn và chất lượng cao dé huấn luyện và đánh giá bài toán này như Flickr-8k của tác giả [4] với 8092 ảnh, và kế đến là Flickr-30k của tác gia [5] đã tạo điều kiện lớn cho mô hình học sâu được phát triển phục vụ bài toán mô tả ảnh tự động. Và đáng chú ý hon, Microsoft đã công bé dữ liệu về lĩnh vực này bao gồm hơn 123,000 ảnh, từ đó thị trường nghiên cứu cho bài toán đa phần sử dụng MS Coco [6] dé làm dữ liệu benchmark dé xây dựng mô hình của họ. Những nghiên cứu tiêu biểu về các mô hình mô ta ảnh tự động ban đầu dùng các mạng CNN để lấy ra đặc trưng, và từ những đặc trưng này, các kiến trúc mạng RNN được áp dụng như một mô hình ngôn ngữ đề tạo ra câu mô tả tương ứng. Càng về sau, những kiến trúc CNN tiên phong như ResNet [7], VGG [7] ra đời, nhà nghiên cứu bắt đầu sử dụng những kiến trúc lớn này dé trích xuất đặc trưng thay vì những lớp mang CNN đơn giản như trước, cách tiếp cận này đã tối ưu hóa được hiệu suất mô hình nhờ vào phương pháp học chuyền đổi (Transfer Learning).

Các nghiên cứu đặc sắc ở thời kỳ này có thé kế đến với [8, 9, 10]. Thêm vào đó, các nghiên cứu áp dụng kỹ thuật attention lên các bài toán học sâu ở thời gian đó đã tao sự chú ý lên rất nhiều lĩnh vực sử dụng các lớp mạng tương tự. Dựa trên kết quả đó, Kelvin và các cộng sự [11] đã cải tiến mô hình Show and Tell bằng việc sử dụng thêm kỹ thuật attention kết hợp với mạng LSTM ở tầng Decoder, tạo ra một mô hình SOTA mới đó là Show attend and tell [12]. Bắt đầu từ năm 2017, những nhà nghiên cứu bắt đầu nhận ra những điểm chưa tối ưu từ những phương pháp trích xuất đặc trưng từ ảnh dùng các kiến 12 trúc CNN, những phát triển sử dụng các mô hình nhận diện vật thé dé trích xuất đặc trưng lại mang lại hiệu quả cao cho bài toán mô tả hình ảnh có thể kế đến như [13, 14, 15].

Bên cạnh những nghiên cứu đột phát về phần Encoder của mô hình, những phát triển của mô hình ngôn ngữ trong bai toán mô tả ảnh tự động cũng được nghiên cứu rộng rãi, những mô hình sử dụng kiến trúc RNN-based như LSTM hay GRU từ những nghiên cứu [16, 17] .