Đồ án: Xây dựng mô hình tạo chú thích ảnh | SV: Phan Minh Trung & Ngô Quang Trường

Tài liệu đồ án tốt nghiệp chi tiết về xây dựng mô hình tạo chú thích ảnh, ứng dụng các kỹ thuật học sâu và xử lý ngôn ngữ tự nhiên để mô tả ảnh.

• Tác giả: Phan Minh Trung
• Người hướng dẫn: Ts. Nguyễn Thành Sơn
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Xây Dựng Mô Hình Tạo Chú Thích Ảnh
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Khái Niệm và Ứng Dụng Mô Hình Tạo Chú Thích Ảnh

Mô hình tạo chú thích ảnh (Image Captioning Model) là một công nghệ học sâu kết hợp giữa xử lý hình ảnh và xử lý ngôn ngữ tự nhiên (NLP). Mô hình này có khả năng phân tích nội dung của ảnh và tự động sinh ra những mô tả chi tiết bằng ngôn ngữ tự nhiên. Đây là một lĩnh vực quan trọng trong trí tuệ nhân tạo với nhiều ứng dụng thực tiễn. Công nghệ này được sử dụng rộng rãi trong các lĩnh vực như mô tả ảnh cho người khiếm thị, quản lý kho ảnh, phân tích hình ảnh thương mại điện tử, và nhiều ứng dụng khác. Xây dựng mô hình tạo chú thích ảnh đòi hỏi sự kết hợp của các kỹ thuật tiên tiến trong học máy và xử lý dữ liệu.

1.1. Định Nghĩa Mô Hình Tạo Chú Thích Ảnh

Mô hình tạo chú thích ảnh là hệ thống học sâu sử dụng mạng nơ-ron nhân tạo để tự động tạo ra các mô tả văn bản từ ảnh. Mô hình kết hợp hai thành phần chính: encoder (mã hóa ảnh) và decoder (giải mã văn bản). Encoder trích xuất đặc trưng từ ảnh thông qua mạng nơ-ron tích chập (CNN), trong khi decoder sử dụng mạng nơ-ron hồi quy (RNN) hoặc Transformer để sinh ra chú thích. Quá trình này tạo ra các mô tả tự nhiên, mô phỏng cách con người mô tả một hình ảnh.

1.2. Ứng Dụng Thực Tiễn của Công Nghệ

Mô hình tạo chú thích ảnh có ứng dụng rộng rãi trong nhiều lĩnh vực. Trong quản lý kho ảnh, nó tự động phân loại và gắn nhãn ảnh. Trong thương mại điện tử, công nghệ này tạo mô tả sản phẩm từ hình ảnh, giúp cải thiện trải nghiệm mua sắm. Đối với người khiếm thị, mô hình tạo chú thích cung cấp mô tả âm thanh cho ảnh, nâng cao khả năng truy cập. Các ứng dụng khác bao gồm truyền thông xã hội, nghiên cứu khoa học, và các nền tảng học máy hiện đại.

II. Kiến Trúc và Các Thành Phần Chính của Mô Hình

Một mô hình tạo chú thích ảnh hoàn chỉnh bao gồm nhiều thành phần quan trọng hoạt động phối hợp nhằm chuyển đổi ảnh thành văn bản. Kiến trúc cơ bản theo mô hình encoder-decoder đã được chứng minh là hiệu quả nhất. Encoder sử dụng các mạng nơ-ron tích chập có sẵn như VGG, ResNet hoặc InceptionV3 để trích xuất đặc trưng hình ảnh. Decoder được xây dựng từ các lớp LSTM (Long Short-Term Memory) hoặc GRU (Gated Recurrent Unit) để sinh ra chú thích từng từ một. Một số mô hình hiện đại sử dụng Attention Mechanism để tăng độ chính xác.

2.1. Thành Phần Encoder Trích Xuất Đặc Trưng Hình Ảnh

Encoder là phần đầu tiên của mô hình tạo chú thích ảnh, chịu trách nhiệm trích xuất các đặc trưng quan trọng từ ảnh. Thường sử dụng các mạng nơ-ron tích chập được huấn luyện trước (pre-trained CNN) như ResNet50 hoặc VGG16. Các mạng này được huấn luyện trên bộ dữ liệu ImageNet lớn, cho phép chúng nắm bắt được các đặc trưng hình ảnh phức tạp. Encoder chuyển đổi ảnh đầu vào thành một vector biểu diễn (representation vector), tóm tắt thông tin hình ảnh dưới dạng số học.

2.2. Thành Phần Decoder Sinh Chú Thích Văn Bản

Decoder là phần thứ hai, sử dụng mạng nơ-ron hồi quy (RNN) để chuyển đổi vector biểu diễn từ encoder thành chú thích văn bản. Decoder sử dụng các lớp LSTM hoặc GRU có khả năng ghi nhớ các từ trước đó, giúp sinh ra các câu mô tả có ý nghĩa. Mỗi bước, decoder dự đoán từ tiếp theo dựa trên từ hiện tại và bối cảnh của ảnh. Quá trình tiếp diễn cho đến khi decoder sinh ra token kết thúc, tạo thành một chú thích hoàn chỉnh.

III. Quy Trình Xây Dựng Mô Hình Tạo Chú Thích Ảnh

Xây dựng mô hình tạo chú thích ảnh là một quá trình có tổ chức gồm nhiều bước cụ thể. Đầu tiên, cần thu thập và chuẩn hóa bộ dữ liệu chứa ảnh và các chú thích tương ứng. Sau đó, thực hiện tiền xử lý dữ liệu bao gồm thay đổi kích thước ảnh, chuẩn hóa pixel, và xử lý văn bản. Tiếp theo là xây dựng kiến trúc mô hình với encoder và decoder, sau đó huấn luyện mô hình trên bộ dữ liệu huấn luyện. Cuối cùng, thực hiện đánh giá hiệu suất bằng các chỉ số đánh giá như BLEU, METEOR, CIDEr để xác định độ chính xác của mô hình tạo chú thích.

3.1. Chuẩn Bị và Tiền Xử Lý Dữ Liệu

Bước đầu tiên trong xây dựng mô hình là chuẩn bị dữ liệu. Cần thu thập hoặc sử dụng bộ dữ liệu công khai như Flickr30K hoặc COCO Dataset chứa hàng ngàn ảnh với nhiều chú thích cho mỗi ảnh. Tiền xử lý dữ liệu bao gồm: thay đổi kích thước ảnh thành kích thước nhất quán (ví dụ 224x224), chuẩn hóa giá trị pixel, xóa chú thích trùng lặp, và chuyển đổi văn bản thành chữ thường. Tạo từ vựng từ tất cả các chú thích, loại bỏ các từ hiếm. Chia dữ liệu thành tập huấn luyện, xác thực, và kiểm tra theo tỷ lệ 70:15:15.

3.2. Huấn Luyện và Đánh Giá Mô Hình

Sau khi chuẩn bị dữ liệu, tiến hành huấn luyện mô hình sử dụng hàm mất mát cross-entropy. Sử dụng optimizer như Adam hoặc SGD để cập nhật trọng số mô hình. Huấn luyện thực hiện trên nhiều epoch, với việc lưu mô hình có hiệu suất tốt nhất trên tập xác thực. Sau huấn luyện, đánh giá mô hình trên tập kiểm tra sử dụng các chỉ số như BLEU, METEOR, CIDEr. So sánh kết quả với các mô hình baseline để xác định hiệu suất tương đối. Phân tích các lỗi để cải thiện mô hình trong các lần xây dựng tiếp theo.

IV. Các Kỹ Thuật Tiên Tiến và Tối Ưu Hóa Mô Hình

Để cải thiện hiệu suất của mô hình tạo chú thích ảnh, có nhiều kỹ thuật tiên tiến có thể áp dụng. Attention Mechanism cho phép mô hình tập trung vào các phần quan trọng của ảnh khi sinh từ, đáng kể cải thiện chất lượng chú thích. Transfer Learning sử dụng các mô hình được huấn luyện trước trên bộ dữ liệu lớn, giảm thời gian và dữ liệu huấn luyện cần thiết. Beam Search là kỹ thuật tìm kiếm nâng cao giúp tìm ra chuỗi từ tốt hơn so với tham lam đơn giản. Regularization techniques như dropout và batch normalization giúp tối ưu hóa mô hình, ngăn overfitting và cải thiện khả năng tổng quát hóa.

4.1. Cơ Chế Attention và Transformer

Attention Mechanism là kỹ thuật quan trọng trong xây dựng mô hình tạo chú thích hiện đại. Nó cho phép decoder "chú ý" đến các phần cụ thể của ảnh khi sinh ra từng từ trong chú thích. Transformer, kiến trúc mới dựa trên attention, đã vượt qua RNN truyền thống về hiệu suất và tốc độ. Vision Transformer (ViT) áp dụng transformer cho xử lý hình ảnh, chuỗi các bản vá ảnh thay vì pixel. Kết hợp visual encoder dựa trên ViT với text decoder dựa trên transformer tạo ra các mô hình tạo chú thích cạnh tranh nhất hiện nay.

4.2. Kỹ Thuật Tối Ưu Hóa và Cải Thiện Hiệu Suất

Tối ưu hóa mô hình bao gồm nhiều kỹ thuật để cải thiện chất lượng chú thích ảnh. Scheduled Sampling bắt đầu huấn luyện với mục tiêu thực sự, dần dần chuyển sang dự đoán mô hình để giảm exposure bias. Label Smoothing làm mềm mục tiêu training, cải thiện khả năng tổng quát. Beam Search thay thế greedy decoding, tìm kiếm rộng để chọn chuỗi từ có xác suất cao nhất. Ensemble Methods kết hợp nhiều mô hình để tăng độ mạnh mẽ. Điều chỉnh hyperparameter như learning rate, batch size, số layers cũng quan trọng để đạt hiệu suất tối ưu.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. KIẾN THỨC CƠ BẢN 1. Kiến thức chung 1. Tổng quan về bài toán tạo chú thích ảnh Tạo chú thích ảnh là một quá trình mà ở đó máy tính được huấn luyện để tự động sinh ra mô tả bằng ngôn ngữ tự nhiên cho các bức ảnh.

Qua việc kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên (NLP), mô hình học máy có thể hiểu và diễn giải nội dung của ảnh, từ đó tạo ra các chú thích mô tả những gì đang diễn ra trong ảnh đó. 1: Hình ảnh về quần áo, nhãn và ví dụ về chú thích mô tả [1] Tạo chú thích ảnh có nhiều ứng dụng thực tế như hỗ trợ người khiếm thị, tìm kiếm ảnh dựa trên nội dung, và tạo ra các hệ thống tự động gắn thẻ cho ảnh trên mạng xã hội. Thị giác máy tính 1. Định nghĩa Thị giác máy tính (CV) là công nghệ giúp huấn luyện máy móc có thể tự động nhận 3 biết và mô tả hình ảnh một cách chính xác tương tự như con người.

Mô hình tiêu biểu Một số mô hình học sâu tiêu biểu trong lĩnh vực thị giác máy tính:  CNNs: o Mô tả: CNN là một kiến trúc mạng nơ-ron sâu chuyên dụng cho xử lý dữ liệu có cấu trúc ma trận như hình ảnh. CNN thường bao gồm các lớp tích chập, lớp kích hoạt (như ReLU), lớp hợp nhất (pooling), và cuối cùng là các lớp kết nối đầy đủ để thực hiện phân loại hoặc phát hiện. o Ưu điểm: Hiệu quả cao trong việc trích xuất đặc trưng từ hình ảnh, tự động học các đặc trưng mà không cần đánh dấu thủ công. o Nhược điểm: Có thể trở nên khá tốn kém về mặt tính toán và bộ nhớ, đặc biệt khi kích thước của hình ảnh lớn.

 VGGNet: o Mô tả: VGGNet là một kiến trúc CNN nổi bật với việc sử dụng nhiều lớp tích chập liên tiếp trước khi áp dụng pooling, điều này giúp mô hình học được các đặc trưng phức tạp hơn. o Ưu điểm: Cung cấp một kiến trúc có thể tái sử dụng và mở rộng dễ dàng, được sử dụng rộng rãi như một mô hình cơ sở trong nhiều nghiên cứu. o Nhược điểm: Số lượng tham số rất lớn, gây khó khăn trong việc huấn luyện và triển khai.  ResNet: o Mô tả: ResNet giải quyết vấn đề biến mất gradient (vanishing gradient) trong các mạng có nhiều lớp bằng cách sử dụng các kết nối dư (residual connections) giúp thông tin có thể "nhảy cóc" qua một số lớp.

o Ưu điểm: Cho phép xây dựng các mạng rất sâu (ví dụ, hơn 100 lớp) mà vẫn duy trì khả năng học tập hiệu quả. 4 o Nhược điểm: Mặc dù hiệu quả hơn trong việc huấn luyện các mạng sâu, nhưng vẫn đòi hỏi nhiều tài nguyên tính toán và bộ nhớ. Xử lý ngôn ngữ tự nhiên 1. Định nghĩa Xử lý ngôn ngữ tự nhiên (NLP) là công nghệ giúp huấn luyện máy móc có thể phân tích, xử lý và hiểu ngôn ngữ của con người dưới dạng tiếng nói hoặc văn bản.

Các mô hình tiêu biểu Một số mô hình học sâu tiêu biểu trong lĩnh vực xử lý ngôn ngữ tự nhiên:  RNNs o Mô tả: RNNs là một loại mạng nơ-ron nhân tạo được thiết kế để xử lý dữ liệu chuỗi, trong đó các đầu vào trước đó có ảnh hưởng đến đầu vào hiện tại. RNN có khả năng ghi nhớ thông tin trước đó thông qua các tín hiệu nội sinh, điều này giúp chúng phù hợp cho việc xử lý ngôn ngữ tự nhiên. o Ưu điểm: Khả năng xử lý các dãy dữ liệu dài một cách lý thuyết không giới hạn. o Nhược điểm: Gặp khó khăn trong việc học các phụ thuộc dài hạn do vấn đề biến mất gradient (vanishing gradient).

 LSTMs: o Mô tả: LSTMs là một dạng tiên tiến của RNNs được thiết kế để tránh vấn đề biến mất gradient mà RNNs thường gặp phải. Chúng bao gồm các cổng đặc biệt (cổng quên, cổng nhập và cổng ra) giúp điều chỉnh dòng thông tin, cho phép mạng ghi nhớ hoặc quên thông tin một cách hiệu quả. 5 o Ưu điểm: Có khả năng học được các phụ thuộc dài hạn, làm cho chúng rất hiệu quả cho các tác vụ NLP như dịch máy hay mô hình hóa ngôn ngữ. o Nhược điểm: Mô hình phức tạp và đòi hỏi nhiều tài nguyên tính toán để huấn luyện.

 GRUs: o Mô tả: GRUs là một biến thể khác của RNNs, tương tự như LSTMs nhưng với cấu trúc đơn giản hơn. GRUs hợp nhất cổng quên và cổng nhập thành một cổng duy nhất, giúp giảm bớt sự phức tạp của mô hình mà vẫn duy trì khả năng xử lý các phụ thuộc dài hạn. o Ưu điểm: Đơn giản hơn LSTMs về mặt kiến trúc, dễ huấn luyện hơn và cũng hiệu quả trong nhiều tác vụ NLP. o Nhược điểm: Có thể không hiệu quả bằng LSTMs trong một số tình huống cụ thể nơi cần mức độ kiểm soát cao hơn về thông tin được ghi nhớ hoặc bỏ qua.

Các kĩ thuật liên quan Tokenization là một loại phân đoạn được sử dụng như bước đầu tiên trong bất kỳ tác vụ xử lý ngôn ngữ nào. Tokenization phân rã một cụm từ, câu, đoạn văn, hoặc thậm chí toàn bộ tài liệu văn bản thành các đoạn nhỏ, như từ hoặc thuật ngữ. Mỗi đoạn nhỏ này được gọi là một token. 2: Minh hoạ về kĩ thuật tokenizer trong xử lý ngôn ngữ tự nhiên Word Embedding là một kỹ thuật trong NLP để biến đổi các từ hoặc cụm từ thành các vector số.

Mỗi vector đại diện cho một từ trong không gian nhiều chiều, nơi các từ có ngữ nghĩa tương tự nhau sẽ có các vector gần nhau trong không gian đó. Word Embeddings được sử dụng để giúp các mô hình máy học hiểu được ngữ nghĩa của các từ. 3: Minh hoạ về kĩ thuật word embedding trong xử lý ngôn ngữ tự nhiên 7 2. Các công trình liên quan Trong lĩnh vực tạo chú thích tự động cho ảnh, đã có nhiều nghiên cứu đáng chú ý được thực hiện trong những năm gần đây.

Các phương pháp tiếp cận này thường dựa vào các mô hình học sâu để hiểu và mô tả nội dung của ảnh.  Tác giả Vinyals và các đồng nghiệp đã đề xuất ra kiến trúc mô hình Encoder- Decoder. Họ đã sử dụng Mạng nơ-ron tích chập (CNNs) làm bộ mã hóa (encoder) để trích xuất các đặc điểm hình ảnh. Sau đó, vectơ đặc trưng được trích xuất sẽ được gửi đến bộ giải mã (decoder) để tạo chú thích từng chữ.[21]  Tác giả Xu và các đồng nghiệp đã đề xuất sử dụng mô hình Attention-based LSTM để dự đoán chú thích cho ảnh.

Mô hình này sử dụng cơ chế chú ý để tập trung vào các phần quan trọng của hình ảnh khi tạo ra chú thích, giúp cải thiện độ chính xác của dự đoán.[22]  Tác giả He và các đồng nghiệp đã đề xuất sử dụng mô hình ResNet-50 để tạo ra biểu diễn đặc trưng của ảnh. Mô hình này sử dụng kiến trúc mạng nơ- ron sâu để học các đặc trưng phức tạp từ hình ảnh, giúp cải thiện chất lượng dự đoán chú thích.[23]  Tác giả Vaswani và các đồng nghiệp đã đề xuất sử dụng mô hình Transformer để tạo chú thích cho ảnh. Mô hình này có ưu điểm là xử lý các chuỗi dài mà không cần đến kiến trúc RNN, giúp cải thiện hiệu suất và độ chính xác của dự đoán.[24]  Tác giả Radford và các đồng nghiệp đã sử dụng mô hình CLIP để cải thiện sự tương thích giữa hình ảnh và ngôn ngữ bằng cách học các biểu diễn chung cho cả hai. Điều này giúp cải thiện khả năng hiểu ngữ nghĩa của hình ảnh và tạo ra chú thích phù hợp hơn.[25]  Tác giả Dosovitskiy và các đồng nghiệp đã đề xuất sử dụng mô hình ViT (Vision Transformer) để phân tích các đặc trưng hình ảnh.

Mô hình này sử 8 dụng kiến trúc Transformer để xử lý hình ảnh, giúp cải thiện khả năng hiểu ngữ nghĩa và tạo ra chú thích chính xác hơn. GIỚI THIỆU MÔ HÌNH SỬ DỤNG 1. Kiến trúc Encoder-Decoder cho mô hình tạo chú thích ảnh Mô hình có cấu trúc Encoder-Decoder được ưa chuộng trong tạo chú thích ảnh do khả năng phân tách hiệu quả giữa quá trình xử lý hình ảnh và sinh văn bản, tối ưu hóa từng quá trình một cách riêng biệt. Việc lựa chọn cấu trúc mô hình này dựa vào hai nghiên cứu của tác giả Vinyals và Xu vào năm 2015.

Cả hai nghiên cứu này không chỉ khẳng định tính ứng dụng của kiến trúc Encoder-Decoder trong lĩnh vực tạo chú thích ảnh mà còn cho thấy khả năng tích hợp và cải tiến để đạt hiệu suất cao hơn. 4: Kiến trúc tổng quát của mô hình Encoder-Decoder sử dụng cho việc tạo ảnh[2] Mô hình tạo chú thích hình ảnh này bao gồm một bộ mã hóa cho hình ảnh và một bộ giải mã để tạo chú thích:  Hình ảnh được đưa vào bộ mã hóa để trích xuất các đặc trưng quan trọng từ nó. Thông thường, một mạng nơ-ron tích chập đã được huấn luyện sẵn trên ImageNet được sử dụng cho phần này của mô hình.  Những đặc trưng được trích xuất từ bộ mã hóa được lấy làm đầu vào cho bộ giải mã và nó sẽ được sử dụng để tạo ra chú thích.

10  Một mô hình ngôn ngữ Mạng Nơ-ron Hồi Quy (RNNs) được sử dụng làm bộ giải mã, lấy đặc trưng hình ảnh cùng với từ hiện tại làm đầu vào sau đó xuất ra từ tiếp theo trong chú thích.  Cơ chế chú ý được sử dụng trong bộ giải mã của mô hình tạo chú thích hình ảnh để mô hình có thể xác định phần nào của hình ảnh được sử dụng để tạo ra từ tiếp theo.  Các từ được tạo ra từng từ một một cách tuần tự để hoàn thành chú thích. Cấu trúc chi tiết của mô hình Hình 2.

5: Kiến trúc mô hình chi tiết dùng cho việc tạo chú thích ảnh [3] 2. Encoder Bộ mã hóa của chúng tôi lấy một hình ảnh chưa được xử lý và đưa nó qua một mạng nơ-ron tích chập để lấy được một tập hợp các vector đặc trưng từ hình ảnh. Mô hình này trích xuất các đặc trưng từ các lớp tích chập thấp hơn thay vì các lớp kết nối đầy đủ. Lợi ích của việc sử dụng đầu ra của lớp tích chập cuối cùng là bộ giải mã của mô hình có thể tập trung vào các đặc điểm mà nếu không thì sẽ bị bỏ qua nếu đầu ra của các lớp kết nối đầy đủ được sử dụng.

Sau đó, sản phẩm của mạng nơ-ron tích chập sẽ được đưa đên LSTM.