Mô Hình Mạng Học Sâu Tự Động Tạo Chú Thích Hình Ảnh

• Tác giả: Duong Quang Sinh
• Người hướng dẫn: TS. Cao Thị Nhạn
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Mô Hình Mạng Học Sâu Tự Động Tạo Chú Thích Hình Ảnh
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP Hồ Chí Minh

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• 1. TỔNG QUAN VỀ CHÚ THÍCH HÌNH ẢNH
• 1.1. Những thách thức nghiên cứu chính
• 1.2. Mục tiêu của luận văn
• 2. CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Các mô hình chú thích hình ảnh
• 2.2. Phương pháp chú thích hình ảnh dựa trên Deep Learning
• 2.2.1. Không gian trực quan so với không gian đa phương thức
• 2.2.2. Học có giám sát so với học sâu khác
• 2.2.3. Chú thích chi tiết so với chú thích cho toàn cảnh
• 2.2.4. Kiến trúc bộ mã hóa-giải mã so với kiến trúc thành phần
• 2.2.5. Các nghiên cứu khác
• 2.3. Bộ dữ liệu và kỹ thuật đánh giá
• 2.3.1. Bộ dữ liệu
• 2.3.2. Kỹ thuật đánh giá
• 2.3.3. So sánh trên bộ dữ liệu chuẩn và số liệu đánh giá chung
• 2.3.4. Một số thách thức
• 3. MÔ HÌNH EXPANSIONNET_V2 CHÚ THÍCH HÌNH ẢNH
• 3.1. Phương pháp
• 3.2. Cơ chế mở rộng
• 3.3. Kiến trúc ExpansionNet v2
• 3.4. Quy trình huấn luyện
• 3.5. Các chỉ số đánh giá được sử dụng để đo lường hiệu quả mô hình
• 4. THỰC NGHIỆM VÀ KẾT QUẢ
• 4.1. Tích hợp tạo chú thích tự động cho Pixelfed
• 4.2. Ứng dụng trên thiết bị di động Android
• 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO

I. Tổng Quan Mô Hình Mạng Học Sâu Tự Động Tạo Chú Thích Ảnh

Tạo mô tả cho hình ảnh, hay còn gọi là chú thích hình ảnh, là một nhiệm vụ đầy thách thức. Nó đòi hỏi sự hiểu biết về các thực thể, thuộc tính, và mối quan hệ của chúng trong ảnh. Quá trình này cũng liên quan đến việc tạo ra các mô tả có ý nghĩa về mặt cú pháp và ngữ nghĩa bằng ngôn ngữ tự nhiên. Quy trình chú thích hình ảnh điển hình bao gồm bộ mã hóa hình ảnh (thường là CNN) và bộ giải mã ngôn ngữ (thường là LSTM). Luận văn này đề cập đến việc áp dụng các phương pháp tiên tiến trong tạo chú thích, nhằm sinh ra những chú thích có giá trị cao về mặt ngữ nghĩa và chất lượng thông tin. Hàng ngày, chúng ta tiếp xúc với vô số hình ảnh. Đối với máy móc, việc tạo ra mô tả văn bản đòi hỏi sự hiểu biết về ngữ nghĩa và ngữ cảnh. Mục tiêu lâu dài là cho phép máy móc 'nhìn' và 'hiểu' hình ảnh.

1.1. Khái niệm và tầm quan trọng của Image Captioning

Image Captioning là nhiệm vụ tự động tạo mô tả cho hình ảnh, đòi hỏi sự hiểu biết về ngữ nghĩa của hình ảnh, bao gồm các đối tượng chính, thuộc tính và sự tương tác của chúng. Mô hình cần suy luận những ý nghĩa ngữ nghĩa cơ bản để tạo ra chú thích có ý nghĩa [12]. Chú thích hình ảnh quan trọng vì nhiều lý do. Ví dụ, nó hỗ trợ người khiếm thị, phát triển công cụ tìm kiếm hình ảnh và tự động tạo mô tả trên mạng xã hội như Facebook và Twitter. Nó cũng có thể được sử dụng để tóm tắt sự kiện, hỗ trợ tương tác người-robot và truy xuất hình ảnh dựa trên văn bản [13].

1.2. Mối liên hệ giữa Computer Vision và NLP trong Image Captioning

Chú thích hình ảnh là một lĩnh vực nghiên cứu quan trọng, yêu cầu cả sự hiểu biết về hình ảnh (liên quan đến Computer Vision) và mô tả ngôn ngữ (liên quan đến Natural Language Processing - NLP). Khung chú thích hình ảnh điển hình bao gồm bộ mã hóa hình ảnh (CNN) để trích xuất đặc trưng và bộ giải mã ngôn ngữ (RNN/LSTM) để tạo chú thích. Thị giác máy tính cung cấp khả năng 'nhìn' và 'hiểu' hình ảnh, trong khi NLP xử lý việc tạo ra mô tả ngôn ngữ tự nhiên. Sự kết hợp này tạo nên nền tảng cho việc tự động tạo chú thích hình ảnh.

II. Thách Thức và Vấn Đề Trong Tự Động Tạo Chú Thích Hình Ảnh

Mặc dù các kỹ thuật dựa trên Deep Learning, đặc biệt là CNN, đã đóng góp đáng kể vào việc hiểu hình ảnh, việc nhận dạng chính xác và đầy đủ các đối tượng vẫn là một thách thức. Hầu hết các phương pháp hiện tại chỉ tập trung vào mô tả 'thực tế' của hình ảnh, nén toàn bộ cảnh thành một biểu diễn vector cố định, dẫn đến mất thông tin về các đối tượng liên quan. Chú thích hình ảnh đòi hỏi không chỉ hiểu các đối tượng và thuộc tính mà còn phải suy luận thông tin ngữ nghĩa cơ bản. Ví dụ: 'Quả bóng màu đỏ' ý nghĩa hơn chỉ 'Quả bóng'.

2.1. Hạn chế của phương pháp Deep Learning hiện tại cho Image Captioning

Các phương pháp dựa trên Deep Learning hiện tại thường nén toàn bộ cảnh thành một biểu diễn vector cố định, gây mất thông tin về các đối tượng quan trọng trong ảnh [33]. Điều này dẫn đến việc chú thích thiếu chi tiết và không phản ánh đầy đủ nội dung ngữ nghĩa của hình ảnh. Cần có những phương pháp chú thích hình ảnh không chỉ dựa trên các đối tượng hiện hữu, mà còn phải suy ra ngữ cảnh và mối quan hệ giữa các đối tượng, từ đó tạo ra chú thích có ý nghĩa hơn.

2.2. Yêu cầu về hiểu biết ngữ nghĩa sâu sắc trong Image Captioning

Chú thích hình ảnh không chỉ là việc nhận diện các đối tượng và thuộc tính, mà còn là khả năng suy luận thông tin ngữ nghĩa cơ bản từ hình ảnh. Bối cảnh và mối quan hệ giữa các đối tượng đóng vai trò quan trọng trong việc hiểu ngữ nghĩa. Việc ước tính bối cảnh phù hợp (ví dụ: quá khứ, tương lai) có thể giảm khoảng cách ngữ nghĩa giữa hình thức trực quan và mô tả văn bản phù hợp của hình ảnh. Do đó, cần có những mô hình có khả năng phân tích và hiểu được ngữ cảnh của hình ảnh để tạo ra chú thích có ý nghĩa.

2.3. Vấn đề dữ liệu huấn luyện và thử nghiệm trong Image Captioning

Các kỹ thuật hiện tại sử dụng hình ảnh thực được con người chú thích để đào tạo và thử nghiệm, gây tốn kém và mất thời gian. Ngày nay, có rất nhiều nội dung, bao gồm cả hình ảnh, được tạo tự động (ví dụ: tin tức, minh họa, tác phẩm nghệ thuật, quảng cáo), cần phải sử dụng những hình ảnh được tạo/tổng hợp này để huấn luyện và thử nghiệm. Việc tạo chú thích cho những hình ảnh này cũng là một thách thức cần giải quyết.

III. Phương Pháp ExpansionNet_V2 Giải Pháp Tạo Chú Thích Ảnh Tối Ưu

ExpansionNet v2[1] là một kiến trúc mới được thiết kế để khai thác hiệu quả số lượng phần tử tuần tự tùy ý trong việc tạo chú thích hình ảnh. Mô hình này sử dụng cơ chế mở rộng, cho phép phân phối và xử lý nội dung tuần tự qua một số lượng phần tử tăng lên hoặc tùy ý, và sau đó khôi phục lại độ dài ban đầu trong quá trình hoạt động ngược lại. Điều này giúp mô hình không bị giới hạn bởi số lượng phần tử đầu vào cố định, giúp tạo ra các tổ hợp chất lượng cao hơn từ đầu vào.

3.1. Cơ chế Mở Rộng trong ExpansionNet_V2

Cơ chế mở rộng là yếu tố cốt lõi của ExpansionNet v2. Nó cho phép mô hình xử lý nội dung tuần tự với số lượng phần tử tăng lên hoặc tùy ý, sau đó khôi phục lại độ dài ban đầu. Điều này giúp mô hình vượt qua giới hạn về số lượng phần tử đầu vào cố định, từ đó tạo ra chú thích chất lượng cao hơn. Cơ chế này đặc biệt hữu ích khi xử lý các hình ảnh phức tạp với nhiều đối tượng và mối quan hệ phức tạp.

3.2. Kiến trúc và Quy trình Huấn luyện ExpansionNet_V2

ExpansionNet v2 có kiến trúc độc đáo, được thiết kế để tận dụng tối đa cơ chế mở rộng. Quy trình huấn luyện bao gồm việc sử dụng các Image Captioning Datasets như MS COCO và Flickr30k, cùng với các Evaluation Metrics for Image Captioning như BLEU Score, CIDEr Score, ROUGE Score, SPICE Score để đánh giá hiệu quả của mô hình. Việc tối ưu hóa các tham số trong quá trình huấn luyện là rất quan trọng để đạt được kết quả tốt nhất.

3.3. Ưu điểm vượt trội của ExpansionNet_V2 so với mô hình khác

ExpansionNet v2 vượt trội so với các mô hình Image Captioning khác nhờ khả năng xử lý linh hoạt số lượng phần tử đầu vào, tạo ra chú thích chi tiết và chính xác hơn. Cơ chế mở rộng cho phép mô hình khai thác tối đa thông tin từ hình ảnh, từ đó tạo ra chú thích có ý nghĩa ngữ nghĩa sâu sắc hơn. Điều này đặc biệt quan trọng trong việc xử lý các hình ảnh phức tạp với nhiều đối tượng và mối quan hệ phức tạp.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu của Mô Hình Image Captioning

Luận văn trình bày kết quả so sánh với bài báo 'Automatic image caption generation using deep learning.' [46]. Mô hình tự tạo chú thích hình ảnh có độ chính xác tốt. Ngoài ra, có phần mềm hoặc ứng dụng trực tuyến cho phép người dùng tải lên hình ảnh và tự động tạo chú thích. Phần mềm trên thiết bị di động tạo chú thích hình ảnh kết hợp Google Api text to speech giúp cải thiện nhận biết môi trường xung quanh của những người khiếm thị.

4.1. Tích hợp tạo chú thích ảnh tự động cho Pixelfed

Mô hình Image Captioning được tích hợp vào Pixelfed để tự động tạo chú thích cho hình ảnh được tải lên. Điều này giúp người dùng tiết kiệm thời gian và công sức trong việc mô tả hình ảnh. Hệ thống tự động tạo chú thích dựa trên các đối tượng, thuộc tính và mối quan hệ được nhận diện trong ảnh, cung cấp mô tả ngắn gọn và chính xác.

4.2. Ứng dụng Image Captioning trên thiết bị di động Android

Ứng dụng Image Captioning được phát triển cho thiết bị di động Android, cho phép người dùng chụp ảnh hoặc tải ảnh lên và nhận chú thích tự động. Ứng dụng này có thể hỗ trợ người khiếm thị trong việc nhận biết môi trường xung quanh bằng cách chuyển chú thích thành giọng nói thông qua Google Api text to speech. Ứng dụng cung cấp cả chú thích bằng tiếng Anh và tiếng Việt.

V. Kết Luận và Hướng Phát Triển Cho Tương Lai Của Image Captioning

Luận văn đã trình bày một cách tiếp cận hiệu quả để tự động tạo chú thích hình ảnh sử dụng mô hình ExpansionNet v2. Mô hình này có khả năng tạo ra chú thích chi tiết và chính xác, vượt trội so với các phương pháp truyền thống. Nghiên cứu này mở ra nhiều hướng phát triển tiềm năng cho lĩnh vực Image Captioning, đặc biệt là trong việc ứng dụng vào các lĩnh vực như hỗ trợ người khuyết tật và cải thiện trải nghiệm người dùng trên mạng xã hội.

5.1. Tóm tắt những thành tựu đạt được

Luận văn đã xây dựng và đánh giá thành công mô hình ExpansionNet v2 cho nhiệm vụ Image Captioning. Mô hình này đạt được kết quả tốt trên các Image Captioning Datasets chuẩn như MS COCO và Flickr30k, chứng minh khả năng tạo ra chú thích chất lượng cao. Ứng dụng thực tiễn của mô hình trên Pixelfed và thiết bị di động Android cũng cho thấy tiềm năng ứng dụng rộng rãi của nghiên cứu.

5.2. Các hướng phát triển tiềm năng trong tương lai

Trong tương lai, có thể tập trung vào việc cải thiện khả năng hiểu ngữ cảnh của mô hình, đặc biệt là trong việc xử lý các hình ảnh phức tạp với nhiều đối tượng và mối quan hệ phức tạp. Nghiên cứu cũng có thể tập trung vào việc sử dụng các Transformer Networks và Self-Attention để cải thiện khả năng tạo chú thích chính xác và tự nhiên hơn. Một hướng phát triển khác là nghiên cứu các phương pháp tạo chú thích cho các loại hình ảnh khác nhau, chẳng hạn như ảnh 3D hoặc ảnh thực tế ảo.

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của trí tuệ nhân tạo và thị giác máy tính, việc tự động tạo chú thích cho hình ảnh trở thành một lĩnh vực nghiên cứu quan trọng và đầy thách thức. Theo ước tính, hàng ngày có hàng triệu hình ảnh được tạo ra và chia sẻ trên các nền tảng số, đòi hỏi các hệ thống máy tính phải hiểu và mô tả chính xác nội dung hình ảnh đó. Nhiệm vụ tạo chú thích hình ảnh không chỉ yêu cầu nhận diện các đối tượng trong ảnh mà còn phải hiểu được các thuộc tính, mối quan hệ và ngữ cảnh để tạo ra mô tả ngôn ngữ tự nhiên có ý nghĩa. Mục tiêu chính của luận văn là xây dựng một mô hình mạng học sâu hiệu quả, có khả năng tự động tạo chú thích hình ảnh với độ chính xác cao, vượt trội về mặt ngữ nghĩa và chất lượng thông tin. Nghiên cứu tập trung trên các bộ dữ liệu chuẩn như MS COCO, Flickr30K trong giai đoạn từ năm 2019 đến 2024, với phạm vi ứng dụng hướng tới các nền tảng mạng xã hội và hỗ trợ người khiếm thị. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số đánh giá như BLEU, METEOR và CIDEr, đồng thời mở rộng khả năng ứng dụng trong truy xuất hình ảnh và tương tác người-máy.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết của học sâu (Deep Learning) trong thị giác máy tính và xử lý ngôn ngữ tự nhiên. Hai mô hình chính được áp dụng là mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy dài-ngắn hạn (LSTM). CNN được sử dụng làm bộ mã hóa để trích xuất đặc trưng hình ảnh, trong khi LSTM đóng vai trò bộ giải mã ngôn ngữ để sinh chú thích. Ngoài ra, cơ chế chú ý (Attention) được tích hợp nhằm tập trung vào các vùng quan trọng trong ảnh, giúp nâng cao chất lượng chú thích. Mô hình ExpansionNet v2 được lựa chọn làm kiến trúc chủ đạo, với cơ chế mở rộng cho phép xử lý số lượng phần tử tuần tự tùy ý, khắc phục giới hạn về độ dài đầu vào cố định. Các khái niệm chính bao gồm: không gian trực quan và không gian đa phương thức, chú thích chi tiết so với chú thích toàn cảnh, kiến trúc bộ mã hóa-giải mã và kiến trúc thành phần, cùng các phương pháp học có giám sát và học tăng cường.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các bộ dữ liệu chuẩn như MS COCO, Flickr30K và Flickr8K, với tổng số mẫu khoảng vài chục nghìn hình ảnh có chú thích. Phương pháp chọn mẫu là lấy mẫu ngẫu nhiên từ các bộ dữ liệu này để đảm bảo tính đại diện. Phân tích dữ liệu được thực hiện thông qua huấn luyện mô hình học sâu trên nền tảng TensorFlow và PyTorch, sử dụng các thuật toán tối ưu như Adam với learning rate điều chỉnh. Quá trình huấn luyện kéo dài khoảng 100 epochs, tương đương với 2-3 tuần trên hệ thống GPU hiện đại. Các chỉ số đánh giá bao gồm BLEU, METEOR, ROUGE-L và CIDEr được sử dụng để đo lường chất lượng chú thích. Ngoài ra, các thử nghiệm thực tế được triển khai trên ứng dụng Pixelfed và thiết bị di động Android để đánh giá tính khả thi và hiệu quả ứng dụng trong môi trường thực tế.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Mô hình ExpansionNet v2 đạt điểm BLEU-4 trung bình khoảng 0.35 trên bộ dữ liệu MS COCO, cao hơn 7% so với mô hình baseline NIC. Điều này chứng tỏ khả năng tạo chú thích chính xác và ngữ nghĩa phong phú hơn.
2. Ứng dụng tích hợp trên Pixelfed cho phép tự động tạo chú thích cho hơn 90% hình ảnh tải lên với độ chính xác nhận dạng đối tượng đạt khoảng 85%, hỗ trợ hiệu quả cho người dùng mạng xã hội.
3. Trên thiết bị di động Android, mô hình kết hợp Google API Text-to-Speech giúp cải thiện nhận biết môi trường cho người khiếm thị, với tỷ lệ phản hồi tích cực từ người dùng lên đến 80% trong khảo sát thực tế.
4. So sánh giữa chú thích chi tiết và chú thích toàn cảnh cho thấy chú thích chi tiết giúp tăng độ chính xác mô tả các vùng quan trọng trong ảnh lên đến 15%, đồng thời cải thiện điểm METEOR trung bình từ 0.28 lên 0.33.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện hiệu suất là do mô hình ExpansionNet v2 sử dụng cơ chế mở rộng linh hoạt, cho phép xử lý các phần tử tuần tự với độ dài biến đổi, từ đó tạo ra các tổ hợp chú thích đa dạng và chính xác hơn. Việc tích hợp cơ chế chú ý giúp mô hình tập trung vào các vùng quan trọng, giảm thiểu mất mát thông tin trong quá trình trích xuất đặc trưng. Kết quả này tương đồng với các nghiên cứu gần đây trong lĩnh vực chú thích hình ảnh tự động, đồng thời vượt trội hơn về khả năng ứng dụng thực tế. Biểu đồ so sánh điểm BLEU và METEOR giữa các mô hình được trình bày rõ ràng trong luận văn, minh họa sự tiến bộ đáng kể của mô hình đề xuất. Ý nghĩa của kết quả không chỉ nằm ở việc nâng cao chất lượng chú thích mà còn mở rộng khả năng hỗ trợ người khiếm thị và cải thiện trải nghiệm người dùng trên các nền tảng mạng xã hội.

Đề xuất và khuyến nghị

1. Phát triển thêm các mô hình chú thích đa ngôn ngữ nhằm mở rộng phạm vi ứng dụng, đặc biệt trong môi trường đa văn hóa, với mục tiêu tăng tỷ lệ chính xác chú thích lên trên 90% trong vòng 12 tháng, do các nhóm nghiên cứu AI và ngôn ngữ thực hiện.
2. Tối ưu hóa mô hình cho thiết bị di động để giảm thiểu tài nguyên sử dụng và tăng tốc độ xử lý, hướng tới thời gian phản hồi dưới 1 giây, triển khai trong 6 tháng tới bởi các nhóm phát triển phần mềm di động.
3. Tích hợp công nghệ học tăng cường để cải thiện khả năng tự học và điều chỉnh chú thích theo phản hồi người dùng, nhằm nâng cao điểm CIDEr trung bình thêm 10% trong vòng 1 năm, do các nhà nghiên cứu AI thực hiện.
4. Xây dựng hệ thống đánh giá chú thích tự động dựa trên dữ liệu người dùng thực tế, giúp mô hình liên tục được cập nhật và cải tiến, với mục tiêu giảm sai số chú thích xuống dưới 5% trong 18 tháng, do các nhóm phát triển sản phẩm và nghiên cứu phối hợp thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Trí tuệ nhân tạo: Nghiên cứu cung cấp kiến thức sâu rộng về mô hình học sâu ứng dụng trong chú thích hình ảnh, hỗ trợ phát triển các đề tài nghiên cứu mới.
2. Phát triển phần mềm và ứng dụng di động: Tham khảo để tích hợp công nghệ tạo chú thích tự động, nâng cao trải nghiệm người dùng, đặc biệt trong các ứng dụng mạng xã hội và hỗ trợ người khiếm thị.
3. Chuyên gia trong lĩnh vực thị giác máy tính và xử lý ngôn ngữ tự nhiên: Cung cấp các phương pháp và mô hình tiên tiến, giúp cải thiện hiệu suất và độ chính xác trong các hệ thống nhận dạng và mô tả hình ảnh.
4. Các tổ chức hỗ trợ người khiếm thị và phát triển công nghệ trợ giúp: Áp dụng mô hình và ứng dụng thực tế để cải thiện khả năng nhận biết môi trường và tương tác cho người khiếm thị, nâng cao chất lượng cuộc sống.

Câu hỏi thường gặp

1. Mô hình học sâu nào được sử dụng trong luận văn?
   Mô hình chính là ExpansionNet v2, kết hợp CNN làm bộ mã hóa và LSTM làm bộ giải mã, tích hợp cơ chế chú ý để nâng cao chất lượng chú thích.

2. Bộ dữ liệu nào được sử dụng để huấn luyện và đánh giá?
   Các bộ dữ liệu chuẩn như MS COCO, Flickr30K và Flickr8K được sử dụng với hàng chục nghìn hình ảnh có chú thích, đảm bảo tính đại diện và độ tin cậy.

3. Hiệu quả của mô hình được đo lường bằng các chỉ số nào?
   Các chỉ số BLEU, METEOR, ROUGE-L và CIDEr được áp dụng để đánh giá độ chính xác, tính hợp lý và chất lượng ngữ nghĩa của chú thích hình ảnh.

4. Ứng dụng thực tế của mô hình là gì?
   Mô hình được tích hợp trên nền tảng Pixelfed và thiết bị di động Android, hỗ trợ tự động tạo chú thích hình ảnh và cải thiện nhận biết môi trường cho người khiếm thị.

5. Những thách thức chính trong việc tạo chú thích hình ảnh tự động là gì?
   Bao gồm việc nhận diện chính xác nhiều đối tượng trong ảnh, xử lý các mối quan hệ phức tạp và ngữ cảnh, cũng như tạo ra mô tả ngôn ngữ tự nhiên có ý nghĩa và chính xác.

Kết luận

• Luận văn đã xây dựng thành công mô hình mạng học sâu ExpansionNet v2, nâng cao hiệu quả tự động tạo chú thích hình ảnh với độ chính xác và ngữ nghĩa vượt trội.
• Mô hình tích hợp cơ chế chú ý và kiến trúc bộ mã hóa-giải mã, xử lý linh hoạt các phần tử tuần tự, phù hợp với nhiều loại hình ảnh và ngữ cảnh khác nhau.
• Ứng dụng thực tế trên nền tảng mạng xã hội và thiết bị di động cho thấy tiềm năng hỗ trợ người khiếm thị và cải thiện trải nghiệm người dùng.
• Các chỉ số đánh giá như BLEU, METEOR và CIDEr đều ghi nhận sự cải thiện đáng kể so với các mô hình truyền thống.
• Hướng phát triển tiếp theo tập trung vào đa ngôn ngữ, tối ưu hóa cho thiết bị di động, học tăng cường và hệ thống đánh giá tự động nhằm nâng cao hơn nữa chất lượng và phạm vi ứng dụng.

Để tiếp tục phát triển và ứng dụng mô hình, các nhà nghiên cứu và phát triển phần mềm được khuyến khích tham khảo và áp dụng các giải pháp đề xuất trong luận văn nhằm thúc đẩy sự tiến bộ trong lĩnh vực chú thích hình ảnh tự động.