Đồ án nghiên cứu giải pháp tạo mô tả tự động hình ảnh - HaUI 2024

Đồ án nghiên cứu giải pháp tạo mô tả tự động cho hình ảnh bằng AI, học sâu. Ứng dụng CNN, RNN, LSTM, Transformer trong xử lý ảnh và sinh văn bản mô tả.

• Tác giả: Thân Ngọc Thiện
• Người hướng dẫn: TS. Phạm Văn Hà
• Trường học: Trường Đại học Công Nghiệp Hà Nội
• Chuyên ngành: Hệ thống Thông tin
• Đề tài: Nghiên cứu phát triển giải pháp tạo mô tả tự động cho hình ảnh
• Loại tài liệu: đồ án tốt nghiệp đại học
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Tóm tắt

I. Cách tạo mô tả tự động cho hình ảnh bằng AI Tổng quan toàn diện

Giải pháp tạo mô tả tự động cho hình ảnh bằng AI là một lĩnh vực nghiên cứu then chốt trong trí tuệ nhân tạo (AI) và xử lý ảnh, thuộc nhánh con của thị giác máy tính và xử lý ngôn ngữ tự nhiên. Mục tiêu chính của bài toán này là sinh ra các câu văn ngắn, chính xác và có ngữ nghĩa để mô tả nội dung trực quan trong ảnh. Nhu cầu về mô tả hình ảnh tự động ngày càng tăng trong các ứng dụng như hỗ trợ người khiếm thị, tìm kiếm ảnh thông minh, nền tảng thương mại điện tử và mạng xã hội. Theo nghiên cứu của Thân Ngọc Thiện (2024), giải pháp này kết hợp kiến trúc học sâu (deep learning) đa mô hình, đặc biệt sử dụng CNN để trích xuất đặc trưng hình ảnh và LSTM/Transformer để sinh văn bản. Việc tích hợp ngữ cảnh, đối tượng chính và quan hệ giữa các thực thể trong ảnh giúp nâng cao độ chính xác và tính tự nhiên của mô tả. Ngoài ra, các bộ dữ liệu như COCO, Flickr30k đóng vai trò nền tảng để huấn luyện và đánh giá hiệu suất mô hình. Sự phát triển nhanh chóng của mô hình ngôn ngữ lớn (LLM) và kỹ thuật căn chỉnh đa phương thức (multimodal alignment) đang mở ra hướng tiếp cận mới cho bài toán này.

1.1. Bài toán mô tả hình ảnh tự động là gì

Bài toán mô tả hình ảnh tự động (image captioning) yêu cầu hệ thống AI phân tích một hình ảnh đầu vào và tạo ra một chuỗi văn bản mô tả đúng và đầy đủ nội dung. Đây là nhiệm vụ liên ngành, kết hợp thị giác máy tính và xử lý ngôn ngữ tự nhiên. Mô tả cần phản ánh được đối tượng chính, hành động, bối cảnh và mối quan hệ giữa các thành phần trong ảnh. Ví dụ, với ảnh 'một cậu bé đang chơi bóng đá trên sân cỏ', mô tả phải nêu rõ chủ thể, hành động và môi trường xung quanh.

1.2. Tầm quan trọng và ứng dụng thực tiễn

Mô tả hình ảnh tự động có ứng dụng rộng rãi: hỗ trợ người khiếm thị qua ứng dụng như Seeing AI, tối ưu hóa SEO hình ảnh cho website thương mại điện tử, cải thiện khả năng tìm kiếm nội dung trực quan trên mạng xã hội, và hỗ trợ báo chí tự động tạo chú thích. Theo Đặng Thị Thu Hiền & Lê Thanh Hương (2023), tại Việt Nam, nhu cầu sinh chú thích tiếng Việt tự động đang gia tăng mạnh trong các nền tảng số nội địa.

II. Thách thức khi triển khai giải pháp tạo mô tả hình ảnh bằng AI

Việc triển khai giải pháp tạo mô tả tự động cho hình ảnh bằng AI gặp nhiều thách thức kỹ thuật và ngữ nghĩa. Một trong những rào cản lớn nhất là sự khác biệt giữa không gian hình ảnh và ngôn ngữ – hai miền dữ liệu hoàn toàn khác nhau về cấu trúc và đặc trưng. Mô hình phải học cách liên kết đặc trưng thị giác với ý nghĩa ngữ nghĩa, điều đòi hỏi lượng dữ liệu huấn luyện khổng lồ và kiến trúc mạng phức tạp. Ngoài ra, tính đa nghĩa của hình ảnh cũng gây khó khăn: cùng một ảnh có thể có nhiều mô tả hợp lệ tùy ngữ cảnh. Ví dụ, ảnh 'người đàn ông đứng cạnh xe hơi' có thể được mô tả theo nhiều góc nhìn: công việc, sở hữu, hoặc tình huống giao thông. Thân Ngọc Thiện (2024) chỉ ra rằng độ chính xác ngữ pháp, tính mạch lạc và khả năng bao quát ngữ cảnh vẫn là điểm yếu của nhiều mô hình hiện tại. Bên cạnh đó, hiệu suất tính toán, yêu cầu phần cứng và khả năng mở rộng cũng là rào cản khi triển khai thực tế. Đặc biệt với ngôn ngữ như tiếng Việt – ít tài nguyên hơn so với tiếng Anh – việc huấn luyện mô hình chất lượng cao càng trở nên khó khăn.

2.1. Khó khăn trong căn chỉnh đa phương thức

Căn chỉnh đa phương thức (multimodal alignment) là quá trình đồng bộ thông tin từ hình ảnh và văn bản. Thách thức nằm ở việc mô hình phải hiểu mối quan hệ ngữ nghĩa giữa pixel và từ vựng. Kỹ thuật attention mechanism giúp tập trung vào vùng ảnh liên quan khi sinh từ, nhưng vẫn chưa giải quyết triệt để vấn đề mất thông tin ngữ cảnh khi ảnh phức tạp.

2.2. Hạn chế về dữ liệu và ngôn ngữ địa phương

Hầu hết bộ dữ liệu lớn (COCO, Flickr30k) đều dùng tiếng Anh. Việc áp dụng trực tiếp cho tiếng Việt dẫn đến thiếu hụt từ vựng, sai cấu trúc câu và giảm độ tự nhiên. Nghiên cứu của Đặng Thị Thu Hiền (2023) nhấn mạnh nhu cầu xây dựng bộ dữ liệu chú thích tiếng Việt chuẩn hóa để cải thiện hiệu quả mô hình nội địa.

III. Phương pháp học sâu hàng đầu cho mô tả hình ảnh tự động

Các phương pháp học sâu hiện đại cho bài toán mô tả hình ảnh chủ yếu dựa trên kiến trúc encoder-decoder. Encoder thường là mạng nơ-ron tích chập (CNN) như ResNet, VGG16 hoặc EfficientNet để trích xuất đặc trưng hình ảnh. Decoder sử dụng mạng hồi quy (RNN), đặc biệt là LSTM hoặc GRU, để sinh chuỗi văn bản từ đặc trưng đã mã hóa. Gần đây, mô hình Transformer đã thay thế RNN nhờ khả năng xử lý song song và cơ chế self-attention hiệu quả. Các nghiên cứu như “Image Captioning with Semantic Attention” (You et al., 2016) và “Attention on Attention” (Huang et al., 2019) đã chứng minh rằng cơ chế attention giúp mô hình tập trung vào các vùng ảnh quan trọng khi sinh từ tương ứng. Ngoài ra, các tiếp cận end-to-end như Vision Transformer (ViT) kết hợp trực tiếp hình ảnh và ngôn ngữ trong cùng một không gian biểu diễn, mang lại hiệu suất vượt trội. Thân Ngọc Thiện (2024) đã thử nghiệm cả CNN-LSTM và Transformer, kết luận rằng Transformer cho kết quả tốt hơn về BLEU, ROUGE và CIDEr – các chỉ số đánh giá phổ biến trong sinh văn bản.

3.1. Kiến trúc CNN LSTM truyền thống

Kiến trúc CNN-LSTM là nền tảng kinh điển: CNN trích xuất đặc trưng toàn cục từ ảnh, LSTM giải mã thành chuỗi từ. Mặc dù đơn giản, mô hình này vẫn hiệu quả với dữ liệu vừa phải. Tuy nhiên, LSTM gặp giới hạn trong việc nắm bắt ngữ cảnh dài và quan hệ phức tạp giữa các đối tượng.

3.2. Mô hình Transformer và sự bứt phá mới

Mô hình Transformer loại bỏ hoàn toàn RNN, thay vào đó dùng multi-head attention để xử lý toàn bộ chuỗi cùng lúc. Điều này giúp mô hình hiểu sâu hơn về mối quan hệ giữa các từ và vùng ảnh. Các biến thể như Meshed-Memory Transformer hay X-Linear Attention (2020) đã đạt điểm số cao trên bộ dữ liệu COCO.

IV. Ứng dụng thực tế và kết quả từ nghiên cứu tại Việt Nam

Nghiên cứu của Thân Ngọc Thiện (2024) tại Trường Đại học Công nghiệp Hà Nội đã xây dựng một ứng dụng mô tả hình ảnh tự động dựa trên kiến trúc CNN-LSTM và thử nghiệm với bộ dữ liệu Flickr30k. Kết quả cho thấy mô hình đạt BLEU-1: 0.68, METEOR: 0.25, và CIDEr: 0.82, chứng tỏ khả năng sinh mô tả có ý nghĩa và gần với mô tả do con người viết. Ứng dụng được triển khai dưới dạng web, cho phép người dùng tải ảnh lên và nhận mô tả tức thì. Trong bối cảnh Việt Nam, nghiên cứu của Đặng Thị Thu Hiền & Lê Thanh Hương (2023) cũng đề xuất giải pháp cải thiện độ chính xác cho tiếng Việt bằng cách fine-tune mô hình đa ngôn ngữ và sử dụng từ điển chuyên ngành. Các ứng dụng tiềm năng bao gồm: hỗ trợ người khiếm thị qua điện thoại, tự động điền alt text cho website tuân thủ WCAG, và tăng cường trải nghiệm mua sắm trên sàn TMĐT bằng mô tả sản phẩm sinh tự động. Những kết quả này khẳng định tính khả thi và giá trị thực tiễn của giải pháp tạo mô tả tự động cho hình ảnh bằng AI trong môi trường địa phương.

4.1. Triển khai ứng dụng web mô tả ảnh

Ứng dụng được phát triển với giao diện lập trình ứng dụng (API) RESTful, backend dùng Flask và frontend React. Người dùng tải ảnh, hệ thống xử lý qua mô hình đã huấn luyện và trả về mô tả. Thời gian phản hồi trung bình dưới 2 giây trên GPU Tesla T4, phù hợp cho triển khai thực tế.

4.2. Đánh giá hiệu suất bằng chỉ số chuẩn

Các chỉ số BLEU, ROUGE, METEOR và CIDEr được dùng để đo lường độ tương đồng giữa mô tả AI và mô tả chuẩn do con người viết. CIDEr đặc biệt quan trọng vì nó đánh giá dựa trên từ khóa ngữ nghĩa và tần suất cụm từ, phản ánh tốt hơn chất lượng mô tả.

V. Tương lai của giải pháp tạo mô tả hình ảnh bằng AI

Tương lai của giải pháp tạo mô tả tự động cho hình ảnh bằng AI sẽ tập trung vào ba xu hướng chính: cá nhân hóa, đa ngôn ngữ và tích hợp tri thức bên ngoài. Các mô hình thế hệ mới như BLIP-2, Flamingo hay KOSMOS-2 không chỉ mô tả ảnh mà còn trả lời câu hỏi, suy luận và kết nối với cơ sở tri thức. Việc tích hợp thực thể có tên (named entities) và kiến thức thế giới giúp mô tả giàu thông tin hơn – ví dụ: nhận diện 'Tòa nhà Bitexco' thay vì chỉ nói 'một tòa nhà cao'. Ngoài ra, mô hình nhỏ gọn (lightweight models) và học không giám sát sẽ giúp triển khai trên thiết bị di động. Tại Việt Nam, hướng nghiên cứu tiếp theo là xây dựng bộ dữ liệu chú thích tiếng Việt quy mô lớn và phát triển mô hình đa phương thức bản địa. Như Junzhe Zhang et al. (2024) đề xuất trong EAMA, việc nhận diện thực thể (entity-aware) trong ảnh tin tức giúp sinh mô tả chính xác và có ngữ cảnh. Điều này mở ra khả năng ứng dụng trong báo chí tự động và giám sát truyền thông.

5.1. Xu hướng mô hình đa phương thức tiên tiến

Các mô hình đa phương thức (multimodal foundation models) như CLIP, BLIP-2 cho phép hiểu sâu cả hình ảnh và văn bản trong cùng không gian vector. Chúng hỗ trợ zero-shot captioning – mô tả ảnh mà không cần huấn luyện riêng – nhờ khả năng tổng quát hóa vượt trội.

5.2. Cơ hội cho nghiên cứu AI tại Việt Nam

Việt Nam có cơ hội phát triển giải pháp mô tả ảnh tiếng Việt bằng cách kết hợp mô hình quốc tế với từ điển ngữ nghĩa địa phương và ngữ liệu người dùng thực. Hợp tác giữa trường đại học và doanh nghiệp có thể thúc đẩy ứng dụng trong giáo dục, y tế và thương mại điện tử.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO, HỌC MÁY, HỌC SÂU VÀ BÀI TOÁN MÔ TẢ HÌNH ẢNH 1. Tổng quan về trí tuệ nhân tạo, học máy và học sâu 1. Trí tuệ nhân tạo Trí tuệ nhân tạo (AI) là một trong những lĩnh vực nghiên cứu nổi bật và cách mạng trong khoa học máy tính, có tầm ảnh hưởng sâu rộng đến nhiều ngành công nghiệp và đời sống xã hội. AI được định nghĩa là khả năng của các hệ thống máy tính trong việc thực hiện các nhiệm vụ mà, nếu không có AI, sẽ đòi hỏi trí tuệ con người.

Các nhiệm vụ này bao gồm nhận diện hình ảnh, hiểu ngôn ngữ tự nhiên, suy luận logic, và thậm chí ra quyết định trong các tình huống phức tạp. Mục tiêu của AI là mô phỏng và mở rộng khả năng tư duy và trí tuệ con người, giúp máy tính có thể tự động thực hiện các công việc từ đơn giản đến phức tạp mà không cần sự can thiệp của con người. AI khác biệt so với các hệ thống tính toán truyền thống ở chỗ thay vì dựa vào những quy tắc đã được lập trình sẵn, AI có thể tự học từ kinh nghiệm và dữ liệu thực tế để cải thiện hiệu suất của mình. Điều này giúp AI thích nghi và điều chỉnh hành vi dựa trên những thay đổi trong môi trường xung quanh, giúp các hệ thống trở nên linh hoạt và hiệu quả hơn theo thời gian.

AI được xây dựng trên nền tảng các thuật toán và mô hình toán học tiên tiến, giúp nó có khả năng phân tích khối lượng dữ liệu lớn và trích xuất thông tin có giá trị từ đó. Đây là lý do tại sao AI có thể đạt được hiệu quả cao trong các bài toán phức tạp như dự đoán xu hướng thị trường, phát hiện gian lận, và hỗ trợ quá trình ra quyết định trong các ngành công nghiệp như y tế, tài chính và năng lượng. Sự ra đời của AI bắt đầu từ giữa thế kỷ 20, khi những câu hỏi về khả năng của máy móc "suy nghĩ" như con người lần đầu tiên được đặt ra. Một trong những cột mốc đáng chú ý trong lịch sử AI là bài báo nổi tiếng "Computing Machinery and Intelligence" của nhà toán học và triết học Alan 8 Turing vào năm 1950.

Trong bài báo này, Turing đề xuất một thí nghiệm – ngày nay được gọi là Thử nghiệm Turing – để đánh giá liệu một máy tính có thể biểu hiện hành vi trí tuệ không thể phân biệt được với con người. Từ đó, khái niệm AI bắt đầu trở thành một lĩnh vực nghiên cứu khoa học và được giới học giả và kỹ sư trên toàn thế giới nghiên cứu và phát triển. Trong những năm 1950 và 1960, các nhà nghiên cứu AI đã đạt được một số tiến bộ đáng kể với sự ra đời của các chương trình máy tính đầu tiên có khả năng chơi cờ và giải quyết các bài toán logic. Một trong những hệ thống đầu tiên là Logic Theorist do Allen Newell và Herbert Simon phát triển, có khả năng chứng minh các định lý trong logic.

Tuy nhiên, vào thời điểm này, do hạn chế về phần cứng và sức mạnh tính toán, AI không thể đạt được những kết quả thực tiễn đáng kể. Với sự bùng nổ của dữ liệu lớn (Big Data) và sự phát triển vượt bậc của phần cứng máy tính trong những năm 1990 và 2000, AI đã quay trở lại mạnh mẽ hơn bao giờ hết. Các thuật toán mới, đặc biệt là các thuật toán học máy (machine learning), đã được phát triển, cho phép AI xử lý và học từ khối lượng dữ liệu khổng lồ. Các mạng nơ-ron nhân tạo và các kỹ thuật học sâu (deep learning) cũng ra đời, giúp AI không chỉ phân tích dữ liệu hiệu quả hơn mà còn có khả năng mô phỏng nhiều nhiệm vụ phức tạp hơn, như nhận diện giọng nói, dịch ngôn ngữ và điều khiển robot.

Ngày nay, AI được chia thành hai loại chính, phản ánh mức độ và phạm vi ứng dụng của nó: AI hẹp (Narrow AI) và AI tổng quát (General AI): - AI hẹp là dạng AI phổ biến nhất hiện nay, tập trung vào việc thực hiện một hoặc một số nhiệm vụ cụ thể. Ví dụ, các hệ thống nhận diện khuôn mặt, phân loại văn bản, hoặc hệ thống chơi cờ như AlphaGo của Google DeepMind là những ví dụ điển hình của AI hẹp. Hệ thống AI hẹp có thể làm rất tốt các công việc được chỉ định, nhưng không có khả năng vượt qua giới hạn nhiệm vụ đó hoặc tự chuyển đổi sang các nhiệm vụ khác mà không được lập trình trước. 9 - AI tổng quát, còn được gọi là Trí tuệ nhân tạo mạnh (Strong AI), là mục tiêu dài hạn của lĩnh vực này.

AI tổng quát có khả năng hiểu biết và thực hiện bất kỳ nhiệm vụ nào mà con người có thể làm, từ việc giải quyết các vấn đề tri thức đến tư duy sáng tạo. Tuy nhiên, việc phát triển AI tổng quát vẫn còn là một thách thức lớn. Để đạt được AI tổng quát, các nhà nghiên cứu không chỉ cần mô phỏng hành vi của trí tuệ con người mà còn phải tìm hiểu sâu hơn về cách thức não bộ con người học hỏi, suy nghĩ, và ra quyết định. Trí tuệ nhân tạo đã trải qua một hành trình phát triển dài và đầy biến động, từ những ngày đầu với kỳ vọng lớn lao, qua những thất bại ban đầu, cho đến sự bùng nổ của công nghệ hiện đại.

Ngày nay, AI đang đóng một vai trò then chốt trong cách mạng công nghệ, mang lại tiềm năng to lớn trong việc giải quyết các vấn đề phức tạp và cải thiện chất lượng cuộc sống. Tuy nhiên, để AI phát triển một cách bền vững và an toàn, cần có sự hợp tác chặt chẽ giữa các nhà khoa học, chính phủ và cộng đồng quốc tế nhằm đảm bảo rằng công nghệ này phục vụ lợi ích của toàn nhân loại. Học máy Học máy (Machine Learning - ML) là một trong những nhánh quan trọng và đang phát triển nhanh chóng của trí tuệ nhân tạo (AI), với mục tiêu giúp các hệ thống máy tính có khả năng học hỏi và thích nghi từ dữ liệu một cách tự động mà không cần phải lập trình cụ thể cho mỗi tác vụ. Điều này đánh dấu một bước đột phá lớn trong lĩnh vực công nghệ, khi các thuật toán học máy có thể giải quyết những vấn đề phức tạp bằng cách tự xây dựng mô hình dựa trên dữ liệu đầu vào thay vì tuân theo các quy tắc lập trình cứng nhắc.

Theo một nghiên cứu được công bố trên Journal of Machine Learning Research (2020), học máy đã thay đổi cục diện công nghệ nhờ khả năng xử lý lượng lớn dữ liệu và tìm ra các mối quan hệ tiềm ẩn trong dữ liệu một cách hiệu quả, từ đó cung cấp các dự đoán chính xác hơn. 10 Một trong những đặc điểm quan trọng của học máy là khả năng tự động cập nhật và cải tiến dựa trên dữ liệu mới mà không cần sự can thiệp liên tục của con người. Nhờ vào tính tự động này, học máy đã giúp các hệ thống máy tính trở nên linh hoạt và thích nghi tốt hơn trong môi trường thay đổi liên tục. Một nghiên cứu của Nature Machine Intelligence (2021) cho thấy, khi học máy được ứng dụng trong các hệ thống dự đoán tài chính hoặc chẩn đoán y tế, các mô hình học từ dữ liệu lịch sử và liên tục cải thiện hiệu suất dự đoán khi được cung cấp thêm dữ liệu mới.

Điều này giúp các hệ thống học máy không chỉ đưa ra các dự đoán chính xác mà còn có khả năng phát hiện và khắc phục các sai số theo thời gian, cải thiện hiệu quả hoạt động. Học máy được chia thành ba phương pháp chính: Học có giám sát (Supervised Learning), Học không giám sát (Unsupervised Learning), và Học tăng cường (Reinforcement Learning), mỗi phương pháp có cách thức hoạt động và ứng dụng riêng biệt trong các lĩnh vực khác nhau: - Học có giám sát (Supervised Learning) là phương pháp mà hệ thống học từ các dữ liệu đã được dán nhãn rõ ràng. Ví dụ, trong bài toán nhận diện hình ảnh, hệ thống sẽ được cung cấp một tập dữ liệu bao gồm các hình ảnh đã được dán nhãn (chẳng hạn như hình ảnh mèo, chó) và học cách phân loại các hình ảnh dựa trên thông tin này. Theo một bài báo đăng trên IEEE Transactions on Pattern Analysis and Machine Intelligence (2020), học có giám sát đã trở thành phương pháp phổ biến nhất trong nhận diện hình ảnh và xử lý ngôn ngữ tự nhiên, nhờ khả năng đạt được độ chính xác cao khi có lượng dữ liệu lớn và phong phú.

Tuy nhiên, hạn chế của phương pháp này là cần có một lượng lớn dữ liệu đã dán nhãn, điều này đôi khi có thể tốn kém và mất thời gian. - Học không giám sát (Unsupervised Learning) lại tiếp cận vấn đề từ một góc độ khác, khi dữ liệu không được dán nhãn và hệ thống tự tìm cách phát hiện các mẫu và cấu trúc tiềm ẩn trong dữ liệu. Một ứng dụng phổ biến của học không giám sát là trong phân cụm dữ liệu (data 11 clustering), nơi các thuật toán như K-means hoặc mô hình Gaussian Mixture được sử dụng để nhóm các điểm dữ liệu có cùng đặc trưng lại với nhau. Trong một nghiên cứu của Proceedings of the National Academy of Sciences (2020), học không giám sát được chứng minh là có hiệu quả trong việc phân tích dữ liệu y sinh và phát hiện các phân nhóm bệnh nhân có chung đặc điểm sinh lý mà không cần đến thông tin dán nhãn trước.

- Học tăng cường (Reinforcement Learning) là phương pháp mà hệ thống học thông qua tương tác với môi trường, nhận phản hồi dưới dạng phần thưởng hoặc hình phạt, từ đó điều chỉnh hành vi để tối ưu hóa kết quả. Học tăng cường đã trở thành nền tảng cho nhiều tiến bộ trong robot tự hành và các trò chơi, nổi bật nhất là sự thành công của AlphaGo, hệ thống AI đã đánh bại nhà vô địch thế giới trong trò chơi cờ vây. Theo một nghiên cứu của Science (2019), học tăng cường được coi là một trong những phương pháp mạnh mẽ nhất trong việc giải quyết các bài toán phức tạp, nơi mà môi trường và nhiệm vụ không thể mô tả đầy đủ bằng các thuật toán đơn giản. Học máy hiện đang đóng vai trò nền tảng trong nhiều lĩnh vực công nghệ hiện đại và mang lại những lợi ích to lớn cho xã hội.