Chương 1: Tổng quan khoá luận Trong chương nay, chúng tôi sẽ nói về tổng quan bài toán mô tả ảnh theo thời gian thực và nêu rõ ý nghĩa cũng như tính ứng dụng của đề tài trong đời sống thực tế. > Chương 2: Các công trình nghiên cứu liên quan Các công trình nghiên cứu có liên quan tới bài toán mô tả ảnh theo thời gian thực sẽ được giới thiệu ở chương này. Đây là cơ sở học thuật tìm hiểu và phát triển bài toán. Cùng với với đó là các công trình về việc kiểm soát dòng dữ liệu (Data Streaming).
> Chương 3: Các phương pháp đề xuất Trong chương này sẽ nói tới những phương pháp được đề xuất dé thực nghiệm, bắt đầu với giới thiệu phương pháp streaming dữ liệu với nhiều bước dé phù hợp với đề tài: Dữ liệu đầu tiên sẽ được thu thập, tiếp đến sẽ trải qua bước xử lý, rồi thực hiền tăng cường để tạo ra bộ dữ liệu phù hợp nhất cho VIỆC huấn luyện. Sau đó là làm rõ phương pháp đề xuất dùng để mô tả ảnh tự động thông qua các mô hình học sâu. > Chương 4: Thực nghiệm và đánh giá kết quả Thực nghiệm những đề xuất ở Chương 3. Đầu tiên chúng tôi trién khai phương pháp streaming dữ liệu dé tạo bộ dữ liệu đáp ứng cho bài toán.
Sau đó chúng tôi trién khai các mô hình trích suất đặc trưng như VinVL, lay những đặc trưng này làm nguyên luyện đầu vào cho những mô hình học sâu phức tạp dùng dé tạo câu mô tả ảnh như Meshed Memory Transformer, Object Relation Transformer. Các mô hình này được liên tục huấn luyện dựa trên dữ liệu mới được cập nhật thường xuyên vào hệ thống. > Chương 5: Xây dựng ứng dụng hỗ trợ mô tả ảnh tự động theo thời gian thực Chúng tôi sẽ trình bày về quy trình triển khai và công nghệ được sử dụng để tạo ra ứng dụng điện thoại cung cấp công cụ hỗ trợ tạo câu mô tả cho hình ảnh. > Chương 6: Kết luận và hướng phát triển Chúng tôi đánh giá lại và đưa ra những thành tựu sau khi thực hiện khoá luận, cũng như chỉ ra những điều còn hạn chế và đề xuất hướng có thể giúp phát triên khoá luận sau này.
Tổng quan khóa luận 1. Giới thiệu khoá luận Đề tài của chúng tôi nghiên cứu năm trong thời đại của kỹ thuật số, nơi mà dữ liệu đóng vai trò nòng cốt trong hầu hết mọi mặt đời sống, từ kinh doanh tới an ninh và cả ngành có tính chất đặc thù giáo dục. Dữ liệu được sinh ra liên tục, theo thống kê của trang Statista [1], mỗi ngày có trung bình 328.77 Terra Byte dữ liệu được tạo ra. Dữ liệu được tạo ra là rất phong phú và dưới đa dạng hình thức khác nhau, bao gồm văn bản, hình ảnh, video, âm thanh và nhiều hơn nữa.
Nhưng nỗi bật lên chính là dit liệu đưới dang hình anh, dạng dữ liệu này chiếm tỷ trọng không hề nhỏ trong tổng lượng dit liệu đã từng được sinh ra. Lý do cho chuyện đó xuất phat từ sự phát triển như vũ bão của công nghệ hình ảnh số, từ smartphone, máy ảnh kỹ thuật số, cho tới drone và các loại cảm biến hình ảnh khác. Dữ liệu hình ảnh là một trong những dạng dữ liệu giàu thông tin và có tiềm năng khai thác đáng kê. Điều này sẽ thật sự đáng tiếc là nếu chúng ta không tận dụng và khai thác dữ liệu này một cách triệt để, nó sẽ trở thành một sự lãng phí không dang có.
Mô tả hình ảnh tự động là bài toán không mới nó đã thu hút được sự quan tâm từ rất lâu tước đây. Tuy nhiên việc tiếp cận bài toán còn nhiều khó khăn, trong đó sự thiếu hụt về nguồn đữ liệu chính là nguyên nhân chính. Đặc biệt là sự thiếu hụt nguồn dir liệu tiếng Việt. Nhưng trong bối cảnh hiện nay cùng với nhiều công nghệ đủ sức làm thay đôi cách thé giới vận hành như công nghệ dữ liệu lớn, trí tuệ nhân tao, Internet vạn vật,.Chính điều này trở thành chìa khoá để vượt qua những khó khăn của bài toán.
Do đó nhóm chúng tôi chọn chọn cách sử dụng công nghệ đữ liệu lớn, cụ thé là Kafka, một công nghệ dòng dit liệu (Data Streaming) phô biến, dé thu thập dữ liệu hình ảnh và văn bản thông qua các kênh khác nhau một cách liên tục theo thời gian thực. Việc này không chỉ mang lại cho mô hình nguồn dé liệu đa lĩnh vực, mà còn khiến mô hình học liên tục và cập nhật kiến thức của mình theo thời gian, từ đó tăng cường chât lượng của câu mô tả. Bài toán chúng tôi đang giải có thể hiểu đơn giản như sau: Khi nhận được hình anh chúng tôi sẽ tiễn hành tạo ra một câu mô tả tương ứng. Cụ thé hơn: ° Đầu vào: Một hình ảnh ngẫu nhiên có thé thu thập từ bat kỳ đâu.
° Đầu ra: Câu mô tả diễn giải hình ảnh tương ứng. Người thổ dân dùng cỏ Hệ thông mô tả ảnh khô tạo lửa Hình 1.1: Một ví dụ cho việc tao sinh câu mô tả Đề tài khoá luận này không chỉ đóng góp cho khoa học, mà còn mở ra con đường cho những ứng dụng thực tế mới của công nghệ này. Đây chính là lý do chúng tôi thực hiện khoá luận với niềm tin rằng khả năng của máy móc trong việc hiểu và mô tả hình ảnh sẽ tiếp tục được cải tiến, trở thành một công cụ đắc lực hỗ trợ giải quyết nhiều những khó khăn còn tồn đọng trong xã hội hiện đại giúp cải thiện cuộc sống. Tính ứng dụng của khoá luận Như đã đề cập ở phần giới thiệu khoá luận, trong thế giới ngày càng hiện đại hóa và số hoá, nhu cầu của xã hội đối với việc xử lý thông tin tự động và nhanh chóng ngày cảng tăng.
Đặc biệt, với sự bùng nô của đữ liệu hình ảnh, việc khai thác thông tin từ hình ảnh trở thành một yêu cầu không thê thiếu trong mọi lĩnh vực. Điều này đặt ra nhu cau cho việc phát triển một hệ thống có thé mô tả ảnh tự động theo thời gian thực ở nhiều lĩnh vực khác nhau là vô cũng cấp thiết. Trong bối cảnh cấp thiết đó, giải 10 pháp của chúng tôi đề xuất có tiềm năng ứng dụng rất lớn trong nhiều lĩnh vực đời sông từ đó làm đòn bây cho sự phát triển kinh tế, xã hội ở Việt Nam. Sau quá trình nghiên cứu các mô hình, kết quả nghiên cứu của chúng tôi đã cho phép mô tả các hình ảnh ở nhiều lĩnh vực khác nhau với sự đầy đủ về ngữ cảnh và ngữ nghĩa.
Từ đó có thể làm cơ sở để ứng dụng vào việc hỗ trợ đời sống của những người có khiếm khuyết về thị giác, khó khăn trong vấn đề diễn tả ngôn ngữ. Không chỉ dừng lại ở hỗ trợ đời sống thường ngày mà nó còn có khả năng ứng dụng ngay cả trong pháp triển kinh tế, y tế, an ninh,. bằng cách mô tả các dữ liệu ảnh đầu vào cần thiết làm cơ sở giúp người quản trị có thé quản trị và đưa ra các quyết định nhanh chóng và hiệu quả. Với những ứng dụng thực tiễn này, chúng ta có thê thấy việc phát triển một hệ thống mô tả ảnh đa lĩnh vực tự động theo thời gian thực không chỉ đáp ứng nhu cầu của xã hội mà còn đóng góp vào việc cải thiện chât lượng cuộc sông một cách mạnh mẽ.
Các công trình nghiên cứu liên quan 2. Lĩnh vực mô tả ảnh tự động Với sự đột phá trong kiến trúc mô hình học sâu, điều này đã nền móng cho áp dụng trí tuệ nhân tạo vào cải thiện chất lượng đời song và dich vụ. Không ngoại lệ, bai toán mô tả ảnh tự động trở thành một thách thức mới lạ và thu hút được phần đông giới khoa học. Từ những bài toán sơ khai, mô tả ảnh tự động đơn giản chỉ sử dụng các mô hình nhận diện vật thé dé đưa ra các chú thích don giản với tên của đối tượng chính trong ảnh như trong nghiên cứu của [2, 3].
Từ lúc đây, với sự ra đời mạnh mẽ của những bộ dữ liệu có kích thước lớn và chất lượng cao dé huấn luyện và đánh giá bài toán này như Flickr-8k của tác giả [4] với 8092 ảnh, và kế đến là Flickr-30k của tác gia [5] đã tạo điều kiện lớn cho mô hình học sâu được phát triển phục vụ bài toán mô tả ảnh tự động. Và đáng chú ý hon, Microsoft đã công bé dữ liệu về lĩnh vực này bao gồm hơn 123,000 ảnh, từ đó thị trường nghiên cứu cho bài toán đa phần sử dụng MS Coco [6] dé làm dữ liệu benchmark dé xây dựng mô hình của họ. Những nghiên cứu tiêu biểu về các mô hình mô ta ảnh tự động ban đầu dùng các mạng CNN để lấy ra đặc trưng, và từ những đặc trưng này, các kiến trúc mạng RNN được áp dụng như một mô hình ngôn ngữ đề tạo ra câu mô tả tương ứng. Càng về sau, những kiến trúc CNN tiên phong như ResNet [7], VGG [7] ra đời, nhà nghiên cứu bắt đầu sử dụng những kiến trúc lớn này dé trích xuất đặc trưng thay vì những lớp mang CNN đơn giản như trước, cách tiếp cận này đã tối ưu hóa được hiệu suất mô hình nhờ vào phương pháp học chuyền đổi (Transfer Learning).
Các nghiên cứu đặc sắc ở thời kỳ này có thé kế đến với [8, 9, 10]. Thêm vào đó, các nghiên cứu áp dụng kỹ thuật attention lên các bài toán học sâu ở thời gian đó đã tao sự chú ý lên rất nhiều lĩnh vực sử dụng các lớp mạng tương tự. Dựa trên kết quả đó, Kelvin và các cộng sự [11] đã cải tiến mô hình Show and Tell bằng việc sử dụng thêm kỹ thuật attention kết hợp với mạng LSTM ở tầng Decoder, tạo ra một mô hình SOTA mới đó là Show attend and tell [12]. Bắt đầu từ năm 2017, những nhà nghiên cứu bắt đầu nhận ra những điểm chưa tối ưu từ những phương pháp trích xuất đặc trưng từ ảnh dùng các kiến 12 trúc CNN, những phát triển sử dụng các mô hình nhận diện vật thé dé trích xuất đặc trưng lại mang lại hiệu quả cao cho bài toán mô tả hình ảnh có thể kế đến như [13, 14, 15].
Bên cạnh những nghiên cứu đột phát về phần Encoder của mô hình, những phát triển của mô hình ngôn ngữ trong bai toán mô tả ảnh tự động cũng được nghiên cứu rộng rãi, những mô hình sử dụng kiến trúc RNN-based như LSTM hay GRU từ những nghiên cứu [16, 17] .