Mở đầu Để hiểu rõ bài hỏi đáp dựa trên thông tin hình ảnh infographic, ta cần làm rõ các khái niệm liên quan, đồng thời tìm hiểu một số phương pháp tiếp cận hiện nay. Vì vậy, trong chương này, nhóm sinh viên giới thiệu một số khái niệm cơ bản về bài toán, đồng thời trình bày một số phương pháp nghiên cứu đã từng được áp dụng từ trước đến nay, đồng thời nêu ra những ưu điểm và hạn chế trong từng phương pháp.2 Tổng quan về bài toán hỏi đáp trên hình ảnh info- graphic 2.1 Ảnh inforgraphic là gì? Theo định nghĩa của từ điển Oxford ' infographic là các thông tin hay dữ liệu được thể hiện bằng biểu đồ, đồ thị,. nhằm mục đích đem tới sự dễ hiểu cho người xem. Con theo trang web venngage ˆ infographic là tập hợp của nhiều 'https://www.com/definition/english/infographic?q=infographic ”https://venngage.com/blog/what-is-an-infographic/ 2.
Bài toán hỏi đáp hình ảnh inforgraphic và các kiến thức liên quan hình ảnh, thông tin trực quan được thể hiện qua các biểu đồ, sơ đồ và các văn bản xúc tích nhằm giúp người dùng dễ dàng hiểu được các thông tin đang được trình bày. Nhu vậy infographic là các thông tin hay dữ liệu được trình bày một cách trực quan, ngắn gọn, xúc tích và bắt mắt cho người xem. Tùy phong cách của người tạo, infographic có thể là hình ảnh, tệp PDF, file trình chiếu Pow- erPoint, bảng tính Excel. Trong khuôn khổ khóa luận tốt nghiệp của chúng tôi infographic được trình bay và hiểu dưới dạng hình ảnh hay con gọi là hình ảnh infographic.1 là một số ví dụ của hình ảnh inforgraphic trong tập dữ liệu InfographicVQA [4].
Anh infographic được ứng dụng trong cuộc sống nhằm mục đích giúp việc truyền tải các thông tin dễ dàng hơn và giúp người đọc ghi nhớ thông tin lâu hơn. Các ứng dụng và tính hữu ich của ảnh infographic sẽ được chúng tôi trình bày cụ thể hơn ở phần 2.2 Định nghĩa bài toán Hỏi đáp dựa trên hình ảnh đầu vào gồm có: | ảnh và 1 câu hỏi, đầu ra mong đợi là câu trả lời cho câu hỏi được đặt ra.2 mô tả bài toán hỏi đáp trong hình ảnh, trong đó hình ảnh đầu vào có thể là ảnh có sự vật, phong cảnh, văn ban,. Một số loại hình ảnh ta có thể điểm qua đó là ảnh ngoài đời thực không chứa văn ban(scene image) và chứa văn ban (scene text image), ảnh chụp cua hóa đơn, tài liệu (document image), ảnh trực quan hóa thông tin (visualization image),. Câu hỏi đặt ra hỏi thông tin về sự vật, đối tượng trong hình ảnh, ngoài ra có thể hỏi về các thông tin văn bản trong hình ảnh.
Để đưa ra câu trả lời, các mô hình cần phải hiểu được câu hỏi, nội dung hình ảnh, mối quan hệ giữa hai loại thông tin thị giác-ngôn ngữ để suy diễn ra câu trả lời. Tương tự như bài toán hỏi đáp dựa trên hình ảnh (VQA), hỏi đáp dựa trên hình ảnh Inforgraphic chỉ khác về mặt dữ liệu hình ảnh là ảnh infographic. Bài toán hỏi đáp hình ảnh inforgraphic và các kiến thức liên quan Sie : The Countries With The Most mwH AT WE RE Critical Care Beds Per Capita WEARING 222" Total number of critical care beds SNAPSHOT How to Live Stream per 100,000 inhabitants in selected countries* ae Super Bowl LI Il United States = I 3:7 Casual : ani xi aly (>) TH: : France () NN 11.6 Watch Super Bow! LIII with ExpressVPN South Korea 4e} a 10.6 spain © HH: Japan @ N:: United kingdom 4 BH: china @ 36 India S 23 CORONAVIRUS COVID-19 _ 883008 œmwzm Title “Data Scientist” International Council for Science: roma, Gregory Piatetsky ~ RECOVERED Shapiro 102,524 aminges s bona Business Week nn Lea ‘SERIOUS. 8,376) cRiticaL John Wilder Tuke\ SOUTHFRONT.1: Một số hình anh infographic.
đó mô hình cần phải giải quyết dữ liệu văn bản xuất hiện trong hình ảnh đầu vào vì câu trả lời có thể xuất hiên trong đó.3 mô tả bài toán hỏi đáp dựa trên hình ảnh inforgraphic, trong đó hình ảnh, câu hỏi và câu trả lời được lấy từ tập 2. Bài toán hỏi đáp hình ảnh inforgraphic và các kiến thức liên quan 1: Hình ảnh Hình 2.2: Ví dụ đầu vào và đầu ra của bài toán hỏi đáp dựa trên hình ảnh dữ liệu InforgraphicVQA.3 Nhu cầu của bài toán 2.1 Tinh ứng dụng Trong bối cảnh cuộc cách mạng công nghệ 4.0 đang dần thay đổi nhiều phương diện của cuộc sống, các thiết bị số cày càng trở nên thông minh hơn. Việc giúp các thiết bị này hiểu được các thông tin hình ảnh là nhiệm vụ hành đầu đặt ra. Trong những năm gần đây bài toán hỏi đáp ảnh nhận giành được sự quan tâm rat nhiều từ cộng đồng khoa học trí tuệ nhân tạo trên thể giới nói chung bởi vì nó có tính ứng dụng cao trong cuộc sống hằng ngày.
Sự hấp dẫn của VQA nằm ở sự phù hợp với cuộc sống hàng ngày của chúng ta. Việc đặt câu hỏi và trả lời là những phần quan trọng của cuộc sống và nó sẽ luôn như vậy. Cách hệ thống VQA trả lời một câu hỏi tương tự như chúng ta ở một số khía cạnh, bao 2. Bài toán hỏi đáp hình ảnh inforgraphic và các kiến thức liên quan OLYMPIC BASKETBALL © Basketball is played by two teams of five players, who may pass, throw The key or dribble the ball.
The object of the game is to score points by throwing Attacking players the ball into the opposing team’s basket may only remain in this area for three Time Crew chief Substitutes ATHENS 2004 ‘seconds commie Four periods Commissioner Assistant oO3© Vince Carter, each Scorel r part of the U. Timekeeper gold-medal- Players 24-second winning team at There are120n eloek operator the 2000 each team with five Referee ash games always on court. a af There is no limit on Ạ © substitutions A: 600 - 650g Possession 2 Z The team in possession must ‘Two points are scored by : take a shot at the basket within throwing the ball into the 24 seconds or the ball is turned opposing team's basket | over to the opposition Three-point line NKEšsB 5s 49 20 21 22 2324 25 26 27 28 Three points are awarded if the ketball| OO @ @ @ @ @ @@@@@@@G@@ ball is thrown into the basket from outside this line’ Mm VENUES M SYDNEY 2000 MEDALS ~ ` Women Men Free throw line (ẤP United States United States Free throws are awarded after a foul by the 2 Australia France opposition. The thrower stands behind the line and scores a point for each successful throw @ Brazil Lithuania Olympi rings device, Athens 2004 logo and event pictograms TM@ATHOC 2003 Source: ATHENS 2004 REUTERS :Ð Dau vào: hình anh (1) và câu hỏi (Q) Đầu ra: câu trả lời (A) Hình 2.3: Mô tả bài toán hỏi đáp dựa trên hình ảnh Inforgraphic.
gồm hiểu biết trực quan và văn bản, cách kết hợp hai luồng dữ liệu và cách sử dụng kiến thức đúng cách. Có một loạt các ứng dụng tiềm năng tích hợp hệ thống VQA. Nổi bật nhất hiện nay là hỗ trợ các cá nhân khiếm thị. Microsoft: See AI 2016 Prototype là một dự án nghiên cứu xây dựng công cụ hỗ trợ người khiếm thị, trong đó hỏi đáp dựa trên hình ảnh là bài toán cốt lõi tích hợp vào công cụ này.
Nhiều ứng dụng có khả năng chuyển đổi nội dung thành văn bản trực quan đã được xuất bản và cải thiện cuộc sống của nhiều người. Một ứng dụng khác của hệ thống VQA là ?https:/www.com/watch?v=R2mC-NUAmMk 10 2. Bài toán hỏi đáp hình ảnh inforgraphic và các kiến thức liên quan cung cấp sự tương tác giữa con người và máy tính, đặc biệt là để lấy nội dung trực quan. Ví dụ: một đứa trẻ có thể hỏi hệ thống các câu hỏi khác nhau để học cách gọi một vật bằng tên của nó hoặc ai đó có thể hỏi máy ảnh về thời tiết bên ngoài khi họ đang ở trong nhà.4 cho ta thấy một số ứng dụng của bài VQA trong các lĩnh vực: y tế, hỗ trợ người khiếm thị, giám sát video, tranh vẽ, ảnh quảng cáo.
Trong tương lai, bài toán VỌA sẽ còn giúp tăng hiệu quả tương tác giữa người và các thiết bị thông minh như robot hay máy tính.2 Vai trò của ảnh infographic trong cuộc song Bài toán hỏi đáp trên ảnh đã có tính ứng dụng rất cao đặc biệt là trong tương lai. Vì vậy việc đi tìm hiểu và giải quyết bài toán này đối ảnh infographic vô cùng quan trọng. Bởi lẽ infographic rất hữu dụng trong cuộc sống hằng ngày của chúng ta. Chính nhờ sự đa dạng và tính trực quan trong cách trình bày, infographic đã thu hút người xem hơn.
Giúp người dùng nhanh chóng nắm bắt và ghi nhớ các thông tin được truyền tải. Theo trích dẫn và tổng hợp từ ! thì các nhà làm nội dung đã sử dụng Infographic và giúp gia tăng trên 12% người dùng, thu hút sự quan của người khác hơn 90% so với việc chỉ sử dụng văn bản, nhờ đó đạt được hiệu quả trong truyền đạt thông tin hơn 30 lần. Theo một thống kê khác từ tạp chí Forbes vào năm 2017 * có tới gần 60% doanh nghiệp công ty yêu cầu sử dụng inforaphic trong doanh nghiệp của ho. Tat cả những dẫn chứng trên đã chứng tỏ rằng hình ảnh infographic đem lại hiểu quả đáng kể trong việc truyền tải thông tin, giúp người dùng dễ dàng tiếp cận, ghi nhớ hơn so với các trình bày thông thường.
Từ đó ảnh infographic dần chiếm một vai trò thiết yếu trong các khía cạnh cuộc sống. Vì vậy việc đi tìm hiểu bài toàn hỏi đáp trên ảnh infographic là can thiệt cho cuộc sông.vn/infographic-la-gi.html ?https://www.com/sites/cherylsnappconner/2017/10/19/the-data-is-in-infographics-are- growing-and-thriving-in-2017-and-beyond/?sh=41990352137c 11 2. Bài toán hỏi đáp hình ảnh inforgraphic và các kiến thức liên quan Question Expected Answer What does Focal def in e infc lamt ed transverse CT appendiceal wall and image _ periappendiceal demonstrate? inflammatory Stranding. Are these my Those tennis shoes are blue or orange orange.
tennis shoes? What is the man In red shirt | He is riding a bicycle. Why shouldl | |} should drink Absolut buy this Vodka, because they product? support LGBT rights.4: Một số ứng dung của bài toán VQA.4 Thách thức của bài toán: Dữ liệu đầu vào của bài toán gồm hình ảnh và câu hỏi nên các thách thức về hình ảnh và ngôn ngữ là vấn dé tiên quyết mà ta cần nhắc đến. Bên cạnh đó cần 12 2. Bài toán hỏi đáp hình ảnh inforgraphic và các kiến thức liên quan phải có cách kết hợp hai loại dữ liệu phù hợp thì kết quả dự đoán mới chính xác.
Về mặc câu trả lời, câu trả lời có thể đến từ tập từ vụng mà hệ thống có hoặc hoàn toàn nằm bên ngoài vì vậy khả năng đưa ra đáp án của các hệ thống cũng rất hạn chế. Dưới đây sẽ trình bày một số thách thức của bài toán hỏi đáp dựa trên thông tin hình ảnh. Kiến thức nền tảng Các câu hỏi đầu vào vô cùng đa dạng.