Chương 1. TONG QUAN 9 Với cách biểu diễn này, khi thực hiện những sự thay đổi nhỏ trên giá trị của các thuộc tính trên của mèo, chúng ta có hoàn toàn có thể tạo ra một thực thể mèo mới hoàn toàn khác mà không cần phải định nghĩa một loài động vật mới. Trong bài toán mà chúng tôi nghiên cứu, câu mô tả tăng cường là một dạng thể hiện cho sự thay đổi mong muốn trên thuộc tính của bức ảnh tham khảo đầu vào của người dung trên cùng một không gian biểu diễn chung. “Không có người và chuyển sang trời tối” —————>- Có Trời Có mặt Có Trời Có mặt người? sáng? đường? người? | sáng? đường? Có Có | có Không Không Có Ảnh 1.
Minh họa cho sự thay đổi thuộc tính trong bài toán kết hợp ảnh và câu mô tả tăng cường 1. Nhận xét Chúng ta đã có những phương pháp để kết hợp ảnh và văn bản được ứng dụng trong tác vụ Hỏi đáp trên ảnh,. Tuy nhiên ở những bài báo trên, cách kết hợp chủ yếu là xây dựng một không gian biểu diễn “hoàn toàn mới” để dung nạp ảnh và văn bản, cố gắng đưa biểu diễn ảnh về không gian thứ ba, do đó không phù hợp để giải quyết bài toán truy vấn ảnh. Trong đó phương pháp gần với phương pháp chúng tôi nhất là phương pháp FiLM, phương pháp này sử dung ít tham số hơn và chỉ có thể thực hiện một số phép biến đổi đơn giản khi kết hợp ảnh và văn bản, do đó không gian biểu diễn bị hạn chế.
Nguyên nhân chính đặc trưng kết hợp này được xây dựng để phục vụ bài toán khác không phải truy vấn, do đó bỏ qua vai trò của biểu diễn ảnh. TONG QUAN 10 Các phương pháp kết hợp khác Phương pháp TIRG Image-Text Space Image space Text space lmage space Text space Wy„ 2, Anh 1. Cách xây dung đặc trưng biến đổi của các phương pháp khác so với phương pháp TIRG. Các phương pháp khác sẽ xây dựng đặc trưng kết hợp bằng cách đưa về không gian chung thứ ba Image-Text Space.
Còn phương pháp TIRG sử dụng đặc trưng văn bản để dịch chuyển đặc trưng ảnh thành đặc trưng kết hợp trên không gian gốc của ảnh, do đó sẽ phù hợp hơn với bài toán truy vấn. Chúng ta cũng thấy tình hình nghiên cứu Học máy sôi động của các bài toán Xử lí ngôn ngữ tự nhiên trên tiếng Việt: rất nhiều phương pháp, bài toán và tập dữ liệu đánh giá ra đời trong thời gian gần đây. Đây là một làn gió mới với hi vọng mang những công cụ Học máy để giải quyết các bài toán tiếng Việt của chúng ta, vốn mang tính đặc thù về địa phương cao. Mục tiêu nghiên cứu Sau khi tìm hiểu sơ bộ về bài toán kết hợp ảnh và câu mô tả tăng cường cho truy van ảnh, chúng tôi xác định mục tiêu nghiên cứu như sau: e (i) Dau tiên chúng tôi nghiên cứu và tìm hiểu về các phương pháp cho bài toán kết hợp ảnh và câu mô tả tăng cường cho truy vấn ảnh.
e (ii) Chúng tôi nghiên cứu xây dựng mô hình TIRG cho bài toán kết hợp ảnh và câu mô tả tăng cường cho truy vấn ảnh, với những cải tiến cụ thể, Chương 1. TỔNG QUAN 11 dé mô hình hoạt động tốt trên dữ liệu tiếng Việt, với những đặc thù về ngôn ngữ rất khác biệt so với tiếng Anh. (iii) Chúng tôi tiến hành xây dựng tập dữ liệu CSS-VN để phục vu bài toán trên. Đóng góp của khóa luận (ï) Chúng tôi đã nghiên cứu, tìm hiểu và ứng dụng phương pháp Text- Image Residual Gating (TIRG) [1] được đề xuất ở hội nghị CVPR2019 để giải quyết bài toán truy vấn ảnh sử dụng kết hợp ảnh và câu mô tả tăng cường.
Qua đó, chúng tôi tái hiện thành công kết quả bài báo trên tập dữ liệu tiếng Việt CSS-VN và MIT-States với kết quả tương tự bài báo ở trên tập dữ liệu CSS tiếng Anh gốc, đồng thời rút trích được những bài học và góc nhìn rất thú vị về mô hình trên. (ii) Chúng tôi cdi tiến thành công mô hình TIRG bằng cách thay thế bộ biểu diễn từ (Word Embedder) của TIRG từ một lớp Embedding thành một mô hình ngôn ngữ được huấn luyện trên dữ liệu khổng 16 là PhoBERT, cho phép mô hình thích ứng với những từ nằm bên ngoài từ điển của bộ dữ liệu huấn luyện. Đồng thời, để mô hình hoạt động hiệu quả, chúng tôi còn sử dụng bộ công cụ tách từ RDRSegmenter để đối phó với hiện tượng nhặp nhằng khoảng trắng ở tiếng Việt. (iii) Chúng tôi xây dựng thành công bộ dữ liệu CSS-VN tiếng Việt sử dung công cụ URBANS [5] như một công cụ chính yếu và duy nhất trong toàn bộ quá trình dịch bộ dữ liệu.
Bộ dữ liệu này sau đó được sử dụng cho nghiên cứu của chúng tôi trong việc tìm hiểu cũng như đánh giá trên phương pháp mà chúng tôi chọn. Kết quả khi áp dụng mô hình trên tập dữ liệu CSS-VN tốt do những lợi thế đặc thù về ngôn ngữ của tiếng Việt khi được huấn luyện trên mô hình Học máy. (iv) Chúng tôi xây dựng thành công một bộ công cu dịch dựa trên tập luật URBANS [5] va sử dụng nó để dịch bộ dữ liệu CSS được đề xuất trong bai Chương 1. Bộ công cụ này là một mã nguồn mở và được đăng tải trên pypi để tất cả mọi người có thể tải xuống và sử dụng.
Ngoài ra chúng tôi cũng xây dựng một kịch bản kiểm thử hoàn chỉnh cho bộ công cụ này để tránh những sai sót trong quá trình phát triển mã nguồn mở.com/pyurbans/urbans) 1. Cấu trúc khóa luận tốt nghiệp Phần còn lại của khóa luận tốt nghiệp sẽ được chúng tôi tổ chức như sau: Chương 2 chúng tôi sẽ giới thiệu một kiến thức nền tảng phục vụ cho việc giải quyết bài toán Truy vấn ảnh dựa trên ảnh và câu truy van tăng cường Chương 3 chúng tôi sẽ chia sẻ về công cụ dịch dựa trên cây cú pháp và quy trình chúng tôi xây dựng ra tập dữ liệu tiếng Việt CSS-VN Chương 4 chúng tôi sẽ tập trung chia sẻ về hướng tiếp cận cho bài toán truy vấn ảnh dựa trên ảnh và câu mô tả Chương 5 chúng tôi sẽ trình bày các kết quả thí nghiệm, đồng thời chia sẻ những kết luận và góc nhìn của chúng tôi về các thí nghiệm trên Chương 6 chúng tôi sẽ đưa ra kết luận ngắn gọn về kết quả nghiên cứu khóa luận và hướng nghiên cứu tiềm năng cho bài toán của chúng tôi Chương 2. KIẾN THỨC NỀN TẢNG 13 Chương 2. KIEN THỨC NEN TANG Trong chương này, chúng tôi trình bày một kiến thức nền tảng về truy vấn thông tin và mạng nơ-ron.
Nội dung chương nay nhắc đến tổng quan bài toán truy vấn thông tin, các kiến trúc để biểu diễn ảnh và văn bản dựa trên mạng học sâu và cách huấn luyện, là nền tảng cốt lõi cho phương pháp mà chúng tôi sử dụng cho bài toán Truy van ảnh sử dụng kết hợp ảnh và câu mô tả tăng cường. Tổng quan về bài toán truy vấn thông tin Từ xa xưa, loài người cổ đại đã phải trang bị rất nhiều kĩ năng để phục vụ cho việc sinh tồn: Săn bắn, hái lượm, leo tréo,. Ma trong đó, tìm kiếm là một trong những kĩ năng sống còn của con người. Theo dòng thời gian, với sự xuất hiện của chữ viết và sách, việc lưu trữ và tìm kiếm lại trở thành một kĩ năng sinh tồn.
Truy vấn thông tin là gì? Thuật ngữ Truy vấn thông tin có thể mang nghĩa rất rộng. Khi đi mua hàng, bạn lấy thẻ tín dụng từ trong ví ra để có thể nhập mã thẻ thanh toán, đó cũng là một dang của truy vấn thông tin. Tuy nhiên, ở khía cạnh học thuật, Truy vấn Thông tin được định nghĩa là: Truy vấn thông tin là hoạt động tìm kiếm tài liệu có bản chất phi cấu trúc như văn bản, hình ảnh, video,. sao cho phù hợp với một nhu cầu thông tin nào đó, từ một tập hợp dữ liệu lớn.
[24] Đầu vào của một hệ thống truy vấn văn bản tiêu biểu: « - Một bộ ngữ liệu các tài liệu văn ban « - Một câu truy vấn của người dùng dưới dạng văn bản Đầu ra: Chương 2. KIẾN THỨC NỀN TẢNG 14 « Một tập các văn bản được cho là phù hợp với truy vấn đầu vào, được sắp xếp theo độ phù hợp giảm dần 2. Thế nào là một kết quả trả về phù hợp ? Tính phù hợp của một kết quả trả về là một đánh giá mang tính chủ quan (và có thể) bao gồm: e Dung chủ đề e Đúng thời điểm e Dang tin cay e Thỏa mãn mục tiêu va ý định của người tham gia tim kiếm về nhu cầu thông tin Kết quả dũng miễn Những tài liệu trả về của 9 kiếm tim phù hợp hệ thống tìm kiếm Ảnh 2. Hình minh họa về tính phù hợp 2.
Động lực của Truy vấn Thông tin 2. Quả tải thông tin Với sự phát triển vũ bão của dữ liệu, Truy vấn thông tin được sinh ra để giải quyết vấn đề quá tải thông tin. KIẾN THỨC NỀN TẢNG l5 Quá tải thông tin là sự khó khăn trong việc tiếp thu và đưa ra quyết định hiệu quả với một van đề khi tồn tai quá nhiều thông tin về van đề đó. tLhưiôợng 1990 1995 2000 2005 2010 2015 2020 Ảnh 2.
Dữ liệu càng ngày càng vượt xa giới hạn con người có thể tiếp thu 2. Làm việc với dữ liệu phi cấu trúc Mục tiêu của Truy vấn thông tin còn là để giúp ta làm việc với dé liệu phi cấu trúc do tính chất phức tạp của chúng. Để làm việc với dữ liệu có cấu trúc chúng ta đã có những công cụ rất mạnh như những cơ sở dữ liệu quan hệ và truy van trên cơ sở dữ liệu này. Tuy nhiên, đặc điểm của dữ liệu phi cấu trúc rất đặc biệt: « Ton tại ở nhiều dạng khác nhau: email, hình ảnh, video, âm thanh,.
«85% dữ liệu của một doanh nghiệp tồn tai ở dạng phi cấu trúc, theo Merril Lynch « _ Ngữ nghĩa không rõ rang Mô hình thực hiện truy vấn điển hình Chương 2. KIẾN THỨC NỀN TẢNG 16 Biéu dién < == Truy van truy van l ỨNG DỤN: NGƯỜI Xep hạng |} DUNG Đánh giá | Ảnh 2. Mô hình truy vấn tiêu biểu Trong một hệ thống Truy vấn Thông tin điển hình, bộ ngữ liệu sẽ được biểu diễn và lưu trữ trước tại trong cơ sở dữ liệu.