Chương 1. TỔNG QUAN thực nghiệm đã được đưa ra và đạt được những thành quả đáng kể, nhưng hầu hết được thực hiện trên bộ dữ liệu có những câu mô tả bằng tiếng Anh do thiếu những bộ đữ liệu chất lượng trong ngôn ngữ khác. Tuy nhiên trên thế giới tồn tại hàng ngàn ngôn ngữ, một công nghệ Phát sinh mô tả cho ảnh không nên bị giới hạn trong một ngôn ngữ cụ thể. Nhận thấy điều này, nhiều nhà nghiên cứu trên thé giới đã tiền hành thực hiện xây dựng những bộ dữ liệu về câu mô tả ảnh trong những ngôn ngữ khác như tiếng Nhật, tiếng Việt, tiếng Đức, tiếng Trung,.
Nhìn chung, quá trình xây dựng những bộ dữ liệu này được xây dựng theo phương pháp: nhà nghiên cứu thu thập hình ảnh và sử dụng nguồn nhân lực từ đám đông để biên soạn những câu mô tả tương ứng. Một số bộ dữ liệu liên quan sẽ được chúng tôi giới thiệu trong chương) E] 1.4 Thách thức trong xây dựng bộ dữ liệu tiếng Việt Tương tự những ngôn ngữ khác ngoài tiếng Anh, một số lượng khá hạn chế bộ di liệu câu mô tả tiếng Việt đã được xây dựng. Một cách đơn giản, bộ dữ liệu câu mô tả trong tiếng Việt có thể được xây dựng bằng hai cách: ¢ Sử dụng công cu dịch tự động: Phương pháp này sử dụng những bộ dữ liệu câu mô tả trong ngôn ngữ khác ngoài tiếng Việt, thường là tiếng Anh làm nên tảng, sau đó sử dụng các công cụ dịch máy tự động (ví dụ như Google Translate) để trực tiếp dịch các câu mô tả đó sang tiếng Việt. Cách tiếp cận này có thể tạo ra những bộ dir liệu có kích thước lớn mà không cần tiêu tốn quá nhiều thời gian và công sức.
Tuy nhiên, nhược điểm của phương pháp này là ngay cả khi sử dụng những phương pháp dịch máy tiên tiến, những câu mô tả được dịch sẽ không mang văn phong tiếng Việt và có thể tồn tại những lỗi ngữ pháp. Ví dụ trong hình [4| câu mô tả gốc trong tiếng Anh có ý nghĩa chính xác trong tiếng Việt phải là “một người phụ nữ mặc áo khoác den dựa vio xe tải bên cạnh một ngôi nhà”, tuy nhiên Google Translate lại cho câu mô tả khác ở phan “xe tải của một ngôi nhà” khiến cho câu mô tả không rõ nghĩa. Vì vậy, cách này thường không được sử dụng để xây dựng bộ dw liệu. TỔNG QUAN Tiếng Anh a woman in black jacket leaning on truck by a house Google Translate một người phụ nữ mặc áo khoác đen dựa vào xe tai của một ngôi nhà HÌNH 1.4: Ví dụ về câu mô tả được dịch bằng Google Translate ¢ Gan nhãn câu mô ta thủ công: Trong phương pháp này, những câu mô tả được biên soạn thủ công bằng con người.
Nhà nghiên cứu thu thập dữ liệu hình ảnh và thành lập một nhóm người tham gia gán nhãn mô tả. Những người trong nhóm này thường là người thành thạo tiếng Việt bản địa. Nhóm gán nhãn có nhiệm vụ quan sát một hình ảnh và viết những câu mô tả ảnh đó trong tiếng Việt. Quá trình xây dung di liệu theo cách này sẽ cần nhiều thời gian và chỉ phí hơn.
Đổi lại, những câu mô tả được đảm bảo về mặt nội dung, ngữ pháp và thân thiện hơn với người bản xứ. Với việc những mô hình Học sâu đều yêu cầu bộ dir liệu chất lượng để có thể đạt được hiệu quả cao, phương pháp này thường được ưu tiên trong việc xây dựng các bộ dữ liệu. Thực tế, phương pháp này đã được áp dụng trong quá trình xây dựng hai bộ dữ liệu về câu mô tả tiếng Việt là VieCap4H[17] va UIT-ViIC[16]. Chi tiết về hai bộ dir liệu nay cũng sé được chúng tôi dé cập trong chương sau.4 Mục tiêu của khóa luận Mục tiêu chính của khóa luận này là: ¢ Nghiên cứu tổng quan bài toán Phát sinh mô tả cho ảnh.
¢ Tim hiểu các những nghiên cứu, phương pháp liên quan. s Xây dựng bộ dir liệu câu mô tả tiếng Việt cho ảnh. s Thực nghiệm và so sánh các phương pháp đã tìm hiểu trên bộ dữ liệu Tiếng Việt.5 Cấu trúc của khoá luận Nội dung Khóa luận tốt nghiệp được tổ chức như sau: ° Chuong|i} Giới thiệu tổng quan về khóa luận. s Chương 2} Trinh bày các nghiên cứu liên quan đến bài toán nay.
s Chương, El Trình bày chỉ tiết hướng tiếp cận của khoá luận. ° Chương [4] Trình bày môi trường thực nghiệm, tập dữ liệu, phương pháp đánh giá và kết quả thực nghiệm. Chương] Kết luận và hướng phát triển của khóa luận.6 Đóng góp chính của khoá luận Một cách tổng quan, những đóng góp chính của chúng tôi trong khoá luận này bao gồm: © Một bộ dữ liệu về Phát sinh câu mô tả tiếng Việt cho ảnh với những hình ảnh tập trung vào lĩnh vực giao thông. s Kết quả đánh giá một số phương pháp Phát sinh mô tả sử dụng kỹ thuật Học sâu trên bộ dữ liệu tiếng Việt.
12 Chương 2 CÁC NGHIÊN CỨU LIÊN QUAN Tóm tắt Trong chương này, chúng tôi sẽ trình bày tổng quan về một số phương pháp đã được nghiên cứu và hiện có để giải quyết bài toán Phát sinh mô tả cho ảnh, đồng thời giới thiệu sự hình thành của một số bộ dữ liệu liên quan và các bộ dữ liệu này đã được cộng đồng áp dụng rộng rãi.1 Một số phương pháp phát sinh mô tả cho ảnh Phát sinh mô tả cho ảnh là một trong những bài toán quan trọng và cốt yếu nhất trong lĩnh vực Học sâu. Bài toán này thuộc nhóm các thuật toán máy học Sequence-to-Sequence vì dữ liệu hình ảnh và ngôn ngữ đều được xử lý ở đạng chuỗi các pixel và chuỗi các từ. Nhiều phương pháp tiếp cận bài toán Phát sinh mô tả cho ảnh bằng các kỹ thuật Học sâu đã được nghiên cứu và thực nghiệm trong những năm vừa qua[31]. Theo đó, chúng tôi tìm hiểu và trình bày khái quát một số phương pháp nổi bật như sau: 2.1 Mô hình CNN-RNN Một trong những nghiên cứu nổi bật về Phát sinh mô tả cho ảnh được thực hiện bởi Karpathy et al.(2015){11] với hướng tiếp cận bài toán được lấy ý tưởng từ cách con người nhìn nhận một khung cảnh.
Chẳng hạn khi chứng kiến một khung cảnh như hình E-] đầu tiên con người sẽ nhận diện những vật thể hiện hữu (con mèo, chiếc bàn,. Sau đó, chúng ta nghĩ ra câu từ để miêu tả những vật thể này. CÁC NGHIÊN CUU LIEN QUAN Dataset of images and sentence descriptions Inferred correspondences " ing image training image “A Tabby cat is leaning : “Tabby cat is leaning’) (on a wooden table, with |—> “Taser mouse > one paw on a laser paw" ‘mouse and the other on “black laptop” black laptop” ‘wooden table” HINH 2.1: Tổng quan hướng tiếp cận của Karpathy et al. Bộ dữ liệu gồm hình ảnh câu mô tả tương ứng (trái).
Mô hình suy diễn mối liên hệ giữa mô tả và một phan hình ảnh (giữa). Mô hình phát sinh ra câu mô tả mới (phải). Nguồn: Các tác giả lấy ý tưởng từ việc này, nhận định một chuỗi từ liên tiếp trong câu mô tả liên hệ tới một phần cụ thể của ảnh. Nhóm tác giả sử dụng những mối liên hệ này để xây dựng hệ thống phát sinh mô tả.
Mô hình này sử dung hai phương, thức để tìm mối liên hệ giữa một phần câu văn bản và một phần ảnh. Nhóm nghiên cứu giới thiệu kiến trúc mạng CNN-RNN trong hình |2.2| Một lớp mạng Regional CNN để xác định vùng ảnh có vật thể và CNN được huấn luyện sẵn trên ImageNet(4] để nhận dạng vật thể đó. Sau đó, những đặc trưng hình ảnh này sẽ được sử dụng để huấn luyện một kiến trúc mạng giải mã, ví dụ như RNN, Bidirectional RNN để biểu diễn mối liên hệ giữa những chuỗi từ liên tiếp trong câu mô tả tương ứng với những từ ngữ có trong bộ từ điển. Để tính toán sự tương quan giữa mỗi cặp vùng ảnh và từ ngữ, bài báo đã thiết lập công thức tính, kết quả càng lớn càng thể hiện sự liên kết giữa hình ảnh và từ ngữ đó với nhau: = T Sa = Lies: MAXIE, 0; St Cu thể, mô hình này có đầu vào là ma tran pixel của ảnh và chuỗi các vector từ trong câu mô ta (x,xz,.,x„) và tính chuỗi các lớp mang ẩn (hidden state) (hy, hạ, ., hy) để tinh toán chuỗi đầu ra (y1, 2,.
Lop mang ẩn tiếp theo được tính toán từ vector đặc trưng hình ảnh, lớp mang ẩn trước và đầu vào hiện tai x. Đầu ra y; của mô hình được tính bởi công thức: by = Wai [CNNg, (1)] hị = f (Waxxt + Wanhe—-1 + by + 1Œ = 1) © by) ị = softmax (Wonh; + bo) 14 Chương 2. CÁC NGHIÊN CUU LIEN QUAN Recurrent Neural Network HÌNH 2.2: Kiến trúc mại CNN-RNN cơ bản.2 Reflective Decoding Network Reflective Decoding Network (RDN) 14] được giới thiệu vào năm 2019, các tac giả đã dé cập van dé nhiều phương pháp phát sinh mô tả cho ảnh chỉ đang tập trung khai thác đặc trưng ảnh trong khi các tính chất của ngôn ngữ chưa được nhận nhiều sự quan tâm. Nhóm tác giả chỉ ra mối tương quan của các từ trong bộ từ điển và cầu trúc cú pháp của câu mô tả cũng có sự ảnh hưởng lớn tới chất lượng của câu mô tả.
Bài báo trình bày về quá trình phát triển của kiến trúc mạng học sâu Reflective Decoding Network với khả năng phân tích sự liên quan của những từ ngữ và vị trí tương đối của chúng trong câu mô tả. Đầu vào là một hình ảnh. Cấu trúc của mang này được mô tả trong, hình|2.3|bao gồm hai phần: s Lớp Encoder: Lớp Encoder này sử dụng kiến trúc mang Faster RCNN để trích xuất đặc trưng của những vùng ảnh mang nhiều thông tin. Tan dụng chức năng nhận diên vật thể của Faster RCNN để phân cấp các vùng của các vật thể trong hình ảnh.
Tập hợp của các thông tin hình ảnh được trích xuất Rị của một hình anh I được biểu diễn là Ry = {r;}Ƒ_;,r; € RP, với 15 Chương 2. CÁC NGHIÊN CUU LIEN QUAN k biểu thị số lượng các vùng trong hình ảnh đã được trích xuất, D biểu thị kích thước của các đặc trưng ở mỗi vùng trong hình ảnh và 7; là đối tượng tích chập trung bình trong vùng được trích xuất. Sau đó, các thông tin được trích xuất từ lớp Encoder được chuyển đến lớp Decoder. Reflective Position Module Reflective Attention Module zRl =| | R = Ib sai “J paltectine anton weights 7 Attrer ° 1000 ịỊWM; tư.
rw Input Image Time stept Time step T Last word HINH 2.3: Kiến trúc mang Reflective Decoding Network.