Chương 1.7 Bố cục của khóa luận Phan còn lại của khóa luận được trình bày theo bố cục như sau: CHƯƠNG 2 - CƠ SỞ LÝ THUYET VA CAC HƯỚNG NGHIÊN CỨU LIÊN QUAN: Chúng tôi trình bày khảo sát về các kiến thức nền tảng cùng các công trình nghiên cứu liên quan làm cơ sở nền tảng cho khóa luận. CHƯƠNG 3 - TONG QUAN CAC MÔ HÌNH TIẾP CAN: Chúng tôi trình bay chỉ tiết về lý thuyết tổng quan của các mô hình cùng hướng tiếp cận và thực nghiệm của nhóm trên các mô hình này. CHƯƠNG 4 —- THỰC NGHIỆM VÀ ĐÁNH GIA: Chúng tôi trình bày về bộ dữ liệu và phương pháp đánh giá cùng chỉ tiết cụ thé quá trình tiếp cận của mình trên bai toán, đồng thời chia sẻ các kết quả thực nghiệm cùng những kết luận và góc nhìn của chúng tôi về các hướng tiếp cận trên. CHƯƠNG 5 - KET LUẬN VÀ HƯỚNG PHÁT TRIEN: Chúng tôi sẽ đưa ra kết luận ngắn gọn về kết quả nghiên cứu khóa luận và hướng nghiên cứu tiềm năng cho bài toán trong tương lai.
Chương 2 CO SỞ LÝ THUYET VA CÁC HƯỚNG NGHIÊN CỨU LIÊN QUAN Trong chương này chúng tôi trình bày cụ thể bài toán cùng các hướng tiếp cận và kiến thức nên tảng có liên quan cho Trả lời câu hỏi trực quan da ngôn ngữ từ đó làm nên tang cho các nghiên cứu thực nghiệm của nhóm 2.1 Mô hình Thị giác - Ngôn ngữ được đào tạo trước Trước khi bắt đầu tìm hiểu cu thé các hướng tiếp cận để giải quyết bài toán VOA chúng ta can tìm hiểu về các mô hình Thị giác-Ngôn ngữ được đào tạo trước - yếu to quan trọng dẫn đến sự phát triển nhảy vọt của các hướng tiếp cận hiện đại. Ngày nay, các mạng nơ-ron học sâu như mạng nơ-ron tích chập (CNN), mạng nơ-ron hồi quy (RNN) hay mạng nơ-ron đồ thị (GNN) đã được áp dụng vô cùng rộng rãi cho các nhiệm vụ trí tuệ nhân tạo khác nhau do chúng có thể tự động học được các vector liên tục có số chiều thấp (hày còn gọi là biểu diễn đặc trưng phân tán) của dữ liệu dưới dang các vector đặc trưng riêng cho từng nhiệm vụ cụ thé, do đó làm giảm đi tính phức tạp của quá trình rút trích đặc trưng. Mặc dù các mạng nơ-ron học sâu rất thành công nhưng một số nghiên cứu đã phát hiện ra rằng một trong những thách thức quan trọng nhất là sự thiếu hụt dữ liệu. Vì các mạng nơ-ron học sâu thường có một số lượng lớn các tham số nên chúng dễ bị khớp quá mức (overfitting) và có khả năng khái quát hóa kém nếu không có đủ đữ liệu huấn luyện.
Để giải quyết vấn đề này, cùng lúc với việc phát triển các mạng học sâu, đã có những nỗ lực rất nhiều để xây dựng thủ công các bộ dữ liệu lớn với chất lượng cao (ImageNet[21], MS-COCO[22], WMT-2014[23],. ), cho phép việc học của các mô hình thần kinh có hiệu quả vượt trội hơn so với các mô hình phi thần kinh thông thường. Tuy nhiên, việc chú thích thủ công dit liệu quy mô lớn rat tốn kém và mat thời gian. Một số tác vụ phức tạp mang tính chuyên môn cao yêu cầu chú thích của các chuyên gia có thé sẻ gây tốn kém rất nhiều.Các tập dữ liệu của một tác vụ AI cụ 10 Chương 2.
CƠ SỞ LÝ THUYÉT VÀ CÁC HƯỚNG NGHIÊN CỨU LIÊN QUAN thé thường có kích thước giới hạn. Do đó, làm thé nao dé có thé dao tạo các mô hình nơ-ron học sâu hiệu quả cho các nhiệm vụ cụ thể với dữ liệu hạn chế là đề tài luôn được quan tâm của giới nghiên cứu. Một cột mốc quan trọng cho van dé này là sự ra đời của học chuyên giao (Trans- fer learning). Trong quá trình học tập, con người có thể học cách giải quyết các vấn đề mới với rất ít mẫu, con người có thé sử dụng kiến thức đã học trước đây đề xử lý các van dé mới.
Lay cảm hứng từ điều này, học chuyền đổi đã cụ thé hóa quá trình học thành hai giai đoạn: giai đoạn tiền dao tạo (pre-training) dé nắm bắt kiến thức từ một hoặc nhiều nhiệm vụ nguồn và giai đoạn tỉnh chỉnh (fine-tuning) dé chuyền kiến thức đã năm bắt được sang các nhiệm vụ mục tiêu cụ thể. Do ở giai đoạn tiền dao tạo cùng các mô hình được đào tạo trước (pre-trained model) được đảo tạo trên các tập dữ liệu khổng 16 trên nhiều tác vụ khác nhau nên kiến thức thu được của các mô hình này nhiều và phổ quát nên ở giai đoạn tinh chỉnh mô hình có thé xử lý tốt các nhiệm vụ đặc thù mục tiêu với số lượng hạn chế các mẫu. Học chuyền giao cung cấp một giải pháp khả thi để giảm bớt sự đói dữ liệu và nó đã sớm được áp dụng rộng rãi cho lĩnh vực thị giác máy tính. Một loạt các mạng nơ-ron tích chập được dao tạo trước trên bộ dữ liệu ImageNet[21] - bộ dữ liệu hình ảnh quy mô lớn được thiết kế để sử dụng trong nghiên cứu nhận dạng đối tượng trực quan phát triển bởi Deng và cộng sự (2009).
Với những mô hình mạng tích chập được dao tạo và mang kiến thức sâu, đa dang từ tập ImageNet, việc tinh chỉnh các mô hình này trên các tập dữ liệu đặc thù cho từng tác vụ riêng biệt mang lại hiệu quả vượt bật. Điều này là động lực cô vũ cho làn sóng khám phá các mô hình được đào tạo trước (Pre-trained models - PTMs) đầu tiên của kỷ nguyên học sâu. Trong làn sóng này, các PTMs được sử dụng cho hau hết các tác vụ Thị giác như phân loại ảnh, phát hiện đối tượng, phân đoạn ảnh, chú thích hình ảnh và đặc biệt là trong giai đoạn trích xuất đặc trưng của bài toán VQA với các mô hình Thị giác-Ngôn ngữ được đào tạo trước. Các khám phá ban đầu của cộng đồng NLP tập trung vào các mạng học nông được đào tạo trước dé nắm bắt ngữ nghĩa của các từ, như Word2Vec và GloVe.
Mặc dù các mô hình nhúng từ (word embedding) này đóng một vai trò quan trọng trong các nhiệm vụ NLP khác nhau, nhưng chúng vẫn gặp phải nhiều hạn chế với việc biểu diễn các từ đa nghĩa trong các ngữ cảnh khác nhau, vì mỗi từ chỉ được biểu thị bằng một vectơ dày (dense vector). Điều này thúc đầy sự ra đời của các mô hình RNN được dao tạo trước cung cấp cách nhúng từ theo ngữ cảnh, tuy nhiên hiệu suất của các mô 11 Chương 2. CƠ SỞ LÝ THUYÉT VÀ CÁC HƯỚNG NGHIÊN CỨU LIÊN QUAN hình này vẫn bị giới hạn bởi kích thước và độ sâu của mô hình. Với sự phát triển của mạng nơ-ron học sâu trong cộng đồng NLP, việc giới thiệu Transformers bởi Vaswani và cộng sự vào năm 2017 như một bước đột phá lớn trong việc phát triển các mô hình mạng học sâu được đào tạo trước cho các tác vụ về ngôn ngữ.
Với Transformers làm kiến trúc nền tảng, các PTM sâu như GPT[24] (Radford và Narasimhan, 2018) và BERT[10] (Devlin et al., 2019) được dé xuất và nhanh chóng giải quyết tốt các tác vụ ngôn ngữ. Từ GPT và BERT, chúng ta có thể thấy rằng việc các PTM quy mô lớn với hang trăm triệu tham số có thể nắm bắt được sự phân biệt đa ngữ nghĩa, các cấu trúc từ vựng và cú pháp, cũng như kiến thức thực tế từ văn bản là điều khả thi. Bằng cách tỉnh chỉnh các PTM quy mô lớn này với các tập mẫu đặc thù, những kiến thức ngôn ngữ phong phú mà các PTM mang lại góp phần rất lớn trong việc làm tăng trưởng một cách nhảy vọt hiệu suất cho các tác vụ NLP.2 Transformer Linear Add & Norm Feed =| ‘Add & Norm ‘Add & Norm E= lask Mui- Head Attention €D Positional Encoding Output Embedding Hình 2.1 Tổng quan mô hình Transformer 12 Chương 2. CƠ SỞ LÝ THUYÉT VÀ CÁC HƯỚNG NGHIÊN CỨU LIÊN QUAN Được giới thiệu lần đầu vào năm 2017 trong bài báo Vaswani et al.
Transformer là một mô hình mạng học sâu đã gây được một tiếng vang rất lớn trong cộng đồng Khoa học nói chung cũng như trong cộng đồng Xử lý ngôn ngữ Tự nhiên nói riêng. Đây là một bước ngoặt lớn, nhất là trong cộng đồng Xử lý ngôn ngữ Tự nhiên. Hiện tại, Transformer không chỉ là mô hình áp dụng thành công được trên chỉ với Xử lý ngôn ngữ tự nhiên, mà bên cạnh đó, nhiều nghiên cứu đã áp dụng mô hình nay vào các bài toán về Thị giác khác nhau, từ đó chứng minh được sự toàn diện của mô hình nay. Theo đó, mô hình Transformer như được mô tả tại hình 2.1 gồm hai phần chính là Encoder và Decoder kết hợp với nhiều cơ chế khác nhau mà chúng tôi sẽ đề cập trong phần chỉ tiết.1 Nhúng đầu vào - Input Embedding Trước khi đưa bat kì loại đữ liệu thô nào vào mô hình Transformer, việc đầu tiên cần làm là mã hóa các loại dữ liệu này.
Mô hình Transformer không yêu cau phải tuân theo bất kỳ loại mã hóa nào. Vì vậy, ta có thể mã hóa đữ liệu bằng nhiều cách khác nhau, từ đơn giản đến phức tạp.2 Mã hóa vi trí - Positional Encoding Ngoài các input embedding, trước khi đưa vào mô hình Encoder. Tác giả đề xuất sử dụng cơ chế rất thú vị mang tên Position Encoding, dùng dé dẫn truyền các thông tin về vị tri của các thành phan trong chuỗi đầu vào vào mô hình Transformer. Cụ thể, cơ chế Position Encoding có công thức như sau: PE(pos, 2i) = sin(pos/100002f/đmoael) (2.2) Trong đó PE là phan tử thir i trong vector embedding có độ dai là đmoqe| và pos là vi trí của từ trong câu.
Sau đó, các vector này được cộng với vector embedding cua dữ liệu đâu vào, và đây là vector cudi cùng được đưa vào khôi Encoder. CƠ SỞ LÝ THUYÉT VÀ CÁC HƯỚNG NGHIÊN CỨU LIÊN QUAN 2.3 Khối chú ý đa đầu - Multi-head Attention Đây là một trong những phan tạo ra sự khác biệt nhất trong mô hình Trans- former. Theo đó, Multi-head Attention bản chất là nhiều lớp Self-Attention xếp chống lên nhau. Vì vậy, dé tìm hiểu về Multi-head Attention, chúng tôi sẽ nói về Self- Attention trước.
Cụ thể, Self-Attention cho phép học mối tương quan giữa thông tin của các thông tin hiện tại với các thông tin từ trước đó bằng cách sử dụng một toán tử kết hợp các vector q, k, v lần lượt là query, key và value. Toán tử này sẽ nhân ma trận q với ma trận chuyển vị k để tính được ma trận scores với ý nghĩa là độ liên quan giữa các thông tin với nhau.