Mô hình học sâu và ứng dụng trong các bài toán thị giác máy tính

Tài liệu nghiên cứu Mô hình học sâu trong một số bài toán thị giác máy tính, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về toán học.

• Tác giả: Phùng Trọng Hiếu
• Người hướng dẫn: TS. Bùi Xuân Diệu
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Toán Tin
• Đề tài: Mô Hình Học Sâu Trong Một Số Bài Toán Thị Giác Máy Tính
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU BÀI TOÁN
• 1.1. Thuật ngữ
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mạng nơ-ron nhân tạo
• 2.2. Mạng nơ-ron tích chập
• 2.2.1. Kiến trúc của mạng nơ-ron tích chập
• 2.3. Mạng nơ-ron Transformer
• 2.3.1. Cơ chế Attention
• 2.3.2. Kiến trúc mạng nơ-ron Transformer
• 2.4. Hệ hỗn hợp các chuyên gia
• 2.5. Học tự giám sát
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Mô hình cơ sở
• 3.2. Kiến trúc mô hình
• 3.2.1. Thành phần Tag Embedder
• 3.2.2. Thành phần Image Feature Extractor
• 3.2.3. Thành phần Multi-Head Attention
• 3.2.4. Thành phần Transformer Encoder
• 3.2.5. Thành phần Gating Mechanism
• 3.3. Kết quả so sánh giữa các mô hình
• 3.3.1. Vấn đề mất cân bằng của dữ liệu
• 3.3.2. Hàm mất mát phụ trợ
• 3.4. Bộ dữ liệu
• 3.4.1. Bộ dữ liệu công khai
• 3.4.2. Bộ dữ liệu quy mô lớn không công khai
• 3.5. Vấn đề với các phần tử ngoại lai và việc tăng cường dữ liệu
• 3.5.1. Chiến lược học tự giám sát
• 3.5.2. Cấu hình huấn luyện
• 4. CHƯƠNG 4: MỞ RỘNG BÀI TOÁN CHO DỮ LIỆU VIDEO
• 4.1. Trích xuất đặc trưng cho video
• 4.2. Chiến lược lựa chọn khung hình
• 4.2.1. Giai đoạn huấn luyện
• 4.2.2. Giai đoạn kiểm định
• 4.3. Lựa chọn mô hình trích xuất đặc trưng cho video
• 4.3.1. Lựa chọn cuối cùng
• 4.4. Thuật toán tối ưu AdamW thay cho SGD
• 4.5. Hàm mất mát Co-distillation
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về ứng dụng mô hình học sâu trong thị giác máy tính

Mô hình học sâu đã trở thành một công cụ quan trọng trong lĩnh vực thị giác máy tính. Với khả năng xử lý và phân tích hình ảnh, các mô hình này giúp cải thiện độ chính xác trong nhiều ứng dụng như nhận diện khuôn mặt, phân loại hình ảnh và phát hiện đối tượng. Sự phát triển của mạng nơ-ron tích chập (CNN) đã mở ra nhiều cơ hội mới cho việc áp dụng học sâu trong các bài toán phức tạp. Bài viết này sẽ đi sâu vào các khía cạnh chính của mô hình học sâu trong thị giác máy tính.

1.1. Khái niệm cơ bản về học sâu và thị giác máy tính

Học sâu là một nhánh của học máy sử dụng các mô hình phức tạp để học từ dữ liệu lớn. Thị giác máy tính là lĩnh vực nghiên cứu giúp máy tính hiểu và phân tích hình ảnh. Sự kết hợp giữa hai lĩnh vực này đã tạo ra những bước tiến vượt bậc trong việc nhận diện và phân loại hình ảnh.

1.2. Lịch sử phát triển của mô hình học sâu trong thị giác máy tính

Mô hình học sâu bắt đầu được áp dụng trong thị giác máy tính từ những năm 2010 với sự ra đời của mạng nơ-ron tích chập. Các nghiên cứu đã chỉ ra rằng mô hình này có khả năng nhận diện hình ảnh tốt hơn so với các phương pháp truyền thống, mở ra một kỷ nguyên mới cho công nghệ này.

II. Thách thức trong việc áp dụng mô hình học sâu cho thị giác máy tính

Mặc dù mô hình học sâu mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức lớn trong việc áp dụng chúng vào thị giác máy tính. Các vấn đề như mất cân bằng dữ liệu, quá khớp và thiếu dữ liệu gán nhãn có thể ảnh hưởng đến hiệu suất của mô hình. Việc giải quyết những thách thức này là rất quan trọng để tối ưu hóa kết quả.

2.1. Vấn đề mất cân bằng dữ liệu trong huấn luyện mô hình

Mất cân bằng dữ liệu xảy ra khi một số lớp hình ảnh có số lượng mẫu lớn hơn nhiều so với các lớp khác. Điều này có thể dẫn đến việc mô hình thiên lệch và không thể nhận diện chính xác các lớp ít phổ biến hơn.

2.2. Quá khớp và cách khắc phục

Quá khớp là hiện tượng khi mô hình học quá nhiều từ dữ liệu huấn luyện, dẫn đến hiệu suất kém trên dữ liệu kiểm tra. Các phương pháp như regularization và dropout có thể được áp dụng để giảm thiểu vấn đề này.

III. Phương pháp chính trong mô hình học sâu cho thị giác máy tính

Để giải quyết các bài toán trong thị giác máy tính, nhiều phương pháp học sâu đã được phát triển. Các mô hình như mạng nơ-ron tích chập (CNN), mạng nơ-ron Transformer và học tự giám sát đang được áp dụng rộng rãi. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, phù hợp với từng loại bài toán.

3.1. Mạng nơ ron tích chập CNN và ứng dụng của nó

CNN là một trong những mô hình phổ biến nhất trong thị giác máy tính. Nó được thiết kế để tự động trích xuất đặc trưng từ hình ảnh, giúp cải thiện độ chính xác trong nhận diện và phân loại hình ảnh.

3.2. Mạng nơ ron Transformer trong thị giác máy tính

Mạng nơ-ron Transformer đã được áp dụng thành công trong nhiều bài toán thị giác máy tính. Với cơ chế Attention, mô hình này có khả năng tập trung vào các phần quan trọng của hình ảnh, từ đó cải thiện hiệu suất nhận diện.

IV. Ứng dụng thực tiễn của mô hình học sâu trong thị giác máy tính

Mô hình học sâu đã được áp dụng trong nhiều lĩnh vực khác nhau của thị giác máy tính. Từ nhận diện khuôn mặt, phân loại hình ảnh đến phát hiện đối tượng, các ứng dụng này đã chứng minh được giá trị thực tiễn của công nghệ học sâu. Các nghiên cứu gần đây cũng chỉ ra rằng mô hình học sâu có thể cải thiện đáng kể hiệu suất trong các bài toán phức tạp.

4.1. Nhận diện khuôn mặt và an ninh

Nhận diện khuôn mặt là một trong những ứng dụng nổi bật của học sâu trong thị giác máy tính. Công nghệ này được sử dụng rộng rãi trong các hệ thống an ninh và giám sát, giúp nhận diện và theo dõi đối tượng một cách hiệu quả.

4.2. Phân loại hình ảnh trong thương mại điện tử

Trong thương mại điện tử, phân loại hình ảnh giúp cải thiện trải nghiệm người dùng. Các mô hình học sâu có thể tự động phân loại sản phẩm dựa trên hình ảnh, từ đó tăng cường khả năng tìm kiếm và gợi ý sản phẩm.

V. Kết luận và tương lai của mô hình học sâu trong thị giác máy tính

Mô hình học sâu đã và đang thay đổi cách mà thị giác máy tính hoạt động. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều đột phá mới, từ việc cải thiện độ chính xác đến việc mở rộng ứng dụng trong các lĩnh vực khác nhau. Việc nghiên cứu và phát triển các mô hình mới sẽ tiếp tục là một xu hướng quan trọng trong thời gian tới.

5.1. Xu hướng phát triển của mô hình học sâu

Xu hướng phát triển của mô hình học sâu trong thị giác máy tính sẽ tiếp tục tập trung vào việc cải thiện hiệu suất và khả năng mở rộng. Các nghiên cứu mới sẽ tìm cách tối ưu hóa các mô hình hiện tại và phát triển các kiến trúc mới.

5.2. Tác động của học sâu đến các lĩnh vực khác

Học sâu không chỉ ảnh hưởng đến thị giác máy tính mà còn có tác động lớn đến nhiều lĩnh vực khác như y tế, giao thông và nông nghiệp. Sự phát triển của công nghệ này sẽ mở ra nhiều cơ hội mới cho các ngành nghề khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh dữ liệu hình ảnh và video ngày càng gia tăng với tốc độ nhanh chóng, việc xử lý và trích xuất thông tin quan trọng từ các bộ dữ liệu này trở thành một thách thức lớn. Theo ước tính, bộ dữ liệu NUS-WIDE chứa hơn 269.000 ảnh với hơn 5.000 thẻ khác nhau, trong khi một kho ảnh nội bộ quy mô lớn có tới 700.000 ảnh với hơn 24.000 khái niệm thẻ. Vấn đề đặt ra là làm thế nào để thu gọn danh sách các thẻ gán cho mỗi ảnh hoặc video mà vẫn giữ được khả năng đại diện chính xác cho nội dung. Bài toán Extractive Tags Summarization (ETS) được đề xuất nhằm giải quyết vấn đề này bằng cách tự động chọn ra các thẻ quan trọng từ bộ thẻ gốc, tránh việc tạo ra thẻ mới không có trong bộ thẻ ban đầu.

Mục tiêu nghiên cứu là phát triển một mô hình học sâu hiệu quả, có khả năng xử lý dữ liệu ảnh và mở rộng sang dữ liệu video, đồng thời giải quyết các vấn đề như mất cân bằng dữ liệu và sự xuất hiện của phần tử ngoại lai trong bộ thẻ. Phạm vi nghiên cứu tập trung vào dữ liệu ảnh và video thu thập từ các nguồn công khai và nội bộ, với thời gian nghiên cứu từ năm 2021 đến 2022. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ chính xác phân loại thẻ, tăng tốc độ hội tụ mô hình và giảm thiểu ảnh hưởng của dữ liệu nhiễu, góp phần nâng cao hiệu quả tìm kiếm và quản lý dữ liệu đa phương tiện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình học sâu hiện đại, bao gồm:

• Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN): Cấu trúc gồm các lớp nơ-ron kết nối, sử dụng hàm kích hoạt phi tuyến để biểu diễn các quan hệ phức tạp trong dữ liệu.
• Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Được sử dụng để trích xuất đặc trưng không gian từ ảnh, với các lớp tích chập và tổng hợp giúp giảm kích thước dữ liệu và tránh quá khớp.
• Mạng nơ-ron Transformer: Sử dụng cơ chế Attention, đặc biệt là Multi-Head Attention và Self-Attention, để mô hình hóa mối quan hệ giữa các thẻ và đặc trưng ảnh, cho phép xử lý song song và hiệu quả hơn so với mạng hồi quy truyền thống.
• Hệ hỗn hợp các chuyên gia (Mixture of Experts - MoE): Kết hợp nhiều mô hình con để tăng độ chính xác tổng thể, được áp dụng qua cơ chế Gating trong mô hình đề xuất.
• Học tự giám sát (Self-supervised Learning): Phương pháp huấn luyện không cần nhãn dữ liệu, tận dụng dữ liệu chưa gán nhãn để tạo bài toán phụ, từ đó khởi tạo trọng số cho mô hình chính.

Các khái niệm chính bao gồm: hàm mất mát Binary Cross-Entropy (BCE), hàm mất mát Dice, hàm mất mát phụ trợ, cơ chế Attention (Queries, Keys, Values), và các kiến trúc mạng tích chập 2D, 3D, cũng như các biến thể như R3D, R(2+1)D, CSN, SlowFast, và Temporal Shift Module (TSM).

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm bộ dữ liệu công khai NUS-WIDE với 26.559 ảnh sau tiền xử lý và bộ dữ liệu nội bộ PIXTA Stock với 700.000 ảnh và 24.056 khái niệm thẻ. Dữ liệu video được thu thập từ kho video nội bộ với đặc điểm slow motion và các hành động lặp lại.

Phương pháp phân tích bao gồm:

• Xây dựng mô hình học sâu đa luồng (MAGNeto) kết hợp luồng thẻ và luồng ảnh, sử dụng Transformer Encoder và Multi-Head Attention.
• Áp dụng hàm mất mát kết hợp BCE-Dice để xử lý mất cân bằng dữ liệu.
• Sử dụng hàm mất mát phụ trợ để cân bằng tín hiệu huấn luyện giữa các luồng.
• Triển khai chiến lược học tự giám sát hai pha: huấn luyện trước với bài toán phát hiện phần tử ngoại lai và tinh chỉnh với học có giám sát.
• Áp dụng kỹ thuật tăng cường dữ liệu Tag-adding và Tag-dropping để giảm ảnh hưởng phần tử ngoại lai.
• Đối với dữ liệu video, nghiên cứu và lựa chọn mô hình trích xuất đặc trưng phù hợp như R3D, R(2+1)D, CSN, SlowFast, và TSM.
• Chiến lược lựa chọn khung hình khác nhau cho giai đoạn huấn luyện (lấy mẫu ngẫu nhiên) và kiểm định (Center Crop, lấy mẫu đoạn video đại diện).

Quá trình nghiên cứu được thực hiện trên GPU RTX-2080ti với batch-size 32 cho NUS-WIDE và 256 cho bộ dữ liệu nội bộ, sử dụng thuật toán tối ưu SGD với momentum 0.9 và learning rate từ 10^-2 đến 3×10^-2 tùy bộ dữ liệu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình MAGNeto: Mô hình đề xuất MAGNeto đạt giá trị F1 khoảng 0.92, vượt trội so với các mô hình cơ sở TF-t (chỉ dùng thẻ) và TF-it (kết hợp thẻ và ảnh). Việc sử dụng hàm mất mát BCE-Dice giúp tăng tốc độ hội tụ và cải thiện độ chính xác, với F1 tăng từ khoảng 0.90 lên 0.92.

2. Tác động của hàm mất mát phụ trợ: Việc bổ sung hàm mất mát phụ trợ giúp cân bằng tín hiệu huấn luyện giữa luồng thẻ và luồng ảnh, tránh hiện tượng luồng thẻ hội tụ quá nhanh làm luồng ảnh bị bỏ qua. Kết quả cho thấy mô hình sử dụng hàm mất mát phụ trợ hội tụ ổn định hơn và đạt F1 cao hơn khoảng 1-2%.

3. Giảm ảnh hưởng phần tử ngoại lai: Kỹ thuật Tag-adding và Tag-dropping giúp mô hình giảm tỷ lệ ảnh bị ảnh hưởng bởi phần tử ngoại lai từ khoảng 30% xuống còn khoảng 12%, đồng thời duy trì hoặc cải thiện F1 trên bộ dữ liệu NUS-WIDE.

4. Chiến lược học tự giám sát: Phương pháp huấn luyện hai pha giúp mô hình khởi tạo tốt hơn, giảm thiểu ảnh hưởng của dữ liệu nhiễu và tăng khả năng tổng quát hóa. Mô hình sau huấn luyện tự giám sát có thể sử dụng trọng số khởi tạo cho các thành phần chính như Image Feature Extractor, Tag Embedder, Multi-Head Attention và Transformer Encoder.

5. Mở rộng cho dữ liệu video: Trong bài toán ETS với dữ liệu video, các mô hình trích xuất đặc trưng như R(2+1)D và SlowFast cho kết quả tốt hơn so với R3D và CSN. Việc áp dụng Temporal Shift Module (TSM) giúp giảm chi phí tính toán và tăng độ chính xác nhận dạng hành động trong video. Chiến lược lựa chọn khung hình phù hợp (ví dụ lấy mẫu ngẫu nhiên trong huấn luyện và Center Crop trong kiểm định) giúp cân bằng giữa hiệu quả và tốc độ xử lý.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện hiệu quả mô hình là nhờ vào việc kết hợp thông tin đa luồng (thẻ và ảnh) qua cơ chế Gating, giúp tận dụng tối đa đặc trưng từ cả hai nguồn dữ liệu. Hàm mất mát BCE-Dice khắc phục được vấn đề mất cân bằng dữ liệu phổ biến trong bài toán phân lớp đa nhãn. Việc sử dụng hàm mất mát phụ trợ giúp mô hình tránh bị lệ thuộc quá mức vào một luồng dữ liệu, từ đó cải thiện khả năng học của luồng còn lại.

So sánh với các nghiên cứu trước đây về tóm tắt văn bản và phân loại ảnh, nghiên cứu này mở rộng ứng dụng sang bài toán tóm tắt thẻ ảnh và video, đồng thời áp dụng các kỹ thuật học tự giám sát hiện đại để tận dụng dữ liệu chưa gán nhãn. Việc xử lý phần tử ngoại lai thông qua tăng cường dữ liệu là một điểm mới, giúp mô hình có khả năng chống nhiễu tốt hơn.

Dữ liệu có thể được trình bày qua biểu đồ so sánh giá trị F1 giữa các mô hình, biểu đồ hội tụ hàm mất mát qua các epoch, và bảng so sánh tỷ lệ ảnh bị ảnh hưởng bởi phần tử ngoại lai. Các biểu đồ này minh họa rõ ràng sự vượt trội của mô hình đề xuất và hiệu quả của các kỹ thuật bổ trợ.

Đề xuất và khuyến nghị

1. Triển khai mô hình MAGNeto trong hệ thống tìm kiếm ảnh và video: Tập trung cải thiện chỉ số F1 lên trên 0.92 trong vòng 6 tháng, do các nhóm phát triển AI và kỹ thuật thực hiện.

2. Áp dụng chiến lược học tự giám sát cho các bài toán phân loại đa nhãn khác: Khuyến nghị các nhà nghiên cứu và doanh nghiệp sử dụng dữ liệu chưa gán nhãn để khởi tạo mô hình, giảm chi phí gán nhãn, hoàn thành trong 12 tháng.

3. Tích hợp kỹ thuật Tag-adding và Tag-dropping trong quy trình tiền xử lý dữ liệu: Giảm thiểu ảnh hưởng phần tử ngoại lai, nâng cao độ chính xác mô hình, do bộ phận xử lý dữ liệu thực hiện, áp dụng ngay trong các dự án hiện tại.

4. Mở rộng nghiên cứu và ứng dụng các mô hình trích xuất đặc trưng video như SlowFast và TSM: Tăng hiệu quả nhận dạng hành động trong video, giảm chi phí tính toán, dành cho các nhóm phát triển sản phẩm video thông minh, hoàn thành thử nghiệm trong 9 tháng.

5. Phát triển hệ thống lựa chọn khung hình tự động cho dữ liệu video: Tối ưu hóa tốc độ xử lý và độ chính xác dự đoán, do nhóm nghiên cứu AI và kỹ thuật phần mềm phối hợp thực hiện, triển khai trong vòng 6 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Toán Tin, Trí tuệ nhân tạo và Thị giác máy tính: Nắm bắt kiến thức về mô hình học sâu, Transformer, và các kỹ thuật học tự giám sát trong bài toán phân loại đa nhãn.

2. Chuyên gia phát triển sản phẩm AI trong lĩnh vực xử lý ảnh và video: Áp dụng mô hình MAGNeto và các kỹ thuật tăng cường dữ liệu để cải thiện hiệu quả hệ thống tìm kiếm và phân loại.

3. Doanh nghiệp cung cấp dịch vụ lưu trữ và quản lý dữ liệu đa phương tiện: Tối ưu hóa quy trình gán thẻ và tóm tắt thẻ cho ảnh và video, nâng cao trải nghiệm người dùng.

4. Nhà phát triển phần mềm và kỹ sư dữ liệu: Học hỏi về chiến lược huấn luyện hai pha, xử lý mất cân bằng dữ liệu và phần tử ngoại lai, áp dụng trong các dự án thực tế.

Câu hỏi thường gặp

1. Bài toán Extractive Tags Summarization (ETS) là gì?
   ETS là bài toán thu gọn danh sách các thẻ gán cho ảnh hoặc video mà không tạo ra thẻ mới, nhằm giữ lại khả năng đại diện chính xác cho nội dung. Ví dụ, từ 50 thẻ gốc, mô hình chọn ra 10 thẻ quan trọng nhất.

2. Tại sao sử dụng mô hình học sâu thay vì các phương pháp truyền thống?
   Mô hình học sâu như Transformer có khả năng học được mối quan hệ phức tạp giữa các thẻ và đặc trưng ảnh, xử lý hiệu quả dữ liệu lớn và đa dạng, vượt trội hơn các thuật toán cổ điển về độ chính xác và tốc độ.

3. Làm thế nào để giải quyết vấn đề mất cân bằng dữ liệu trong bài toán ETS?
   Kết hợp hàm mất mát Binary Cross-Entropy với hàm Dice giúp giảm thiểu ảnh hưởng của lớp chiếm đa số, tăng độ nhạy với các thẻ ít xuất hiện, từ đó cải thiện độ chính xác tổng thể.

4. Chiến lược học tự giám sát được áp dụng như thế nào?
   Mô hình được huấn luyện trước trên bài toán phát hiện phần tử ngoại lai bằng dữ liệu chưa gán nhãn, sau đó tinh chỉnh trên dữ liệu có gán nhãn, giúp mô hình khởi tạo tốt và tăng khả năng tổng quát hóa.

5. Các mô hình trích xuất đặc trưng video nào được đánh giá hiệu quả nhất?
   SlowFast và Temporal Shift Module (TSM) được chứng minh có hiệu quả cao trong việc trích xuất đặc trưng video, cân bằng giữa độ chính xác và chi phí tính toán, phù hợp cho các ứng dụng nhận dạng hành động.

Kết luận

• Đã phát triển thành công mô hình học sâu MAGNeto với kiến trúc đa luồng, kết hợp thông tin thẻ và ảnh, đạt giá trị F1 khoảng 0.92 trên bộ dữ liệu NUS-WIDE.
• Áp dụng hàm mất mát BCE-Dice và hàm mất mát phụ trợ giúp cải thiện tốc độ hội tụ và độ chính xác mô hình.
• Triển khai chiến lược học tự giám sát hai pha và kỹ thuật tăng cường dữ liệu Tag-adding/Tag-dropping để giảm thiểu ảnh hưởng phần tử ngoại lai.
• Mở rộng bài toán ETS sang dữ liệu video với các mô hình trích xuất đặc trưng tiên tiến như SlowFast và TSM, đồng thời đề xuất chiến lược lựa chọn khung hình hiệu quả.
• Khuyến nghị triển khai mô hình và kỹ thuật nghiên cứu trong các hệ thống tìm kiếm và quản lý dữ liệu đa phương tiện, đồng thời tiếp tục nghiên cứu mở rộng ứng dụng trong các lĩnh vực liên quan.

Tiếp theo, cần tiến hành thử nghiệm mở rộng trên các bộ dữ liệu đa dạng hơn và tối ưu hóa mô hình cho các ứng dụng thực tế. Mời các nhà nghiên cứu và chuyên gia trong lĩnh vực tham khảo và áp dụng các kết quả nghiên cứu này để phát triển các giải pháp AI tiên tiến hơn.

Trích đoạn nội dung tài liệu

Chương 1 GVHD: TS. Bùi Xuân Diệu Tags Summarization (ETS) ra đời. Mục tiêu của tác vụ ETS đó là thu gọn danh sách các thẻ tương ứng với một tấm ảnh trong khi vẫn giữ được khả năng đại diện của bộ thẻ mới cho tấm ảnh đó. Hay nói cách khác, mục tiêu chính là trích xuất ra được các thẻ quan trọng từ nội dung của tấm ảnh và các thẻ gốc đi kèm.

Nhưng tại sao ở đây lại là tóm tắt trích xuất (Extractive Summarization) mà không phải là tóm tắt trừu tượng (Abstractive Summa- rization)? Hiểu một cách đơn giản, không có thẻ mới nào được tạo ra từ các thẻ đã được gán ban đầu cho tấm ảnh, chỉ đơn thuần chọn ra những thẻ quan trọng từ chỗ thẻ gốc đó. Có thể thấy bài toán ETS có khá nhiều điều tương đồng với bài toán tóm tắt văn bản (Text Summarization); chỉ khác ở chỗ, thay vì làm việc với các từ thì ta sẽ làm việc với các thẻ, và thứ tự xuất hiện của các thẻ trong bộ thẻ là không quan trọng. Theo tìm hiểu của tôi, tại thời điểm quyển luận này được viết, chưa có một cá nhân, nhóm nghiên cứu hay tổ chức nào đứng ra giải quyết bài toán này. Trong lận văn này, tôi sẽ trình bày về một giải pháp Học sâu (Chương 3) để giải quyết bài toán ETS một cách tự động và hiệu quả.

Bên cạnh giải quyết bài toán ETS cho dữ liệu ảnh, ta sẽ cùng mở rộng bài toán này cho dữ liệu là các video được gắn thẻ trong Chương 4. Nhưng trước đó, hãy cùng tìm hiểu qua một vài phần nội dung cơ bản về cơ sở lý thuyết trong Chương 2. HVTH: Phùng Trọng Hiếu 2 20BTOANTIN Chương 2 Cơ sở lý thuyết Trong phần này, ta sẽ cùng điểm qua một vài lý thuyết cơ bản xoay quanh chủ đề Học sâu như mạng nơ-ron nhân tạo (Artificial Neural Net- work), mạng nơ-ron tích chập (Convolutional Neural Network), mạng nơ- ron Transformer, v. trước khi đi vào xây dựng giải pháp cụ thể cho việc giải quyết bài toán ETS sẽ được trình bày trong Chương 3.1 Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo được cấu tạo bởi các nơ-ron được xếp thành các lớp, mỗi nơ-ron ở lớp đằng sau sẽ có các kết nối đến các nơ-ron thuộc lớp ngay trước đó, được minh họa như trong Hình 2.

Đầu vào của mạng thường có dạng một vectơ trong không gian nhiều chiều, mỗi chiều tương ứng với một đặc trưng và được biểu diễn dưới dạng các con số. Nằm giữa lớp đầu vào và lớp đầu ra, ta có các lớp ẩn được xếp chồng lên nhau. Mỗi nơ-ron, hay node, có thể được coi như một mô hình hồi quy tuyến tính (Linear Regression) bao gồm các trọng số wi , dữ liệu đầu vào xi , độ lệch (Bias) b và giá trị đầu ra y. Ta có thể biểu diễn dưới dạng công thức như sau: m y = ∑ wi xi + b = w1 x1 + w2 x2 + · · · + wm xm + b.1) i=1 Trước khi trở thành đầu vào cho các nơ-ron thuộc lớp liền sau, đầu ra của từng nơ-ron trong lớp đang xét (ngoại trừ lớp đầu vào) sẽ được đưa qua một hàm kích hoạt (Activation Function) f (x) với mục đích phi tuyến hóa kết quả đầu ra.

Vì tổ hợp tuyến tính của các hàm tuyến tính cũng là 3 Chương 2 GVHD: TS. Bùi Xuân Diệu Hình 2.1: Mạng nơ-ron nhân tạo. một hàm tuyến tính, sự có mặt của các hàm kích hoạt là bắt buộc. Không có các hàm kích hoạt này, toàn bộ mạng nơ-ron sẽ chỉ có khả năng biểu diễn tương đương với một nơ-ron duy nhất.

Có rất nhiều sự lựa chọn cho hàm kích hoạt, kinh điển nhất có thể kể đến như hàm dấu, hàm Sigmoid, hàm Tanh, v. Hiện đại hơn, ta có những hàm như ReLU [35], Leaky ReLU [33], ELU [6], v.2 Mạng nơ-ron tích chập Kể từ lần công bố của mạng LeNet-5 [26] vào những năm 90 của thế kỷ XX, mạng nơ-ron tích chập đã trải qua một hành trình dài để trở thành một kiến trúc được cho là tốt nhất cho việc trích xuất đặc trưng từ ảnh. Ngoài được sử dụng trong các bài toán về xử lý ảnh (Image Processing) hay thị giác máy tính (Computer Vision), mạng nơ-ron tích chập còn được áp dụng trong nhiều lĩnh vực khác như xử lý âm thanh (Audio Signal Processing) hay xử lý ngôn ngữ tự nhiên (Natural Language Processing). Kiến trúc của mạng nơ-ron tích chập được xây dựng dựa trên một giả định rằng dữ liệu đầu vào là ảnh; điều này giúp ta có thể mã hóa một vài thuộc tính nhất định vào trong kiến trúc của nó, giúp giảm đáng kể lượng tham số của mô hình cũng như giúp cho việc huấn luyện mô hình trở nên hiệu quả hơn.1 Kiến trúc của mạng nơ-ron tích chập Mạng nơ-ron tích chập được cấu tạo chủ yếu bởi hai thành phần cơ bản bao gồm lớp tích chập (Convolutional Layer) và lớp tổng hợp (Pooling HVTH: Phùng Trọng Hiếu 4 20BTOANTIN Chương 2 GVHD: TS.

Bùi Xuân Diệu Layer). Lớp tích chập Dữ liệu ảnh thường có kích thước khá lớn cùng những mối quan hệ về không gian hay thậm chí là thời gian giữa các điểm ảnh với nhau. Để giải quyết được những vấn đề này, cấu tạo của lớp tích chập sẽ gồm các bộ lọc (Hình 2. Các nơ-ron trong cùng một lớp sẽ chỉ phải kết nối tới một khu vực tương đối nhỏ của dữ liệu đầu ra của lớp ngay trước đó.

Thiết kế này dựa trên một giả định rằng nếu một đặc trưng là đủ tốt cho một vị trí (x1 , y1 ) trong không gian hai chiều (chiều rộng và chiều cao) của ảnh, thì nó cũng sẽ tốt cho một vị trí (x2 , y2 ) khác nào đó. Việc thiết kế này không những giúp ích cho việc học ra các đặc trưng trong ảnh một cách hiệu quả mà còn giúp cho thuật toán có khả năng mở rộng cho những bộ dữ liệu gồm những bức ảnh với kích thước vô cùng lớn.2: Sử dụng bộ lọc để trích ra các đặc trưng. Một mạng nơ-ron thông thường sẽ bao gồm nhiều lớp tích chập. Mục tiêu chính của các lớp tích chập là trích rút ra các đặc trưng trong ảnh đầu vào; công việc này được thực hiện thông qua việc sử dụng các bộ lọc.

Trong lớp tích chập đầu tiên, các bộ lọc sẽ học được các đặc trưng cấp thấp trên ảnh, ví dụ như các cạnh, các đốm màu, v. Càng đi sâu vào những lớp đằng sau, các bộ lọc sẽ học được những đặc trưng cấp cao hơn, trừu tượng hơn như họa tiết của cả một cái tổ ong hay của một chiếc bánh xe. Việc này HVTH: Phùng Trọng Hiếu 5 20BTOANTIN Chương 2 GVHD: TS. Bùi Xuân Diệu giúp cho mạng nơ-ron có thể "hiểu" được tấm ảnh như cách mà con người vẫn thường hiểu.

Các bộ lọc được sử dụng thường có kích thước khá bé so với kích thước của tấm ảnh, phổ biến nhất là 3x3, ngoài ra có thể là 5x5 hay 7x7. Tuy có kích thước tương đối nhỏ về chiều rộng và chiều cao nhưng những bộ lọc này lại mở rộng về chiều sâu bằng với kích thước ảnh đầu vào hay của đầu ra thu được từ lớp ngay trước đó. Với ảnh đầu vào thông thường có ba kênh (Channel) màu (đỏ, lục, lam), chiều sâu sẽ có giá trị bằng ba. Trong quá trình huấn luyện mô hình, ta sẽ tiến hành trượt các bộ lọc này dọc theo chiều rộng và chiều cao của ảnh đầu vào hoặc đặc trưng thu được từ lớp ngay trước đó để tính toán nên đầu ra như được minh họa trong Hình 2.

Với mỗi bộ lọc ta sẽ thu được một ma trận; khi các ma trận này được xếp chồng lên nhau theo chiều sâu ta sẽ thu được một bản đồ đặc trưng (Feature Map).3: Quá trình trượt bộ lọc dọc theo chiều rộng và chiều cao của ảnh. Lớp tổng hợp Xen kẽ giữa các lớp tích chập thường sẽ là sự xuất hiện của các lớp tổng hợp. Lớp tổng hợp có nhiệm vụ giảm kích thước đặc trưng trích xuất được từ lớp tích chập ngay trước đó; điều này giúp giảm khối lượng tính toán HVTH: Phùng Trọng Hiếu 6 20BTOANTIN Chương 2 GVHD: TS. Bùi Xuân Diệu trong mạng nơ-ron đồng thời tránh được hiện tượng quá khớp (Overfitting).

Khác với lớp tích chập, lớp tổng hợp không có khả năng học được các đặc trưng từ dữ liệu mà chỉ thực hiện một chức năng cố định. Trong thực hành, lớp tổng hợp thường được cấu tạo bởi các bộ lọc 2x2, với sải bước (Stride) bằng 2 khi trượt dọc theo chiều rộng và chiều cao của đầu vào. Quá trình này được thực hiện trên từng lớp theo chiều sâu và kết quả thu được sẽ là một đầu ra có kích thước bằng 1/4 kích thước đầu vào, tương ứng với việc mất đi 75% lượng thông tin ban đầu. Bộ lọc được sử dụng phổ biến nhất hiện nay cho lớp tổng hợp là bộ lọc lọc ra giá trị lớn nhất trong vùng mà nó trượt qua; lớp tổng hợp loại này có tên là Max Pooling.

Nói cách khác, Max Pooling sẽ chỉ giữ lại giá trị tại những vị trí có mối quan hệ mạnh nhất với từng đặc trưng; những giá trị lớn nhất này sẽ được tổng hợp lại để tạo nên một chiều không gian mới thấp hơn, như được minh họa trong Hình 2.3 Mạng nơ-ron Transformer Mạng nơ-ron Transformer được giới thiệu lần đầu vào năm 2017 trong bài báo "Attention is All you Need" [48] được trình bày tại hội nghị Neural Information Processing Systems lần thứ 31. Trước khi có Transformer, ta thường hay được nghe đến thuật ngữ mạng nơ-ron hồi quy (Recurrent Neu- ral Network) trong các công trình nghiên cứu liên quan đến xử lý ngôn ngữ tự nhiên. Sự xuất hiện của Transformer như một cuộc cách mạng trong giới nghiên cứu trí tuệ nhân tạo khi sử dụng cơ chế Attention để xây dựng nên HVTH: Phùng Trọng Hiếu 7 20BTOANTIN Chương 2 GVHD: TS. Bùi Xuân Diệu một kiến trúc hoàn chỉnh với mục đích ban đầu nhằm giải quyết các bài toán với dữ liệu đầu vào mang tính tuần tự.

Cách thiết kế mới này cho hiệu quả tính toán vượt trội so với cách tiếp cận truyền thống sử dụng mạng nơ-ron hồi quy hay thậm chí là mạng nơ-ron tích chập nhờ vào việc tận dụng tốt hơn khả năng tính toán song song của GPU (Graphical Processing Unit); không những thế, kết quả dự đoán cũng tốt hơn so với các giải pháp trước đó trên nhiều bài toán, trong đó có dịch văn bản.1 Cơ chế Attention Attention là thành phần cấu tạo chính nên kiến trúc Transformer.