Đồ án: Tìm hiểu Few-Shot Learning và Ứng dụng trong Kỹ thuật Dữ liệu

Đồ án nghiên cứu Few-Shot Learning: khám phá khái niệm, nguyên tắc hoạt động cùng các ứng dụng tiềm năng trong thực tế. Tìm hiểu sâu về học máy với ít dữ liệu.

• Tác giả: Nguyễn Anh Đắc
• Người hướng dẫn: Thầy Quách Đình Hoàng
• Trường học: Đại học Sư phạm Kỹ thuật TP.HCM
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Tìm hiểu về few-shot learning và ứng dụng
• Loại tài liệu: Luận văn tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP.HCM

Mục lục chi tiết

• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI
• 1.2. MỤC TIÊU VÀ NHIỆM VỤ NGHIÊN CỨU
• 1.3. CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU
• 1.4. KẾT QUẢ DỰ KIẾN ĐẠT ĐƯỢC
• 1.5. BỐ CỤC CỦA BÀI BÁO CÁO
• 2. CHƯƠNG 2: NỘI DUNG
• 2.1. TỔNG QUAN VỀ FEW – SHOT LEARNING
• 2.2. SO SÁNH FSL VỚI CÁC PHƯƠNG PHÁP HỌC MÁY KHÁC
• 2.3. TẦM QUAN TRỌNG CỦA FSL
• 2.4. PHÂN LOẠI FSL
• 2.5. ƯU, NHƯỢC ĐIỂM CỦA FSL
• 2.6. TỔNG QUAN VỀ DEEP LEARNING
• 2.7. THUẬT TOÁN TRONG DEEP LEARNING
• 2.8. CÁC PHƯƠNG PHÁP HỌC MÁY CỦA FSL
• 2.9. META LEARNING
• 3. CHƯƠNG 3: ỨNG DỤNG
• 3.1. LĨNH VỰC ỨNG DỤNG
• 3.2. THỊ GIÁC MÁY TÍNH
• 3.3. XỬ LÝ NGÔN NGỮ TỰ NHIÊN
• 3.4. PHÂN LOẠI ÂM THANH
• 3.5. CHĂM SÓC SỨC KHỎE
• 3.6. TÌNH HÌNH PHÁT TRIỂN
• 4. CHƯƠNG 4: TRIỂN KHAI ỨNG DỤNG
• 4.1. MỤC TIÊU HƯỚNG TỚI
• 4.2. MÔ HÌNH VÀ THUẬT TOÁN
• 4.3. TRIỂN KHAI ỨNG DỤNG
• 5. CHƯƠNG 5: KẾT LUẬN
• 5.1. KẾT QUẢ ĐẠT ĐƯỢC
• 5.2. Ý NGHĨA KHOA HỌC
• 5.3. Ý NGHĨA THỰC TIỄN
• 5.4. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO
• LỜI CẢM ƠN

Tóm tắt

I. Tổng quan về Few Shot Learning và ý nghĩa

Few-Shot Learning (FSL) là một phương pháp học máy cho phép mô hình nhận diện và phân loại các đối tượng mới chỉ với số lượng ít dữ liệu huấn luyện. Khác với học máy truyền thống đòi hỏi lượng lớn dữ liệu, Few-Shot Learning có khả năng học nhanh từ vài ví dụ, mô phỏng cách học của con người. Trong bối cảnh AI hiện đại, FSL đang trở thành xu hướng quan trọng, giải quyết bài toán khan hiếm dữ liệu trong nhiều lĩnh vực.

Few-Shot Learning thường được phân loại thành N-shot learning, one-shot learning và zero-shot learning. Trong đó, N-shot learning sử dụng N mẫu cho mỗi lớp, one-shot chỉ dùng một mẫu duy nhất, còn zero-shot có khả năng nhận diện đối tượng chưa từng thấy trong quá trình huấn luyện. Các phương pháp FSL thường sử dụng kiến trúc mạng nơ-ron sâu như CNN hoặc transformer để học các đặc trưng chung từ dữ liệu.

Sự phát triển của Few-Shot Learning mở ra nhiều cơ hội ứng dụng thực tế, đặc biệt trong các lĩnh vực thu thập dữ liệu khó khăn hoặc tốn kém. Theo nghiên cứu từ Đại học Sư phạm Kỹ thuật TP.HCM, FSL có thể giảm đáng kể chi phí thu thập và gán nhãn dữ liệu, đồng thời tăng khả năng tổng quát hóa của mô hình học máy.

1.1. Định nghĩa và khái niệm cơ bản

Few-Shot Learning (FSL) là phương pháp học máy cho phép mô hình học từ số lượng ít dữ liệu huấn luyện. Khái niệm này được định nghĩa chính thức qua cấu trúc N-way K-shot, trong đó N là số lớp cần phân loại và K là số lượng mẫu huấn luyện cho mỗi lớp. Mục tiêu của Few-Shot Learning là xây dựng mô hình có khả năng nhận diện đối tượng mới chỉ với vài ví dụ, tương tự cách học của con người.

Trong thực tế, Few-Shot Learning thường được triển khai thông qua các kiến trúc mạng nơ-ron sâu như CNN hoặc transformer. Các mô hình này học cách trích xuất đặc trưng chung từ dữ liệu huấn luyện, sau đó áp dụng kiến thức này để phân loại các đối tượng mới. Theo nghiên cứu của Koch và cộng sự (2015), các phương pháp FSL có thể đạt độ chính xác cao ngay cả khi chỉ có một vài mẫu huấn luyện cho mỗi lớp.

1.2. So sánh FSL với học máy truyền thống

Few-Shot Learning khác biệt cơ bản so với học máy truyền thống ở yêu cầu về dữ liệu huấn luyện. Trong khi các phương pháp học máy truyền thống cần hàng nghìn hoặc hàng triệu mẫu để đạt hiệu suất tốt, Few-Shot Learning chỉ cần vài mẫu cho mỗi lớp. Điều này giúp FSL giải quyết bài toán khan hiếm dữ liệu trong nhiều ứng dụng thực tế.

Học máy truyền thống thường dựa vào việc tối ưu hóa tham số thông qua hàm mất mát được tạo ra từ bộ dữ liệu lớn. Ngược lại, Few-Shot Learning kết hợp thông tin giám sát hạn chế với kiến thức có sẵn để đào tạo mô hình. Sự khác biệt đáng chú ý nhất là trong FSL, tập hợp các lớp của tập hỗ trợ và tập truy vấn không liên kết với nhau, trong khi học máy truyền thống sử dụng các lớp của tập kiểm tra trong quá trình huấn luyện.

1.3. Tầm quan trọng của FSL trong AI hiện đại

Few-Shot Learning đóng vai trò quan trọng trong việc thu hẹp khoảng cách giữa trí tuệ nhân tạo và khả năng học của con người. Trong khi các hệ thống AI hiện tại cần lượng lớn dữ liệu để học, con người có khả năng học các khái niệm mới chỉ từ vài ví dụ. Few-Shot Learning giải quyết thách thức này bằng cách cho phép máy học hiệu quả từ số lượng ít dữ liệu.

Theo nghiên cứu từ Đại học Sư phạm Kỹ thuật TP.HCM, Few-Shot Learning có nhiều ưu điểm quan trọng. Nó giúp giảm chi phí thu thập và gán nhãn dữ liệu, đặc biệt trong các lĩnh vực như y tế, an ninh, hoặc robotics. Ngoài ra, FSL còn cho phép hệ thống AI thích ứng nhanh với các tình huống mới, mở ra ứng dụng trong các môi trường động và thay đổi liên tục.

II. Thách thức khi triển khai Few Shot Learning

Few-Shot Learning dù có nhiều ưu điểm nhưng vẫn đối mặt với nhiều thách thức khi triển khai thực tế. Một trong những khó khăn lớn nhất là việc đánh giá phân phối dữ liệu không chính xác khi chỉ có một vài mẫu huấn luyện. Điều này có thể dẫn đến sai lệch trong việc ước tính phân phối dữ liệu thực tế, ảnh hưởng đến hiệu suất của mô hình.

Thách thức khác trong Few-Shot Learning là khả năng tái sử dụng đặc trưng (feature reusability). Trong FSL, việc tích lũy kiến thức tiên nghiệm từ các bộ dữ liệu hỗ trợ quy mô lớn là rất quan trọng. Tuy nhiên, khi có sự thay đổi lớn trong miền dữ liệu, việc chuyển giao tri thức có thể không chính xác nếu không lọc và căn chỉnh các đặc trưng phù hợp.

Ngoài ra, Few-Shot Learning còn gặp phải vấn đề tính tổng quát của các nhiệm vụ trong tương lai. Meta-learning, một phương pháp phổ biến trong FSL, chỉ hiệu quả khi các nhiệm vụ kiểm tra và đào tạo tương đối giống nhau. Khi sự khác biệt giữa các nhiệm vụ quá lớn, hiệu suất của mô hình có thể giảm đáng kể, đòi hỏi phải thiết kế lại cấu trúc mạng.

2.1. Vấn đề thiếu dữ liệu huấn luyện

Few-Shot Learning được phát triển để giải quyết vấn đề thiếu dữ liệu huấn luyện, nhưng chính điều này cũng tạo ra thách thức lớn. Khi chỉ có một vài mẫu cho mỗi lớp, việc đánh giá chính xác phân phối dữ liệu trở nên khó khăn. Điều này có thể dẫn đến hiện tượng overfitting, trong đó mô hình học thuộc tính cụ thể của các mẫu huấn luyện thay vì học các đặc trưng tổng quát.

Trong Few-Shot Learning, việc thiếu dữ liệu cũng ảnh hưởng đến khả năng học các đặc trưng hiệu quả. Các phương pháp tăng cường dữ liệu (data augmentation) thường được sử dụng để giải quyết vấn đề này. Tuy nhiên, việc tạo ra dữ liệu tăng cường có ý nghĩa và đa dạng vẫn là một thách thức, đặc biệt với các loại dữ liệu phức tạp như hình ảnh y tế hoặc âm thanh.

2.2. Khó khăn trong đánh giá phân phối dữ liệu

Few-Shot Learning đối mặt với thách thức lớn trong việc đánh giá phân phối dữ liệu khi chỉ có một vài mẫu. Việc dựa vào số lượng ít mẫu để học có thể tạo ra sai lệch trong việc ước tính phân phối dữ liệu thực tế. Điều này đặc biệt nghiêm trọng trong các ứng dụng yêu cầu độ chính xác cao như chẩn đoán y tế hoặc nhận dạng khuôn mặt.

Theo nghiên cứu từ Đại học Sư phạm Kỹ thuật TP.HCM, trong Few-Shot Learning, việc tối đa hóa việc khám phá các phân phối dữ liệu với thông tin hạn chế trở thành thách thức quan trọng nhất. Các phương pháp như tăng cường dữ liệu hoặc học chuyển giao có thể giúp giải quyết vấn đề này, nhưng vẫn còn nhiều hạn chế, đặc biệt khi làm việc với các loại dữ liệu phức tạp hoặc đa dạng.

2.3. Hạn chế về khả năng tái sử dụng đặc trưng

Few-Shot Learning gặp phải hạn chế trong việc tái sử dụng đặc trưng (feature reusability) giữa các miền dữ liệu khác nhau. Mặc dù học chuyển giao (transfer learning) có thể sử dụng kiến thức từ miền nguồn sang miền đích tương tự, hiệu suất thường bị hạn chế bởi các đặc điểm của các nhiệm vụ hiện tại và có khả năng khái quát hóa kém đối với các nhiệm vụ trong tương lai.

Trong Few-Shot Learning, khi có sự thay đổi lớn trong miền dữ liệu, việc chuyển giao tri thức có thể không chính xác nếu không lọc và căn chỉnh các đặc trưng phù hợp. Điều này đòi hỏi các phương pháp mới có khả năng thích ứng tốt hơn với sự thay đổi của miền dữ liệu, đồng thời giữ được các đặc trưng quan trọng có thể áp dụng cho nhiều nhiệm vụ khác nhau.

III. Phương pháp Meta Learning trong FSL

Meta-Learning hay "học cách học" là một trong những phương pháp phổ biến nhất trong Few-Shot Learning. Phương pháp này huấn luyện mô hình trên một tập các tác vụ FSL, giúp mô hình học cách thích nghi nhanh với các tác vụ mới chỉ với một vài ví dụ. Meta-Learning cho phép mô hình học một tập các mẫu có thể tổng quát hóa trên các tác vụ khác nhau.

Trong Few-Shot Learning, Meta-Learning thường được triển khai thông qua hai cách tiếp cận chính: gradient-based meta-learning và memory-augmented neural networks. Gradient-based meta-learning như MAML (Model-Agnostic Meta-Learning) học cách khởi tạo các tham số của mô hình để có thể thích nghi nhanh với tác vụ mới. Trong khi đó, memory-augmented neural networks sử dụng bộ nhớ ngoài để lưu trữ và truy xuất thông tin liên quan từ dữ liệu trong quá khứ.

Theo nghiên cứu của Finn và cộng sự (2017), Meta-Learning đã đạt được kết quả ấn tượng trong nhiều bài toán Few-Shot Learning, đặc biệt là trong lĩnh vực thị giác máy tính. Phương pháp này cho phép mô hình học cách học từ kinh nghiệm trước đó và áp dụng kiến thức này vào các nhiệm vụ mới chỉ với vài ví dụ huấn luyện.

3.1. Nguyên lý hoạt động của Meta Learning

Meta-Learning trong Few-Shot Learning hoạt động dựa trên nguyên lý "học cách học". Thay vì học một nhiệm vụ cụ thể, mô hình meta-learning học cách thích nghi nhanh với các nhiệm vụ mới chỉ với một vài ví dụ. Trong quá trình huấn luyện, mô hình được trình bày với nhiều tác vụ khác nhau, mỗi tác vụ mô phỏng kịch bản few-shot với các lớp khác nhau.

Trong Meta-Learning, mỗi tác vụ bao gồm một tập hỗ trợ (support set) với các mẫu được gán nhãn và một tập truy vấn (query set) để đánh giá hiệu suất. Mô hình học cách sử dụng tập hỗ trợ để phân loại các mẫu trong tập truy vấn. Quá trình này được lặp lại với nhiều tác vụ khác nhau, giúp mô hình học các nguyên tắc chung có thể áp dụng cho các nhiệm vụ mới.

3.2. Gradient based Meta Learning

Gradient-based Meta-Learning là một phương pháp phổ biến trong Few-Shot Learning, trong đó MAML (Model-Agnostic Meta-Learning) là thuật toán tiêu biểu. Phương pháp này học cách khởi tạo các tham số của mô hình để có thể thích nghi nhanh với tác vụ mới chỉ với một vài bước cập nhật gradient. Trong MAML, meta-learner tạo một bản sao của chính nó ở đầu mỗi episode, và bản sao này được tinh chỉnh trên tập hỗ trợ.

Gradient-based Meta-Learning có ưu điểm là có thể áp dụng cho nhiều loại mô hình học máy khác nhau, không chỉ giới hạn ở mạng nơ-ron. Theo nghiên cứu của Finn và cộng sự (2017), MAML đã đạt được kết quả ấn tượng trong nhiều bài toán Few-Shot Learning, từ phân loại ảnh đến học tăng cường, chứng minh tính linh hoạt và hiệu quả của phương pháp này.

3.3. Memory augmented Neural Networks

Memory-augmented Neural Networks là một phương pháp Meta-Learning trong Few-Shot Learning sử dụng bộ nhớ ngoài để lưu trữ và truy xuất thông tin. Phương pháp này lấy cảm hứng từ cơ chế nhớ của con người, cho phép mô hình nhanh chóng truy cập kiến thức liên quan khi gặp tác vụ mới. Santoro và cộng sự (2016) đã phát triển mô hình sử dụng Recurrent Neural Networks để học cả cách lưu trữ và cách truy xuất thông tin từ dữ liệu trong quá khứ.

Trong Few-Shot Learning, Memory-augmented Neural Networks cho phép mô hình phân loại các hình ảnh mới từ các lớp chưa từng thấy trước đây bằng cách sử dụng thông tin được lưu trữ về phân loại hình ảnh trước đó. Phương pháp này đặc biệt hữu ích trong các ứng dụng yêu cầu khả năng ghi nhớ và truy xuất thông tin nhanh chóng, như nhận dạng khuôn mặt hoặc phân loại đối tượng trong môi trường động.

IV. Cách tiếp cận dựa trên độ đo

Cách tiếp cận dựa trên độ đo (metric-based approach) là một phương pháp quan trọng trong Few-Shot Learning. Thay vì học cách phân loại trực tiếp, các phương pháp này học một độ đo khoảng cách giữa các ví dụ và sử dụng độ đo này để phân loại các ví dụ mới. Cách tiếp cận dựa trên độ đo thường sử dụng các mạng nơ-ron để học cách nhúng (embedding) dữ liệu vào không gian đặc trưng, trong đó các điểm dữ liệu cùng lớp sẽ gần nhau và khác lớp sẽ xa nhau.

Trong Few-Shot Learning, các phương pháp dựa trên độ đo phổ biến bao gồm Siamese Networks, Triplet Networks và Matching Networks. Siamese Networks sử dụng hai mạng nơ-ron có trọng số chung để tính toán các vector nhúng cho cặp hình ảnh đầu vào và so sánh chúng. Triplet Networks học cách đưa hình ảnh anchor và positive gần nhau hơn trong không gian vector so với hình ảnh anchor và negative. Matching Networks kết hợp các đặc điểm tốt nhất từ cả mô hình tham số và phi tham số.

Theo nghiên cứu của Vinyals và cộng sự (2016), Cách tiếp cận dựa trên độ đo đã đạt được kết quả ấn tượng trong nhiều bài toán Few-Shot Learning, đặc biệt là trong lĩnh vực thị giác máy tính. Phương pháp này cho phép mô hình học cách đo lường sự tương đồng giữa các đối tượng, từ đó phân loại chính xác các đối tượng mới chỉ với vài ví dụ huấn luyện.

4.1. Siamese Networks trong FSL

Siamese Networks là một kiến trúc mạng nơ-ron phổ biến trong Few-Shot Learning, được đề xuất bởi Koch và cộng sự (2015). Mô hình này bao gồm hai mạng nơ-ron tích chập có trọng số chung, tính toán các vector nhúng cho hình ảnh đầu vào và so sánh chúng. Trong quá trình huấn luyện, mạng nhận các cặp hình ảnh làm đầu vào và dự đoán xem chúng có thuộc cùng một lớp hay không.

Trong Few-Shot Learning, Siamese Networks có thể phân loại hình ảnh truy vấn bằng cách so sánh nó với mọi hình ảnh trong bộ hỗ trợ và gán cho lớp được coi là gần nhất. Mặc dù đạt được kết quả thú vị, phương pháp này có nhược điểm là nhiệm vụ huấn luyện (so sánh hai hình ảnh) khác với nhiệm vụ đánh giá (phân loại hình ảnh). Tuy nhiên, với khả năng học cách đo lường sự tương đồng giữa các đối tượng, Siamese Networks vẫn là một phương pháp hiệu quả trong nhiều ứng dụng Few-Shot Learning.

4.2. Triplet Networks và ứng dụng

Triplet Networks là một kiến trúc mạng nơ-ron hiệu quả trong Few-Shot Learning, giúp xác định sự tương đồng giữa các đối tượng trong không gian vector. Trong Triplet Networks, một bộ ba ảnh được đưa vào mạng gồm một ảnh anchor, một ảnh positive và một ảnh negative. Mục tiêu của mô hình là học cách đưa ảnh anchor và positive gần nhau hơn trong không gian vector so với ảnh anchor và negative.

Trong Few-Shot Learning, Triplet Networks học cách phân biệt các đối tượng thông qua việc tối ưu hóa hàm mất mát triplet. Hàm này đảm bảo khoảng cách giữa anchor và positive nhỏ hơn khoảng cách giữa anchor và negative một biên độ nhất định. Phương pháp này đặc biệt hữu ích trong các ứng dụng như nhận dạng khuôn mặt, xác minh danh tính hoặc truy xuất hình ảnh, nơi việc đo lường sự tương đồng giữa các đối tượng là quan trọng.

4.3. Matching Networks cho phân loại

Matching Networks là một phương pháp Few-Shot Learning được đề xuất bởi Vinyals và cộng sự (2016), kết hợp các đặc điểm tốt nhất từ cả mô hình tham số và phi tham số. Khác với Siamese Networks, Matching Networks được huấn luyện trực tiếp cho nhiệm vụ phân loại, không phải so sánh cặp hình ảnh. Phương pháp này sử dụng một cơ chế chú ý (attention mechanism) để kết hợp thông tin từ tập hỗ trợ để phân loại các mẫu truy vấn.

Trong Few-Shot Learning, Matching Networks hoạt động bằng cách nhúng cả tập hỗ trợ và mẫu truy vấn vào không gian đặc trưng, sau đó sử dụng cơ chế chú ý để tính toán sự tương đồng giữa mẫu truy vấn và mỗi mẫu trong tập hỗ trợ. Kết quả phân loại được xác định dựa trên tổ hợp tuyến tính của các nhãn trong tập hỗ trợ, có trọng số là mức độ tương đồng. Phương pháp này đã đạt được kết quả vượt trội so với Siamese Networks trong nhiều bài toán Few-Shot Learning.

V. Ứng dụng thực tế của Few Shot Learning

Few-Shot Learning có nhiều ứng dụng thực tế quan trọng trong nhiều lĩnh vực khác nhau. Trong thị giác máy tính, FSL được sử dụng cho nhận dạng đối tượng, phân loại ảnh và truy xuất hình ảnh với ít dữ liệu huấn luyện. Trong xử lý ngôn ngữ tự nhiên, FSL giúp giải quyết các bài toán như phân loại văn bản, nhận dạng thực thể có tên và dịch máy với ít dữ liệu song ngữ.

Trong lĩnh vực y tế và chăm sóc sức khỏe, Few-Shot Learning đóng vai trò quan trọng trong chẩn đoán bệnh từ hình ảnh y tế, đặc biệt với các bệnh hiếm gặp có ít dữ liệu. FSL cũng được ứng dụng trong robotics, cho phép robot học các kỹ năng mới chỉ từ vài lần trình diễn. Ngoài ra, FSL còn có ứng dụng trong an ninh, nhận dạng khuôn mặt và phát hiện bất thường.

Theo nghiên cứu từ Đại học Sư phạm Kỹ thuật TP.HCM, Few-Shot Learning đang mở ra nhiều cơ hội ứng dụng mới, đặc biệt trong các lĩnh vực thu thập dữ liệu khó khăn hoặc tốn kém. Với khả năng học từ ít dữ liệu, FSL giúp giảm chi phí và thời gian phát triển các hệ thống AI, đồng thời tăng khả năng tổng quát hóa của mô hình.

5.1. FSL trong thị giác máy tính

Few-Shot Learning có nhiều ứng dụng quan trọng trong thị giác máy tính. Một trong những ứng dụng phổ biến là nhận dạng đối tượng với ít dữ liệu huấn luyện. Trong khi các phương pháp truyền thống cần hàng nghìn ảnh cho mỗi lớp, FSL có thể nhận diện đối tượng mới chỉ với vài hình ảnh. Điều này đặc biệt hữu ích trong các ứng dụng như nhận dạng khuôn mặt, phát hiện đối tượng trong ảnh vệ tinh hoặc phân loại động vật hoang dã.

Trong thị giác máy tính, Few-Shot Learning cũng được sử dụng cho truy xuất hình ảnh (image retrieval), nơi hệ thống cần tìm các hình ảnh tương tự từ một cơ sở dữ liệu lớn chỉ dựa trên một vài ví dụ. Ngoài ra, FSL còn ứng dụng trong phân loại ảnh y tế, nhận dạng ký tự viết tay và phát hiện bất thường. Theo nghiên cứu, các phương pháp FSL như Matching Networks và Prototypical Networks đã đạt được kết quả ấn tượng trong các bài toán thị giác máy tính, đặc biệt khi dữ liệu huấn luyện hạn chế.

5.2. Ứng dụng trong xử lý ngôn ngữ tự nhiên

Few-Shot Learning ngày càng được ứng dụng rộng rãi trong xử lý ngôn ngữ tự nhiên (NLP). Một trong những ứng dụng quan trọng là phân loại văn bản với ít dữ liệu gán nhãn. Trong khi các phương pháp truyền thống cần hàng nghìn văn bản được gán nhãn cho mỗi lớp, FSL có thể phân loại văn bản vào các danh mục mới chỉ với vài ví dụ.

Trong xử lý ngôn ngữ tự nhiên, Few-Shot Learning cũng được sử dụng cho nhận dạng thực thể có tên (named entity recognition), đặc biệt với các loại thực thể hiếm gặp. Ngoài ra, FSL còn ứng dụng trong dịch máy với ít dữ liệu song ngữ, tóm tắt văn bản và trả lời câu hỏi. Với sự phát triển của các mô hình ngôn ngữ lớn như GPT-3, khả năng few-shot learning đã được cải thiện đáng kể, cho phép các mô hình thực hiện nhiều nhiệm vụ NLP chỉ với vài ví dụ mà không cần huấn luyện lại.

5.3. FSL trong lĩnh vực y tế và chăm sóc sức khỏe

Few-Shot Learning có ứng dụng quan trọng trong lĩnh vực y tế và chăm sóc sức khỏe, đặc biệt trong chẩn đoán bệnh từ hình ảnh y tế. Nhiều bệnh lý hiếm gặp có rất ít hình ảnh để sử dụng trong tập huấn luyện, tạo ra thách thức lớn cho các phương pháp học máy truyền thống. FSL giải quyết vấn đề này bằng cách cho phép mô hình học từ một vài mẫu và áp dụng kiến thức này để chẩn đoán các ca bệnh mới.

Trong y tế, Few-Shot Learning cũng được sử dụng để phát hiện thuốc mới và dự đoán tác dụng của chúng. Việc tạo ra một loại thuốc mới thường rất tốn kém và thời gian, với nhiều rủi ro. FSL giúp giảm thiểu những rủi ro này bằng cách cho phép các nhà nghiên cứu học hiệu quả từ một số ít mẫu. Ngoài ra, FSL còn ứng dụng trong phân tích dữ liệu gen, dự đoán bệnh và cá nhân hóa điều trị, mở ra nhiều cơ hội mới cho y học chính xác.

VI. Tương lai và xu hướng phát triển FSL

Few-Shot Learning đang phát triển nhanh chóng và mở ra nhiều hướng nghiên cứu mới trong tương lai. Một trong những xu hướng quan trọng là kết hợp FSL với các công nghệ khác như học tăng cường (reinforcement learning) hoặc học không giám sát (unsupervised learning) để tạo ra các mô hình mạnh mẽ hơn. Ngoài ra, việc phát triển các kiến trúc mạng mới có khả năng học hiệu quả từ ít dữ liệu cũng là một hướng nghiên cứu hứa hẹn.

Few-Shot Learning trong tương lai sẽ tập trung vào giải quyết các thách thức hiện tại như đánh giá phân phối dữ liệu không chính xác, khả năng tái sử dụng đặc trưng và tính tổng quát của các nhiệm vụ trong tương lai. Các phương pháp mới như tự điều chỉnh (self-supervised learning) hoặc học tương phản (contrastive learning) có thể giúp cải thiện hiệu suất của FSL, đặc biệt trong các ứng dụng thực tế.

Theo nghiên cứu từ Đại học Sư phạm Kỹ thuật TP.HCM, Few-Shot Learning sẽ có nhiều ứng dụng mới trong các lĩnh vực như robot học, y tế chính xác, an ninh mạng và giáo dục. Với khả năng học từ ít dữ liệu, FSL hứa hẹn sẽ democratize AI, cho phép nhiều tổ chức và cá nhân tiếp cận và phát triển các ứng dụng AI mà không cần nguồn lực dữ liệu lớn.

6.1. Hướng nghiên cứu mới trong FSL

Few-Shot Learning đang mở ra nhiều hướng nghiên cứu mới hứa hẹn. Một trong những hướng quan trọng là kết hợp FSL với tự điều chỉnh (self-supervised learning) để tận dụng dữ liệu không gán nhãn. Phương pháp này giúp mô hình học các đặc trưng hữu ích từ lượng lớn dữ liệu không gán nhãn, sau đó tinh chỉnh với ít dữ liệu có nhãn, cải thiện đáng kể hiệu suất của FSL.

Hướng nghiên cứu khác trong Few-Shot Learning là phát triển các phương pháp meta-learning hiệu quả hơn. Các phương pháp hiện tại như MAML thường đòi hỏi nhiều tính toán và khó mở rộng. Các nghiên cứu mới tập trung vào việc giảm chi phí tính toán và tăng khả năng mở rộng của meta-learning, đồng thời cải thiện khả năng tổng quát hóa trên nhiều nhiệm vụ khác nhau. Ngoài ra, việc kết hợp FSL với học tương phản (contrastive learning) cũng là một hướng nghiên cứu hứa hẹn, đặc biệt trong các ứng dụng thị giác máy tính.

6.2. Kết hợp FSL với các công nghệ khác

Few-Shot Learning ngày càng được kết hợp với các công nghệ khác để tạo ra các giải pháp mạnh mẽ hơn. Một trong những kết hợp quan trọng là giữa FSL và học tăng cường (reinforcement learning). Phương pháp này cho phép các tác tử học các chính sách mới chỉ từ vài lần thử nghiệm, đặc biệt hữu ích trong robotics và trò chơi. Kết hợp này giúp giải quyết bài toán mẫu hiệu quả (sample efficiency) trong học tăng cường, một thách thức lớn trong lĩnh vực này.

Trong tương lai, Few-Shot Learning cũng sẽ được kết hợp chặt chẽ với học không giám sát (unsupervised learning) và học bán giám sát (semi-supervised learning). Các phương pháp này giúp tận dụng lượng lớn dữ liệu không gán nhãn có sẵn, giảm sự phụ thuộc vào dữ liệu có nhãn. Ngoài ra, việc kết hợp FSL với các mô hình generative như GAN (Generative Adversarial Networks) cũng mở ra khả năng tạo ra dữ liệu tổng hợp có ý nghĩa để bổ sung cho tập huấn luyện nhỏ, cải thiện hiệu suất của FSL.

6.3. Triển vọng ứng dụng trong tương lai

Few-Shot Learning có triển vọng ứng dụng rộng rãi trong tương lai, đặc biệt trong các lĩnh vực thu thập dữ liệu khó khăn hoặc tốn kém. Trong robot học, FSL cho phép robot học các kỹ năng mới chỉ từ vài lần trình diễn, giảm thời gian và chi phí đào tạo. Trong y tế, FSL giúp chẩn đoán bệnh từ hình ảnh y tế, đặc biệt với các bệnh hiếm gặp có ít dữ liệu, mở ra cơ hội cho y học chính xác.

Trong giáo dục, Few-Shot Learning có thể được sử dụng để phát triển các hệ thống tutoring thông minh có khả năng thích ứng với nhu cầu học tập riêng biệt của từng sinh viên. Trong an ninh mạng, FSL giúp phát hiện các mối đe dọa mới chỉ từ vài ví dụ, tăng cường khả năng phản ứng trước các cuộc tấn công. Với sự phát triển của các công nghệ mới như edge computing và IoT, FSL sẽ đóng vai trò quan trọng trong việc phát triển các ứng dụng AI thông minh, hiệu quả và có khả năng hoạt động với nguồn lực hạn chế.

Trích đoạn nội dung tài liệu

MỞ ĐẦU FEW – SHOT LEARNING bài báo cáo chi tiết về nội dung lý thuyết của FSL và triển khai vào bài toán nhận dạng chữ viết, các cách phân tích, xử lý cho bài toán. Về phần ứng dụng, để trực quan hóa bài toán nhóm chúng tôi sẽ xây dựng một mô hình đơn giản để trực quan hóa kết quả sau khi phân tích từ tập dữ liệu nhằm có cái nhìn cụ thể hơn cũng như thấy được sự hữu ích khi áp dụng FSL vào thực tế và từ đó đưa một cách kết luận khả quan nhất về thuật toán này. BỐ CỤC CỦA BÀI BÁO CÁO Phần còn lại của báo cáo khóa luận được tổ chức như sau: Chương 2: Nôi dung Trình bày cơ sở lý thuyết của FSL, so sánh FSL với các phương pháp học máy khác và các phương pháp tiếp cận của FSL. Chương 3: Ứng dụng Các lĩnh vực thực tế được áp dụng và tình hình phát triển của FSL.

Chương 4: Triển khai ứng dụng Triển khai ứng dụng nhận dạng ký tự viết tay bằng FSL. Chương 5: Kết luận Kết quả đạt được, hạn chế và hướng phát triển. NỘI DUNG FEW – SHOT LEARNING CHƯƠNG 2: NỘI DUNG 2. TỔNG QUAN VỀ FEW – SHOT LEARNING 2.

Định nghĩa Few – shot learning (FSL – học từ một vài ví dụ) là một phương pháp học máy cho phép mô hình học cách nhận diện và phân loại các đối tượng mới chỉ với một số ít dữ liệu huấn luyện. Điều này khác biệt với học máy truyền thống, nơi cần có một lượng lớn dữ liệu huấn luyện để mô hình có thể đạt được độ chính xác cao. Các phương pháp FSL thường sử dụng các mô hình học sâu, như mạng nơ-ron tích chập (CNN) hoặc các mạng dựa trên kiến trúc transformer (transformer – based networks), để học cách tạo ra các đặc trưng chung từ các bộ dữ liệu huấn luyện khác nhau. Sau đó, các đặc trưng này được sử dụng để huấn luyện mô hình phân loại trên các tác vụ mới, mà mô hình chưa bao giờ được huấn luyện trước đó.

FSL có thể được áp dụng trong nhiều lĩnh vực, chẳng hạn như phân loại ảnh, xử lý ngôn ngữ tự nhiên và robot học. Với sự phát triển của FSL, các ứng dụng như nhận dạng khuôn mặt và nhận diện đồ vật trên các thiết bị nhỏ gọn đã trở nên dễ dàng hơn. Một trong những phương pháp tiếp cận phổ biến nhất của FSL được gọi là meta – learning hoặc learn – to – learn (học cách học). Trong phương pháp này, mô hình được huấn luyện trên một tập các tác vụ FSL, và học cách thích nghi nhanh với các tác vụ mới với một số ít ví dụ bằng cách học một tập các mẫu có thể tổng quát hóa trên các tác vụ khác nhau.

Một phương pháp khác được gọi là học dựa trên độ đo, trong đó mô hình học một độ đo khoảng cách giữa các ví dụ và sử dụng độ đo này để phân loại các ví dụ mới với số lượng ít ví dụ. Tổng quát lại, FSL là một phương pháp hứa hẹn cho phép máy học với ít dữ liệu hơn, và có tiềm năng làm cho học máy trở nên dễ tiếp cận hơn trong các lĩnh vực nơi thu thập lượng lớn dữ liệu huấn luyện là khó khăn và tốn kém. Một ví dụ về FSL, giả sử chúng ta làm việc trong lĩnh vực chăm sóc sức khỏe và gặp khó khăn trong việc phân loại các bệnh về xương thông qua ảnh chụp X – quang. Một số bệnh lý hiếm gặp có thể thiếu hình ảnh để sử dụng trong tập huấn luyện.

Đây là loại vấn đề có thể được giải quyết bằng cách xây dựng bộ phân loại FSL. So sánh FSL với các phương pháp học máy khác Theo truyền thống, việc phát triển các hệ thống máy học liên quan đến việc thu thập một lượng lớn dữ liệu và đào tạo các thuật toán machine learning (ML) trên đó để tạo ra kết quả. Để huấn luyện một mô hình để phân loại các đối tượng, ta cần một lượng lớn dữ liệu huấn luyện. ML sử dụng bộ dữ liệu quy mô lớn làm đầu vào.

Đánh giá của nó về một mẫu mới dựa trên kết quả thống kê được trích xuất bởi dữ liệu lịch sử. Tuy nhiên, việc thu thập, dán nhãn và xác thực dữ liệu lớn rất tốn kém. Có nhiều trường hợp, ta không có quyền truy cập vào bộ dữ liệu lớn và phải dựa vào một vài 4 CHƯƠNG 2. NỘI DUNG FEW – SHOT LEARNING ví dụ để đưa ra kết quả.

Hay sẽ thật khó chịu nếu smartphone cần phải có hàng nghìn bức ảnh của người dùng để nhận diện và mở khóa. Giờ đây, sự bùng nổ của Internet (gần nhất là 5G) cung cấp khả năng kết nối khổng lồ cho hàng triệu thiết bị đầu cuối, cho phép kết nối mọi thứ với nhau. Tổng lượng dữ liệu do các thiết bị đầu cuối tạo ra là rất lớn, nhưng số lượng của một tập dữ liệu đơn lẻ lại cực kỳ nhỏ. Do đó, ML truyền thống, có hiệu suất phụ thuộc nhiều vào tập dữ liệu lớn, không thể hoạt động tốt trong cài đặt này với ít mẫu.

Cuối cùng, FSL xuất hiện và cung cấp một cách đầy hứa hẹn để xử lý tình huống khan hiếm dữ liệu. [3] FSL giải quyết vấn đề này bằng cách sử dụng một số lượng nhỏ các mẫu huấn luyện để xây dựng một mô hình phân loại tốt. Ý tưởng của FSL là learn – to – learn, tức là dùng một mô hình máy học để học cách áp dụng những kiến thức và kinh nghiệm đã học được từ các bài toán tương tự để giải quyết các bài toán mới. Các mô hình FSL thường sử dụng các kỹ thuật học tăng cường (reinforcement learning), học không giám sát (unsupervised learning) hoặc học chuyển tiếp (transfer learning) để giúp mô hình học được các khái niệm và tính chất mới một cách hiệu quả.

Sự khác biệt đáng chú ý nhất giữa FSL và học máy truyền thống là tập hợp các lớp của tập hỗ trợ (support set) và tập truy vấn (query set) không liên kết với nhau. Trong máy học, các lớp của tập kiểm tra được đưa vào đào tạo trước. FSL kết hợp thông tin giám sát hạn chế với kiến thức có sẵn để đào tạo mô hình huấn luyện. Đầu vào của mô hình thường được đưa ra dưới dạng các nhiệm vụ.

Thông qua công việc thu thập liên tục các tác vụ, mô hình có thể nhận ra sự giống nhau và khác nhau giữa dữ liệu cũng như tác vụ. Khi mô hình gặp phải một nhiệm vụ không nhìn thấy được, việc chuyển giao kiến thức có thể được thực hiện nhanh chóng chỉ với một vài bước đào tạo lặp đi lặp lại với các tham số khởi động phù hợp. Ngược lại, học máy truyền thống yêu cầu tối ưu hóa thông số thông qua hàm mất mát được tạo ra bởi một bộ dữ liệu quy định lớn trong mô hình. Tóm lại, FSL chỉ là một nhánh rất non trẻ của học máy, chủ yếu giải quyết vấn đề khó truy cập vào tài liệu chất lượng trong các vấn đề về học máy.

Tầm quan trọng của FSL Năm 1980, Kunihiko Fukushima đã phát triển mạng lưới thần kinh tích chập (CNN) đầu tiên. Kể từ đó, nhờ khả năng tính toán ngày càng tăng và những nỗ lực to lớn từ cộng đồng máy học, các thuật toán học sâu đã không ngừng cải thiện hiệu suất của chúng đối với các nhiệm vụ liên quan đến thị giác máy tính. Vào năm 2015, Kaiming He và nhóm của anh ấy tại Microsoft đã báo cáo rằng mô hình của họ hoạt động tốt hơn con người trong việc phân loại hình ảnh từ ImageNet. Vào thời điểm đó, người ta có thể lập luận rằng máy tính đã trở nên giỏi hơn chúng ta trong việc khai thác hàng tỷ hình ảnh để giải quyết một nhiệm vụ cụ thể.

Tuy nhiên, không phải lúc nào chúng ta cũng có thể xây dựng bộ dữ liệu với nhiều hình ảnh như vậy. Khi làm việc trong lĩnh vực computer vision (thị giác máy tính), đôi khi chúng ta phải phân loại hình ảnh chỉ với một hoặc hai mẫu cho mỗi nhãn. Cho trẻ em 5 CHƯƠNG 2. NỘI DUNG FEW – SHOT LEARNING xem hình ảnh con voi và từ giờ trở đi chúng sẽ không bao giờ quên nhận ra con voi.

Nếu chúng ta làm điều tương tự với resnet – 50, chúng ta có thể thất vọng với kết quả của nó. Vấn đề như thế này, học từ một vài ví dụ được gọi là FSL. Với tầm quan trọng của FSL như vậy, chúng ta có thể thấy được một vài ưu điểm của nó như sau: Cơ sở thử nghiệm để học như con người: Con người có thể nhận ra sự khác biệt giữa các ký tự viết tay sau khi xem một vài ví dụ. Tuy nhiên, máy tính cần một lượng lớn dữ liệu để phân loại những gì chúng “thấy” và phát hiện sự khác biệt giữa các ký tự viết tay.

FSL là một cơ sở thử nghiệm trong đó máy tính được mong đợi sẽ học từ một vài ví dụ như con người. Học cho các trường hợp hiếm gặp: Bằng cách sử dụng phương pháp học ít lần, máy có thể học các trường hợp hiếm gặp. Ví dụ: khi phân loại hình ảnh về động vật, một mô hình máy học được đào tạo bằng kỹ thuật học ít ảnh có thể phân loại chính xác hình ảnh của một loài quý hiếm sau khi tiếp xúc với một lượng nhỏ thông tin trước đó. Giảm nỗ lực thu thập dữ liệu và chi phí tính toán: Vì phương pháp FSL yêu cầu ít dữ liệu hơn để đào tạo một mô hình, chi phí cao liên quan đến việc thu thập và ghi nhãn dữ liệu sẽ bị loại bỏ.

Lượng dữ liệu đào tạo thấp có nghĩa là số chiều thấp trong tập dữ liệu đào tạo, điều này có thể làm giảm đáng kể chi phí tính toán. Trong vài năm nay, vấn đề học vài lần đã thu hút rất nhiều sự chú ý trong cộng đồng nghiên cứu và rất nhiều giải pháp hay đã được phát triển. Các giải pháp phổ biến nhất hiện nay sử dụng phương pháp meta – learning, hay nói một cách ngắn gọn: học cách học (learn to learn). Phân loại FSL Các nhà nghiên cứu đã phân FSL thành các loại: N – shot learning (NSL), One – shot learning (OSL), zero – shot learning (ZSL).

Khi nói về FSL, chúng ta thường nghĩ đến N – way K – shot: N là số class, K là số lượng mẫu từ mỗi class dùng để training. N – shot learning (NSL) được xem như là một khái niệm tổng quát hóa. Few – shot, one – shot, zero – shot learning là các trường hợp đặc biệt của NSL.