Tổng quan nghiên cứu

Trong kỷ nguyên phát triển mạnh mẽ của trí tuệ nhân tạo, các mạng nơ-ron sâu phục vụ thị giác máy tính thường đòi hỏi hơn 100.000 mẫu hình ảnh được gán nhãn chuẩn xác để đạt độ chính xác tối ưu. Tuy nhiên, chi phí thu thập và gán nhãn dữ liệu thủ công chiếm tới khoảng 70% ngân sách và thời gian triển khai của các dự án công nghệ. Khi áp dụng vào các lĩnh vực đặc thù như chẩn đoán y tế hoặc nhận dạng sinh vật quý hiếm, việc thu thập dữ liệu quy mô lớn là bất khả thi, khiến hiệu suất của các mô hình học sâu truyền thống suy giảm nghiêm trọng từ 45% đến 60% khi đối mặt với các lớp đối tượng mới.

Vấn đề cốt lõi của bài toán phát hiện đối tượng với ít mẫu dữ liệu xuất phát từ việc các mô hình hiện tại chỉ dựa thuần túy vào đặc trưng hình ảnh cục bộ mà bỏ qua tri thức ngữ nghĩa và mối tương quan liên lớp. Nghiên cứu tập trung giải quyết bài toán này thông qua mục tiêu phát triển khung kiến trúc tích hợp thông tin ngữ nghĩa từ các mô hình ngôn ngữ thị giác vào quá trình phát hiện đối tượng ít mẫu. Mục tiêu cụ thể là tối ưu hóa độ chính xác định vị và phân loại đối tượng khi chỉ có từ 1 đến 10 mẫu huấn luyện cho mỗi lớp mới.

Phạm vi nghiên cứu được thực hiện thực nghiệm trong giai đoạn từ tháng 09/2023 đến tháng 12/2023 tại Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh, sử dụng các bộ dữ liệu chuẩn quốc tế gồm PASCAL VOC và MS COCO. Nghiên cứu mang ý nghĩa thực tiễn lớn khi nâng cao chỉ số độ chính xác trung bình của lớp mới thêm từ 3.2% đến 4.8%, đồng thời bảo toàn trên 78.5% độ chính xác ở các lớp cơ sở, mở ra tiềm năng ứng dụng linh hoạt cho hệ thống xe tự hành, camera an ninh và robot thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên lý thuyết nền tảng về học ít mẫu với bài toán tổng quát dạng N-way K-shot được hệ thống hóa bởi các nhà khoa học máy tính vào năm 2020. Trong thiết lập này, mô hình phải học cách phân biệt N lớp đối tượng khác nhau với chỉ K mẫu được gán nhãn cho mỗi lớp. Khung nghiên cứu kế thừa mô hình phát hiện đối tượng hai giai đoạn Decoupled Faster R-CNN với cơ chế tách biệt độ dốc thông qua lớp tách gradient và khối hiệu chỉnh nguyên mẫu, giúp giải quyết xung đột lan truyền ngược giữa tác vụ phân loại và tác vụ xác định vùng biên đối tượng.

Bên cạnh đó, nghiên cứu tích hợp lý thuyết truyền thụ tri thức được giới thiệu bởi nhà khoa học Geoffrey Hinton vào năm 2015, kết hợp cùng các mô hình ngôn ngữ và thị giác hiện đại như CLIP với hơn 400 triệu cặp ảnh - văn bản và không gian nhúng từ vựng GloVe với độ dài vector 300 chiều. Các khái niệm chính được vận dụng xuyên suốt bao gồm:

  • Lớp cơ sở: Tập hợp các danh mục đối tượng có sẵn nguồn dữ liệu dồi dào với hơn 1.000 mẫu trên mỗi lớp để mô hình học các khái niệm thị giác nền tảng.
  • Lớp mới: Các danh mục đối tượng chưa từng xuất hiện trong quá trình huấn luyện cơ sở, chỉ có từ 1 đến 10 mẫu gán nhãn trong giai đoạn tinh chỉnh.
  • Phát hiện đối tượng ít mẫu tổng quát: Kịch bản thử nghiệm đánh giá khả năng mô hình đồng thời phát hiện chuẩn xác cả lớp cơ sở lẫn lớp mới trên tập kiểm thử.
  • Ma trận tương đồng ngữ nghĩa: Không gian biểu diễn mối tương quan giữa các vector nhúng khái niệm, hỗ trợ suy luận quan hệ liên lớp.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm chuẩn từ bộ dữ liệu PASCAL VOC với 20 lớp đối tượng và MS COCO với 80 lớp đối tượng. Dữ liệu được phân chia theo phương pháp chọn mẫu phân tầng ngẫu nhiên với 3 kịch bản chia tập khác nhau nhằm loại bỏ sai số phân phối. Cỡ mẫu huấn luyện lớp mới được khảo sát biến thiên theo các mức nghiêm ngặt gồm 1, 2, 3, 5, 10 và 30 mẫu cho mỗi danh mục đối tượng.

Quy trình phân tích và huấn luyện được triển khai qua hai giai đoạn riêng biệt:

  • Giai đoạn 1 (Base Training): Huấn luyện mạng trích xuất đặc trưng và bộ phát hiện trên toàn bộ tập dữ liệu cơ sở với hàng nghìn ảnh để tối ưu hóa trọng số nền tảng.
  • Giai đoạn 2 (Few-shot Fine-tuning): Tinh chỉnh mô hình trên tập hợp dữ liệu kết hợp chứa cả lớp cơ sở và lớp mới trong môi trường dữ liệu khan hiếm.

Lý do lựa chọn phương pháp này là vì cơ chế chưng cất tri thức đa mô thức cho phép đưa thông tin định hướng không gian và tương quan ngữ nghĩa vào mô hình mà không làm gia tăng kích thước mạng hay độ trễ tính toán khi triển khai thực tế. Quá trình thực nghiệm được lập trình trên nền tảng Detectron2 kết hợp bộ tăng tốc đồ họa chuyên dụng trong suốt 12 tuần làm việc liên tục.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh đa chiều trên các tập kiểm thử PASCAL VOC mang lại những phát hiện then chốt sau:

  • Thứ nhất, mô-đun chưng cất không gian giúp cải thiện độ chính xác định vị đáng kể, đưa chỉ số độ chính xác trung bình lớp mới tại kịch bản 3-shot đạt mức 48.6%, tăng khoảng 3.2% so với mô hình cơ sở không có tri thức ngữ nghĩa.
  • Thứ hai, mô-đun chưng cất ngữ nghĩa giúp chuyển giao tri thức hiệu quả giữa các lớp có độ tương quan cao; ví dụ mức tương đồng ngữ nghĩa giữa lớp xe đạp và xe máy đạt 0.57 trong không gian GloVe và đạt trên 0.82 trong không gian CLIP, giúp chỉ số nhận diện lớp mới ở kịch bản 1-shot tăng vượt trội 4.5%.
  • Thứ ba, mô hình duy trì sự ổn định vượt bậc ở các lớp cơ sở với độ chính xác đạt 78.9% ở kịch bản 10-shot, chứng minh cơ chế chưng cất tri thức đã triệt tiêu hiệu quả hiện tượng quên tri thức cũ vốn là điểm yếu của các phương pháp học chuyển giao truyền thống.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của phương pháp đề xuất nằm ở khả năng biến đổi các đặc trưng thị giác thành các vector truy vấn, đồng thời sử dụng các vector nhúng từ vựng của tên lớp làm vector khóa và giá trị. Khi số lượng hình ảnh huấn luyện giảm xuống dưới 5 mẫu, các đặc trưng hình ảnh thường bị nhiễu và thiếu khái quát, lúc này tri thức ngữ nghĩa đóng vai trò như một lực định hướng giúp không gian phân loại duy trì ranh giới phân tách rõ ràng.

Dữ liệu kết quả thực nghiệm có thể được tổng hợp trực quan qua biểu đồ cột thể hiện sự tăng trưởng của chỉ số nhận diện qua từng mức shot từ 1 đến 10, kết hợp cùng bảng ma trận độ tương đồng cosine giữa 20 lớp đối tượng. Khi so sánh với phương pháp Two-stage Fine-tuning Approach, mô hình đề xuất đạt hiệu suất cao hơn khoảng 5.8% về chỉ số lớp mới. So với mô hình Semantic Relation Reasoning, phương pháp này duy trì kết quả cạnh tranh tương đương nhưng giúp giảm thiểu khoảng 25% chi phí tính toán trong pha suy luận nhờ việc giải phóng các đầu vào văn bản sau khi hoàn tất chưng cất.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, 4 giải pháp chiến lược được đề xuất nhằm tối ưu hóa và ứng dụng mô hình vào thực tiễn:

  • Tối ưu hóa siêu tham số hàm mất mát chưng cất: Đội ngũ kỹ sư thị giác máy tính cần tiến hành tinh chỉnh hệ số cân bằng của hàm mất mát không gian trong khoảng giá trị từ 0.10 đến 0.15 trong 3 tháng đầu tiên, hướng tới mục tiêu tăng thêm từ 1.5% đến 2.0% độ chính xác nhận diện đối tượng nhỏ.
  • Tích hợp mô tả thuộc tính chi tiết từ mô hình ngôn ngữ lớn: Nhóm nghiên cứu phát triển trí tuệ nhân tạo nên mở rộng việc sử dụng các đoạn văn bản mô tả thuộc tính chi tiết của đối tượng thay vì chỉ dùng nhãn danh từ đơn lẻ trong vòng 6 tháng tới, nhằm cải thiện khả năng phân loại các biến thể góc nhìn phức tạp lên mức 85%.
  • Lượng tử hóa và nén mô hình cho thiết bị biên: Đội ngũ kỹ sư triển khai hệ thống cần thực hiện lượng tử hóa trọng số xuống định dạng 8-bit và tinh giản mạng nơ-ron trong vòng 9 tháng, đặt mục tiêu giảm 40% dung lượng bộ nhớ và đạt tốc độ xử lý trên 30 khung hình mỗi giây trên phần cứng nhúng.
  • Xây dựng quy trình đánh giá tự động trên nền tảng công nghiệp: Trưởng nhóm dự án phần mềm nên chuẩn hóa pipeline kiểm thử tự động đa kịch bản trong vòng 12 tháng, giúp rút ngắn 50% thời gian thích ứng khi hệ thống tiếp nhận thêm các danh mục đối tượng mới từ môi trường vận hành thực tế.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và thực tiễn chuyên sâu cho 4 nhóm đối tượng chính:

  • Các nhà nghiên cứu và chuyên gia trí tuệ nhân tạo: Cung cấp khung kiến trúc mẫu mực về việc kết hợp mô hình thị giác và ngôn ngữ thông qua kỹ thuật truyền thụ tri thức để giải quyết bài toán thiếu hụt dữ liệu học máy.
  • Kỹ sư phát triển hệ thống xe tự hành và robot: Giúp nắm bắt phương pháp xây dựng hệ thống nhận dạng vật cản linh hoạt, có khả năng học nhanh các loại phương tiện hoặc biển báo giao thông mới với dưới 10 mẫu ảnh thực địa.
  • Chuyên viên nghiên cứu giải pháp y tế số: Hỗ trợ kỹ thuật xây dựng các mô hình nhận diện tổn thương hoặc bệnh lý hiếm gặp từ số lượng ảnh chụp cộng hưởng từ hoặc cắt lớp vi tính rất hạn chế trong bệnh viện.
  • Giảng viên, học viên cao học và sinh viên ngành Khoa học Máy tính: Phục vụ làm tài liệu tham khảo chi tiết về thiết kế thực nghiệm chuẩn mực, kỹ thuật tối ưu hóa mã nguồn trên Detectron2 và phương pháp đánh giá độ chính xác khoa học.

Câu hỏi thường gặp

Phát hiện đối tượng ít mẫu tổng quát khác gì so với bài toán phát hiện ít mẫu truyền thống? Trong bài toán truyền thống, mô hình chỉ tập trung nhận diện các lớp mới sau khi tinh chỉnh. Ngược lại, bài toán tổng quát yêu cầu hệ thống phải đồng thời nhận diện chuẩn xác cả lớp mới lẫn các lớp cơ sở ban đầu, duy trì độ chính xác tổng thể trên 70% mà không làm mất đi tri thức nền tảng đã học.

Tại sao nghiên cứu lại kết hợp thông tin ngữ nghĩa thay vì chỉ tăng cường dữ liệu hình ảnh? Phương pháp tăng cường dữ liệu hình ảnh nhân tạo dễ gây ra hiện tượng khớp quá mức khi dữ liệu gốc chỉ có từ 1 đến 5 mẫu. Thông tin ngữ nghĩa từ các mô hình ngôn ngữ lớn cung cấp các thuộc tính liên kết bền vững và khách quan, giúp mô hình suy luận chuẩn xác dựa trên mối quan hệ giữa các lớp tương đồng.

Mô-đun chưng cất không gian hoạt động như thế nào trong kiến trúc mạng? Mô-đun này tạo ra bản đồ chú ý không gian dựa trên sự kết hợp giữa đặc trưng hình ảnh từ mạng trích xuất và vector nhúng từ vựng của đối tượng. Thông qua hàm mất mát chuyên biệt, mô hình được định hướng tập trung chính xác vào vùng chứa đối tượng mục tiêu, giúp tăng hơn 3.0% độ chính xác xác định hộp bao.

Vấn đề biểu diễn ngữ nghĩa của vùng nền phía sau được giải quyết ra sao? Trong không gian ngôn ngữ, từ chỉ vùng nền mang ý nghĩa trừu tượng khác biệt hoàn toàn với vùng nền thực tế trong ảnh thị giác. Nghiên cứu đã tối ưu hóa vector biểu diễn vùng nền thông qua việc hiệu chỉnh khoảng cách vector trong không gian tiềm ẩn, giúp giảm 15% tỷ lệ phân loại nhầm giữa đối tượng và cảnh nền.

Mô hình đề xuất có thể ứng dụng trực tiếp trên phần cứng thông thường không? Hoàn toàn khả thi. Do toàn bộ quá trình khai thác mô hình ngôn ngữ chỉ diễn ra trong giai đoạn huấn luyện và được cô đọng thông qua chưng cất tri thức, mô hình suy luận cuối cùng giữ nguyên cấu trúc gọn nhẹ, dễ dàng chạy ổn định trên các dòng GPU thương mại với tốc độ trên 25 khung hình mỗi giây.

Kết luận

  • Nghiên cứu đã giải quyết thành công điểm nghẽn phụ thuộc vào dữ liệu gán nhãn quy mô lớn trong thị giác máy tính hiện đại thông qua phương pháp học ít mẫu.
  • Đề xuất kiến trúc đột phá kết hợp giữa mô hình ngôn ngữ thị giác và kỹ thuật chưng cất tri thức đa tầng gồm nhánh không gian và nhánh ngữ nghĩa.
  • Kết quả thực nghiệm khẳng định độ chính xác nhận diện lớp mới tăng trưởng từ 3.2% đến 4.8% trong khi vẫn bảo toàn vững chắc hiệu suất của các lớp cơ sở trên 78.5%.
  • Khung phương pháp luận có tính tổng quát cao, dễ dàng tích hợp vào các hệ thống nhận dạng thông minh hiện có mà không làm gia tăng chi phí vận hành.
  • Nghiên cứu định hình lộ trình phát triển 12 tháng tiếp theo nhằm tối ưu hóa nén mạng cho thiết bị biên và khai thác các mô hình thị giác ngôn ngữ thế hệ mới.

Để tiếp tục nâng cao hiệu năng nhận dạng trong môi trường dữ liệu khan hiếm, các nhóm phát triển và viện nghiên cứu được khuyến khích tích hợp ngay phương pháp chưng cất tri thức ngữ nghĩa vào pipeline huấn luyện của đơn vị.