Tổng quan nghiên cứu

Ung thư da là một trong những bệnh lý phổ biến và nguy hiểm, đặc biệt tại các nước đang phát triển như Việt Nam. Theo ước tính, tỷ lệ mắc ung thư da tại Việt Nam vào khoảng 3.000 người trên mỗi 100.000 dân, đứng thứ 8 trong số các loại ung thư thường gặp. Việc phát hiện sớm ung thư da, đặc biệt là u ác tính (melanoma), có thể giảm đáng kể tỷ lệ tử vong. Phương pháp soi da (dermoscopy) được xem là tiêu chuẩn vàng trong chẩn đoán, giúp nâng cao độ chính xác so với khám mắt thường. Tuy nhiên, việc phân loại hình ảnh tổn thương da gặp nhiều khó khăn do sự mất cân bằng dữ liệu nghiêm trọng trong các bộ dữ liệu y tế, khi số lượng mẫu của các lớp phổ biến vượt trội so với các lớp hiếm gặp, gây ảnh hưởng tiêu cực đến hiệu suất của các mô hình học sâu.

Luận văn tập trung nghiên cứu ảnh hưởng của hàm mất mát Additive Angular Margin Loss (Arcface) trong việc giải quyết vấn đề mất cân bằng dữ liệu khi phân loại ảnh bệnh ung thư da. Mục tiêu chính là đề xuất và đánh giá các phương pháp cải tiến hàm mất mát Arcface nhằm tăng khả năng phân tách các lớp và cải thiện độ chính xác phân loại trên bộ dữ liệu HAM10000, một trong những bộ dữ liệu chuẩn cho bài toán này với hơn 10.000 ảnh thuộc 7 loại tổn thương da khác nhau. Nghiên cứu được thực hiện trong phạm vi thời gian năm 2022 tại Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc nâng cao hiệu quả các hệ thống hỗ trợ chẩn đoán ung thư da tự động, góp phần cải thiện chất lượng chăm sóc sức khỏe cộng đồng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

  • Hàm mất mát Additive Angular Margin Loss (Arcface): Hàm mất mát này tối ưu hóa khoảng cách góc giữa các lớp trên siêu cầu chuẩn hóa, giúp tăng cường sự phân tách giữa các lớp và giảm sự chồng lấn, từ đó cải thiện khả năng phân loại trong các bộ dữ liệu mất cân bằng.

  • Hàm mất mát Focal Loss: Được thiết kế để giảm ảnh hưởng của các lớp chiếm đa số bằng cách tập trung vào các mẫu khó phân loại, giúp mô hình học hiệu quả hơn trên các lớp ít mẫu.

  • Mạng nơ-ron tích chập DenseNet121 và EfficientNet: Hai kiến trúc mạng được sử dụng để trích xuất đặc trưng ảnh, với DenseNet121 nổi bật nhờ các kết nối dày đặc giữa các lớp giúp hạn chế overfitting trên dữ liệu nhỏ, còn EfficientNet được biết đến với khả năng cân bằng giữa hiệu suất và độ phức tạp mô hình.

  • Khái niệm margin động trong hàm mất mát: Thay vì giữ margin cố định trong quá trình huấn luyện, margin được điều chỉnh linh hoạt nhằm tăng tính thích ứng của hàm mất mát với đặc điểm dữ liệu, giúp cải thiện độ chính xác.

Phương pháp nghiên cứu

  • Nguồn dữ liệu: Sử dụng bộ dữ liệu HAM10000 gồm 10.015 ảnh tổn thương da thuộc 7 loại khác nhau, với sự mất cân bằng nghiêm trọng (lớp lớn nhất có số mẫu gấp 58 lần lớp nhỏ nhất). Bộ dữ liệu kiểm thử là tập ISIC2018 với 1.512 ảnh chưa gán nhãn.

  • Phương pháp phân tích: Thực hiện huấn luyện các mô hình DenseNet121 và EfficientNet với hàm mất mát Arcface và các biến thể được đề xuất. Các phương pháp thử nghiệm bao gồm: thay đổi margin trong quá trình huấn luyện, sử dụng mô-đun CNN hoặc Soft Attention để dự đoán margin động, kết hợp Arcface với Focal Loss.

  • Timeline nghiên cứu: Quá trình huấn luyện kéo dài 100 epoch, với việc điều chỉnh margin tăng 20% tại epoch thứ 40 dựa trên quan sát learning curve. Các thử nghiệm được thực hiện trên nhiều hệ thống máy chủ GPU khác nhau, thời gian huấn luyện trung bình từ 70 phút đến 6 giờ tùy cấu hình.

  • Đánh giá hiệu quả: Sử dụng chỉ số Balanced Accuracy (BACC) làm thước đo chính, phù hợp với dữ liệu mất cân bằng, tính trung bình độ chính xác từng lớp.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả của hàm mất mát Arcface: Mô hình huấn luyện với Arcface đạt BACC 77,1%, cao hơn đáng kể so với Cross Entropy (72%) và Cross Entropy có trọng số (75,1%). Điều này chứng tỏ Arcface có khả năng xử lý tốt vấn đề mất cân bằng dữ liệu.

  2. Phương pháp thay đổi margin trong huấn luyện: Việc tăng margin động 20% tại epoch 40 giúp mô hình đạt BACC 79,1%, tăng 2% so với Arcface cố định và vượt trội hơn 7,2% so với Focal Loss. Đây là cải tiến quan trọng nhất trong nghiên cứu.

  3. Sử dụng mô-đun CNN và Soft Attention để dự đoán margin: Mô-đun CNN đơn giản đạt BACC 75,8%, thấp hơn so với phương pháp margin động thủ công. Mô-đun Soft Attention cho kết quả giảm mạnh, chỉ khoảng 72,1%, do cập nhật margin quá thường xuyên gây mất ổn định.

  4. Kết hợp Arcface với Focal Loss: Phương pháp này không cải thiện hiệu suất, thậm chí giảm nhẹ so với Arcface đơn thuần (75,8% so với 77,1%), do sự phân bố không đồng đều trong không gian đặc trưng khi kết hợp hai hàm mất mát.

Thảo luận kết quả

Kết quả cho thấy Arcface là hàm mất mát tiềm năng trong việc giải quyết vấn đề mất cân bằng dữ liệu trong phân loại ảnh ung thư da. Việc điều chỉnh margin trong quá trình huấn luyện giúp mô hình thích ứng tốt hơn với đặc điểm dữ liệu, tăng khả năng phân tách các lớp. So với các hàm mất mát truyền thống và các phương pháp chuyên biệt như Focal Loss, Arcface với margin động cho hiệu quả vượt trội.

Việc sử dụng mô-đun CNN hoặc Soft Attention để tự động tìm margin chưa đạt hiệu quả do sự phức tạp trong việc đồng bộ cập nhật margin và trọng số mô hình, dẫn đến hiện tượng overfit hoặc underfit. Kết quả này cũng phù hợp với các nghiên cứu trước đây về sự nhạy cảm của hàm mất mát với các siêu tham số.

So sánh với các kết quả SOTA trên cùng bộ dữ liệu HAM10000, phương pháp đề xuất đạt BACC khoảng 79,1%, thấp hơn khoảng 9% so với kết quả cao nhất (88,6%) do các nghiên cứu khác sử dụng thêm kỹ thuật tiền xử lý phức tạp, biến đổi mô hình và ensemble. Tuy nhiên, ưu điểm của luận văn là sự đơn giản trong triển khai và dễ hiểu, vẫn mang lại cải thiện rõ rệt so với phương pháp huấn luyện truyền thống.

Dữ liệu có thể được trình bày qua biểu đồ learning curve thể hiện sự ổn định của hàm mất mát và độ chính xác theo epoch, cũng như bảng so sánh BACC giữa các phương pháp thử nghiệm.

Đề xuất và khuyến nghị

  1. Áp dụng margin động trong huấn luyện: Khuyến nghị các nhà nghiên cứu và phát triển hệ thống phân loại ảnh ung thư da sử dụng kỹ thuật điều chỉnh margin trong hàm mất mát Arcface để tăng hiệu suất phân loại, ưu tiên tăng margin khoảng 20% sau khi mô hình ổn định (ví dụ epoch 40). Thời gian áp dụng: trong quá trình huấn luyện.

  2. Tối ưu siêu tham số bằng grid search: Sử dụng phương pháp grid search để tìm giá trị tối ưu cho các siêu tham số margin, scale và hệ số điều chỉnh margin (a), giúp mô hình hội tụ tốt hơn và tránh overfit. Chủ thể thực hiện: nhóm nghiên cứu và kỹ sư dữ liệu.

  3. Hạn chế sử dụng mô-đun tự động cập nhật margin phức tạp: Do mô-đun CNN hoặc Soft Attention chưa mang lại hiệu quả, nên ưu tiên các phương pháp đơn giản, ổn định trong giai đoạn hiện tại. Có thể nghiên cứu thêm để cải tiến mô-đun trong tương lai.

  4. Kết hợp với các kỹ thuật tiền xử lý và ensemble: Để đạt hiệu quả cao hơn, đề xuất kết hợp hàm mất mát Arcface với các kỹ thuật tăng cường dữ liệu, tiền xử lý ảnh và mô hình ensemble nhằm cải thiện khả năng tổng quát và độ chính xác phân loại. Thời gian thực hiện: nghiên cứu tiếp theo.

  5. Mở rộng ứng dụng: Khuyến khích áp dụng phương pháp này cho các bài toán phân loại dữ liệu mất cân bằng khác trong y tế và các lĩnh vực liên quan, tận dụng tính đơn giản và hiệu quả của Arcface với margin động.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Có thể áp dụng kiến thức về hàm mất mát Arcface và các kỹ thuật xử lý dữ liệu mất cân bằng trong các đề tài nghiên cứu và luận văn.

  2. Kỹ sư phát triển hệ thống chẩn đoán hình ảnh y tế: Tham khảo để cải tiến mô hình phân loại ảnh tổn thương da, nâng cao độ chính xác và tính ổn định của hệ thống.

  3. Bác sĩ da liễu và chuyên gia y tế: Hiểu rõ hơn về các phương pháp hỗ trợ chẩn đoán tự động, từ đó phối hợp hiệu quả với công nghệ trong thực tiễn khám chữa bệnh.

  4. Nhà quản lý và hoạch định chính sách y tế: Đánh giá tiềm năng ứng dụng công nghệ AI trong phát hiện sớm ung thư da, từ đó đầu tư và phát triển các giải pháp y tế thông minh.

Câu hỏi thường gặp

  1. Hàm mất mát Arcface là gì và tại sao lại hiệu quả với dữ liệu mất cân bằng?
    Arcface là hàm mất mát tối ưu hóa khoảng cách góc giữa các lớp trên siêu cầu chuẩn hóa, giúp tăng sự phân tách giữa các lớp. Điều này làm giảm sự chồng lấn giữa các lớp, đặc biệt hữu ích khi dữ liệu mất cân bằng, giúp mô hình học được đặc trưng rõ ràng hơn cho các lớp ít mẫu.

  2. Tại sao cần điều chỉnh margin trong quá trình huấn luyện?
    Việc điều chỉnh margin động giúp hàm mất mát thích ứng với đặc điểm dữ liệu trong từng giai đoạn huấn luyện, tăng tính nghiêm ngặt trong phân tách lớp và tránh hiện tượng overfit hoặc underfit khi margin quá lớn hoặc quá nhỏ.

  3. Phương pháp kết hợp Arcface với Focal Loss có hiệu quả không?
    Theo kết quả nghiên cứu, việc kết hợp này không cải thiện hiệu suất mà còn làm giảm nhẹ độ chính xác do sự phân bố không đồng đều trong không gian đặc trưng, gây mất cân bằng trong quá trình học.

  4. Mô-đun Soft Attention có giúp cải thiện việc dự đoán margin không?
    Mô-đun Soft Attention trong nghiên cứu này làm giảm hiệu suất do cập nhật margin quá thường xuyên, khiến mô hình không kịp thích ứng, dẫn đến mất ổn định trọng số và giảm độ chính xác.

  5. Làm thế nào để áp dụng kết quả nghiên cứu vào thực tế?
    Có thể áp dụng kỹ thuật margin động trong huấn luyện các mô hình phân loại ảnh y tế, đặc biệt với dữ liệu mất cân bằng. Đồng thời, kết hợp với các kỹ thuật tiền xử lý và tăng cường dữ liệu để nâng cao hiệu quả tổng thể của hệ thống chẩn đoán tự động.

Kết luận

  • Luận văn đã chứng minh hàm mất mát Additive Angular Margin Loss (Arcface) có tiềm năng giải quyết vấn đề mất cân bằng dữ liệu trong phân loại ảnh ung thư da.
  • Phương pháp điều chỉnh margin động trong quá trình huấn luyện giúp tăng độ chính xác phân loại lên đến 79,1%, vượt trội so với các hàm mất mát truyền thống.
  • Việc sử dụng mô-đun CNN hoặc Soft Attention để tự động tìm margin chưa đạt hiệu quả do vấn đề đồng bộ cập nhật trọng số.
  • Kết quả nghiên cứu mở ra hướng phát triển mới cho các hàm mất mát trong học sâu, đặc biệt với dữ liệu y tế mất cân bằng.
  • Đề xuất tiếp theo là kết hợp Arcface với các kỹ thuật tiền xử lý, mô hình phức tạp và ensemble để nâng cao hiệu quả phân loại, đồng thời mở rộng ứng dụng cho các bài toán tương tự trong y tế và các lĩnh vực khác.

Hãy áp dụng các phương pháp đề xuất để nâng cao hiệu quả phân loại ảnh y tế, góp phần cải thiện chất lượng chẩn đoán và điều trị ung thư da.