Luận văn ThS: Học tương phản cho bài toán phân đoạn ngữ nghĩa trong ảnh nội soi

Luận văn trình bày phương pháp học tương phản giúp phân đoạn polyp chính xác trong ảnh nội soi, mang lại hiệu suất vượt trội trên dữ liệu khan hiếm.

• Tác giả: Nguyen Viet Hoai
• Người hướng dẫn: Dinh Viet Sang
• Trường học: Đại học Bách khoa Hà Nội
• Chuyên ngành: Khoa học Dữ liệu
• Đề tài: Học Tương Phản: Phân Đoạn Polyp Chính Xác Trong Ảnh Nội Soi
• Loại tài liệu: Luận văn Thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Tóm tắt

I. Cách Hiểu Rõ Học Tương Phản Và Vai Trò Trong Phân Đoạn Polyp Chính Xác

Học tương phản là kỹ thuật nâng cao khả năng phân biệt các đặc điểm khác nhau của polyp trong ảnh nội soi. Phương pháp này giúp mô hình nhận diện chính xác hơn các vùng polyp nhỏ, có màu sắc phức tạp hoặc bị mờ. Trong lĩnh vực y học, đặc biệt là chẩn đoán hình ảnh nội soi tiêu hóa, học tương phản đóng vai trò quan trọng trong việc tối ưu hóa hiệu quả phát hiện, phân đoạn và phân loại các khối u, polyp. Bằng cách tai tạo ra các đặc trưng rõ ràng hơn, kỹ thuật này giúp giảm thiểu sai số và nâng cao độ chính xác của mô hình AI trong quá trình phân tích ảnh y học. Trích dẫn từ nghiên cứu của Nguyen Viet Hoai và các đồng nghiệp cho thấy, học tương phản cải thiện rõ rệt kết quả phân đoạn so với phương pháp truyền thống, đặc biệt trong các tập dữ liệu hạn chế về số lượng.

1.1. Vấn đề chính khi phân đoạn polyp trong ảnh nội soi

Các hình ảnh nội soi thường có độ tương phản không đồng đều, vùng polyp có thể bị mờ hoặc trộn lẫn với mô xung quanh do ánh sáng hay bóng mờ. Đặc biệt, polyp nhỏ hoặc có màu sắc gần giống với mô xung quanh khó phân biệt. Điều này khiến mô hình AI dễ bỏ sót hoặc phân đoạn sai, gây ảnh hưởng đến độ chính xác trong chẩn đoán. Thách thức này đặt ra yêu cầu phải có các kỹ thuật nâng cao giúp làm rõ đặc điểm, nâng cao khả năng phân biệt qua các lớp học tự động.

1.2. Giải pháp học tương phản để nâng cao phân đoạn polyp

Học tương phản sử dụng các khái niệm học sâu để tối ưu hóa khả năng phân biệt giữa các mẫu giống nhau hoặc khác nhau, dựa trên đặc trưng trích xuất từ ảnh. Bằng cách học so sánh các feature trong các mini-batch, kỹ thuật này giúp mô hình nhận dạng tốt hơn các đặc điểm quan trọng của polyp dù bị hạn chế về dữ liệu hoặc có độ phân mờ cao. Phương pháp này đặc biệt phù hợp trong y học, nơi dữ liệu hạn chế và yêu cầu độ chính xác cao để phục vụ điều trị.

II. Phương pháp Học Tương Phản Trong Phân Đoạn Polyp Công Thức và Ứng Dụng Thực Tiễn

Phương pháp học tương phản hỗ trợ mô hình hình thành các đặc trưng riêng biệt cho từng lớp, giúp phân biệt polyp và mô bình thường chính xác hơn. Trong phân đoạn ảnh nội soi, bài toán này đòi hỏi khả năng học sâu để xử lý các đặc điểm tầm thường như đường biên bị mờ và màu sắc khó phân biệt. Nghiên cứu của Nguyen Viet Hoai đề xuất sử dụng bộ nhớ (memory bank) để lưu giữ các embedding pixel khó phân biệt trong các batch liên tiếp, qua đó tăng tính tổng quát và giúp nâng cao độ chính xác trong phát hiện polyp nhỏ hoặc có màu sắc khó nhận diện. Đồng thời, kỹ thuật giảm nhiễu và tối ưu tiêu đề được nâng cao nhờ áp dụng contrastive loss, giúp mô hình không chỉ phân biệt trong phạm vi ảnh mà còn giữa các ảnh khác nhau nhằm tối ưu độ chính xác.

2.1. Các công thức contrastive loss và cách hoạt động của memory bank

Contrastive loss tối ưu hóa độ phân biệt giữa các embedding của các lớp khác nhau, bằng cách đẩy các embedding của cùng lớp lại gần nhau và làm xa nhau các embedding của lớp khác. Trong mô hình này, memory bank lưu trữ các embedding pixel khó phân biệt, qua đó giúp mô hình liên tục cải thiện khả năng phân biệt ở nhiều dạng polyp khác nhau. Các embedding này được lấy từ các batch liên tiếp, thúc đẩy quá trình học liên tục và chính xác hơn trong việc nhận diện polyp nhỏ, viền mờ hay bị biến dạng.

2.2. Ứng dụng contrastive learning và bộ nhớ trong thực tế

Trong phân đoạn polyp, kỹ thuật contrastive learning kết hợp với bộ nhớ giúp định hình các đặc trưng phân biệt mới cho mô hình, đồng thời giảm thiểu sự phụ thuộc vào lượng dữ liệu khổng lồ. Nhờ đó, các mô hình dễ dàng thích nghi với các tập dữ liệu hạn chế về kích thước, đặc điểm như độ sáng tối không đều hoặc các loại polyp ít gặp. Chẳng hạn, các nghiên cứu ghi nhận, phương pháp này tăng độ chính xác phân đoạn lên đáng kể, giảm các lỗi bỏ sót hoặc phân đoạn sai, góp phần nâng cao độ nhạy trong phát hiện sớm bệnh lý.

III. Bí quyết tối ưu Học Tương Phản Để Phân Đoạn Polyp Chính Xác Nhất

Để phát huy tối đa công nghệ học tương phản trong phân đoạn polyp, cần kết hợp các chiến lược tối ưu như active sampling, giảm nhiễu, và sử dụng bộ nhớ hợp lý. Mô hình nên tập trung vào các pixel khó phân biệt (hard samples) thông qua kỹ thuật active sampling, giúp giảm lượng dữ liệu xử lý mà vẫn đạt độ chính xác cao. Ngoài ra, nên tối ưu hóa các tham số như nhiệt độ (temperature) của contrastive loss và số lượng negative sample để duy trì sự cân bằng giữa chính xác và tốc độ huấn luyện. Đồng thời, phù hợp bộ nhớ và cấu trúc embedding giúp mô hình duy trì kiến thức lâu dài, giảm thiểu lỗi tái lập khi phân tích các ảnh polyps đa dạng về hình dạng, kích cỡ, và màu sắc.

3.1. Các chiến lược active sampling và tối ưu bộ nhớ

Active sampling tập trung chọn ra các pixel khó phân biệt hoặc có xác suất dự đoán thấp để huấn luyện, qua đó giúp mô hình tập trung vào các mẫu dễ nhầm lẫn và tăng khả năng chính xác. Bộ nhớ (memory bank) được thiết lập để lưu trữ các embedding có độ khó cao liên tục, giảm thiểu việc bỏ sót các polyp nhỏ hoặc vùng viền mờ. Cải thiện quá trình này giúp dịch chuyển mô hình từ phân đoạn sơ khai sang phân biệt chính xác các vùng nhỏ và phức tạp hơn.

3.2. Các tham số quan trọng và điều chỉnh khi huấn luyện

Các tham số như số negative samples, nhiệt độ contrastive loss, và tần suất cập nhật bộ nhớ đóng vai trò quan trọng trong việc tối ưu hóa hiệu quả học. Ví dụ, tăng số negative sample sẽ giúp phân biệt rõ ràng hơn các lớp, còn nhiệt độ thấp hơn khiến các embedding tập trung hơn vào đặc điểm chính. Chỉnh sửa các tham số này dựa trên đặc điểm của dữ liệu và mục tiêu phân đoạn sẽ giúp nâng cao độ chính xác của mô hình trong phát hiện polyp chính xác về kích thước và dạng.

IV. Ứng Dụng Thực Tiễn Và Kết Quả Nghiên Cứu Về Học Tương Phản Trong Phân Đoạn Polyp

Nghiên cứu của Nguyen Viet Hoai và cộng sự chứng minh rằng sử dụng kỹ thuật học tương phản hỗ trợ hiệu quả trong phân đoạn polyp, đặc biệt trên các tập dữ liệu hạn chế về số lượng và đa dạng. Các thử nghiệm trên bộ dữ liệu thực tế như NeoPolyp-Large, NeoPolyp-Small, Kvasir, và CVC-ClinicDB cho thấy, phương pháp này giúp tăng chỉ số đo lường chính xác như Dice và IoU trung bình lên rõ rệt so với các phương pháp truyền thống. Kết quả thực nghiệm cho thấy, kỹ thuật này có thể áp dụng trong hệ thống chẩn đoán tự động hỗ trợ bác sĩ, nâng cao độ chính xác trong phát hiện sớm bệnh lý tiêu hóa, giảm tối đa các bỏ sót hoặc chẩn đoán sai, góp phần nâng cao chất lượng dịch vụ y tế.

4.1. Các kết quả thực nghiệm và đánh giá hiệu quả

Các thử nghiệm cho thấy mô hình kết hợp học tương phản và bộ nhớ đạt mốc cải thiện lớn về độ chính xác, giúp phát hiện polyp nhỏ và vùng viền bị mờ chính xác hơn 3-5% so với các phương pháp truyền thống. Điều này thể hiện khả năng tổng quát của công nghệ, phù hợp cho các hệ thống chẩn đoán tự động trong thực tiễn, đặc biệt trong chẩn đoán sớm ung thư đại trực tràng.

4.2. Tương lai và các hướng phát triển của công nghệ này

Trong tương lai, các nghiên cứu sẽ tập trung tối ưu hơn nữa kỹ thuật active sampling, giảm độ trễ của bộ nhớ, mở rộng khả năng phân biệt các loại polyp khác nhau và tích hợp dự phòng với các mô hình phân tích đa phương tiện. Đồng thời, việc kết hợp với các công nghệ mới như học sâu không giám sát hoặc học chuyển đổi sẽ mở ra tiềm năng lớn trong ứng dụng y học chính xác, nâng cao chất lượng khám và điều trị, giảm sai lệch và nâng cao hiệu quả chống ung thư tiêu hóa.

Trích đoạn nội dung tài liệu

Hanoi University of Science and Technology School of Information and Communication Technology Master Thesis in Data Science Contrastive learning for semantic segmentation in endoscopy NGUYEN VIET HOAI hoai.vn Supervisor: Dr. Dinh Viet Sang Hanoi 10-2023 THESIS ASSIGNMENT 1. Student’s information : Name : Nguyen Viet Hoai Phone : [phone] Email: hoai.vn Class : Data Science (Elitech) Affiliation : Hanoi University of Science and Technology Duration : 10/2021 - 10/2023 2. Thesis title : Contrastive learning for semantic segmentation in endoscopy 3.

Declarations/Disclosures : I, Nguyen Viet Hoai, confirm that this Master’s Thesis is the product of my original research conducted under the supervision of Dr. Dinh Viet Sang. The findings presented in this thesis are a true representation of my own work and have not been plagiarized from any other sources. All the sources referred to in this Master’s Thesis, including images, tables, graphs, and quotations, have been appropriately cited and credited.

This thesis has not been previously submitted for assessment or accreditation by any other educational institu- tion. I take full responsibility for any potential violations found within this thesis. Hanoi, date 13 month 10 year 2023 Author Nguyen Viet Hoai 4. Attestation of thesis advisor : I confirm that I have thoroughly reviewed this thesis, and in my judgment, it meets the necessary standards in terms of scope and quality to qualify for the Master of Science degree.

Hanoi, date 13 month 10 year 2023 Thesis Advisor Dr. Dinh Viet Sang 2 Abstract Semantic segmentation is a fundamental task in computer vision, which aims to distinguish pixels of images from corresponding semantic classes. Semantic seg- mentation has many applications such as automatic-driven, facial recognition, and medical imaging. Machine learning image segmentation plays a critical role in de- tecting colon polyps that appear in endoscopic images.

Colon polyp recognition is challenging for the automatic analysis of endoscopic images in computer-aided clinical support systems. In polyp segmentation, recent deep learning models have shown impressive results, they often reveal weaknesses when dealing with scarce and imbalanced training data. To overcome this issue, we present a novel effec- tive method for polyp semantic segmentation using contrastive learning supported by a memory bank. Contrastive learning disentangles the feature representation of different object classes.

Meanwhile, the memory bank gathers hard pixel samples within successive mini-batches to deal with the scarcity of polyp class that may occur in a single mini-batch. Furthermore, we leverage the teacher-student train- ing to force the model to learn consistent feature representation, resulting in final polyp segmentation improvement. Experiments show that our method yields supe- rior performance by a large margin compared to other state-of-the-art approaches. Our code is available at: https://github.com/hoainv99/meco-polyp.

Contents Contents 1 List of Figures 3 List of Tables 4 1 Introduction 6 1.4 Outline of the thesis .1 Deep learning and Medical segmentation .1 Image Classification .1 Convolutional Neural Networks .3 Medical image segmentation .2 Types of learning .2 Semi-supervised learning .4 Contrastive Learning for Semantic Segmentation .2 Global Context-Aware Modules .3 Active Sampling and Memory Bank .1 Active Key Sampling.2 Hard Query Sampling in Memory Bank. 33 4 Experiments and Evaluation 35 4.3 Training Setup and Strategies .2 Dice coefficient .3 Intersection over Union. 41 5 Conclusion 44 Bibliography 45 2 List of Figures 2.1 The transformer architecture [1] .2 The Vision Transformer architecture [2] .1 Overall architecture of our MeCo framework includes supervised, con- sistency, and MeCo losses. The supervised loss is computed based on the original data.

The consistency loss is computed using Cutmix and the teacher model to generate augmented data and corresponding pseudo labels. The MeCo loss is computed based on feature embed- dings taken from a memory bank.2 Our proposed model architecture .3 The architecture of baseline model [3] .4 The architecture of SegFormer [4] .5 Grouped compact generalized non-local (CGNL) module [5].6 A Squeeze-and-Excitation block [6] .7 Feature selection module [7] .8 Feature alignment module [7] .1 Intersection over Union based on threshold .2 Our method’s true and false results in Neo-large test. An easily ob- servable limitation is that the model struggles to identify small polyp regions accurately.3 Ablation studies on the the NeoPolyp-Small dataset .4 The results of challenging images in the Kvasir dataset are compared among different models.5 The results of challenging images in NeoPolyp-Large datasets are compared among different models. 43 3 List of Tables 4.1 Performance metrics of different models on five binary polyp datasets.2 Performance metrics of different models on NeoPolyp-Large dataset.3 Performance mDice of different models on NeoPolyp-Small.

40 4 List of abbreviations CNN Convolutional Neural Network FC Fully-Connected IOU Intersection Over Union FCN Fully Nonvolutional Network CRF Conditional Random Fields EMA Exponential Moving Average TP True Positive FP False Positive FN False Negative CR Consistency Regularization MB Memory Bank Chapter 1 Introduction 1.1 Overview Colorectal cancer (CRC) is a type of cancer characterized by uncontrolled cell growth in the colon. CRC is the third most common type of cancer around the world [8]. Therefore, preventing CRC by screening tests and removing preneoplastic lesions (colorectal adenomas) is critical and has become a worldwide public health priority. Colonoscopy is an effective technique for CRC screening and prevention since it can provide location and appearance information of colorectal polyps, enabling doctors to remove these before they develop into CRC.

A number of studies have shown that early colonoscopy has contributed to a 30% decline in the incidence of CRC [9]. In addition, colon polyps are abnormal growths that occur in the lining of the colon or rectum. Although most polyps are benign, some can develop into cancer over time. Early detection and removal of polyps are crucial in preventing colorectal cancer, the second leading cause of cancer-related deaths.

Regular screening tests such as colonoscopies enable the identification of polyps at an early stage when they are easier to remove. Individuals significantly reduce their risk of developing colorectal cancer by undergoing timely polyp removal. Semantic segmentation is a crucial computer vision task that splits an image into meaningful segments based on semantic content. In other words, it assigns a label to each pixel to represent the object or region to which it belongs.

This contrasts the object detection problem, which identifies objects in an image and draws bounding boxes around them. Semantic segmentation provides a more detailed understanding of the content in the image. It is commonly used in various applications, such as image understanding, scene analysis, automated driving, medical image analysis, etc. It is a critical component in tasks that require pixel-level analysis and is the underlying technology for computer vision and artificial intelligence.

Polyp segmentation is a particular semantic segmentation task and is essential in screening procedures for early detection of colorectal cancer. By precisely segment- 6 ing polyps, clinicians can make informed decisions regarding diagnosis, treatment, and intervention strategies, ultimately improving patient outcomes. Utilizing AI models to segment polyp regions is an essential and challenging task, as it plays a crucial role in improving support and accuracy in screening tests. This task is nec- essary for early detecting polyps, which helps doctors diagnose colorectal polyps in endoscopy images.

Polyp segmentation is a challenging task; almost recent models have trouble with the scarcity of data and the difficulty in segmenting polyp regions when polyps vary in size and color. Among the diverse techniques employed for polyp segmentation, early learning- based methods heavily depend on manually designed features [10, 11], such as color, texture, shape, appearance, or a combination thereof. Typically, these approaches involve training a classifier to determine polyps from their surrounding context. However, these models frequently encounter a notable issue regarding their ability to detect polyps accurately.

The primary explanation lies in the limited capacity of hand-crafted features to adequately address the substantial variations within the polyp class and the minimal differences between polyps and challenging imitating elements [12]. Recently, there has been a surge in the development of deep learning- based approaches for polyp segmentation [12, 13]. While these methods have shown progress, they primarily rely on identifying polyps using bounding boxes, which re- sults in imprecise delineation of polyp boundaries. In response to this challenge, Brandao et al.

[14] introduced a Fully Convolutional Network (FCN) with a pre- trained model to identify and segment polyps accurately. Akbari et al. [15] further enhanced polyp segmentation accuracy by employing a customized version of FCN. Drawing inspiration from the successful application of U-Net [16] in biomedical im- age segmentation, U-Net++ [17] and ResUNet++ [18] were harnessed for polyp segmentation, yielding promising results in segmenting the entire polyp area.

How- ever, these methods overlook the crucial area-boundary relationship, which is vital for improving segmentation performance. To address this shortcoming, psi-Net [19] integrated area and boundary information into polyp segmentation. Nevertheless, the intricate connection between the area and the boundary was not fully captured. Fang et al.

[20] proposed a three-step selective feature aggregation network in- corporating area and boundary constraints for polyp segmentation. This method explicitly considers the interdependency between areas and boundaries, yielding fa- vorable results with the inclusion of edge supervision. However, it should be noted that this approach is computationally intensive, requiring more than 20 hours for processing, and is susceptible to overfitting. These models demonstrate impressive results when a lot of data is available.

However, these approaches are considerably less effective due to two significant reasons. First, the polyp datasets are scarce and 7 imbalanced. Second, in colonoscopy images, the boundary between a polyp and its surrounding mucosa is usually blurred and lacks the intense contrast required for segmentation approaches. To address these issues, we propose a novel method leveraging consistency reg- ularization and contrastive learning to build a strong and view-invariant feature representation.

Moreover, we utilize a memory bank to store hard pixel embeddings generated by a so-called active sampling strategy. The usage of hard pixel embed- dings from the memory bank reduces the effect of data imbalance between polyp and background classes since the polyp pixels can be accumulated across successive mini-batches. With regard to the use of contrastive learning, we can increase the accuracy of the model for detecting polyp’s surrounding mucosa. Through experimental evaluations on challenging polyp and neo-polyp datasets, we demonstrate the superiority of our approach over state-of-the-art methods.

Our method achieves significant improvements in mean IOU and mean Dice scores, in- dicating the accuracy of our polyp segmentation.2 Objectives The objective of this study is to effectively apply contrastive learning and some semi-supervised techniques to the baseline model to improve accuracy. Consider- ing specific datasets, the model demonstrates the superiority of our approach over state-of-the-art methods. This work opens up a new research direction in the iden- tification of colorectal polyps in endoscopic images, thereby enhancing the accuracy and performance of current models.3 Main contributions In summary, the main contributions of this paper are as follows: • We propose a novel method that leverages contrastive learning supported by a memory bank to enhance feature representation. The memory bank accumu- lates hard pixel samples within successive mini-batches to address the scarcity of polyp pixels in a single mini-batch of training images.

• Inspired by semi-supervised learning, we utilize teacher-student training to force the model to learn a robust feature representation that leads to improve- ment in final segmentation results. • Extensive experiments on many popular benchmark datasets show that our method consistently outperforms many other state-of-the-art approaches.4 Outline of the thesis The rest of this paper is organized as follows: • Chapter 2, we briefly survey related work. • Chapter 3, we describes our proposed method. • Chapter 4, we present and evaluate the results of the experiments.

In addition, we show the effectiveness of each of our proposal components. • Chapter 5, we conclude our contribution includes our proposal method and our experiments. Finally, we show future work. 9 Chapter 2 Related Work 2.1 Deep learning and Medical segmentation In today’s world, Deep learning is increasingly finding widespread applications, spanning diverse fields including computer vision, natural language processing, and speech recognition.