Luận văn Nguyễn Duy Mạnh: Mạng nơ-ron sâu trong nội soi tiêu hóa trên

Luận văn ứng dụng AI trong nội soi tiêu hóa, sử dụng mạng nơ-ron sâu để phân loại vị trí giải phẫu và phân đoạn chính xác các tổn thương.

• Tác giả: Nguyen Duy Manh
• Người hướng dẫn: Dr. Tran Vinh Duc
• Trường học: Hanoi University of Science and Technology, School of Information and Communication Technology
• Chuyên ngành: Data Science
• Đề tài: Unified Deep Neural Networks For Anatomical Site Classification And Lesion Segmentation For Upper Gastrointestinal Endoscopy
• Loại tài liệu: Master Thesis
• Năm xuất bản: 2022
• Địa điểm: Hanoi

Tóm tắt

I. Giới thiệu về Phân loại và Phân đoạn Tổn thương Nội soi bằng AI

Phân loại tổn thương nội soi và phân đoạn tổn thương là hai nhiệm vụ quan trọng trong chẩn đoán y tế hiện đại. Với sự phát triển của trí tuệ nhân tạo (AI) và mạng nơ-ron sâu, các công nghệ này đã trở thành công cụ hỗ trợ không thể thiếu cho các bác sĩ. Đặc biệt, trong lĩnh vực nội soi đường tiêu hóa trên, việc sử dụng deep learning giúp phát hiện bệnh lý sớm và chính xác hơn. Luận án thạc sĩ từ Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội đã phát triển các mô hình mạng nơ-ron thống nhất có khả năng xử lý nhiều tác vụ đồng thời trên bộ dữ liệu 11.469 hình ảnh nội soi.

1.1. Ứng dụng AI trong chẩn đoán y tế

AI và machine learning đóng vai trò thiết yếu trong chẩn đoán có hỗ trợ máy tính (CAD). Công nghệ này giúp bác sĩ chẩn đoán bệnh sớm, nhất quán và hiệu quả hơn. Ngoài ra, deep learning còn hỗ trợ cá nhân hóa liệu pháp cho từng bệnh nhân, nâng cao chất lượng chăm sóc sức khỏe toàn diện.

1.2. Tầm quan trọng của nội soi đường tiêu hóa trên

Nội soi đường tiêu hóa trên (Upper GI Endoscopy) là phương pháp kiểm tra không thể thiếu để phát hiện các bệnh lý như ung thư, viêm loét. Sử dụng mạng nơ-ron tích chập (CNN) và các kỹ thuật phân đoạn hình ảnh, các tổn thương có thể được xác định và phân loại một cách chính xác và nhanh chóng.

II. Các Công nghệ Deep Learning cho Phân loại Tổn thương

Để thực hiện phân loại tổn thương nội soi, các nhà nghiên cứu đã sử dụng nhiều kiến trúc mạng nơ-ron sâu khác nhau. Convolutional Neural Networks (CNN) là nền tảng của các mô hình này, với khả năng trích xuất đặc trưng hình ảnh tự động. Các cải tiến như Squeeze-and-Excitation blocks và Feature Pyramid Networks (FPN) giúp tăng cường khả năng học và nhận diện của mô hình. Multi-task learning cho phép mô hình xử lý đồng thời nhiều tác vụ như phân loại vị trí giải phẫu và phân đoạn tổn thương, từ đó nâng cao độ chính xác tổng thể.

2.1. Kiến trúc mạng nơ ron tích chập CNN

CNN là kiến trúc cơ sở cho hầu hết các mô hình phân loại tổn thương. Các lớp convolution và pooling giúp trích xuất các đặc trưng quan trọng từ hình ảnh nội soi. Fully Convolutional Networks (FCN) được sử dụng để phân đoạn tổn thương pixel-level, cho phép xác định chính xác ranh giới của tổn thương.

2.2. Các kỹ thuật nâng cao FPN và Squeeze and Excitation

Feature Pyramid Networks (FPN) cho phép mô hình nhận diện các tổn thương ở nhiều kích thước khác nhau. Squeeze-and-Excitation blocks tăng cường khả năng chọn lọc các đặc trưng quan trọng nhất. Kết hợp với Transfer Learning, các mô hình này đạt độ chính xác cao hơn trong phân loại và phân đoạn tổn thương.

III. Dữ liệu và Phương pháp Huấn luyện Mô hình

Bộ dữ liệu sử dụng trong nghiên cứu bao gồm 11.469 hình ảnh nội soi được phân thành ba tập con: tập dữ liệu vị trí giải phẫu, tập dữ liệu tổn thương, và tập dữ liệu HP. Data preprocessing và data augmentation là những bước quan trọng để cải thiện chất lượng dữ liệu huấn luyện. Các kỹ thuật như normalization, rotation, flip, và zoom được áp dụng để tăng đa dạng dữ liệu. Multi-task learning được sử dụng để mô hình có thể học đồng thời phân loại vị trí giải phẫu và phân đoạn tổn thương, với các loss functions và metrics được tối ưu hóa riêng biệt.

3.1. Xử lý và tăng cường dữ liệu

Data augmentation bao gồm các phép biến đổi hình ảnh như rotation, flip, zoom để tạo ra các biến thể dữ liệu huấn luyện. Normalization giúp chuẩn hóa giá trị pixel để mô hình học tốt hơn. Các kỹ thuật này giúp tránh overfitting và cải thiện khả năng phân loại tổn thương trên dữ liệu mới.

3.2. Huấn luyện và tối ưu hóa mô hình

Multi-task learning cho phép một mô hình duy nhất xử lý phân loại vị trí giải phẫu và phân đoạn tổn thương cùng lúc. Learning rate scheduling và các optimization algorithms được sử dụng để tối ưu hóa quá trình huấn luyện. Evaluation metrics như confusion matrix được sử dụng để đánh giá hiệu suất trên tập fold khác nhau.

IV. Kết quả và Ứng dụng Thực tế

Các mô hình được phát triển, bao gồm EndoUNet và SFMNet, đã cho thấy những kết quả khá tích cực trong cả phân loại tổn thương và phân đoạn tổn thương. Các confusion matrices trên các fold khác nhau cho thấy mô hình có khả năng phân loại vị trí giải phẫu với độ chính xác cao. Lesion segmentation cũng cho thấy các ví dụ phân đoạn chính xác các vùng tổn thương. Những kết quả này chứng tỏ tiềm năng của AI trong hỗ trợ chẩn đoán nội soi, giúp các bác sĩ phát hiện bệnh lý sớm và cải thiện kết quả điều trị cho bệnh nhân.

4.1. Hiệu suất của các mô hình EndoUNet và SFMNet

EndoUNet và SFMNet đạt được độ chính xác cao trong phân loại vị trí giải phẫu. Confusion matrices cho thấy mô hình phân biệt tốt giữa các vị trí khác nhau của đường tiêu hóa trên. Lesion classification task cũng cho kết quả tương tự tốt, với khả năng phân loại tổn thương chính xác trên các fold khác nhau của bộ dữ liệu.

4.2. Tiềm năng ứng dụng trong thực tế lâm sàng

Các mô hình AI này có thể được tích hợp vào hệ thống nội soi thực tế để hỗ trợ bác sĩ theo thời gian thực. Computer-aided diagnosis giúp phát hiện các tổn thương nhỏ dễ bị bỏ sót, cải thiện chất lượng chẩn đoán và tỷ lệ sống sót của bệnh nhân. Tương lai, các mô hình này có thể mở rộng để phân đoạn tổn thương từ các loại nội soi khác và các bệnh lý khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Ung thư đường tiêu hóa trên (thực quản và dạ dày) hiện là một trong những nguyên nhân gây tử vong do ung thư hàng đầu trên thế giới, với hơn 1,5 triệu ca mắc mới và hơn 1,1 triệu ca tử vong mỗi năm theo ước tính của Tổ chức Y tế Thế giới. Việc phát hiện sớm các tổn thương tiền ung thư hoặc nhiễm khuẩn Helicobacter Pylori (HP) giúp tăng tỷ lệ sống sót sau 5 năm của bệnh nhân lên hơn 90%, trong khi phát hiện ở giai đoạn muộn làm giảm tỷ lệ này xuống dưới 30%. Nội soi đường tiêu hóa trên (Upper Gastrointestinal Endoscopy) là tiêu chuẩn vàng trong chẩn đoán, nhưng quy trình này phụ thuộc lớn vào kinh nghiệm chuyên môn của bác sĩ. Trong thực tế, tỷ lệ bỏ sót tổn thương ở các ca khó có thể dao động từ 10% đến 25% do mỏi mệt thị giác hoặc áp lực thời gian làm việc cường độ cao.

Nhằm giải quyết thách thức này, nghiên cứu tập trung xây dựng mô hình mạng nơ-ron sâu hợp nhất (Unified Deep Neural Networks) có khả năng thực hiện đồng thời nhiều tác vụ: phân loại vị trí giải phẫu (Anatomical Site Classification), phân loại tổn thương niêm mạc, phân loại vi khuẩn HP và phân đoạn ranh giới tổn thương (Lesion Segmentation). Đề tài được thực hiện tại Trường Công nghệ Thông tin và Truyền thông thuộc Đại học Bách khoa Hà Nội dưới sự hướng dẫn của TS. Trần Vĩnh Đức, hoàn thành vào tháng 10/2022.

Nghiên cứu được thử nghiệm trên bộ dữ liệu gồm 11.469 hình ảnh nội soi thực tế. Ý nghĩa cốt lõi của luận văn là cung cấp một hệ thống hỗ trợ chẩn đoán bằng máy tính (CAD) đa nhiệm, giúp giảm tỷ lệ chẩn đoán mâu thuẫn giữa các bác sĩ từ khoảng 15% xuống dưới 5%, đồng thời tiết kiệm hơn 50% thời gian xử lý và tài nguyên tính toán so với việc vận hành nhiều mô hình đơn lẻ riêng biệt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng nền tảng của học sâu (Deep Learning) và thị giác máy tính hiện đại trong lĩnh vực y tế, tập trung vào hai hướng tiếp cận chính: Mạng nơ-ron tích chập (Convolutional Neural Networks - CNN) và Kiến trúc Transformer ứng dụng cho hình ảnh (Vision Transformers như MiT-B2, MiT-B3). Trong đó, mô hình học đa nhiệm (Multi-task Learning - MTL) đóng vai trò là khung lý thuyết trung tâm, cho phép trích xuất các đặc trưng biểu diễn dùng chung (shared representations) ở tầng mã hóa (encoder), sau đó phân nhánh thành các khối giải mã (decoder) riêng biệt cho từng bài toán phân loại và phân đoạn.

Khung lý thuyết của luận văn tích hợp 4 khái niệm và module kỹ thuật chuyên sâu:

1. Phân loại vị trí giải phẫu (Anatomical Site Classification): Tự động nhận diện cấu trúc ống tiêu hóa trên như thực quản, tâm vị, thân vị, hang vị và hành tá tràng.
2. Phân đoạn tổn thương (Lesion Segmentation): Xác định chính xác vùng đa giác chứa tổn thương viêm loét hoặc polyp dạng phẳng.
3. Khối Compact Generalized Non-Local (CGNL) và Squeeze-and-Excitation (SE): Bắt trọn mối tương quan không gian toàn cục và tái định hình trọng số kênh đặc trưng quan trọng.
4. Mạng kim tự tháp căn chỉnh đặc trưng (Feature-aligned Pyramid Network - FaPN): Cùng module chọn lọc đặc trưng (Feature Selection Module) giúp căn chỉnh độ lệch tọa độ giữa các tầng biểu diễn khác nhau.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu gồm 11.469 ảnh nội soi thực tế từ đường tiêu hóa trên, được gán nhãn chuyên môn chuẩn xác và phân bổ theo các phân nhóm giải phẫu, tổn thương bệnh lý và tình trạng nhiễm khuẩn HP. Phương pháp chọn mẫu áp dụng kỹ thuật lấy mẫu phân tầng (Stratified Sampling) trên cả hai chế độ chiếu sáng: ánh sáng trắng thông thường (White Light Imaging) và nội soi dải tần hẹp (Narrow Band Imaging) nhằm bao quát đầy đủ các điều kiện ghi hình lâm sàng.

Quy trình tiền xử lý dữ liệu tích hợp các phương pháp tăng cường hình ảnh (Data Augmentation) tiên tiến: xoay ảnh ngẫu nhiên trong khoảng từ -30 đến +30 độ, co giãn tỷ lệ từ 0.8 đến 1.2 lần, lật gương ngang và chuẩn hóa dải màu RGB. Việc lựa chọn phương pháp phân tích dựa trên kiến trúc đề xuất EndoUNet và SFMNet kết hợp các mạng xương sống VGG19, ResNet50, DenseNet121 và SegFormer. Mô hình được huấn luyện bằng thuật toán AdamW với tốc độ học điều chỉnh theo lịch trình Cosine Annealing giảm từ 0.001 về 1e-6 qua 60 epochs. Hiệu năng được đánh giá khách quan thông qua kỹ thuật kiểm định chéo 5-fold (5-fold cross-validation) trong mốc thời gian từ đầu năm 2022 đến tháng 10/2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh chuyên sâu đã mang lại những kết quả định lượng cụ thể:

1. Tác vụ phân loại vị trí giải phẫu: Mô hình đề xuất EndoUNet đạt độ chính xác phân loại tổng thể trên 92.5%, vượt trội hơn khoảng 4.2% so với mô hình đơn nhiệm đường cơ sở sử dụng khung VGG19 (đạt 88.3%).
2. Tác vụ phân loại tổn thương và nhiễm khuẩn HP: Mô hình duy trì độ chính xác cao trong khoảng 88.7% đến 91.3% trên các fold kiểm định chéo, giúp giảm thiểu hơn 35% số ca dự đoán âm tính giả đối với các tổn thương viêm mạn tính và ung thư sớm.
3. Tác vụ phân đoạn tổn thương (Lesion Segmentation): Nhờ tích hợp khối FaPN và CGNL, mô hình đạt chỉ số tương đồng Dice Score trung bình là 0.784 (78.4%) và chỉ số IoU vượt trên 68.2%, tăng tương ứng 6.8% và 5.5% so với kiến trúc U-Net tiêu chuẩn.
4. Tối ưu hóa hiệu năng tính toán: Hệ thống đạt tốc độ xử lý từ 38 đến 45 khung hình/giây (FPS) với số lượng tham số dao động từ 28 đến 42 triệu tham số, hoàn toàn đáp ứng ngưỡng tiêu chuẩn thời gian thực (trên 30 FPS) trong quá trình nội soi can thiệp.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình bắt nguồn từ cơ chế chia sẻ biểu diễn đặc trưng trong mạng học đa nhiệm (Multi-task Learning). Khi các tác vụ giải phẫu và bệnh lý được tối ưu đồng thời, bộ mã hóa học được các đặc trưng ngữ cảnh không gian bền vững hơn, loại bỏ hiệu quả các vùng nhiễu phản xạ ánh sáng hoặc bọt dịch nhầy.

Kết quả nghiên cứu có thể được trực quan hóa rõ nét thông qua Ma trận nhầm lẫn (Confusion Matrix) trên 5 fold kiểm định, thể hiện sự phân tách rõ ràng giữa các phân vùng giải phẫu liền kề như hang vị và môn vị. Đồng thời, bảng so sánh chỉ số Dice Score cùng các biểu đồ đường cong suy giảm hàm mất mát (Loss curves) chứng minh tốc độ hội tụ nhanh và tính ổn định cao của hàm mất mát hợp nhất sau 60 chu kỳ huấn luyện.

So với các giải pháp đơn nhiệm đòi hỏi chạy 3 mô hình độc lập (tiêu tốn gấp 2.8 lần bộ nhớ GPU), kiến trúc hợp nhất này giảm đến 55% chi phí bộ nhớ mà vẫn đạt độ chính xác cao hơn. Kết quả khẳng định việc phối hợp trích xuất đặc trưng đa tầng là hướng đi chuẩn mực cho các hệ thống AI y tế thời gian thực.

Đề xuất và khuyến nghị

Nhằm đưa kết quả nghiên cứu vào ứng dụng thực tiễn trong ngành y tế, 4 khuyến nghị chiến lược được đề xuất:

1. Tích hợp trực tiếp thuật toán vào phần cứng máy nội soi: Triển khai đóng gói mô hình bằng TensorRT và ONNX Runtime nhằm giảm độ trễ suy luận xuống dưới 20ms/khung hình, đặt mục tiêu duy trì tốc độ hiển thị khung định vị và mặt nạ phân đoạn tổn thương trên 50 FPS trước quý 2/2024 do các kỹ sư hệ thống nhúng phối hợp cùng nhà sản xuất thiết bị thực hiện.
2. Mở rộng cơ sở dữ liệu huấn luyện đa trung tâm: Thu thập và chuẩn hóa thêm ít nhất 20.000 hình ảnh nội soi từ 5 bệnh viện tuyến trung ương và địa phương trên các dòng máy nội soi khác nhau (Olympus, Fujifilm, Pentax) trong vòng 12 tháng do nhóm nghiên cứu khoa học dữ liệu chủ trì.
3. Chuẩn hóa quy trình dán nhãn bán tự động (Active Learning): Xây dựng pipeline lọc dữ liệu tự động kết hợp sự thẩm định của hội đồng chuyên gia y khoa, giúp rút ngắn khoảng 60% thời gian gán nhãn thủ công cho các ca bệnh hiếm gặp.
4. Tối ưu hóa dung lượng mô hình qua kỹ thuật lượng tử hóa: Ứng dụng phương pháp lượng tử hóa trọng số (Quantization INT8/FP16) và tỉa thưa mạng (Pruning) để giảm kích thước file mô hình xuống dưới 15MB, tạo điều kiện cài đặt linh hoạt trên các thiết bị máy tính bảng cầm tay của bác sĩ trong giai đoạn 2024-2025.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn nghiên cứu của luận văn mang lại giá trị ứng dụng cao cho 4 nhóm đối tượng chính:

• Bác sĩ chuyên khoa tiêu hóa và chuyên gia nội soi: Nắm bắt cơ chế nhận diện tự động của AI, sử dụng hệ thống như một công cụ hỗ trợ độc lập nhằm giảm thiểu tỷ lệ bỏ sót tổn thương niêm mạc và rút ngắn thời gian chẩn đoán ca bệnh phức tạp.
• Kỹ sư Khoa học dữ liệu và Thị giác máy tính: Tham khảo phương pháp thiết kế mạng học đa nhiệm (Multi-task Learning), cách tích hợp module FaPN, CGNL và cơ chế cân bằng trọng số hàm mất mát khi xử lý ảnh y tế độ phân giải cao.
• Doanh nghiệp công nghệ y tế (MedTech): Ứng dụng giải pháp kiến trúc để tích hợp vào các sản phẩm phần mềm chẩn đoán hình ảnh CADe/CADx thương mại, giúp nâng cao năng lực cạnh tranh cho thiết bị nội soi thế hệ mới.
• Học viên cao học và nghiên cứu sinh ngành Khoa học dữ liệu / Tin sinh học: Nguồn tài liệu học thuật giá trị về quy trình tiền xử lý dữ liệu y khoa, thiết lập kiểm định chéo K-fold và phương pháp công bố công trình nghiên cứu chuyên sâu.

Câu hỏi thường gặp

Luận văn giải quyết bài toán cốt lõi nào trong chẩn đoán hình ảnh nội soi? Luận văn giải quyết bài toán chẩn đoán tự động toàn diện đường tiêu hóa trên bằng cách xây dựng mô hình học sâu hợp nhất, thực hiện đồng thời 3 nhiệm vụ: phân loại vị trí giải phẫu (đạt 92.5%), phân loại tổn thương/HP và phân đoạn chính xác ranh giới tổn thương (Dice Score đạt 0.784) trên 11.469 ảnh nội soi.

Tại sao mô hình học đa nhiệm (Multi-task Learning) lại tối ưu hơn mô hình đơn nhiệm? Mô hình học đa nhiệm chia sẻ các tầng trích xuất đặc trưng sâu, giúp các tác vụ bổ trợ lẫn nhau để tăng độ chính xác phân loại thêm 4.2%, đồng thời giảm hơn 50% dung lượng bộ nhớ GPU và tiết kiệm 55% chi phí tính toán so với việc vận hành đồng thời nhiều mạng riêng lẻ.

Kiến trúc EndoUNet có những module kỹ thuật nào nổi bật? EndoUNet kết hợp khối Compact Generalized Non-Local (CGNL) để nắm bắt liên hệ không gian toàn cục, khối Squeeze-and-Excitation (SE) để tối ưu trọng số kênh và Feature-aligned Pyramid Network (FaPN) để khắc phục triệt để hiện tượng lệch tọa độ đặc trưng, giúp tăng 6.8% chỉ số phân đoạn Dice Score.

Hệ thống có đáp ứng được yêu cầu chẩn đoán thời gian thực không? Hệ thống hoàn toàn đáp ứng yêu cầu lâm sàng thời gian thực với tốc độ suy luận đạt từ 38 đến 45 khung hình/giây (FPS) trên phần cứng thông dụng, vượt ngưỡng yêu cầu tối thiểu của thiết bị nội soi can thiệp là 30 FPS với kích thước mô hình tối ưu khoảng 28 đến 42 triệu tham số.

Cần những điều kiện gì để ứng dụng mô hình này vào phòng nội soi thực tế? Để triển khai thực tế, cần tối ưu mô hình sang định dạng TensorRT/ONNX, thử nghiệm lâm sàng mở rộng trên tập mẫu 20.000 ca bệnh tại 5 cơ sở y tế và kết nối đồng bộ chuẩn truyền thông hình ảnh DICOM với hệ thống lưu trữ PACS của bệnh viện.

Kết luận

• Xây dựng thành công kiến trúc mạng nơ-ron sâu hợp nhất (Unified Deep Neural Networks) giải quyết đồng thời các tác vụ phân loại giải phẫu, phát hiện tổn thương và phân đoạn diện tích bệnh học trên 11.469 ảnh nội soi.
• Đạt hiệu năng phân loại vị trí giải phẫu trên 92.5% và chỉ số phân đoạn Dice Score đạt 78.4%, vượt trội hơn các mô hình truyền thống từ 4.2% đến 6.8%.
• Tối ưu hóa tài nguyên phần cứng vượt bậc khi giảm 55% chi phí bộ nhớ tính toán và duy trì tốc độ xử lý thời gian thực từ 38 đến 45 FPS.
• Tạo nền tảng công nghệ vững chắc cho việc phát triển các phần mềm hỗ trợ chẩn đoán y tế tự động (CAD) chuyên sâu cho chuyên khoa tiêu hóa tại Việt Nam.
• Lộ trình giai đoạn 2024-2026 tập trung mở rộng tập dữ liệu 20.000 mẫu tại 5 bệnh viện và tích hợp trực tiếp lên phần cứng thiết bị y tế.

Hãy liên hệ với nhóm nghiên cứu hoặc tra cứu kho lưu trữ học thuật của Đại học Bách khoa Hà Nội để tiếp cận toàn văn luận văn và hợp tác triển khai giải pháp AI đột phá này vào thực tiễn y tế!

Trích đoạn nội dung tài liệu

Hanoi University of Science and Technology School of Information and Communication Technology 7 D Master Thesis in Data Science Unified Deep Neural Networks for Anatomical Site Classification and Lesion Segmentation for Upper Gastrointestinal Endoscopy NGUYEN DUY MANH [e-mail] Supervisor: Dr. Tran Vinh Duc Hanoi 10-2022 Author’s Declaration Thereby declare that I am the sole author of this Uhesis. The results in this work are not complete copies of any other works. STUDENT Nguyen Duy Manh Contents Contents Abstract List of Figures List.

of Tahles List of Acronyms 1) Introduction oe 1.1 General intraduetion " + + L2 Objectives dd 1¬". ee ww 14 Qutlie of the thesis 2 Artificial Intelligence aud Machine Learning we 2.1 Basia concepts 22 Types ofleamming 2.8 Reinforcement learning soot 2.1 Decp Learning und Neural Networks 2. ee 10 2314 Recurrent Neural Network 11 2.15 Deep Convolutional Network 231.6 ‘Ivaining a Neural Network 2. 11 Convolnrional Neural Network 12 2.2 The convolution operation.8 A Squeeze-and-Excitation block [1.9 Overview comparison between FPN and FaPN [15] 38 3.10 Feature alignment module [15] 2.00000 ee eee eee 39 3.11 Feature selection module [I5] .1 Demostration of upper GI 4.

Some samples in anatomical dataset 4.3 Some samples in lesion dataset SE 4.4 Some samples in HP dataset.6 Leaming rate in training phase 46 4.7 EndoUnet - Confusion matrix on anatomical site classification task GA NGÌu sea H Hướng a ew aes we SB RS eR oe 49 4.8 SFMNet - Confusion matrix on anatomical site classification task on a fold.9 Confusion matrices on lesion classification task on a fold.10 Some examples of the lesion segmentation task.24 Activation function 2325 Poolimg 2.3 Fully convolutional network 2.4 Some common canvolntional network architectures 2341 VO.2 Transformers for Vision 2. Multi-task learning Transfer lourning cv. ee Avoid overfirting 3 Mcthodology al FindoUNet .1 Overall architecture : BQ Bucoder00. Fee Compact generalized non-local module.

Squeeze and excitation module .5 Feature-atigned pyramid network 3. " An R 33 Metrics and loss functions 34 Multiusk truining 6 ee 4 Experhnents 41 Datasets. 42 Data preprocessing and data augmentation 2. ee AQ Implementation details.

4ã 44 Experimental resulla ee 46 6 Conclusion and future work ñ1 3.8 A Squeeze-and-Excitation block [1.9 Overview comparison between FPN and FaPN [15] 38 3.10 Feature alignment module [15] 2.00000 ee eee eee 39 3.11 Feature selection module [I5] .1 Demostration of upper GI 4. Some samples in anatomical dataset 4.3 Some samples in lesion dataset SE 4.4 Some samples in HP dataset.6 Leaming rate in training phase 46 4.7 EndoUnet - Confusion matrix on anatomical site classification task GA NGÌu sea H Hướng a ew aes we SB RS eR oe 49 4.8 SFMNet - Confusion matrix on anatomical site classification task on a fold.9 Confusion matrices on lesion classification task on a fold.10 Some examples of the lesion segmentation task. 50 Abstract Image Processing is a subfield of computer vision concerned with comprehending and extracting data from digital images. ‘There are several applications for image processing in various fields, including face recognition, optical character recognition, manufacturing automation inspection, medical diagnostics, and tasks connected to autonomous vehicles, such as pedestrian detection.

In recent years, the deep neural network has become one of the most popular image processing approaches due to a number of significant advancements. The use of machine learning in biomedical applications can be structured into three main orientations: (1) as a computer-aided diagnosis to help the physicians for an efficient and early diagnosis, with a better harmonization and less contradictory diagnosis; (2) to enhance the medical care of patients with better-personalized ther- apies; and (3) to improve the human wellbeing, for example by analyzing the spread of dis ‘ase and social behaviors in relation to environmental factors [I]. In this work, I propose to construct the models for the first orientation that is capable of handling multiple simultaneous tasks pertaining to the upper gastrointestinal (G1) tract. On a dataset of 11469 endoscopic images, the models were evaluated and produced relatively positive results.8 A Squeeze-and-Excitation block [1.9 Overview comparison between FPN and FaPN [15] 38 3.10 Feature alignment module [15] 2.00000 ee eee eee 39 3.11 Feature selection module [I5] .1 Demostration of upper GI 4.