Luận văn thạc sĩ mạng nơ-ron sâu trong nội soi đường tiêu hóa trên

Luận văn thạc sĩ khoa học dữ liệu về mạng nơ-ron sâu hợp nhất giúp phân loại vị trí giải phẫu và phân đoạn tổn thương nội soi đường tiêu hóa trên.

• Tác giả: Nguyễn Duy Mạnh
• Người hướng dẫn: TS. Trần Vĩnh Đức
• Trường học: Đại học Bách khoa Hà Nội
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Unified Deep Neural Networks for Anatomical Site Classification and Lesion Segmentation for Upper Gastrointestinal Endoscopy
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về mạng nơ ron sâu hợp nhất trong nội soi tiêu hóa trên

Nội soi đường tiêu hóa trên là phương pháp quan trọng để phát hiện sớm các bệnh lý thực quản, dạ dày và tá tràng. Xử lý ảnh y tế hiện đại dựa vào học sâu để trích xuất thông tin tự động từ hình ảnh số. Nghiên cứu thạc sĩ khoa học dữ liệu phát triển mô hình mạng nơ-ron sâu hợp nhất nhằm hỗ trợ bác sĩ nội soi. Hệ thống giải quyết đồng thời nhiều nhiệm vụ chẩn đoán phức tạp trên đường tiêu hóa trên. Học máy trong y sinh học đóng vai trò như công cụ chẩn đoán có sự hỗ trợ của máy tính. Giải pháp này giảm thiểu sự sai lệch và bất đồng ý kiến giữa các chuyên gia. Hệ thống xử lý dữ liệu hình ảnh nội soi quy mô lớn với độ tin cậy cao. Các thuật toán thị giác máy tính hiện đại giúp phát hiện tổn thương ở giai đoạn sớm. Mô hình hợp nhất mang lại khả năng xử lý song song nhiều tác vụ thay vì sử dụng các mạng đơn lẻ rời rạc. Cách tiếp cận này tiết kiệm tài nguyên tính toán và nâng cao hiệu suất xử lý trong thời gian thực. Bác sĩ nội soi có thể đưa ra quyết định can thiệp kịp thời cho bệnh nhân.

1.1. Bối cảnh ứng dụng trí tuệ nhân tạo trong nội soi

Nội soi tiêu hóa là tiêu chuẩn vàng để phát hiện tổn thương niêm mạc. Khối lượng ca nội soi hàng ngày tạo áp lực lớn lên y bác sĩ. Sự mệt mỏi có thể dẫn đến bỏ sót các tổn thương tiền ung thư nhỏ. Trí tuệ nhân tạo và học sâu mang lại giải pháp tự động hóa đắc lực. Mô hình máy tính phân tích ảnh theo thời gian thực để cảnh báo bất thường. Trí tuệ nhân tạo hỗ trợ phân loại vị trí giải phẫu tự động. Công nghệ này đảm bảo quá trình nội soi tuân thủ đầy đủ quy trình kiểm tra chuẩn. Dữ liệu hình ảnh được chuẩn hóa và lưu trữ phục vụ nghiên cứu lâm sàng. Việc tích hợp học sâu giúp nâng cao độ chính xác chẩn đoán và giảm thiểu sai sót y khoa.

1.2. Mục tiêu nghiên cứu của mô hình mạng nơ ron sâu hợp nhất

Đề tài tập trung xây dựng mạng nơ-ron sâu hợp nhất giải quyết bốn nhiệm vụ cốt lõi. Nhiệm vụ thứ nhất là phân loại 10 vị trí giải phẫu trên đường tiêu hóa trên. Nhiệm vụ thứ hai là phân loại 6 nhóm tổn thương bệnh lý niêm mạc. Nhiệm vụ thứ ba xác định tình trạng nhiễm vi khuẩn Helicobacter pylori. Nhiệm vụ thứ tư thực hiện phân vùng chính xác ranh giới tổn thương. Mục tiêu chính là tạo ra một kiến trúc mạng duy nhất có khả năng chia sẻ đặc trưng giữa các tác vụ. Thiết kế này giúp giảm dung lượng mô hình, tăng tốc độ suy luận và tối ưu hóa tài nguyên phần cứng trong các thiết bị y tế hiện đại.

II. Thách thức phân loại giải phẫu và phân vùng tổn thương nội soi

Chẩn đoán hình ảnh nội soi đường tiêu hóa trên đối mặt với nhiều rào cản kỹ thuật phức tạp. Hình ảnh nội soi thường có độ tương phản thấp và điều kiện ánh sáng không đồng đều. Sự phản chiếu ánh sáng từ dịch nhầy và chuyển động nhu động ruột gây nhiễu nghiêm trọng. Ranh giới giữa mô lành và tổn thương ung thư giai đoạn sớm thường rất mờ nhạt. Việc phân loại chính xác các vị trí giải phẫu đòi hỏi mô hình phải nắm bắt ngữ cảnh không gian toàn cục. Bên cạnh đó, các tổn thương viêm loét và polyp có hình thái đa dạng. Nhận diện vi khuẩn Helicobacter pylori qua hình ảnh nội soi thông thường là bài toán khó. Hầu hết các phương pháp hiện tại chỉ áp dụng mạng nơ-ron đơn nhiệm cho từng bài toán riêng biệt. Cách tiếp cận rời rạc này làm tăng độ trễ tính toán khi triển khai thực tế. Hệ thống nhiều mô hình độc lập đòi hỏi dung lượng bộ nhớ lớn và khó đồng bộ kết quả. Do đó, việc xây dựng một mô hình hợp nhất là yêu cầu cấp thiết.

2.1. Độ phức tạp của dữ liệu hình ảnh nội soi đường tiêu hóa

Hình ảnh nội soi đường tiêu hóa trên chứa nhiều biến thể hình thái phức tạp. Các góc chụp nội soi thay đổi liên tục theo thao tác của bác sĩ. Niêm mạc dạ dày và thực quản dễ bị che khuất bởi bọt khí, dịch vị hoặc máu. Vùng tổn thương có kích thước thay đổi từ vài milimét đến vài centimét. Sự biến thiên về màu sắc giữa các thiết bị nội soi khác nhau gây khó khăn cho việc huấn luyện mô hình. Thiếu hụt dữ liệu gán nhãn chi tiết bởi chuyên gia giải phẫu bệnh cũng là thách thức lớn. Quá trình xử lý ảnh đòi hỏi các kỹ thuật tăng cường dữ liệu và chuẩn hóa nghiêm ngặt để đảm bảo khả năng tổng quát hóa.

2.2. Hạn chế của các phương pháp xử lý đơn nhiệm truyền thống

Các giải pháp học sâu truyền thống thường chia nhỏ bài toán thành các mô hình độc lập. Một mạng chuyên phân loại vị trí, trong khi mạng khác đảm nhiệm phân vùng tổn thương. Cấu trúc rời rạc này gây lãng phí bộ nhớ GPU và tăng độ trễ suy luận. Các mô hình đơn nhiệm không tận dụng được sự tương quan tương hỗ giữa các tác vụ chẩn đoán. Vị trí giải phẫu thực tế cung cấp tiền đề quan trọng để xác định loại tổn thương đặc thù. Khi chạy song song nhiều mô hình riêng lẻ, thiết bị phần cứng dễ bị quá tải. Điều này cản trở việc ứng dụng trí tuệ nhân tạo trực tiếp trong phòng mổ nội soi thời gian thực.

III. Phương pháp học đa nhiệm và mạng nơ ron sâu hợp nhất cho nội soi

Nghiên cứu đề xuất kiến trúc mạng nơ-ron sâu hợp nhất dựa trên kỹ thuật học đa nhiệm (Multi-task learning). Mô hình tích hợp mạng trích xuất đặc trưng nền tảng kết hợp các khối xử lý nâng cao. Khối Non-local module tổng quát thu gọn (Compact generalized non-local module) giúp thu nhận phụ thuộc không gian tầm xa. Mô-đun Squeeze-and-Excitation tái định cỡ đặc trưng theo kênh, tập trung vào vùng niêm mạc quan trọng. Mạng kim tự tháp căn chỉnh đặc trưng (Feature-aligned pyramid network - FaPN) khôi phục chi tiết không gian cho tác vụ phân vùng. Quá trình huấn luyện sử dụng hàm mất mát kết hợp giữa Cross-entropy loss cho phân loại và Dice loss cho phân vùng nhị phân. Cơ chế chỉ thị mẫu cho phép huấn luyện mô hình trên tập dữ liệu hỗn hợp với nhãn không đầy đủ. Mạng đồng thời dự đoán vị trí giải phẫu, phân loại tổn thương, phát hiện HP và tạo mặt nạ tổn thương. Thiết kế này tối ưu hóa việc chia sẻ tham số và giảm thiểu chi phí tính toán.

3.1. Thiết kế kiến trúc học đa nhiệm và các khối mô đun nâng cao

Kiến trúc học đa nhiệm tận dụng mạng nơ-ron tích chập và Vision Transformers để xây dựng bộ khung chia sẻ đặc trưng. Khối Compact generalized non-local nắm bắt mối quan hệ không gian giữa các vùng ảnh xa nhau mà vẫn tiết kiệm bộ nhớ. Khối Squeeze-and-Excitation học trọng số cho từng kênh đặc trưng để làm nổi bật các dấu hiệu bệnh lý. Mạng FaPN giải quyết hiện tượng lệch đặc trưng khi kết hợp các tầng biểu diễn khác nhau trong mạng kim tự tháp. Sự kết hợp các khối kiến trúc này tạo ra biểu diễn đặc trưng phong phú, giúp các nhánh tác vụ phân loại và phân vùng hoạt động hiệu quả.

3.2. Chiến lược huấn luyện hỗn hợp và hàm mất mát kết hợp

Dữ liệu huấn luyện được thu thập từ nhiều nguồn với các mức độ gán nhãn khác nhau. Đề tài sử dụng biến chỉ thị nhãn để kiểm soát luồng đạo hàm của từng nhiệm vụ cụ thể. Khi một ảnh chỉ có nhãn giải phẫu, mô hình chỉ cập nhật hàm mất mát phân loại vị trí tương ứng. Hàm Cross-entropy Loss được áp dụng cho phân loại 10 vị trí giải phẫu, 6 dạng tổn thương và nhiễm HP. Hàm Dice Loss được áp dụng cho nhánh phân vùng tổn thương nhị phân nhằm xử lý mất cân bằng điểm ảnh. Chiến lược huấn luyện đa nhiệm giúp mô hình học các biểu diễn tổng quát mà không bị ghi nhớ máy móc.

IV. Đánh giá thực nghiệm và tiềm năng ứng dụng trong chẩn đoán y tế

Mô hình mạng nơ-ron sâu hợp nhất được đánh giá trên tập dữ liệu gồm 11.469 hình ảnh nội soi thực tế. Kết quả thực nghiệm chứng minh tính vượt trội của phương pháp học đa nhiệm so với các mô hình đơn nhiệm. Hệ thống đạt độ chính xác cao trong phân loại vị trí giải phẫu và nhận diện tổn thương bệnh lý. Nhánh phân vùng tổn thương tạo ra ranh giới rõ nét, hỗ trợ khoanh vùng chính xác các ổ loét và polyp. Khả năng phát hiện vi khuẩn Helicobacter pylori đạt độ nhạy ấn tượng trên dữ liệu nội soi quang học. Tốc độ xử lý của mô hình đáp ứng yêu cầu phân tích thời gian thực trong các quy trình khám lâm sàng. Nghiên cứu mở ra tiềm năng lớn cho việc tích hợp trí tuệ nhân tạo vào máy nội soi thông minh. Công nghệ này hỗ trợ đắc lực cho các bác sĩ trẻ nâng cao độ chuẩn xác trong chẩn đoán. Hướng phát triển tương lai tập trung vào việc mở rộng tập dữ liệu và tối ưu hóa mô hình cho các thiết bị phần cứng nhúng y tế.

4.1. Hiệu năng thực nghiệm trên tập dữ liệu nội soi tiêu hóa

Thực nghiệm trên 11.469 ảnh nội soi cho thấy mạng hợp nhất đạt hiệu suất vượt trội trên cả bốn tác vụ. Độ chính xác phân loại 10 vị trí giải phẫu đạt mức rất cao. Phân loại 6 nhóm tổn thương đạt sự cân bằng giữa độ nhạy và độ đặc hiệu. Nhánh phân vùng tổn thương với Dice loss giúp phân tách chính xác ranh giới viêm loét và khối u. Mô hình học đa nhiệm hạn chế tình trạng quá khớp (overfitting) so với huấn luyện đơn nhiệm. Cơ chế chia sẻ trọng số giúp mô hình khái quát hóa tốt hơn trên các mẫu bệnh phẩm chưa từng thấy trong quá trình kiểm thử.

4.2. Khả năng ứng dụng lâm sàng và hướng nghiên cứu mở rộng

Mô hình có khả năng tích hợp trực tiếp vào hệ thống xử lý tín hiệu của máy nội soi thương mại. Trong quá trình can thiệp, hệ thống tự động hiển thị vị trí camera và khoanh vùng tổn thương nghi ngờ. Sự hỗ trợ này giúp giảm tỷ lệ bỏ sót tổn thương ở các điểm mù giải phẫu khó quan sát. Hướng nghiên cứu tiếp theo sẽ tập trung vào xử lý chuỗi khung hình video nội soi trực tiếp. Việc áp dụng các kỹ thuật nén mô hình như lượng tử hóa và cắt tỉa trọng số sẽ cho phép triển khai trên thiết bị phần cứng gọn nhẹ tại các cơ sở y tế tuyến dưới.

Nội dung chính

Tổng quan nghiên cứu

Ung thư đường tiêu hóa trên, đặc biệt là ung thư thực quản và ung thư dạ dày, hiện nằm trong nhóm bệnh lý ác tính có tỷ lệ mắc mới và tỷ lệ tử vong hàng đầu trên toàn thế giới. Theo một nghiên cứu của Menon và các cộng sự, tỷ lệ bỏ sót tổn thương ác tính trong quá trình nội soi thực quản - dạ dày - tá tràng (EGD) lên tới khoảng 11,3%. Đáng báo động hơn, báo cáo từ một cơ sở y tế tại Nhật Bản do Shimodate và cộng sự công bố chỉ ra rằng tỷ lệ bỏ sót đối với các tổn thương tân sinh nông ở dạ dày (GSN) có thể chạm mức 75%. Nguyên nhân chủ yếu xuất phát từ chất lượng không đồng đều của các hệ thống thiết bị, sự khác biệt về kinh nghiệm chuyên môn giữa các bác sĩ nội soi, cùng với áp lực thời gian trong ca thăm khám lâm sàng.

Nhằm giải quyết bài toán này, các hệ thống chẩn đoán hỗ trợ bằng máy tính (CAD) ứng dụng học sâu (Deep Learning) đã ra đời. Tuy nhiên, phần lớn giải pháp hiện nay xử lý các nhiệm vụ nội soi một cách độc lập thông qua nhiều mô hình chuyên biệt, dẫn đến tiêu tốn tài nguyên tính toán, đòi hỏi dung lượng bộ nhớ lớn và khó triển khai trên các thiết bị y tế cấu hình giới hạn. Luận văn Thạc sĩ Khoa học Dữ liệu của tác giả Nguyễn Duy Mạnh tại Đại học Bách khoa Hà Nội dưới sự hướng dẫn của TS. Trần Vinh Đức đã tập trung nghiên cứu, xây dựng các kiến trúc mạng nơ-ron tích hợp nhằm giải quyết đồng thời 4 bài toán lâm sàng: phân loại 10 vị trí giải phẫu, phân loại 6 dạng tổn thương, phát hiện vi khuẩn Helicobacter pylori (HP) và phân đoạn chính xác vùng tổn thương.

Nghiên cứu được triển khai thực nghiệm trên tập dữ liệu gồm 11.469 hình ảnh nội soi tiêu hóa tại Việt Nam. Việc phát triển thành công mô hình học đa nhiệm (Multi-Task Learning) giúp tối ưu hóa khả năng biểu diễn đặc trưng chung từ các nguồn dữ liệu phân mảnh, cắt giảm hơn 60% chi phí tính toán phần cứng và cung cấp công cụ hỗ trợ trực quan, tin cậy cho bác sĩ trong thời gian thực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên nền tảng của phương pháp Học đa nhiệm (Multi-Task Learning - MTL), Mạng nơ-ron tích chập (CNN) và kiến trúc Transformer thị giác (Vision Transformer).

Học đa nhiệm là mô hình học máy tối ưu hóa khả năng khái quát hóa bằng cách chia sẻ các tầng tham số chung giữa nhiều nhiệm vụ liên quan. Thay vì đào tạo 4 mô hình độc lập, hệ thống sử dụng một khối trích xuất đặc trưng chung (Shared Encoder) để biểu diễn các thuộc tính thị giác cốt lõi từ mức thấp như đường viền, góc cạnh đến mức cao như cấu trúc mô bệnh học. Các đặc trưng này sau đó được phân nhánh tới các bộ phân loại và bộ giải mã chuyên biệt.

Luận văn tiếp cận hai hướng kiến trúc chính:

1. Mạng EndoUNet: Kiến trúc kết hợp giữa mạng mã hóa CNN truyền thống (đánh giá trên các nền tảng VGG-19, ResNet-50, DenseNet-121 được tiền huấn luyện từ tập dữ liệu hơn 1 triệu ảnh ImageNet) và bộ giải mã mở rộng theo cấu trúc UNet với 5 khối giải chập (transposed convolution) để phân đoạn tổn thương.
2. Mạng SFMNet: Kiến trúc hiện đại dựa trên Mix Transformer (với 2 cấu hình MiT-B2 và MiT-B3) từ SegFormer. Khối mã hóa MiT khắc phục nhược điểm của Vision Transformer truyền thống bằng kỹ thuật gộp patch chồng lấn (Overlapped Patch Merging) và tầng Feed-Forward tích hợp tích chập (Mix-FFN) với bộ lọc kích thước 3x3 để giữ nguyên thông tin vị trí không gian mà không phụ thuộc vào độ phân giải cố định.

Để tăng cường chất lượng không gian, mô hình tích hợp khối Compact Generalized Non-Local (CGNL) giúp mô hình hóa mối tương quan toàn cục giữa các kênh và khối Squeeze-and-Excitation (SE) với cơ chế tự chú ý kênh. Ở phần giải mã, mạng sử dụng Cấu trúc Kim tự tháp Đặc trưng Căn chỉnh (Feature-aligned Pyramid Network - FaPN) gồm 2 mô-đun then chốt: Mô-đun Căn chỉnh Đặc trưng (FAM) ứng dụng tích chập biến dạng (deformable convolution) để triệt tiêu hiện tượng lệch pha không gian, và Mô-đun Lựa chọn Đặc trưng (FSM) nhằm tái định lượng trọng số đặc trưng đa tỉ lệ.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực tế gồm 11.469 ảnh nội soi tiêu hóa thu thập từ các hệ thống nội soi tại Việt Nam, bao gồm nhiều chế độ chiếu sáng và góc chụp khác nhau.

Phương pháp chọn mẫu và phân chia dữ liệu áp dụng kỹ thuật kiểm chứng chéo k-fold phân tầng (stratified 5-fold cross-validation). Cách tiếp cận này chia toàn bộ 11.469 mẫu ảnh thành 5 phần bằng nhau, đảm bảo mỗi tập con đều duy trì đúng tỷ lệ phân bố của 10 vị trí giải phẫu (thực quản, tâm vị, thân vị, hang vị, môn vị, hành tá tràng, tá tràng hạ lưu, v.v.), 6 nhóm tổn thương bệnh lý (loét, viêm, polyp, ung thư, dị sản và bình thường) và tình trạng nhiễm vi khuẩn HP. Kỹ thuật này giúp loại bỏ triệt để hiện tượng sai lệch chọn mẫu (selection bias) và đánh giá khách quan độ ổn định của thuật toán trên dữ liệu chưa từng thấy.

Lý do lựa chọn phương pháp phân tích học đa nhiệm kết hợp hàm mất mát tùy biến là do dữ liệu y tế thực tế thường không được gán nhãn đầy đủ cho tất cả các nhiệm vụ trên cùng một bức ảnh. Tác giả thiết lập chỉ thị kiểu mẫu nhị phân để điều khiển quá trình lan truyền ngược: chỉ những nhánh có nhãn thực tế mới tham gia cập nhật trọng số tại từng lượt lặp. Hàm mất mát phân loại sử dụng hàm Cross-Entropy, trong khi nhánh phân đoạn kết hợp Cross-Entropy cấp độ điểm ảnh và Dice Loss để tối ưu hóa trực tiếp chỉ số trùng lặp vùng tổn thương. Quá trình tiền xử lý tích hợp các kỹ thuật tăng cường dữ liệu (Data Augmentation) như xoay ảnh, lật không gian và điều chỉnh độ sáng ngẫu nhiên nhằm triệt tiêu hiện tượng quá khớp (overfitting).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm trên 11.469 hình ảnh nội soi đã mang lại những phát hiện có giá trị học thuật và ứng dụng lâm sàng sâu sắc:

Thứ nhất, mô hình hợp nhất đạt hiệu năng phân loại vượt trội trên 3 tác vụ chẩn đoán. Ở bài toán nhận diện 10 vị trí giải phẫu đường tiêu hóa trên, mô hình đạt độ chính xác trên 90%, giúp xác định chuẩn xác các khu vực khó như góc bờ cong nhỏ hay hành tá tràng. Đối với bài toán phân loại 6 nhóm tổn thương và nhận diện vi khuẩn HP, các nhánh phân loại sử dụng mạng perceptron đa tầng (MLP) với 512 nơ-ron ẩn kết hợp lớp đầu ra Softmax và Sigmoid đã mang lại kết quả tương đương, thậm chí nhỉnh hơn từ 1,5% đến 3,2% so với việc huấn luyện các mô hình đơn nhiệm riêng lẻ.

Thứ hai, kiến trúc SFMNet chứng minh tính ưu việt rõ rệt trong nhiệm vụ phân đoạn tổn thương. Nhờ sự kết hợp giữa bộ mã hóa MiT-B3 và mạng kim tự tháp FaPN, chỉ số tương đồng Dice (Dice Score) đạt mức cải thiện từ 4,5% đến 6,8% so với mô hình đường cơ sở EndoUNet sử dụng kiến trúc VGG-19 và ResNet-50. Khả năng phát hiện và bao quanh ranh giới các tổn thương có kích thước nhỏ, bờ không đều hoặc độ tương phản thấp được nâng cao đáng kể.

Thứ ba, việc tối ưu hóa kiến trúc đa nhiệm giúp giảm thiểu khoảng 60% đến 70% tổng số lượng tham số so với việc vận hành 4 mạng nơ-ron riêng biệt. Thời gian xử lý đạt mức dưới 33 mili-giây cho mỗi khung hình, tương đương tốc độ trên 30 khung hình/giây (FPS). Đây là chỉ số then chốt khẳng định tính khả thi trong việc tích hợp mô hình vào các thiết bị nội soi video thời gian thực mà không gây trễ hình.

Thảo luận kết quả

Nguyên nhân chính giúp các mô hình đa nhiệm như EndoUNet và SFMNet đạt kết quả ấn tượng nằm ở cơ chế chia sẻ biểu diễn đặc trưng. Khi một mẫu ảnh chỉ có nhãn giải phẫu đi qua mạng, các tầng trích xuất dùng chung vẫn học được cấu trúc niêm mạc, mạch máu và hình thái mô, từ đó gián tiếp hỗ trợ cho nhánh phân loại bệnh lý và phát hiện vi khuẩn HP – những tác vụ vốn có số lượng mẫu gán nhãn ít hơn trong thực tế.

Hiệu quả phân đoạn vượt trội của SFMNet được giải thích bởi cơ chế chú ý tự thân hiệu quả (Efficient Self-Attention) với tỷ lệ giảm chuỗi R từ 8 xuống 1 qua 4 giai đoạn, giúp bao quát ngữ cảnh toàn hình ảnh. Bên cạnh đó, mô-đun căn chỉnh FAM trong FaPN đã giải quyết triệt để sự sai lệch tọa độ không gian vốn xuất hiện trong phép cộng gộp đặc trưng truyền thống của mạng FPN kinh điển.

Về phương thức biểu diễn kết quả, các dữ liệu phân loại được minh họa trực quan thông qua ma trận nhầm lẫn kích thước 10x10 đối với vị trí giải phẫu và 6x6 đối với phân loại bệnh lý, làm nổi bật tỷ lệ dương tính thật trên đường chéo chính. Đồng thời, kết quả phân đoạn tổn thương được trình bày qua bảng so sánh chỉ số Dice giữa các cấu hình mạng mã hóa (VGG-19, ResNet-50, DenseNet-121, MiT-B2, MiT-B3) cùng hình ảnh mặt nạ phân đoạn thực tế đối chiếu với nhãn chuẩn của chuyên gia y tế.

Đề xuất và khuyến nghị

Nhằm chuyển hóa các kết quả nghiên cứu thành giải pháp y tế thông minh trong thực tiễn, luận văn đưa ra 4 khuyến nghị hành động cụ thể:

1. Tích hợp mô hình SFMNet vào phần cứng hệ thống nội soi thời gian thực: Các doanh nghiệp sản xuất thiết bị y tế và kỹ sư phần mềm cần tiến hành tối ưu hóa mô hình bằng công cụ TensorRT hoặc ONNX Runtime. Mục tiêu hướng tới là duy trì tốc độ xử lý trên 30 FPS với độ trễ xử lý dưới 30 mili-giây, thực hiện trong khung thời gian từ 6 đến 12 tháng tại các phòng khám nội soi tiêu chuẩn.
2. Chuẩn hóa quy trình làm sạch và mở rộng bộ dữ liệu nội soi đa trung tâm: Đội ngũ nghiên cứu y khoa cần phối hợp cùng các bệnh viện tuyến trung ương để mở rộng quy mô dữ liệu từ 11.469 ảnh lên hơn 50.000 ảnh nội soi có chú giải chi tiết. Lộ trình thực hiện trong 12 đến 18 tháng nhằm nâng cao tính đa dạng về chủng loại thiết bị và sắc tộc bệnh nhân.
3. Tối ưu hóa nén mạng cho thiết bị biên (Edge AI): Các kỹ sư trí tuệ nhân tạo cần áp dụng kỹ thuật lượng hóa trọng số (Quantization 8-bit) và cắt tỉa mô hình (Model Pruning) nhằm giảm thêm 40% dung lượng VRAM tiêu thụ. Mục tiêu này cần hoàn thành trong 3 đến 6 tháng để hệ thống có thể chạy trực tiếp trên các máy trạm y tế mini không trang bị card đồ họa cao cấp.
4. Triển khai thử nghiệm lâm sàng độc lập và thẩm định y đức: Các hội đồng chuyên môn về tiêu hóa cùng các đơn vị quản lý y tế cần thiết lập quy trình thử nghiệm lâm sàng mù đôi (double-blind trial) trong 12 tháng. Mục tiêu cụ thể là kiểm chứng khả năng giảm tỷ lệ bỏ sót tổn thương tiền ung thư xuống dưới 5% trong điều kiện can thiệp trực tiếp tại phòng mổ.

Đối tượng nên tham khảo luận văn

Nội dung và phương pháp tiếp cận trong luận văn mang lại giá trị chuyên môn thiết thực cho 4 nhóm đối tượng:

1. Bác sĩ nội soi tiêu hóa và chuyên gia y tế: Cung cấp góc nhìn toàn diện về cơ chế vận hành của hệ thống CAD, hỗ trợ bác sĩ hiểu rõ cách trí tuệ nhân tạo phân tích 10 vùng giải phẫu và nhận diện ranh giới tổn thương ác tính, từ đó gia tăng độ tin cậy khi phối hợp cùng AI trong chẩn đoán.
2. Kỹ sư Trí tuệ nhân tạo và Khoa học dữ liệu y tế: Là tài liệu kỹ thuật chuyên sâu về phương pháp xây dựng mạng học đa nhiệm, cách thiết lập hàm mất mát hỗn hợp xử lý dữ liệu thiếu nhãn và kỹ thuật tích hợp cơ chế tự chú ý (Self-Attention) với mạng kim tự tháp đặc trưng FaPN.
3. Đơn vị phát triển phần mềm và thiết bị công nghệ y tế (MedTech): Cung cấp giải pháp kiến trúc tối ưu tài nguyên tính toán, hỗ trợ các kỹ sư hệ thống nhúng xây dựng module phần mềm phân tích hình ảnh nội soi thời gian thực với chi phí phần cứng thấp.
4. Học viên cao học và sinh viên chuyên ngành Khoa học máy tính, Kỹ thuật Y sinh: Đóng vai trò là tài liệu tham khảo chuẩn mực về phương pháp nghiên cứu thực nghiệm, kỹ thuật xử lý dữ liệu hình ảnh y khoa quy mô hơn 11.000 mẫu và quy trình đánh giá mô hình bằng kiểm chứng chéo k-fold.

Câu hỏi thường gặp

Tại sao Học đa nhiệm (MTL) lại hiệu quả hơn các mô hình đơn nhiệm trong phân tích nội soi tiêu hóa?
Trong nội soi tiêu hóa, các dấu hiệu giải phẫu, loại tổn thương và tình trạng nhiễm khuẩn HP có sự liên kết chặt chẽ về mặt thị giác. Kiến trúc MTL tận dụng 11.469 hình ảnh để đào tạo một khối trích xuất đặc trưng chung, giúp các tác vụ có ít dữ liệu được hưởng lợi từ tri thức không gian của các tác vụ phong phú dữ liệu, đồng thời giảm hơn 60% gánh nặng bộ nhớ.

Khối FaPN trong mô hình SFMNet giải quyết vấn đề gì trong phân đoạn tổn thương?
Mạng FPN truyền thống thường bị mất mát ranh giới do hiện tượng lệch pha không gian khi kết hợp các tầng đặc trưng ngược từ dưới lên. FaPN bổ sung mô-đun FAM với các phép tích chập biến dạng để tự động căn chỉnh điểm ảnh và mô-đun FSM để chọn lọc kênh thông tin, giúp nâng cao chỉ số Dice từ 4,5% đến 6,8% trên các vùng tổn thương phức tạp.

Tập dữ liệu 11.469 ảnh có đảm bảo độ tin cậy cho môi trường lâm sàng thực tế?
Bộ dữ liệu được thu thập trực tiếp tại các cơ sở y tế Việt Nam với đa dạng chế độ ánh sáng và được gán nhãn bởi các bác sĩ chuyên khoa tiêu hóa. Phương pháp kiểm chứng chéo 5-fold phân tầng giúp kiểm tra toàn diện mô hình trên từng tập dữ liệu kiểm thử độc lập, đảm bảo kết quả không bị sai lệch cục bộ.

Mô hình xử lý như thế nào khi một bức ảnh chỉ có nhãn giải phẫu mà không có nhãn tổn thương?
Hệ thống sử dụng các biến chỉ thị nhị phân $\mu_i^t \in {0, 1}$ tích hợp trực tiếp trong cấu trúc hàm mất mát đa nhiệm. Khi một mẫu thiếu nhãn của tác vụ nào, gradient của nhánh đó sẽ tự động bằng 0, chỉ các nhánh có nhãn hợp lệ mới tham gia cập nhật trọng số, cho phép tận dụng triệt để mọi nguồn dữ liệu phân mảnh.

Ý nghĩa thực tiễn của việc nhận diện đồng thời 10 vị trí giải phẫu trong ca nội soi là gì?
Phân loại 10 vị trí giải phẫu giúp hệ thống theo dõi toàn diện hành trình thăm khám của ống soi, đảm bảo bác sĩ không bỏ sót bất kỳ góc khuất nào như hang vị hay bờ cong lớn. Điều này giúp giảm tỷ lệ bỏ sót tổn thương tiền ung thư (vốn có thể lên tới 75% trong các ca khám thông thường) và chuẩn hóa biên bản nội soi tự động.

Kết luận

1. Luận văn đã thiết kế thành công 2 kiến trúc học sâu hợp nhất (EndoUNet và SFMNet) xử lý đồng thời 4 nhiệm vụ nội soi đường tiêu hóa trên trong một mô hình duy nhất.
2. Khai thác hiệu quả tập dữ liệu 11.469 hình ảnh nội soi tại Việt Nam thông qua cơ chế học đa nhiệm, giải quyết bài toán thiếu hụt nhãn toàn diện trong y tế.
3. Kiến trúc SFMNet tích hợp biến thể Transformer (MiT-B3) cùng mạng FaPN và CGNL đạt hiệu năng phân loại trên 90% và nâng cao đáng kể chỉ số Dice phân đoạn tổn thương.
4. Giảm thiểu hơn 60% tài nguyên tính toán, duy trì tốc độ xử lý trên 30 khung hình/giây, đáp ứng tiêu chuẩn khắt khe của hệ thống hỗ trợ chẩn đoán thời gian thực.
5. Định hình lộ trình phát triển rõ ràng trong 12 đến 24 tháng tới nhằm mở rộng dữ liệu đa trung tâm và triển khai thử nghiệm lâm sàng thực tế.

Nghiên cứu của tác giả Nguyễn Duy Mạnh tại Đại học Bách khoa Hà Nội là một bước tiến quan trọng trong việc ứng dụng trí tuệ nhân tạo vào y tế nước nhà. Để tìm hiểu chi tiết về các thông số kỹ thuật, cấu hình siêu tham số và phương pháp tối ưu hóa mạng nơ-ron tích hợp, quý độc giả và các nhà nghiên cứu có thể tham khảo toàn văn luận văn thạc sĩ khoa học dữ liệu này tại thư viện số của nhà trường hoặc liên hệ nhóm nghiên cứu để thúc đẩy các cơ hội hợp tác chuyển giao công nghệ.

Trích đoạn nội dung tài liệu

Hanoi University of Science and Technology School of Information and Communication Technology DAI HOC BACH KHOA Master Thesis in Data Science Unified Deep Neural Networks for Anatomical Site Classification and Lesion Segmentation for Upper Gastrointestinal Endoscopy NGUYEN DUY MANH manh.vn Supervisor: Dr. Tran Vinh Duc Hanoi 10-2022 Author’s Declaration I hereby declare that I am the sole author of this thesis. The results in this work are not complete copies of any other works. STUDENT Nguyen Duy Manh Contents Contents Abstract List of Figures List of Tables List of Acronyms 1 Introduction 1 1.4 Outline of the thesis 2.

2 ee ee ee 2 2 Artificial Intelligence and Machine Learning 3 2. LH ng kg va 3 2.1 Deep Learning and Neural Networks .5 Deep Convolutional Network.2 Convolutional Neural Network. The convolution opcration.4 Some common convolutional network architectures. ee ee ee 2.2 Transformers for Vision .6 Multi-task learning.3 Compact generalized non-local module .24 Squecze and excitatlon module .25 Feature-aligned pyramid network .3 Metrics and loss functions .4 Multi-task traning .2 Data preprocessing and data augmentation.

000000200000 bee 5 Conclusion and future work 31 31 31 31 33 34 34 34 37 37 37 39 39 40 References 52 Abstract Image Processing is a subfield of computer vision concerned with comprehending and extracting data from digital images. There are several applications for image processing in various fields, including face recognition, optical character recognition, manufacturing automation inspection, medical diagnostics, and tasks connected to autonomous vehicles, such as pedestrian detection. In recent years, the deep neural network has become one of the most popular image processing approaches due to a number of significant advancements. The use of machine learning in biomedical applications can be structured into three main orientations: (1) as a computer-aided diagnosis to help the physicians for an efficient and early diagnosis, with a better harmonization and less contradictory diagnosis; (2) to enhance the medical care of patients with better-personalized ther- apies; and (3) to improve the human wellbeing, for example by analyzing the spread of disease and social behaviors in relation to environmental factors [1].

In this work, I propose to construct the models for the first orientation that is capable of handling multiple simultaneous tasks pertaining to the upper gastrointestinal (GI) tract. On a dataset of 11469 endoscopic images, the models were evaluated and produced relatively positive results.7 of Figures Reinforcement learning components.- 6 Relationship between AI,ML,andDL.2 2 ee 8 Illustration of a deep learning model [2]. c c Q Q c Q nh gu ng và gi kg kg xa 10 Architecture of aCNN [B5]. ee 13 Example of convolution operation [4].

14 Sparse connectivity, viewed from below [2]. 15 Sparse connectivity, viewed from above [2]. 15 Common activation functions [5]. HQ kg kg va 18 Avcrage pOOlnE.

ch k ky 18 Architecture of an EƠN [6]}. VỤ 19 Architecture of VGG16[7].ẶẶ co 20 A residual bloek [8]. Sa 21 DenseNet architecture vs ResNet architecture [9]. ee sa 22 Attention in Neural Machine Translation.

24 The Transformer - model architecture[lli]. 25 Vision Transformer architecture [12). 25 Common form of multi-task learning |2}. 26 'The traditional supervised learning sefup.

ee 28 Architecture of EndoUNet. 31 VGG19-based shared block. 2 ee ee 32 ResNet50-based shared block. 33 DenseNet121-based shared block.

33 EndoUNet decoder confguration. ee 35 Grouped compact generalized non-local (CGNL) module [13].8 A Squeeze-and-Excitation block[L4|.9 Overview comparison between FPN and FaPN [15] .10 Feature alignment module [l5}.11 Feature selection module [15] .1 Demostration of upperGI .2 Some samples in anatomical datasot.3 Some samples in lesion dataset.4 Some samples in HP dataset.6 Learning rate in training phase .7 EndoUnet - Confusion matrix on anatomical site classification task onafold.8 SFMNet - Confusion matrix on anatomical site classification task on afold.9 Confusion matrices on lesion classification task on a fold.10 Some cxamples of the lesion segmentation task. 50 List of Tables 3.4 Detailed settings of MiT-B2 and MiTI-B3. 36 Number of images in each anatomical site and lighting mode.

43 Accuracy comparison on the three classification tasks. 47 Dice Score comparison on the segmentation task. 48 Number of parameters and speed of models. 48 List of Acronyms GI HP AI ML DL NN DNN CNN RNN MTL RL Gastrointestinal Helicobacter Pylori Artificial Intelligence Machine Learning Deep Learning Neural Network Deep Neural Network Convolutional Neural Network Recurrent Neural Network Multi-task Learning Reinforcement Learning Chapter 1 Introduction 1.1 General introduction The upper GI tract comprises the oral cavity, the esophagus, the stomach, and the duodenum [16].

The upper GI tract’s common diseases include inflammation (esophagitis, gastritis), peptic ulcers, or malignancies. Upper GI tract cancers, in- cluding esophagus and gastric cancer, are at the top of malignancies in both preva- lences and mortalities [17]. However, the high miss rate of these lesions during endoscopy is still a big issue in the world as well as in developing countries [18]. Therefore, improving the detection rate will increase the chances of patients receiv- ing timely medical treatment and prolong survival time [19].

Esophagogastroduodenoscopy (EGD) is a diagnostic procedure that visualizes the upper part of the GI tract down to the duodenum. It is an exploration method that accurately detects lesions of the GI tract that are difficult to identify with other tools (biomarkers or imaging). However, the lesions missing rate, defined as a negative finding on endoscopy in patients with lesions within three years, has been reported in the literature review. In a study published by Menon et al.

[19], this rate was 11.3% and similar for both esophageal and gastric cancers. In another paper by Shimodate et al. from a Japanese institution [20], they concluded that the miss rate of gastric superficial neoplasms (GSN) was 75. There are many reasons for this situation, such as the heterogeneous quality of endoscopy systems, different levels of experience in technical performance and lesions evaluation of endoscopists, and lack of patient tolerance of the procedure.

Therefore, computer-aided diagnosis is desirable to help improve the reliability of this procedure. Deep learning (DL) has gained remarkable success in solving various computer vi- sion tasks. In recent years, several DL-based methods have been proposed to deal with EGD-related tasks, such as informative frame screening, anatomical site classi- fication, gastric lesion detection, and diagnosis. However, previous works often solve these tasks separately.

Therefore, the development of computer-aided systems ca- pable of simultaneously solving all the tasks using separate task-specific DL models would require many memory and computational resources. This makes it difficult to deploy such systems on low-cost devices. On the other hand, collecting and an- notating patients’ data for medical imaging analysis is challenging in practice. The lack of data can significantly reduce the models’ performance.

In order to address these issues, this paper proposes two models to simultaneously solve four EGD-related tasks: anatomical site classification, lesion classification, HP classification, and lesion segmentation. The model includes a shared encoder for learning common feature representation, followed by four output branches to solve four tasks. As a result, models greatly benefit from multi-task training since they can learn a powerful joint representation from an extensive dataset that com- bines multiple data sources collected solely for each task. Experiments show that the proposed models yield promising results in all tasks and achieve competitive performance compared to single-task models.2 Objectives This work aims to build unified models to tackle multiple tasks relating to the upper gastrointestinal tract.

The tasks include anatomical site classification, lesion classification, HP classification and lesion segmentation. Main contributions The main contributions of this study are as follows: e Introduce two unified deep learning-based models to simultaneously solve four tasks related to the upper GI tract: a CNN-based baseline model and a Transformer-based model. e Evaluate the proposed methods on a Vietnamese endoscopy dataset.4 Outline of the thesis The rest of this thesis is organized as follows: Chapter 2 presents an overview of the concepts of Artificial Intelligence, Machine Learning, Deep Learning, and related techniques. Chapter 3 proposes a model to simultaneously solve tasks related to the upper gastrointestinal tract.

Chapter 4 presents the content of the experiments and the results obtained. Chapter 5 concludes the thesis. Chapter 2 Artificial Intelligence and Machine Learning 2.1 Basic concepts Over the last few decades, several definitions of Artificial Intelligence (AI) have sur- faced. John McCarthy [21] defined AI as follows: it is the science and technology of creating intelligent machines, particularly intelligent computer programs.

Artificial Intellect is related to the same challenge of using computers to comprehend human intelligence, but it is not limited to biologically observable approaches. The ability to simulate human intelligence distinguishes AI from logic program- ming in computer languages. In particular, AI enables computers to gain human intelligence, such as thinking and reasoning to solve problems, communicating via understanding language and speech, and learning and adapting. Artificial Intelligence is, in its simplest form, a field that combines computer science and robust datasets to enable problem-solving.

In addition, it includes the subfields of machine learning and deep learning, which are commonly associated with artificial intelligence. AI can be categorized in different ways. This thesis divides AI into two categories based on its strength: weak AI and strong AI. Weak ATI, also known as Narrow AI, is a sort of AI that has been trained to do a particular task.

Weak AI imitates human perception and aids humanity by automating time-consuming tasks and data analysis in ways that humans cannot always perform. This sort of artificial intelligence is more accurately described as “Narrow”, as it lacks general intelligence and instead possesses intelligence tailored to a certain field or task. For instance, an AI that is great at navigation is typically incapable of playing chess, and vice versa. Weak AI helps transform massive amounts of data into useful information by identifying patterns and gencrating predictions.

Most of the Als that we see today are weak Als, with typical examples such as virtual assistants (Apple’s Siri or Amazon’s Alexa), Facebook’s news feed, spam filtering in email management applications (Gmail, Outlook), autonomous vehicles (Tesla, VinGroup). In addition to its strength, weak AI has the potential to wreak damage in the event of a system failure. For instance, spam filtering systems may misidentify essential emails and place them in the spam folder, or self-driving car systems may cause traffic accidents owing to miscalculations, etc. Strong AI, consisting of both Artificial General Intelligence (AGI) and Artificial Super Intelligence (ASI).

Artificial General Intelligence is a speculative kind of AI that posits a machine has intelligence equivalent to that of a person and is capable of self-awareness, problem-solving, learning, and future planning. Similarly, artificial superintelligence (also known as superintelligence) is a theoretical kind of artificial intelligence positing that a machine has superior intelligence and capacities to those of human brains. Strong AI is currently simply a concept with no examples in practice. Nonetheless, academics continue to conduct research and hunt for development avenues for this form of AI.2 Types of learning Given that the focus of the field of Machine Learning is “learning”, Artificial In- telligence/Machine Learning employs three broad categories of learning to acquire knowledge.

They are Supervised Learning, Unsupervised Learning, and Reinforce- ment Learning.1 Supervised learning In supervised learning, the computer is given labeled examples so that for each input example, there is a matching output value. This strategy is intended to assist model learning by comparing the output value created by the model with the real output value to identify errors and then progressively modifying the model to reduce errors. Supervised learning employs learned patterns to predict output values for never-before-seen data (not in the training data). For classification and regression problems, supervised learning proved itself to be accurate and fast.

e Classification is the process of discovering a function that divides a dataset into classes according to certain parameters. A computer program is trained on the training dataset, and based on this training, it classifies the data into various classes. Classification has different use cases, such as spam filtering, customer behavior prediction, and document classification.