Ứng Dụng Mô Hình Học Sâu Cho Bài Toán Phân Loại Các Bất Thường Trên X-Quang Vùng Ngực

Khóa luận nghiên cứu ứng dụng mô hình học sâu trong phân loại bất thường ảnh chụp X-quang vùng ngực, góp phần nâng cao chất lượng chẩn đoán.

• Tác giả: Nguyễn Tường Minh
• Người hướng dẫn: ThS. Nguyễn Thị Kim Phụng
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Thương mại điện tử
• Đề tài: Ứng Dụng Học Sâu Trong Phân Loại Các Bất Thường Trên X-Quang Vùng Ngực
• Loại tài liệu: khoa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• TÓM TẮT KHOÁ LUẬN
• 1. Chương 1: MỞ ĐẦU
• 1.1. Động lực nghiên cứu
• 1.2. Thách thức
• 1.3. Mục tiêu và phương pháp thực hiện
• 2. Chương 2: TỔNG QUAN
• 2.1. Các bệnh lý được quan tâm
• 2.2. Một số vấn đề còn tồn tại. Hướng giải quyết
• 3. Chương 3: CƠ SỞ LÝ THUYẾT
• 3.1. Kỹ thuật học sâu. Kiến trúc mạng tích chập. Trích xuất đặc trưng
• 3.2. Các lớp trong mạng tích chập. Lớp tích chập
• 3.3. Lớp lấy mẫu
• 3.4. Lớp Kết nối đầy đủ - Fully connected (FC). Các mô hình mạng tích chập
• 3.5. Học chuyên tiếp trong bài toán phân loại ảnh y khoa. Các kỹ thuật được sử dụng để huấn luyện mô hình. Global Average Pooling
• 3.6. Focal Loss function
• 4. Chương 4: PHƯƠNG PHÁP THỰC NGHIỆM
• 4.1. Bộ dữ liệu sử dụng. Phân bố bệnh lý trong bộ dữ liệu VinDr-CXR. Các trường hợp đa nhãn trong bộ dữ liệu
• 4.2. Phương pháp thực nghiệm. Tiền xử lý bộ dữ liệu. Tăng cường dữ liệu
• 4.3. Điều chỉnh thuộc tính của màu sắc
• 4.4. Phương pháp đánh giá được sử dụng trong đề tài. Precision, Recall, F1-score và Accuracy. ROC curve và AUROC
• 4.5. Tổ chức dữ liệu. Cấu hình thực nghiệm (Configuration)
• 4.6. Quá trình huấn luyện mô hình. Cấu trúc của lớp phân loại Classifier trong các mô hình. Vấn đề freeze layers trong hướng tiếp cận Fine-tuning. Kịch bản thực nghiệm
• 4.7. Thứ tự tiêu chí đánh giá để đưa ra nhận xét. Kết quả thực nghiệm và nhận xét trên tập Validation. Tổng hợp kết quả thực nghiệm của Nhóm 1 (Nhóm 1/N1). Tổng hợp kết quả thực nghiệm của Nhóm 3 (Nhóm 3/N3). Nhận xét kết quả thực nghiệm đạt được. Kết quả đánh giá và nhận xét trên tập Test
• 5. Chương 5: TỔNG KẾT
• 5.1. Kết quả đạt được
• 5.2. Về bộ dữ liệu VinDr-CXR. Về các mô hình mạng tích chập
• 5.3. Một số kết quả khác. Các hạn chế và hướng đi trong tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về ứng dụng học sâu trong phân loại bất thường trên X quang vùng ngực

Ứng dụng học sâu trong phân loại các bất thường trên X-quang vùng ngực đang trở thành một xu hướng quan trọng trong y tế hiện đại. Công nghệ này giúp cải thiện độ chính xác trong việc phát hiện và chẩn đoán các bệnh lý phổi. Các mô hình học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), đã chứng minh khả năng vượt trội trong việc phân tích hình ảnh y tế. Việc áp dụng machine learning trong chẩn đoán không chỉ tiết kiệm thời gian mà còn nâng cao hiệu quả điều trị cho bệnh nhân.

1.1. Khái niệm về học sâu và ứng dụng trong y tế

Học sâu là một nhánh của machine learning sử dụng các mạng nơ-ron để học từ dữ liệu lớn. Trong y tế, nó được áp dụng để phân tích hình ảnh, giúp phát hiện các bất thường như nốt phổi, tràn dịch màng phổi, và nhiều bệnh lý khác.

1.2. Tầm quan trọng của phân loại bất thường trên X quang

Phân loại bất thường trên X-quang vùng ngực là rất quan trọng trong việc chẩn đoán sớm các bệnh lý nghiêm trọng. Việc phát hiện kịp thời có thể cứu sống bệnh nhân và giảm thiểu chi phí điều trị.

II. Thách thức trong việc phân loại bất thường trên X quang vùng ngực

Mặc dù có nhiều tiến bộ, việc phân loại bất thường trên X-quang vẫn gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là sự đa dạng và phức tạp của các dấu hiệu bất thường. Các mô hình học sâu cần phải được huấn luyện trên một lượng lớn dữ liệu để đạt được độ chính xác cao. Tuy nhiên, dữ liệu y tế thường không đủ phong phú và có thể bị mất cân bằng giữa các loại bệnh lý.

2.1. Sự đa dạng của các bất thường trên X quang

Các bất thường trên X-quang có thể xuất hiện dưới nhiều hình thức khác nhau, từ nốt phổi đến tràn dịch màng phổi. Điều này làm cho việc phân loại trở nên khó khăn hơn, đặc biệt khi các dấu hiệu này có thể chồng chéo lên nhau.

2.2. Vấn đề mất cân bằng dữ liệu trong huấn luyện mô hình

Mất cân bằng dữ liệu là một thách thức lớn trong việc huấn luyện mô hình học sâu. Một số bệnh lý có thể có rất ít hình ảnh, dẫn đến việc mô hình không thể học được các đặc trưng quan trọng.

III. Phương pháp học sâu trong phân loại bất thường trên X quang

Để giải quyết các thách thức trong phân loại bất thường, nhiều phương pháp học sâu đã được phát triển. Các mô hình như DenseNet, ResNet, và VGGNet đã được áp dụng để cải thiện độ chính xác trong việc phân loại. Kỹ thuật transfer learning cũng được sử dụng để tận dụng các mô hình đã được huấn luyện trước đó, giúp tiết kiệm thời gian và tài nguyên.

3.1. Kiến trúc mạng tích chập trong phân loại hình ảnh y tế

Mạng tích chập (CNN) là một trong những kiến trúc phổ biến nhất trong phân loại hình ảnh y tế. Nó giúp trích xuất các đặc trưng quan trọng từ hình ảnh, từ đó cải thiện độ chính xác của mô hình.

3.2. Kỹ thuật transfer learning trong huấn luyện mô hình

Kỹ thuật transfer learning cho phép sử dụng các mô hình đã được huấn luyện trên các tập dữ liệu lớn để cải thiện hiệu suất trên các tập dữ liệu nhỏ hơn. Điều này rất hữu ích trong y tế, nơi mà dữ liệu có thể hạn chế.

IV. Ứng dụng thực tiễn và kết quả nghiên cứu trong phân loại bất thường

Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng học sâu trong phân loại bất thường trên X-quang vùng ngực đã mang lại kết quả khả quan. Các mô hình học sâu không chỉ giúp phát hiện chính xác các bệnh lý mà còn giảm thiểu thời gian chẩn đoán. Kết quả từ các nghiên cứu cho thấy độ chính xác của các mô hình này có thể đạt trên 90%.

4.1. Kết quả thực nghiệm từ các nghiên cứu

Nhiều nghiên cứu đã chứng minh rằng các mô hình học sâu có thể đạt được độ chính xác cao trong việc phân loại các bất thường trên X-quang. Ví dụ, một nghiên cứu gần đây cho thấy mô hình DenseNet đạt được độ chính xác lên đến 95%.

4.2. Ứng dụng trong thực tiễn lâm sàng

Việc áp dụng các mô hình học sâu trong thực tiễn lâm sàng đã giúp các bác sĩ chẩn đoán nhanh chóng và chính xác hơn. Điều này không chỉ cải thiện chất lượng chăm sóc sức khỏe mà còn giảm thiểu chi phí điều trị.

V. Kết luận và tương lai của ứng dụng học sâu trong phân loại bất thường

Ứng dụng học sâu trong phân loại bất thường trên X-quang vùng ngực đang mở ra nhiều cơ hội mới trong y tế. Mặc dù còn nhiều thách thức, nhưng với sự phát triển không ngừng của công nghệ, tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều tiến bộ đáng kể. Việc cải thiện độ chính xác và giảm thiểu thời gian chẩn đoán sẽ là mục tiêu hàng đầu trong nghiên cứu tiếp theo.

5.1. Hướng đi tương lai cho nghiên cứu

Nghiên cứu trong lĩnh vực này sẽ tiếp tục tập trung vào việc cải thiện độ chính xác của các mô hình học sâu và phát triển các phương pháp mới để xử lý dữ liệu y tế.

5.2. Tác động của công nghệ đến ngành y tế

Công nghệ học sâu sẽ tiếp tục có tác động lớn đến ngành y tế, giúp cải thiện chất lượng chăm sóc sức khỏe và nâng cao hiệu quả điều trị cho bệnh nhân.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Động lực nghiên cứu Phân loại bệnh lý trên phim chụp X-quang lồng ngực là dạng bài toán phân lớp (phim chụp X-quang có dấu hiệu bệnh lý được đề cập hay là không). Các bệnh lý trong bộ đữ liệu VinDr-CXR [1] bao gồm: nodule/mass (nốt phổi hoặc khối u ở phổi), pleural effusion (tràn dich màng phổi), pulmonary fibrosis (xơ phối), cardiomegaly (chứng tim to), lung opacity (phổi có vết mờ), pleural thickening (day dính màng phổi), aortic enlargement (phình động mach chủ), other lesion (các triệu chứng khác). Bài toán có giá trị đầu vào là phim chụp X-quang lồng ngực và đầu ra là giá trị xác suất của các nhãn được đánh giá là có khả năng xuất hiện.

Nhằm thực thi bai toán, nhóm tác giả tiền hành huấn luyện các mô hình mạng tích chập trên bộ dit liệu VinDr- CXR dựa trên 2 hướng tiếp cận phô biến của học chuyên tiếp (Transfer learning). Kỹ thuật này giúp giúp mô hình học nhanh hơn, tiết kiệm thời gian và tài nguyên tính toán. Mục đích cuối cùng của đề tài là so sánh hướng tiếp cận nào phù hợp với bộ dữ liệu được nghiên cứu. Thách thức Trong thực té, phôi của một bệnh nhân có thé có nhiều tổn thương xuất hiện cùng một lúc.

Thế nên các bác sĩ cần phải có khả năng đọc được nhiều nhất có thê các dấu hiệu tốn thương được chụp trên ảnh X-quang. Điều này cũng là điều kiện bắt buộc khi huấn luyện các mô hình trí tuệ nhân tạo chân đoán ảnh y khoa. Do đó, thách thức được đặt ra là cần phải tìm hiểu và ứng dụng lý thuyết bài toán phân loại đa nhãn (multi-label classification) để huấn luyện các mô hình học sâu. Ví dụ như một bức ảnh X-quang vùng ngực có thê chứa đồng thời nhiều dấu hiệu bệnh khác nhau như tran dich màng phổi, phình động mach chủ, xơ phối,.

Đối với các bài toán phân loại đa nhãn, yêu cầu được đặt ra khi huấn luyện là mô hình phải có khả năng dự đoán nhiều nhãn cùng một lúc mà không loại trừ những nhãn khác như các bai toán phân loại đơn nhãn hay đa lớp.1 minh hoạ sự khác biệt giữa bài toán phân loại đa lớp và phân loại đa nhãn.Nguyén Thi Kim Phung _ _ Tran Trọng Kién — 19521720 Nguyên Tường Minh Quang - 19522098 Samples Samples wy Á œ ( ( Labels (t) Labels (t) @ [O1] [100] [010] [01] [010] [111] Hình 1.1: So sánh sự khác nhau giữa phân loại đa lớp và phân loại đa nhãn! Trong hình 1.1, mô hình khi được huấn luyện dé xử lý các bài toán đa lớp thì chi có thé dự đoán duy nhất một trong các nhãn của dữ liệu và các nhãn này được xem là một lớp độc nhất. Trong khi đó, mô hình được huấn luyện dé xử lý bài toán đa nhãn có thể dự đoán cùng lúc nhiều nhãn. Về bản chất, mỗi nhãn trong phân loại đa nhãn là một bài toán nhị phân độc lập nên các mô hình khi được huấn luyện phải có khả năng nam bắt được tập nhãn của điểm dữ liệu với độ chính xác cao nhất có thể. Tuy nhiên, các nhãn này vẫn sẽ có sự liên quan với nhau.

Thách thức đặt ra cho những mô hình xử ly bài toán đa nhãn chính là các đặc trưng của mỗi nhãn có thé năm lẫn lộn với nhau dẫn đến khó nhận diện đặc trưng cho từng nhãn. Trong bộ dữ liệu ảnh X-quang, một số ảnh có nhiều dấu hiệu bất thường của nhiều bệnh lý xuất hiện chồng chéo lên nhau làm tăng độ phức tạp cho thuật toán, điều này khiến mô hình gặp nhiều khó khăn để học được đặc trưng của từng nhãn trên cùng một ảnh. Phần này sẽ được trình bày trong phần 4.2: Những trường hợp đa nhãn trong bộ dữ liệu Một thách thức khác nhóm tác giả gặp phải trong bài nghiên cứu này là sự giới hạn về số lượng ảnh đặc trưng cho từng bệnh lý. Số lượng phim chụp X-quang được thu thập từ bộ đữ liệu VinDr-CXR là hạn chế và không đồng đều giữa các nhãn nên khiến cho các mô hình học sâu dễ học tủ (overfitting).

Đối với những bộ dữ liệu bị ! Ảnh được lấy từ Internet: https://datainsider.Nguyén Thi Kim Phung _ _ Tran Trọng Kién — 19521720 Nguyên Tường Minh Quang - 19522098 mat cân bằng như thé này thì việc áp dụng thêm phương pháp tăng cường dữ liệu cũng như thiết kế các hàm tính độ lỗi và mat mát phù hợp góp phan hạn chế van đề này. Mục tiêu và phương pháp thực hiện 1. Mục tiêu Với tính chat mat cân bằng nghiêm trọng và số lượng ảnh dùng dé huấn luyện khiêm tốn của bộ đữ liệu, khoá luận sẽ tìm hiểu phương pháp được công bé trong bài báo [2] của nhóm tác giả Miguel Romero và các đồng sự đến từ đại học Stanford. Cụ thê hơn, phương pháp được trình bày trong bài báo là sử dụng kỹ thuật học chuyền tiếp dé huấn luyện mô hình DenseNet và ResNet trên bộ dữ liệu NIH ChestXray 14.

Đây cũng là bộ dữ liệu về ảnh X-quang vùng ngực bị mat cân bằng giữa số lượng của các nhãn. Thêm vào đó, khoá luận cũng sẽ tìm hiểu và ứng dụng thêm mô hình VGGNet [3] dé tìm ra mô hình mang lại hiệu suất tốt nhất. Nhằm thực thi mục tiêu đã đề ra, nhóm tác giả chia thành ba mục tiêu nhỏ sau: - Tim hiểu về bộ dữ liệu VinDr-CXR. - Tim hiểu kiến thức về mạng tích chập (Convolutional Neural Network) đã được đề cập.

- Tim hiểu về kỹ thuật học chuyền tiếp. - _ Tiến hành huấn luyện các mạng học sâu trên bộ dữ liệu VinDr-CXR để thực thi bài toán. Phương pháp thực hiện Phương pháp tìm hiểu bộ dữ liệu: © Đọc bài báo [1] để hiểu thông tin cơ bản về bộ dữ liệu: nguồn gốc, các loại bệnh được gán nhãn. e Thống kê những thông tin cơ bản về dit liệu, quan sát những bức anh đại diện cho mỗi nhãn cũng như những bức ảnh được phân loại nhiều nhãn và đưa ra nhận xét riêng.

e_ Tiến hành tiền xử lý dữ liệu.Nguyén Thi Kim Phung _ _ Tran Trọng Kién — 19521720 Nguyên Tường Minh Quang - 19522098 Phương pháp tìm hiểu các kiến trúc của mô hình mạng tích chập: Tìm hiểu, đọc nghiên cứu và những bài báo giới thiệu, trình bày về kiến trúc mạng tích chập phô biến trong bài toán phân loại ảnh, đặc biệt là ảnh y khoa. Ứng dụng các mô hình mạng tích chập vào quá trình huấn luyện và kiểm thử trên bộ dt liệu. Phương pháp tìm hiểu kỹ thuật học chuyển tiếp: Đọc các bài báo khoa học trình bày ý tưởng kỹ thuật học chuyên tiếp để huấn luyện các mô hình mạng tích chập xử lý ảnh y khoa. Ap dụng kỹ thuật học chuyền tiếp dé tăng hiệu suất của các mô hình đã được huấn luyện.

Kỹ thuật học chuyền tiếp gồm có 2 hướng tiếp cận phô biến: feature extraction (trích xuất đặc trưng) và fine-tuning (tinh chỉnh). Nhóm tác giả sẽ ứng dụng cả hai hướng tiép cận trên đê huân luyện các mô hình mạng tích chập. Sau đó so sánh và nhận xét sự hiệu quả của từng hướng tiêp cận dén mô hình. Thực nghiệm Tiến hành thực nghiệm để cả hai hướng tiếp cận trên ba mô hình: VGG-16, ResNet-152v2 và DenseNet-20 dựa theo ba kịch bản thực nghiệm: Huấn luyện trên tập dữ liệu ban đầu.

Áp dụng phương pháp tăng cường đữ liệu. Áp dụng phương pháp tăng cường dữ liệu và có gang tăng độ chính xác trên tập kiểm định (validation set) cao nhất có thê. Cấu trúc khoá luận Những chương sau của bài luận có bô cục như sau: Chương 2: Tổng quan. Chương 3: Cơ sở lý thuyết.

Chương 4: Phương pháp thực nghiệm Chương 5: Tổng kết.Nguyén Thị Kim Phụng Trân Trọng Kiên — 19521720 Nguyễn Tường Minh Quang - 19522098 Chương 2: TONG QUAN Trong chương 2, nhóm tác gia sẽ trình bày tong quan dé tài, cụ thé là dấu hiệu nhận biết các loại bệnh ly được quan tâm trong khoá luận, các nghiên cứu khoa học liên quan, những vấn đề mà nhóm nghiên cứu đề tìm ra phương pháp giải quyết. Các bệnh lý được quan tâm Các bệnh lý hoặc tốn thương ở bên trong phôi rất khó dé phát hiện mà không thông qua các phương pháp chụp phim X-quang hoặc MRI. Trong phạm vi nghiên cứu của khoá luận này, nhóm tác giả dành sự quan tâm cho 8 nhãn sau: 2. Nodule/Mass (nốt phối hoặc khối u ở phối) Hình 2.1: Phim chụp X-quang lồng ngực có xuất hiện các nót phổi Dấu hiệu bất thường: trên phim chụp X-quang xuất hiện hình mờ có dạng hình tròn giới hạn rõ và kích thước có thé thay đổi từ vài mi-li-mét đến nhiều xen-ti-mét và khả năng xuất hiện một hoặc nhiều khối u ở cả 2 bên phối.

Dau hiệu nhận biết ton thương dang nốt phối hay u phối: - _ Nốt phổi: ton thương dạng mô đặc có đường kính nhỏ hơn 3cm. - U phổi: tôn thương dạng mô đặc có đường kính lớn hơn 3cm.Nguyễn Thị Kim Phụng _ Trân Trọng Kiên — 19521720 Nguyên Tường Minh Quang - 19522098 2. Pleural effusion (tràn dịch màng phổi) Hình 2.2: Phim chụp X-quang lồng ngực bị tràn dịch màng phổi Dấu hiệu bat thường: trong khoang màng phổi có nước hoặc lượng dịch nhiều hon mức sinh lý bình thường và được nhận biết khi cục phối có hình mờ đồng nhất. Có hai loại tran dich màng phối pho biến: - Tran dịch màng phổi lượng nhiều: hình mờ đồng nhất đây những mô xung quanh về khoang phối đối diện - Tran dịch màng phôi lượng ít: hình mờ đồng nhất xuất hiện ở đáy phôi làm mat góc ở sườn hoành và có giới hạn trên là đường cong Damoiseau.

Pulmonary fibrosis (xơ phổi) GVHD: .Nguyễn Thị Kim Phụng _ Trân Trọng Kiên — 19521720 Nguyên Tường Minh Quang - 19522098 Hình 2.3: Phim chụp X-quang lồng ngực có ton thương xơ phổi Dấu hiệu nhận biết: các mô bên trong khoang phôi bị ton thương mãn tính khiến cho các mô phổi dày lên và cứng hơn, gây ra sẹo ở phôi, từ đó xuất hiện hình anh bóng mờ. Bóng mờ có thé do tích tụ dịch hoặc viêm: - Dich: khoảng kẽ rộng ra. - _ Viêm: làm xơ hoá kẽ trong thời gian nhất định và bóng mờ có dạng hình nốt lưới.4: Phim chụp X-quang vực ngực có cơ tim phì đại 10 GVHD: .Nguyễn Thị Kim Phụng _ Trân Trọng Kiên — 19521720 Nguyên Tường Minh Quang - 19522098 Dấu hiệu nhận biết: cơ của tâm thất dày lên bất thường hoặc cũng có thê là vách ngăn giữa hai tâm thất rộng hơn khiến cho kích thước của tim ngày càng to ra.Tim có thê phình to theo 2 trường hợp: e Giãn nhỏ: thành tim mỏng đi, căng giãn và yếu hơn. e Phi đại: thành tim dày hon và độ đàn hồi của tim giảm.

Lung opacity (phối có vết mò) Hình 2.