Chương 1 TỎNG QUAN.2 NGHIEN CUU LIEN QUAN woes ccescscseescssescssesssscsssstsesseseeseseeessee 6 1.1 Tăng Cường ảnÌH.2 Phân loại ảnh và diễn giải kết quả phân loại .3 MỤC ĐÍCH NGHIÊN CỨU. cv SE S391 SE SEEEEEkEkEkekrkrrkrkrkee II 1.4 PHƯƠNG PHÁP NGHIÊN CỨU .-- - 56c SE SE EEkEkEErkrrerkeree 12 1.5 CẤU TRÚC CỦA LUẬN VĂN.- ccc TT HH g1 He 12 Chương 2 CƠ SỞ LÝ THHUYẾTT.1 GIỚI THIỆU ẢNH X- QUANG.-- -- c2 t2 2 2121211112111 rrke 13 ph ¡na .2 GIỚI THIỆU PHÁN MÈM. St 1E 1S HT 11111111811 11x rrrerkg 15 2.1 Ngôn ngữ lập trình PV(hOI.2 Thư viện PY(OFCHh.1 Hàm kích hOạf .2 Gradient €SC€IIÍ.3 Hàm tốn thất. HH HU HH 0100040508 003000400 21 2.
CÁC MÔ HÌNH PHẦN LOẠI DỰA TRÊN CNN.1 Mạng LeÌcf.6 Giới thiệu kỹ thuật Grad-CATM.5 MO HiNH TANG CUONG ANH DUA VAO DAC TINH VAT LY CUA ENT: Gk 0) OF. Ce 36 Chương 3 PHƯƠNG PHÁP NGHIÊN CỨU ĐÈ XUẤTT.1 TÔNG QUAN VÉ HỆ THNG,. (5 St TT 11181 5E xckrkrkekrkd 39 3.2 TĂNG CƯỜNG ẢNH.1 Giới thiệu mô hình tăng cường ảnhh.oo- so G55 S55 S3 55SS869505655558659696 40 3.2 Mô hình tăng cường ản.3 Tinh chỉnh hình ảnh như một quá trình tối ưu .4 Phương trình giải quyết tinh chỉnh hình ảnh .3 PHÂN LOẠI BỆNH DỰA TRÊN ẢNH X-RAY PHỎI.1 Phân loại bệnh dựa trên thông tỉn của ảnh: .o 05555 55555 5555555555 48 Chương 4 THÍ NGHIỆM VÀ ĐÁNH GIÁ PHƯƠNG PHÁP .1 ĐÁNH GIÁ VÉ PHƯƠNG PHÁP TĂNG CƯỜNG ẢNH.1 So sánh với các công trình nghiên cứu khác.2 Thí nghiệm sự ảnh hưởng của các tham số điều khiễn.3 Đánh giá về tốc độ Xử lý.-- << 55s se csess eESsEEsEsEsEsEseEesetessessseseses 59 4.2 DANH GIA VE KET QUÁ PHẦN LOẠI KHÓI U TRONG ẢNH.1 Những thách thức đối với bài toán phân loại ảnh y tẾ.2 Giới thiệu dataset và cách chuẩn bị dữ liệu. << scsc so se seseseses 62 4.3 Kết quả phân loại.
St TT 1111 111111111 11g ng r 74 5.2 HƯỚNG PHÁTT TRRIÊỆN. 74 TAI LIEU THAM KHẢOO.- - - St St SE EEEE E111 1111111111 75 xH DANH SACH CAC HINH HÌNH TRANG Hình 1. 1: Quá trình hình thành ảnh X-ray. 2: Ảnh X-ray có chất lượng kém.
3: Ảnh được tăng cường bởi phương pháp [6] và bởi PP để xuất. 1 : Ví dụ về ảnh màu RGB va anh XAm. 2: Ảnh chụp X-quang vùng ngực .--¿- - 6c kề cv tre 15 Hình 2. 3: Mô tả các bước của một quá trình huấn luyện mô hình trên Pytorch.
4: Mạng nơ-ron nhân {ạO. --- - -- c0 11113 1111 1109 v1 ng ng vn 19 Hình 2. 5: Đô thị hàm Sigmoid.- - ¿SE SE EEE£EEEEEEEEEEEEEEEEEEEEEEEErrrrrrkee 20 Hinh 2. 7: Vai trò cua viéc chon learning raf{€.- -- - -ccccc 11133 vvrsses 21 Hình 2.
8: D6 thi Ham ÏO((X). 9: Mô tả kiến trúc mang LeNet-5 duoc thiết kế để xác định các chữ số viết I5)đ1190/158r2198901080)19)00) 7/00 S202 —. 10: Chỉ tiết các thành phần tham số của mô hình LeNet. 11: Mô tả kiến trúc mạng AlexÌNe(.--- cv tre 25 Hình 2.
12: Chỉ tiết các thành phần tham số của mô hình AlexNet. 13: Ý tưởng xây dựng mạng VGG sử dụng các khối VGG block gồm các tầng tích chập được xếp chỒng.-- ¿+ - 6 EEEEEEEEEEEEEEEE TT 1E 118111111111 rk. 14: Mô tả kiến trúc mô hình VGG-l6. 15: Cấu trúc khối Inception.
16: Cấu trúc mạng GoogLelNet .--¿-¿- - 6s ke £EEESEEEEEEcEEkekerrrrrrees 31 Hình 2. 17: Kết nồi tắt được sử dụng trong ResÌNe(. 18: Mô tả kiến trúc ResNet (ResÌNet- 18). -- -ccccn te ekerrekeo 33 Hình 2.
19: Tổng quan về hoạt động của Grad-CAM. 1: Tong quan hệ thống.--- - - ¿E5 SE S33 EEEEEEEEEEEEEEEEEEEEEEEEEEEEgrrrrrk, 39 Hình 3. 2: Mô hình tăng cường ảnh. 3: Hình ảnh tăng cường từ phương pháp Huang [6| ứng với giá trỊ œ.
4: Kết quả tinh chỉnh trên miền hình ảnh. Ma trận Laplacian duoc ước lượng dựa trên một ràng buộc cục bộ [38] ứng với các giả frỊ V. 5: Kết quả tinh chỉnh trên miền hình ảnh. Ma trận Laplacian duoc ước lượng dựa trên một ràng buộc cục bộ [39] ứng với các giả trỊ ⁄.
6: Trọng số của các ảnh thành phân (đã được chuẩn hoá đề hiền thị). 7: Kích thước của ma trận trong phương trình tìm nghiệm tối ưu (3. 8: Các trọng số sau khi được tỉnh chỉnh.- - ¿5-5 +2 £s+£zxz£czszs2 48 Hình 3. 9: Sơ đồ của một khối ResBloek.-- +: + +tSe S3 S3 ESEE2EEEEEeEsEsereesssss 49 Hình 4.
1: So sánh định tính các phương pháp tăng cường ảnh. 2: Ảnh hưởng của tham số điều khiển r7.-- - - 255 2c +£££zEzEz£czsze2 37 Hình 4. 3: Ảnh hưởng của tham số điều khiển e.- - + 5 5 c2 ££+£+xz£czszs2 37 Hình 4. 4: Ảnh hưởng của tham số điều khiển đ.-- ¿5-5-5 +52 s+£+xz£ccszs2 58 Hình 4.
5: So sánh hiệu quả của các phương pháp tối ưu hoá. 6: Sự xuất hiện đồng thời của nhiều loại bệnh trong tập dữ liệu. 7: Tổ chức dữ liệu thí nghiệm .----- - - S2 eE£E£ESEEEE£E£E£EeEeErrerrees 62 XIV Hinh 4. 8: Giải thích về cách tính precission và recall.
9: Hiển thị Grad-CAM giữa ảnh có và không tăng cường. 10: Hiền thị Grad-CAM giữa ảnh có và không tăng cường. 11: Hiển thị Grad-CAM giữa ảnh có và không tăng cường. 12: Hiền thị Grad-CAM giữa ảnh có và không tăng cường.
13: Hiền thị Grad-CAM giữa ảnh có và không tăng cường. 14: Hiền thị Grad-CAM giữa ảnh có và không tăng cường. 15: Hiển thị Grad-CAM giữa ảnh có và không tăng cường. 16: Hiền thị Grad-CAM giữa ảnh có và không tăng cường.
17: Hiền thị Grad-CAM giữa ảnh có và không tăng cường.- 73 XV DANH SACH CAC BANG BANG TRANG Bảng 4.1: So sánh định lượng trên tập dữ liệu từ [6 ].2: So sanh vé anh hưởng của việc lựa chọn tập ảnh (7 = 21, € = 0.3: Class bệnh lựa chọn trong tập VinDr-C XE. 4: Kết quả phân loại giữa ảnh có và không tăng cường trên các mô hình Resnet XVI Chuong I TONG QUAN Ngày nay, ảnh X-ray đóng vai trò quan trọng trong việc chân đoán các dau hiệu bệnh bên trong cơ thể một cách nhanh chóng, từ đó giúp tiết kiệm thời gian và chi phí điều trị cho bệnh nhân. Một anh X-ray tốt cần giúp hiển thị rõ các chỉ tiết trong ảnh đồng thời làm nổi bật các khối u hoặc những vùng tổn thương. Chính vì vậy, đề tài này giới thiệu một phương pháp tăng cường ảnh được thiết kế chuyên biệt cho ảnh X-ray.
Không chỉ giúp tăng cường độ tương phản, phương pháp này còn duy trì các thông tin có giá trị cao của ảnh X-ray như thông tin khối lượng và thông tin cấu trúc của ảnh X-ray gốc. Nhờ đó, khi sử dụng ảnh X-ray được tăng cường bởi phương pháp này vào quá trình nhận dạng tốn thương trong phổi, ta có thể có được kết quả nhận diện tốt hơn. Không những thế, đặc điểm của ảnh X-ray phổi là nhiều loại tốn thương có thể là nguyên nhân cho một loại bệnh, nhưng chỉ có một nhãn bệnh được gán cho một bệnh nhân. Trong tình huống này, việc phân biệt các loại bệnh băng phần mềm máy tính không quan trọng băng việc nhận ra các vùng bị tổn thương.
Nhờ tăng cường độ tương phản các chỉ tiết trong ảnh, các thí nghiệm chứng minh rằng phương pháp đề xuất có thể phát hiện được vùng tổn thương ngay cả khi các vùng tồn thương này không được dùng trong quá trình huấn luyện.1 TÔNG QUAN Hình ảnh X-ray là một công cụ phô biến trong các ứng dụng y tế giúp đánh giá tình trạng bệnh bên trong cơ thể của bệnh nhân. Hình ảnh X-ray phản ánh thông tin khối lượng của vùng mà chùm tia X đi qua. Để có được một hình ảnh X-ray, người ta thực hiện chiếu chùm tia X vào khu vực cần chụp ảnh. Năng lượng từ các chùm tia X này bị các cơ quan nội tạng hấp thụ chắng hạn như cơ vả xương nhưng không phải là tất cả.
Năng lượng còn lại, phần mà không bị hấp thụ có thê đến được màn chắn chứa các cảm biến tia X và được ghi lại dưới dạng hình ảnh kỹ thuật số. Với ảnh X-ray, người ta mong muôn vùng chứa nhiêu thông tin là vùng sáng, vì vậy những vùng vật chất có khối lượng lớn nhất sẽ được thể hiện băng vùng sáng nhất, vùng có khối lượng nhỏ hơn sẽ là những vùng tối hơn, vùng khối lượng nhỏ hoặc không có vật chât là những vùng rất tối.1 trình bày đặc điểm của một quá trình hình thành ảnh X-ray và nén ảnh DICOM để hiển thị trên miền các thiết bị thương mại. Trong lĩnh vực y tế, để lưu trữ hình ảnh cho mục dich chan đoán định dang DICOM được sử dụng. Ảnh DICOM là một định dạng đặc biệt trong đó mỗi pIxel được lưu trữ bởi 12 hoặc 16 bit.
Tuy nhiên, các thiết bị hiển thị thương mại được thiết kế để hoạt động với các định dạng 8-bit như chuẩn JPEG hoặc PNG. Vùng sáng nhất Ảnh DICOM » 12 đến 16 Ƒ Bits Máy chiếu > Tia X Nén anh Dicom vé chuan 8 bits ¥ Vùng tối Ảnh chuẩn hơn S _ hóa 8 bits Hình 1. 1: Quá trình hình thành ảnh X-ray Khi ta thực hiện nén tuyến tính ảnh X-ray từ định dạng Dicom vé chuan 8 bits, dé hién thị trên các thiết bị thương mại điện tử, sẽ gây nên hiện tượng mat mat thông tin do các quá trình lượng tử hóa dẫn đến ảnh X-ray lúc này có chất lượng kém như trong Hình 1. Vì vậy cần phải có giải pháp kỹ thuật để tăng cường chất lượng ảnh X-ray.
wy ut Hình 1. 2: Ảnh X-ray có chất lượng kém Đề tăng cường anh X-ray, các phương pháp tăng cường ảnh truyền thống có thể được sử dụng. Chang han nhu can bang lược đồ mức xám (HE) [1] hoặc hiệu chỉnh gamma [2]. Ưu điểm của hai phương pháp trên là độ tương phản của một hình ảnh có thể được nâng cao.
Tuy nhiên một anh X-ray không phải chỉ cần đó độ tương phản cao mà nó còn cân phải giúp bác sĩ trong việc chẩn đoán tình trạng bệnh của bệnh nhân. Do đó, các thông tin như khối lượng của các điểm ảnh hoặc thông tin cầu trúc ảnh cần được bảo toàn. Đây là hai vấn đề mà các giải pháp truyền thông không xét tới. Vì độ sáng của điểm ảnh X-ray phản ánh thông tin khối lượng của khu vực mà một chùm tia X đi qua, một chương trình tăng cường ảnh DICOM tốt có thể không những cần nâng cao tương phản mà còn cần duy trì độ sáng của bản sốc hình ảnh DICOM.
Bên cạnh đó, mối quan hệ giữa các điểm ảnh lân cận có thể đại diện cho các hiện tượng lâm sàng. Do đó, tăng cường ảnh X-ray cần duy trì mối quan hệ này từ bản gốc hình ảnh DICOM. Bên cạnh các phương pháp truyền thống, ảnh DICOM còn có thể được xem là hình ảnh dải động cao (HDR).