CHƯƠNG 1: GIỚI THIEU BÀI TOÁN. Bài tOánn .- - -- Q10 HS HT ng. MM sscsccccccsvessecesecssesreceseesseeseeess 14 CHƯƠNG 2: CƠ SỞ LÝ THUYÉT. Bài toán IC (Image Classifycation) và OD (Object Detection).
Các thuật toán phát hiện đối 09:18.CNN (Convolutional Neural Network) và các thuật toán mở rộng. Region Based Convolutional Neural Networks (R-CNN). HH HT TTtà 20 °“ NGi0ï 0 —. Cách YOLO hoạt động.
22 3 GVHD: SVTH: PGS. Đỗ Phúc Lâm Nguyễn Quang Huy - 16520509 ThS. Nguyễn Thị Kim Phung Phan Đại Dương - 16520272 2. - 5 5 s1 TH TH HH TT TH Hư 22 p”;5⁄49009.
CAU tric YOLOVS T2. Adpative Anchor Boxes (Hộp neo thích Ung). Các mô hình YOILOV5.--- + 2 + ©+£+E££EE£EEtEEEEEEEEerkerkrrrrrkee 26 CHƯƠNG 3: ĐÁNH GIA CÁC THUẬT TOÁN PHÁT HIEN DOI TUONG. Đánh giá Faster R-CNN với các thuật toán trước đÓ .Tốc độ và độ chính xác.
Đánh giá Faster R-CNN và YOLLOV3. Đánh giá thuật toán YOLOV3 và YOLOV4. Đánh gid YOLOV4 và YOL/Ov5. Thời gian huấn luyện .---¿- 2 2 + +E9EE£EEEEE2EE2E12E2121211111211 1.
Kích thước Ïưu tr. Thời ian suy luậnn. 35 CHƯƠNG 4: XÂY DUNG UNG DỤNG. Giới thiệu về môi trường huấn luyện dữ liệu.
GiGi tit ose ai. Đỗ Phúc Lâm Nguyễn Quang Huy - 16520509 ThS. Nguyễn Thị Kim Phung Phan Đại Dương - 16520272 4. Cách sử dỤng.--- ch TT TH HH 36 SEN) 0b 0.
38 “6n : ca ca vn. Python nh ae. Dac trung DENN 0n .-- --‹ +5 + ++<sx+s++sx+ses+ 41 4.- «1xx HH nghệ 44 4.----: ¿s2 t+k+E#EEE+EeEEEE+EeEeEkrkekererkrrsrers 47 4. Thực hiện thuật toán YOLOvŠ trên tập dữ liệu của luận văn.
Chuẩn bị dữ liệu. Cau hình cau trúc tệp và cau trúc thư mục. Huan luyện thuật toa is. Quá trình tìm kiếm đối tượng ảnh.
-- 2-2 2 +£+E£+EE£EEtEEZEEEEEerkerkerrerrxee 70 CHƯƠNG 5: XÂY DỰNG ỨNG DỤNG WEB NHẬN DẠNG BỆNH TỪ FILE X- 910/. Ứng dụng web được xây dựng từ thuật toán YOLOv5. Kết quả khi chạy với thuật toán khác với cùng một ảnh đầu vào. Đánh giá 2 thuật tOán.
¿c1 32111111911 111 11111 1111118311111 11 T1 HH nh rệt 84 5 GVHD: _ - SVTH: PGS. Đỗ Phúc Lâm Nguyễn Quang Huy - 16520509 ThS. Nguyễn Thị Kim Phụng Phan Đại Dương - 16520272 CHƯƠNG 6: KET LUẬN. Kết Ua dat QUOC 0.
Định hướng phát triỀn.---2- 2 + ©S£+E£+EE+EE£EEEEEEEEEEEEEEEEEEEEEEEEEerkrrkrrrrrree 86 TAI LIEU THAO KHAO o.ccecceccecccccsccssessessesscsscsessessesscsscssssucsscsessesscsscsscsucsussvssessessesscsussucaveaeesveees 87 6 GVHD: SVTH: PGS. Đỗ Phúc Lâm Nguyễn Quang Huy - 16520509 ThS. Nguyễn Thị Kim Phung Phan Đại Dương - 16520272 DANH MỤC CÁC HÌNH Hình 1: CNN Process (Nguồn: https://www.me/convnet- ALCHILECCUTES/) 27777. an 16 Hình 2: Mô hình CNN sắp xếp ảnh đầu vào vào không gian 3 chiều.
17 Hình 3: Một mô hình Neural Network 3 lỚp.-- 5E SH tre 17 Hình 4: Selective S€aTCÌ.-- ó-Gọigưn 18 Hình 5: Cách hoạt động của Faster R-CNN.eecceesecesseeeseeeseeceseeeeeeeeaeeesaeeesneeaes 19 Hình 6: Cách YOLO hoạt động. -- -- G211 E911 9111 1 9 11H ng nh Hy ry 21 Hinh 7: /018,1. 22 Hình 8: Cấu trúc YOLOV4 .ssccsssssessessssesessnneesessnnesesssnescessneeeesnneceesnneseesnneeseesens 23 Hình 9: Các mô hình YOLOVS 20. cece eseeeeseceeeeseeseeseeseesesseesecseesesessaeeeseaseseeaeeas 26 Hình 10: Google COlab.
c1 112101 112101199101 19 101 HH TH HH nh 37 Hình 11:Chọn chế độ Run của Google COlab. c1 1x re 38 Hình 12: Mô hình sử dụng dụng ngrok đưa dt liệu từ localhost lên web. 39 Hình 13: Một khung bao đối tượng.--:-- 2: 2¿©2+¿++++£E++EE+2EEtEEEtEEterkesrxerrerrke 51 Hình 14: File txt lưu thuộc tính của một ảnh .---- 5555222 *s++++*+++zc+z+ 51 Hình 15: Quá trình xử lý một file CSV .--- 2c 13211331 EESEsEsreerreeereere 52 Hình 16: Cấu trúc các thư mụC .-¿- - St St St SE2E12EEE12EEE5EEEEEEE2EEEESEEEEEErrkrrrrkrrr 52 Hình 17: File yalm lưu số bệnh và tên bệnh. - ¿+ + s+x+E+EeEE+E+EeEezkzxerezezxee 53 Hình 18: Các version của YOLOVS .- -- cv 191g ng Hy 54 Hình 19: Hình ảnh một file hình đã được bao khung các đối tượng.55 Hình 20: Cấu trúc anchor ÐOX.------:- ¿+ + x+E+2E++EE+EEtEE+EEESEEerxerkerrrerxerrrree 55 Hình 21: Toàn bộ quá trình hoạt động của YOLOVS .-7S-ccSScsssesesrs 56 Hình 22: Các tầng xử lý tăng cường dit liệu.- - 2-55 252+E+Ee£EerEerxerxrrerree 57 Hình 23: Dữ liệu sau khi được tăng CƯỜng.-- --- +5 + 3+ kSeeEeeeeereeeereere 58 Hình 24: Các tầng xử lý của Convolution.ccccccsessesssessessessessessessessessseesecsesssseseeseess 59 Hình 25: Các tầng hoạt động của CSPBottleNeck.----¿©2©5z+cx2zxcrxesree 60 Hình 26: Cấu trúc phần dư được thêm vào làm input của bước tiếp theo.
61 Hình 27: Cấu trúc của CSPBottleNeck.-¿--ccccccckrrtrrkrrrrrrirrrrrirrrrririio 62 7 GVHD: _ - SVTH: PGS. Dé Phúc Lâm Nguyễn Quang Huy - 16520509 ThS. Nguyễn Thị Kim Phung Phan Đại Dương - 16520272 Hình 28: Cấu trúc SPP v.cccccccccscscsssscscscscscsssscscscsescscavavssuesessscscscscscsvavavevensasacscsescacsvaes 63 Hình 29: Các tầng hoạt động của SPP.-- 2 2¿©522E+2EEt2EE2EEEEESEkrrrkrrrrrree 64 Hình 30: Các tầng hoạt động trong Neck.----¿- + 5¿+2++2£x+2EEtzxeerxrzrxerrecree 66 Hình 31: Cấu trúc file exp sau khi đã huấn luyện.----- 2-2 ++2z+++zxsrxezez 69 Hình 32: Ảnh đầu vào cho việc phát hiện đối "01777. 70 Hình 33: Sử dụng một Grid Cell chia lưới anh 1npu(.-- 5555 <++ss++sss+ 71 Hình 34: Detect đối tượng từng 6 trong AMD.
ceccecscscsesssesssecssesseessecssecsessesssecsseess 72 Hình 35: O lưới có đối tung voc eeceeccecceesessesssessessecsssssessessecsssssessesseessessesseesesaseeseeseees 73 Hình 36: Đối tượng được mở rộng ra .-- ¿2-2 + E+EE+EE+EE+E£E£Eerkerkerxrrerree 74 Hình 37: Áp tọa độ điểm đầu điểm cuối cho ô chứa đối tượng.----- 74 Hình 3§:Xác định tọa độ tâm của đối tượng .---- +55 2+cz+Eczterkerkerxerxrrsrree 74 Hình 39: Đối tượng đã được khoanh vùng.----2- 2 5 2+S£+££+E££EerEerxerxersrree 75 Hình 40: Tính toán IoU của 6 chứa đối tượng với từng bệnh.----- 77 Hình 41: Ảnh chứa đối tượng đã được IDef€C(.-- -c- S- + tnteirerrrrrrrree 78 Hình 42: Giao diện chính của Web. 79 Hình 43: Chon Run dé bắt đầu quá trình upload file .-- 2 2 c5 s2 s+£+2 5+2 80 Hình 44: Chon Choose File để chọn ảnh đầu vào.-- 2-2-2 s2 z£x+xrx+zzxers 81 Hình 45: Chọn FIle.--- 111111 122230111111 1223111111100 311kg ng ng 82 Hình 46: Sau khi chọn ảnh nhắn detect và chờ hình ảnh trả về.---- 83 Hình 47: Kết quả hình đã được tô box và gan nhãn.---- 2-2 s¿+x+x++c++ 83 Hình 48: Kết quả khi chạy anh đầu vào với mô hình Faster R-CNN. 84 8 GVHD: _ - SVTH: PGS. Dé Phúc Lâm Nguyễn Quang Huy - 16520509 ThS.
Nguyễn Thị Kim Phụng Phan Đại Dương - 16520272 DANH MỤC CÁC BANG Bang 1: Bang so sánh tốc độ, độ chính xác trung bình, FPS, tham số và chỉ số GFLOPS của mỗi mô hình. -- ¿+ 5% 5%2S+2SE2E£E#EE£EEtEEEEEeEeErxrrxerrerverreree 26 Bảng 2: Kết quả thu được từ mô hình R-CNN và FCN dựa vào tốc độ thuật toán và §(890101i0c1ei: s17. 27 Bang 3: Kết qua của bộ thử PASCAL VOC 2007, 2012 và MS COCO sử dụng đầu vào với độ phân giải khác nhau, kế cả YOLO, Faster R-CNN và SSD theo [9]. 27 Bang 4: So sánh Faster R-CNN và YOLOv3 theo [ ”7].- s5 «<< <<+cc<seeses 31 9 GVHD: SVTH: PGS.
Đỗ Phúc Lâm Nguyễn Quang Huy - 16520509 ThS. Nguyễn Thị Kim Phung Phan Đại Dương - 16520272 DANH MỤC CÁC DO THỊ Đồ thị 1: Đồ thị so sánh độ chính xác Faster R-CNN, R-FCN, SSD và YOLO sử dụng hình anh đầu vào với độ phân giải khác nhau theo [9] .---------5z=5+ 28 Đồ thị 2: So sánh tốc độ và độ chính xác theo [9].---c:-©c-+:+cxvvrsrxveere 29 Đồ thị 3: Bộ nhớ tiêu hao của các mô hình theo [9] .- ¿+ +zx+xezx+xerxezzxzzs 30 Đồ thị 4: mAP với FPS (100) của YOLOv4 với các thuật toán khác theo [16]. 32 Đồ thị 5: So sánh thời gian huấn luyện dit liệu theo [12] .-- ---- 5 sec s2 33 Đồ thị 6: Kích thước lưu trữ theo [12] .----c¿-5c+++cc+vstrxverrtrxrrrrrrvrsrrkrrrre 34 Đồ thị 7: Thời gian suy luận trong Colab Notebooks với các giá trị batch khác nhau theo [12] Ả-Ẩdc:i:t:ÝỶÝÝÝỶÝỶÝÝ£ÝÝÝÝÝ. 35 10 GVHD: _ - SVTH: PGS.
Do Phúc Lâm Nguyên Quang Huy - 16520509 ThS. Nguyễn Thị Kim Phung Phan Đại Dương - 16520272 DANH MỤC CÁC TỪ VIET TAT STT | Từ Ý nghĩa tiếng Anh Ý nghĩa Tiếng Việt 1. IC Image Classifycation Phân lớp hình ảnh 2. |OD Object Detection Phát hiện đối tượng 3.
CNN Convolutional Neural Network Mang no-ron tich chap 4. NMS Non-maximum Suppression Ep lây tôi đa 3. R-CNN | Region Based Convolutional Mang no-ron tich chap dua Neural Networks theo ving 6. ROI Region of Interest Ving quan tam 7.
RPN Regional Proposal Network Mang đề xuất khu vực 8. GPU Graphics Processing Unit Don vi xử ly đồ họa 9. DPM Deformable parts models Mô hình bộ phận có thê biến dạng 10. | SSD Single Shot MultiBox Detector Hệ phát hiện đôi tượng lướt qua một lần II.
| CSP Cross-Stage Partial Chia phan qua giai doan 11 GVHD: _ - SVTH: PGS. Do Phúc Lâm Nguyên Quang Huy - 16520509 ThS. Nguyễn Thị Kim Phụng Phan Đại Dương - 16520272 TOM TAT KHÓA LUẬN - Dé giúp tăng cường độ chính xác khi dự đoán hình chụp X-Quang phổi và giúp cho bác sĩ giảm bớt áp lực và thời gian thì việc áp dụng trí tuệ nhân tạo vào dự đoán hình ảnh đang là một xu hướng tất yếu trong thời kì công nghệ phát triển như hiện nay. - Tap đoản Vingroup và viện dữ liệu lớn (VinBigData) đã tập hợp dữ liệu các file hình ảnh X-Quang phổi được các bác sĩ chuyên khoa có kinh nghiệm phát hiện và gan nhãn từng loại bệnh va công bố bộ dit liệu trên VinBigData, VinLab, Kaggle.
Để dựa vào đó áp dụng thuật toán phát hiện đối tượng và trí tuệ nhân tạo đưa ra ý kiến có giá trị hỗ trợ cho bác sĩ một cách nhanh chóng và chuân xác. 12 GVHD: SVTH: PGS. Đỗ Phúc Lâm Nguyễn Quang Huy - 16520509 ThS. Nguyễn Thị Kim Phung Phan Đại Dương - 16520272 CHUONG 1: GIỚI THIEU BÀI TOÁN 1.
Đặt van đề - Doc ảnh X-Quang là kỹ thuật chuẩn đoán hình ảnh được áp dụng trong nhiều thập kỷ qua. Tạo ra hình ảnh rõ nét về hệ cơ xương và các mô trong cơ thể. Qua đó giúp bác sĩ chuẩn đoán, theo dõi và điều trị bệnh cho phù hợp. Đặc biệt phù hợp với các bệnh liên quan đến xương khớp, tim mạch, hô hấp.
- _ Khi bất kì ai khi bị tai nạn gãy xương hay các bệnh liên quan đến hô hấp việc đầu tiên khi đến bệnh viện là chúng ta được các bác sĩ cho chụp CT, PET, MRI và tat nhiên là cả chụp X-Quang. Tuy nhiên, khi làm việc với nhiều loại dữ liệu y tế như vậy bác sĩ sẽ đối mặt với nhiều thách thức và khó khăn dẫn tới dé nhằm lẫn và chuẩn đoán sai ngay cả đối với những bác sĩ giỏi nhất. Việc phát hiện và chuẩn đoán hình ảnh bằng máy tính sẽ giúp tăng độ chính xác khi dự đoán bệnh và giảm bớt gánh nặng và áp lực cho bác sĩ. Bai toán - _ Xây dựng hệ thông áp dung trí tuệ nhân tao đê phát hiện và khoanh vùng 14 loại bệnh khác nhau trên file hình ảnh X-Quang phối.
Thuật toán được huấn luyện có bộ dữ liệu đầu vào bao gồm 15.000 ảnh X-Quang và file csv chứa dữ liệu thu thập và được các bác sĩ phát hiện bệnh, khoanh vùng tạo các hộp khoanh vùng đối tượng và gán nhãn loại bệnh cho từng hộp. - Link: https://www.com/c/vinbigdata-chest-xray-abnormalities- detection 1.