Dự Đoán Ung Thư Phổi Sử Dụng Thuật Toán Học Máy

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp lung cancer prediction using convolutional neural network and machine learning algorithms, vận dụng lý thuyết vào thực tế, đề xuất giải

• Tác giả: Nguyen Thanh Truc
• Người hướng dẫn: Dr. Cao Thi Nhan
• Trường học: Vietnam National University — Ho Chi Minh City
• Chuyên ngành: Bachelor of Engineering in Information Systems
• Đề tài: Dự Đoán Ung Thư Phổi Sử Dụng Thuật Toán Học Máy
• Loại tài liệu: Thesis
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGEMENTS
• ADVISORS COMMENTS
• REVIEWER COMMENTS
• 1. CHAPTER 1: INTRODUCTION
• 1.1. General Introduction
• 1.2. The Rationale for Choosing the Topic
• 1.3. Objective and Scope
• 1.4. Methodology
• 1.5. Comparison and Evaluation
• 1.6. Report Outline
• 2. CHAPTER 2: BACKGROUND AND THEORY
• 2.1. Basic Knowledge of Lung Cancer
• 2.1.1. What is Lung Cancer?
• 2.1.2. What are Malignant Lung Tumors?
• 2.1.3. What are Benign Lung Tumors?
• 2.2. Causative Agents of Lung Cancer
• 2.2.1. Primary Causes of Lung Cancer
• 2.2.2. Secondary Causes and Carcinogenic Agents
• 2.3. Understanding Cancer Stages
• 3. CHAPTER 3: EXPERIMENTS AND RESULTS
• 4. CHAPTER 4: CONCLUSION
• REFERENCES
• LIST OF ACRONYMS AND ABBREVIATIONS
• LIST OF FIGURES
• LIST OF TABLES

Tóm tắt

I. Tổng Quan Về Dự Đoán Ung Thư Phổi Sử Dụng Thuật Toán Học Máy

Dự đoán ung thư phổi là một trong những thách thức lớn trong y tế hiện đại. Sự phát triển của công nghệ và thuật toán học máy đã mở ra những cơ hội mới trong việc phát hiện và chẩn đoán bệnh. Việc áp dụng các mô hình học máy giúp cải thiện độ chính xác và tốc độ trong việc phân tích dữ liệu y tế. Đặc biệt, ung thư phổi là một trong những loại ung thư phổ biến và nguy hiểm nhất, đòi hỏi sự chú ý đặc biệt từ các nhà nghiên cứu.

1.1. Tầm Quan Trọng Của Dự Đoán Ung Thư Phổi

Dự đoán ung thư phổi không chỉ giúp phát hiện sớm mà còn nâng cao khả năng điều trị. Việc sử dụng thuật toán học máy trong y tế giúp phân tích dữ liệu lớn và phát hiện các mẫu mà con người khó nhận ra.

1.2. Các Công Nghệ Hỗ Trợ Dự Đoán

Công nghệ AI và học máy đang được áp dụng rộng rãi trong y tế. Các mô hình như CNN, SVM và Logistic Regression đã chứng minh hiệu quả trong việc phân tích hình ảnh y tế và dự đoán ung thư.

II. Thách Thức Trong Dự Đoán Ung Thư Phổi

Mặc dù có nhiều tiến bộ trong công nghệ, việc dự đoán ung thư phổi vẫn gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là chất lượng và độ chính xác của dữ liệu đầu vào. Dữ liệu không đầy đủ hoặc không chính xác có thể dẫn đến kết quả sai lệch. Hơn nữa, sự đa dạng trong các loại ung thư phổi cũng làm cho việc phát hiện trở nên phức tạp hơn.

2.1. Vấn Đề Về Dữ Liệu Y Tế

Dữ liệu y tế thường không đồng nhất và có thể bị thiếu sót. Việc thu thập và xử lý dữ liệu chính xác là rất quan trọng để đảm bảo độ tin cậy của mô hình dự đoán.

2.2. Độ Phức Tạp Của Các Loại Ung Thư

Ung thư phổi có nhiều loại khác nhau, mỗi loại có đặc điểm và cách điều trị riêng. Điều này tạo ra thách thức lớn trong việc phát triển mô hình dự đoán chính xác cho từng loại.

III. Phương Pháp Dự Đoán Ung Thư Phổi Hiệu Quả

Để dự đoán ung thư phổi hiệu quả, cần áp dụng các phương pháp học máy tiên tiến. Việc kết hợp giữa các mô hình học sâu như CNN và các thuật toán học máy truyền thống như SVM có thể mang lại kết quả tốt hơn. Các mô hình này có khả năng học hỏi từ dữ liệu lớn và phát hiện các mẫu phức tạp trong hình ảnh y tế.

3.1. Mô Hình Học Sâu CNN

Mô hình CNN đã được chứng minh là hiệu quả trong việc phân tích hình ảnh y tế. Nó có khả năng phát hiện các đặc điểm quan trọng trong hình ảnh CT phổi, giúp nâng cao độ chính xác trong chẩn đoán.

3.2. Kết Hợp Các Thuật Toán Học Máy

Việc kết hợp các thuật toán như SVM và Logistic Regression với mô hình CNN có thể cải thiện đáng kể độ chính xác của dự đoán. Các mô hình hybrid này tận dụng sức mạnh của cả hai phương pháp để đạt được kết quả tốt nhất.

IV. Ứng Dụng Thực Tiễn Của Dự Đoán Ung Thư Phổi

Các mô hình dự đoán ung thư phổi không chỉ có giá trị trong nghiên cứu mà còn trong thực tiễn lâm sàng. Chúng có thể hỗ trợ bác sĩ trong việc đưa ra quyết định điều trị kịp thời và chính xác. Hơn nữa, việc phát hiện sớm ung thư phổi có thể cải thiện tỷ lệ sống sót cho bệnh nhân.

4.1. Hỗ Trợ Quyết Định Lâm Sàng

Các mô hình dự đoán cung cấp thông tin quan trọng giúp bác sĩ đưa ra quyết định điều trị phù hợp. Điều này không chỉ tiết kiệm thời gian mà còn nâng cao chất lượng chăm sóc sức khỏe.

4.2. Tăng Cường Tỷ Lệ Sống Sót

Việc phát hiện sớm ung thư phổi thông qua các mô hình dự đoán có thể làm tăng tỷ lệ sống sót cho bệnh nhân. Điều này cho thấy tầm quan trọng của công nghệ trong việc cải thiện sức khỏe cộng đồng.

V. Kết Luận Về Dự Đoán Ung Thư Phổi

Dự đoán ung thư phổi sử dụng thuật toán học máy là một lĩnh vực đầy tiềm năng. Mặc dù còn nhiều thách thức, nhưng những tiến bộ trong công nghệ hứa hẹn sẽ mang lại những giải pháp hiệu quả hơn trong việc phát hiện và điều trị bệnh. Tương lai của dự đoán ung thư phổi sẽ phụ thuộc vào sự phát triển của các mô hình học máy và khả năng tích hợp chúng vào quy trình chăm sóc sức khỏe.

5.1. Tiềm Năng Phát Triển

Với sự phát triển không ngừng của công nghệ, dự đoán ung thư phổi sẽ ngày càng chính xác hơn. Các nghiên cứu tiếp theo cần tập trung vào việc cải thiện chất lượng dữ liệu và phát triển các mô hình mới.

5.2. Tương Lai Của Công Nghệ Trong Y Tế

Công nghệ sẽ tiếp tục đóng vai trò quan trọng trong y tế, đặc biệt là trong việc phát hiện và điều trị ung thư. Sự kết hợp giữa công nghệ và y tế sẽ mở ra nhiều cơ hội mới cho bệnh nhân và bác sĩ.

Trích đoạn nội dung tài liệu

„AAA(AAAAWAAAA/(AAAAA/A(AAAAA/AA/A/0/AW(/A/A//AWAAA////A//A/A/A/A/A/A/A(A/A////A A/A//A(AA/A(/A/AW///A/A/AA/AA/W///AA/A(////0/AA/////AWA/A/A/A(///A///AW/AA///AA/A/0//AA//A//W/AW/AA//A//A(//6///0////0///Ấ, 2 2 NXÀSBGãà)ThiEOỐề:o 2 £ 2 4 VIETNAM NATIONAL UNIVERSITY — HO CHI MINH CITY 2 4 £ UNIVERSITY OF INFORMATION TECHNOLOGY ị FACULTY OF INFORMATION SYSTEMS 7 Nguyen Thanh Truc — 19522417 Tran Thi Cam Tu — 19522458 QẤTYU Lung Cancer Prediction Using Machine Learning 38XNÀàãSỀ&ö:)y Algorithms go `ẪẶq@W BACHELOR OF ENGINEERING IN INFORMATION SYSTEMS Q0LOAC THESIS ADVISORS Dr. CAO THỊ NHAN MSc. NGUYEN THI KIM PHUNG NSXà8AYK&y) HO CHI MINH CITY, DECEMBER 2023 AMM(AA(AIA/AAA(AA (AI /0(/A/A/ĂIA/A/A/E(/00/000/A//A//AAW/E///0/0//A/A//A//AW/A/////A/A/AAW/A/A/E/W/0///A/0/A/0/A//A//A/0////0/0/A/0/////0//0/////À `Ắ.ĂẲ ASSESSMENT COMMITTEE The Assessment Committee is established under the Decision.- by Rector of the University of Information Technology. Nguyen Dinh Thuan.

Ngo Duc Thanh. Nguyen Thanh Binh. ACKNOWLEDGEMENTS We would like to sincerely express our gratitude to the University of Information Technology for creating favorable learning conditions and providing crucial resources throughout our academic journey. Our deep appreciation goes to the members of the academic board, teachers, and mentors from the Faculty of Information Systems and other departments, who played a vital role in shaping our understanding and supporting us through these years.

We would like to express our profound gratitude to Dr. Cao Thi Nhan and MSc. Nguyen Thi Kim Phung for their exceptional guidance and unwavering support throughout the entire process of crafting this thesis. Their expertise, encouragement, and constructive feedback have been invaluable assets that significantly contributed to the quality and depth of our research.

We want to convey our sincere dedication and unwavering effort during the thesis- writing process. Though the journey was not without difficulties and challenges, we endeavored to overcome each obstacle with perseverance and enthusiasm. We hope that the outcome of the thesis reflects our dedication and commitment. Simultaneously, we seek understanding and compassion from our mentors if any shortcomings are identified in the final product.

We sincerely thank you for the support and guidance provided by our mentors throughout this journey, and we will be evident in the final achievement of the thesis. We sincerely appreciate it! Nguyen Thanh Truc Tran Thi Cam Tu ADVISORS COMMENTS REVIEWER COMMENTS TABLE OF CONTENTS CHAPTER 1: INTRODUCTTION.- - s11 9191919 TT nh TT nh nh TH HH HH 9 2. The Rationale for Choosing the TOpIC. Report Outline oo.

11 CHAPTER 2: BACKGROUND AND THEORY. Basic Knowledge of Lung CaTnC€T. Model Evaluation ÍMGfTICS. - - - SĂ 3S 112111111119 1v HH HH kg 18 CHAPTER 3: EXPERIMENTS AND RESULTS.

Model Archif€CfUT. 2 1201121 12511211 1111111111111 11 111 H1 g1 H1 TH nh Hy 24 2. Convolutional Neural Networks (CNN). - --- -- sec st sex srrirey27 2.

Logistic R€BT€SSIOH.c 2c 2c 22012 11201111121 1111 1111111 1 1111 T1 HH Hàn Hy 30 2. Support Vector Machine (SVM). Hybrid Deep Learning and Machine Learning Models. Model Evaluation R€SuÏtS.

Training Model ConfiỹUratIOT.- óc +21 31 1331191111511 111111 1E ke 35 CN? Ji nh cố. Machine Learning MoOdelÌlS. Hybrid CNN 3 Layers — Machine Learning. Hybrid CNN 4 Layers - Machine Learning.

Hybrid RESNETS0 — Machine Learning. Hybrid VGG16 — Machine LearnIng. Summary of Model Training R€SuÏfS.-- - -- 5 22+ 3+2 EE + ES+EEESsersrersrererrkreske 63 6. Deep Learning Models ReSuÏ(S.

Machine Learning Models ReSuÏ(S. Hybrid Models Results177. HS HH ng HH HH kg 67 REFERENCES. HH ng TH nọ ng it 69 LIST OF ACRONYMS AND ABBREVIATIONS No Acronyms Meaning 1 CNN Convolutional Neural Network 2 VGGI6 Visual Geometry Group 16 3 RF Random Forest 4 LR Logistic Regression 5 SVM Support Vector Machine LIST OF FIGURES Figure 1: I0 461x520.

13 Figure 2: Malignant Lung Tumors (Left) — Benign Lung Tumors (R1ght). --- - 5 55+ s+x+v£svssxss 13 Figure 3: The four stages of lung cancer progression [28] |. --- ¿5+ 522223 *++*+t£*+e+eEsrerrxerrersrrrrrerrke 15 Figure 4: Definition of Confusion Matrix [30].cccccccccscsssesccesseseeseeseceeeeseeseceeceseesecseceeeeseesesseseeeeeeeseeaeens 18 Figure 5: Original images for the three categories: Benign, Malignant and Normal.--- -- 21 Figure 6: Image after 1150821 02012i1xs12i10 0. 22 Figure 7: Integrated Pipeline for Lung Cancer Prediction of Individual Model s.--- -¿- 55x55 24 Figure 8: Integrated Pipeline for Lung Cancer Prediction of Hybrid Models 00.

ceececeseseeseeeeeseeneeees 25 Figure 9: CNN Architecture [23] .a 27 Figure 11: Summary of 46. 28 Figure 12: RESNETS0 Architecture [26] .- 2c 2c 221221121121 1211151 55111115111 11111111 11 11 H1 HT HH HT rệt 29 Figure 13: Logistic Regression Architecture [27]. --- - --- +2: + 3x33 E*EEEE+EEsrEsrrrerrerrrrrrrrrrrrrerrerrkre 30 Figure 14: €1 v100804s30209011/301010)0 01550. 33 Figure 16: Hybrid model CNN with ML Architecture [37].- -¿ ¿5c +: ++e*++++kEveerxererrrrrererrresrs 34 Figure 17: Accuracy and Loss Per Epoch of CNN 3 Layers Figure 18: Confusion Matrix of CNN 3 Layers (Test Set) .ccccccescescesseeseeeeseeeeceeeeseeseeeeeeseaeeeeseeeeeeneeaes Figure 19: Accuracy and Loss Per Epoch of CNN 4 Layers Figure 20: Confusion Matrix of CNN 4 Layers (Test Set).

--- cà tt HH HH it 39 Figure 21: Accuracy and Loss Per Epoch of RESNETS0 .cccecesescesseseceseeseeseceeceeeeseeseceeeeseesesseseeeeseeaeens 40 Figure 22: Confusion Matrix of RESNETSO (Test Sef). ch HH HH HH HH HH ri41 Figure 23: Accuracy and Loss Per Epoch of VG ÌỐ. -s sk vn TT nh TH Thư 42 Figure 24: Confusion Matrix of VGG16 (Test Set). cecsceeseeseeseeeeseesceecseeseeeeseesceessesseeecesaeeeeeeaeeeeeees 43 Figure 25: Confusion Matrix of Random Forest (Test Set) .ccccccsssscssseseeseseeseeseeeeseeeeeecseeseeesseeseneeeeaeeees 44 Figure 26: Confusion Matrix of Logistic Regression ÌMoOe€lL.

-- - s6 St E99 2 EsEskrrkskerkrkeeree 45 Figure 27: Confusion Matrix of Support Vector Machine Model. ---- + +5 + ssxserersreeerrreee 47 Figure 28: Confusion Matrix of CNN 3 Layers - Random FOT©Sí. 6 6+ tt nghe 48 Figure 29: Confusion Matrix of CNN 3 Layers - Logistic Ñ€BT€SSIOI.- c5 Sex ssrrsrsekseree 49 Figure 30: Confusion Matrix of CNN 3 Layers - SVM.- 1h ST HT gi 50 Figure 31: Confusion Matrix of CNN 4 Layers — Random FOT€SE.- + tt 2E sksEskrrkekerkree 51 Figure 32: Confusion Matrix of CNN 4 Layers — Logistic Regression .cccecesssceseeseseeseeeeseeseeeeteeseeeeeees 53 Figure 33: Confusion Matrix of CNN 4 Layers — SVM.- c c St v vn TH HH TH HH xế 54 Figure 34: Confusion Matrix of RESNET50 - Random FOT€S(. --- 6 + 5c tt S + + EEerrksekskrrkre 55 Figure 35: Confusion Matrix of RESNETS0 - Logistic Regression.cccscesseeseeseeseeeeeeseeseeaeeeeeeneeeeneenes 56 Figure 36: Confusion Matrix of RESNETS50 - SM.- SG SH TH TH HH TH TH ng HH 58 Figure 37: Confusion Matrix of VGG16 - Random Forest .-- -- - +: 5 2E 2E2E2 22tr 59 Figure 38: Confusion Matrix of VGG16 - Logistic RÑ€BT€SSION.- 3+ 33t *+Evrrveerrrrsrrrrrrrrsre 60 Figure 39: Confusion Matrix of VGG16 - SVM u.ccececsscesceseseesceseeeeseeeeseeseeeeseeaeeecsecseeaeeessesaeeceeaeeeeeeaee 61 LIST OF TABLES Table 1: Data Summary 0E).

23 Table 2: The model training parameters. 35 Table 3: Classification Report for CNN 3 Layers Model (Test Set).:ccccsscssssseceeeseeeeeeseeseeeeteeseeseeeaees 37 Table 4: Classification Report for CNN 4 Layers Model (Test Se†). -ó- tt ng re, 39 Table 5: Classification Report for RESNET50 Model (Test Set). cceceseesesssseesceeeteeseeeeeeeseeeceeeseeeeeeeaees 41 Table 6: Classification Report for VGG16 Model (Test Set) 00.

ceceeceescesceseeeeceseesecneceeeeseeseeaeeneeeeeeaeeatenes 43 Table 7: Classification Report for Random Forest ÌMO de]. - - ¿c5 62+ 13t E 3E 92 E2 ESESkEekekeskekkskerkri 44 Table 8: Classification Report for Logistic Regression MOdel. + t3 evkErkrerekekreree 46 Table 9: Classification Report for SVM MOdelL.-- +: + 313311213 E9 E151 1 1111 111111 Triết 47 Table 10: Classification Report for hybrid model CNN 3 Layers — Random Forest. --- ----‹-s- 49 Table 11: Classification Report for hybrid model CNN 3 Layers - Logistic Regression.---- 50 Table 12: Classification Report for hybrid model CNN 3 Layers and SM.-- 5 + c+c+ec+xcsecee 51 Table 13: Classification Report for hybrid model CNN 4 layers and Random Forest.

-------- 52 Table 14: Classification Report for hybrid model CNN 4 layers and Logistic Regression. 53 Table 15: Classification Report for hybrid model CNN 4 layers and SVM. ceesesceeeeteneeesteneeeeseeeees 54 Table 16: Classification Report for hybrid model RESNETS50 and Random Forest. --- --- 5+ 56 Table 17: Classification Report for hybrid model RESNETS0 and Logistic Regression.

--- 57 Table 18: Classification Report for hybrid model RESNETS0 and SVM.- -----+s+xs+ss+sssersersers 58 Table 19: Classification Report for hybrid model VGG16 and Random Forest. -¿- +5 5s =+s++ 60 Table 20: Classification Report for hybrid model VGG16 and Logistic RegresS1on.---- + 61 Table 21: Classification Report for hybrid model VGG16 and SVM .ccccsccsceeseeseeseesseeeeeseeseeseeeeeeseeaeeaes 62 Table 22: Summary Results of Deep Learn1ng. --- - c1 119 311 1 191 11 HT TH ng 63 Table 23: Summary Results of Machine Learning .-- --- -- + scs tk EExvrvrerrrrrrrrkrrrrrrrrrerrkrrkre 64 Table 24: Summary Results of Hybrid Models. --- (6131121151 1 1191 9151151 11 111 gu nh 64 CHAPTER 1: INTRODUCTION 1.

General Introduction In the era brimming with excitement of the industry 4.0 revolution, rapid advancements in the fields of computer science and artificial intelligence have burgeoned, unlocking vast potential in applying technology to all aspects of life, particularly in healthcare. By harnessing the power of big data, rapid information processing, and machine learning capabilities, the healthcare industry has paved the way for transforming how we understand and manage our health. One of the significant and pressing challenges that the healthcare industry faces today is the ability to accurately diagnose and detect various diseases, especially in the case of cancer. Machine learning has become a crucial tool to support physicians and healthcare experts.

The application of machine learning in healthcare brings numerous benefits, including the efficient processing of large volumes of data, the detection of intricate features that may be challenging for human recognition, and swift decision support. However, to ensure safety and reliability, the development of predictive disease systems must always be conducted under the supervision and control of healthcare experts. Such systems not only save time but also present crucial opportunities to enhance the quality of healthcare and increase survival chances for those afflicted. With this goal in mind, research into the unique combination of Convolutional Neural Networks (CNN) and traditional machine learning algorithms becomes essential.

This convergence not only opens up a new realm of research but also holds the promise of contributing significantly to improving accuracy and efficiency in the diagnostic process. Lung cancer, particularly in the aftermath of the COVID-19 pandemic, has emerged as a top priority in research. The integration of the power of CNN with machine learning capabilities from traditional algorithms promises to optimize the prediction and diagnosis process, introducing new prospects to enhance treatment efficacy and increase survival opportunities for those affected. The Rationale for Choosing the Topic The decision to choose the topic "Lung Cancer Prediction using Convolutional Neural Networks and Machine Learning Algorithms" stems from a profound understanding of the importance of researching and applying technology in the field of healthcare.

Lung cancer, one of the most daunting challenges in modern healthcare, poses an increasingly significant problem in early diagnosis and effective treatment. The choice to use Convolutional Neural Networks (CNN) and traditional machine learning algorithms is not only to harness the power of artificial intelligence in processing and analyzing medical images but also represents a groundbreaking step in medical technology. It opens vast prospects, promising a substantial improvement in the diagnosis of diseases, thereby enhancing the ability to treat and improve the quality of life for those affected. Especially, this project is not just an opportunity to develop in-depth skills and knowledge in machine learning and artificial intelligence, but also a global mission to enhance the diagnosis and treatment of cancer, a pressing global health issue.

The integration of technology and healthcare not only explores new research areas but also actively contributes to a larger mission - protecting and improving the health of the global community. Furthermore, the project aims at practical and humane goals, including aiding patients in early disease detection, optimizing the treatment process, and providing comprehensive information. If successfully implemented, the predictive system developed from this project could become a valuable tool, assisting patients and the healthcare community in raising awareness about their health status. The fusion of predictive technology and healthcare processes will bring significant benefits to patients, enabling them to be more proactive in managing their personal health.