Chương 1. TONG QUAN DE TẢI. 2-52 522S2SEE‡EESEE2EE2E12E1571711222212 22x crxe 3 1. Lý do chọn đề tài.Ặ 2Q Q ST n HH TT TT nghe 4 RA TC.
Tổng quan bài toán phân loại âm thanh. _ Phân loại âm thanh tiếng ho COVID-1Ó9. Cac công trình và nghiên cứu liên quan. PHƯƠNG PHÁP TIẾP CAN.
Cac bộ dữ liệu âm thanh tiếng ho. Bộ dữ liệu AICovidVN. HH HH HH hệ, 11 2. Bộ dữ liệu COUGHVID occ ececeeseenecneeeeceeeeseeseceeneeeeeneeeaeeaees 12 2.
Bộ dữ liệu Coswar. Bộ dữ liệu ESC-5(. ST ST HH HH TH HH HH key 13 2. _ Đặc trưng trích xuất từ âm thanh tiếng ho.
Tổng quan về đặc trưng âm thanh .- ch nh TH Hàn nh nh nành 15 2. Mel-frequency cepstral coefficients (MFCC). Phương pháp xử lý đặc trung oo. ch H TH HH HH ng 18 2.
Synthetic Minority Oversampling Technique (SMOTE). Mạnh sinh đối khang (GAN). Cac mô hình phan ÌOạI. Support Vector Machine (SVM).--c Hs SH ng tren 22 2.
Light Gradient Boosted Machine (Light-GBMI). Convolutional Neural Network (CNN). Long short-term memory (LSTM). HH HH HH TH HH nh nh HH40 2.
Độ đo đánh gia Area Under The Curve - Receiver Operating Ôi) 10i1y3i14. HỆ THONG CHUAN DOAN COVD-19 QUA ÂM THANH TIENG aaá:ẢẳẳẢẳẮẮẦẮÁ. Hệ thống chuẩn đoán COVID-19 qua âm thanh tiếng ho. Quy trình phân tích và xử lý và trích xuất đặc trưng.
Cough seømenfafIOn. Cough concaf€nafiON. Giải pháp phát hiện âm thanh tiếng ho: Cough Detection. _ Giải pháp nhận diện âm thanh tiếng ho COVID-19: COVID-19 Cough |9 340)0519)9EEHHadddddidiiidddÝŸỶŸỐ.
Giải pháp tạo sinh đặc trưng tiếng ho COVID-19: COVID-19 Cough GAN. XÂY DUNG THÍ NGHIEM VA PHAT TRIEN HỆ THONG. Téng quan mô hình thực nghiém. Huong tiếp cận học may.
Hurong tiếp cận học Sau v. Hướng tiếp cận tăng cường dữ liệu bang GAN. Dữ liệu metadata. Dit liệu tiếng ho.c- + 5c tt EE21121211 2112112111 Ertke 57 4.
Kết quả thí nghiệm. Phat hiện âm thanh tiếng ho. - 2 2 2+E+E£EE£EE2EE2EeEEerkerxerkee 59 4. Nhận diện COVID-19 qua âm thanh tiếng hO.
Mô hình Học máy. Mô hình Học sâu. Mô hình Học sâu với dit liệu tăng cường .----c+s- sex67 Chương 5. _ XÂY DỰNG HE THONG UNG DỤNG.
Môi trường thực hiỆn. Xây dựng hệ thống. Ý tưởng hệ thống.-- SE EE E2EEEEEEEE12112121 111. Phuong pháp thực hiỆn.
Kết quả chương trình. ---- c25+2S SE EEEEEEE2E11E11E11211 11t, 70 Chương 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIÉN. Kết quả đề tài.
Đóng góp và phương pháp dé Xxuất. Hướng phat triển.- - c St E21 EEEEE1211211111111211211 1111 xe 76 TÀI LIEU THAM KHẢO.- - 52+ SE2EEEEE2EEEEEEE2E5E111212EE111511251115111 11x. cxeE 77 DANH MỤC HÌNH Hình 2.1: Phương pháp tiếp cận bài toán Nhận điện COVID-19 qua tiếng ho.2: Chuyên đổi tin hiệu âm thanh sử dung Fourier Transform.3: Hình ảnh trực quan của Spectrogram va Mel-spectrogram.4: Trình tạo tạo sinh mẫu giả từ véc-tơ nhiễu.--- 2 + 5z+sz+x+zzzs+2 21 Hình 2.5: Trình phân biệt gan nhãn cho 1nput.6: Cac siêu phăng có thé có va margin cực đại.--- ess eseseesteseeseeee 23 Hình 2.7: Siêu phang 2-D và 3-D trong không gian đặc trưng (feature space).9: Thuật toán Ensemble Gradient Boosting.10: Thuật toán Ensemble Bagging Tree.--- -- 55c S+cc+scxseersres 29 Hình 2.11: CNN lây cảm hứng từ hoạt động của vỏ não thị giác.12: Mô hình Neural Network đơn giản. - -- sc + + ssvsserssersrreres 31 Hình 2.13: CNNs trong nhận điện hình ảnh.14: Cấu trúc ảnh RGB.15: Filters dùng dé trích xuất đặc trưng.17: Stride trong việc di chuyển filter.-----2¿-s+2sz+2x+2z++zx+zzxczzxeex 36 Hình 2.
-- ---- - - + 2c 1121111211 112111911 11911118111 811111 1H ng ng 37 Hình 2.19: Kích thước của input va output băng nhau khi dùng zero-padding.20: Zero-padding giúp tránh việc filter trượt khỏi ma trận đầu vào.21: Cau tao LSTM.22: Tích chập Depthwise.23: Tích chập POInfWIS€.24: Ma trận Confusion 1mafT1X. -- + 2 3 221132223111 23311 vs crrre44 Hình 2.25: Trực quan AUC-ROC. - -- 2 St 2111221121112 1 9111 1H 1 HH Hiệp 45 Hình 3.1: Kiến trúc hệ thống đề xuất chuẩn đoán COVID-19 qua tiếng ho.2: Quy trình phân tích và trích xuất đặc trưng.---- 2-2 2 s+cs+csse247 Hình 3.3: Các đoạn tiếng ho trong một mẫu đữ liệu.4: Quy trình Cough Concafenation.5: Kiến trúc mô hình phát hiện âm thanh tiếng ho.6: Kiến trúc phương pháp tiếp cận với mô hình lai (hybrid).7: Kiến trac mô hình COVID-19 Cough GAN.- - 2 2+5z2cz+cczxcrxd 53 Hình 4.1: Phương pháp Cross-valIdaf1On. - -- 5 22323323 *2E£EE+vEsereeeresrrses 55 Hình 4.2: Thong tin lưu trữ trong metadata của bộ dữ liệu Coswara.1: Sơ đồ xử lý với mô hình Model View Template của Django.2: Giao diện hệ thống demo nhận diện COVID-19 qua âm thanh tiếng ho.3: Người dùng nhập các thông tin va ghi âm tiếng ho.---:-5- 71 DANH MỤC BANG Bảng 4.1: Thống kê số lượng tiếng ho có trong mẫu đữ liệu.2: Tham số cài đặt các mô hình Học MAY.3: Quy tắc chuyên đồi nhãn.
- ¿5 St SE E1 E2 EEEEEEEEE21121121 11111.4: Thống kê nhãn của dữ liệu phát triển giải pháp Phát hiện âm thanh tiếng ho.-- 2-22 5£22S2E£2EE22EEE2EE2E12221231221222121222122 59 Bảng 4.5: Thống kê dữ liệu sạch được sử dụng đề phát triển các phương pháp Nhận diện âm thanh tiếng ho COVID-19.6: Điểm AUC-ROC của các mô hình phát hiện tiếng ho.7: Điểm AUC-ROC của các mô hình Học máy trên Coswara.8: Điểm AUC-ROC của các mô hình Học máy trên COUGHVID.9: Điểm AUC-ROC của các mô hình Học máy trên AICovidVN.10: Điểm AUC-ROC của mô hình MobileNet trên Coswara.11: Điểm AUC-ROC của mô hình MobileNet trên COUGHVID.12: Điểm AUC-ROC của mô hình MobileNet trên bộ dữ liệu AICovidVN. geo MR ẤP.13: Điểm AUC-ROC của mô hình lai tạo trên Coswara.14: Điểm AUC-ROC của mô hình lai tạo trên COUGHVID.15: Điểm AUC-ROC của mô hình lai tạo trên AICovidVN.16: Điểm AUC-ROC của mô hình MobileNet trên AICovidVN Va ¡0i áp 1-ốuì 1111070777. 67 DANH MỤC TU VIET TAT 1-D, 2-D 1-Dimensional, 2-Dimensional Al Artificial Intelligence CNN Convolutional Neural Network COVID-19 Coronavirus Disease of 2019 DL Deep Learning ESC-50 Environmental Sound Classification-50 GAN Generative Adversarial Network SARS-CoV-2 Severe Acute Respiratory Syndrome Coronavirus 2 WHO World Health Organization TOM TAT KHÓA LUẬN Trong phạm vi nghiên cứu của khóa luận này, chúng tôi thực hiện khảo sat các công trình nghiên cứu đi trước về việc sử dụng tiếng ho của con người dé phân loại và sàng lọc COVID-19 từ xa. Chúng tôi hướng tới việc xây dựng giải pháp thông minh sử dụng học máy và học sâu để phát triển các giải pháp sàng lọc COVID-19 an toàn, nhanh, hiệu quả và tiết kiệm.
Trong nghiên cứu của chúng tôi sử dụng ba bộ dữ liệu tiếng ho Coswara, COUGHVID va AICovidVN (tiếng ho của người Việt Nam). Đóng góp của nghiên cứu này gồm Xử lý đữ liệu - trích xuất đặc trưng và Phát triển các mô hình: e Xử lý dữ liệu - trích xuất đặc trưng: Chúng tôi đề xuất quy trình Cough Segmentation và Cough concatenation với mục dich cải thiện chất lượng đặc trưng trích xuất và tăng nguồn dữ liệu huấn luyện. e Phát triển các mô hình: © Mô hình phát hiện tiếng ho: Chúng tôi thiết kết một mô hình học sâu có thé tiếp nhận và học từ hai dang đặc trưng đầu vào khác nhau (đặc trưng 1 chiều và đặc trưng 2 chiều) được trích xuất từ tiếng ho. ©_ Mô hình nhận diện tiếng ho COVID-19: Một mô hình lai tạo được dé xuất dé nhận đầu vào là đặc trưng tiếng ho cùng với thông tin metadata (thông tin cá nhân, thông tin bệnh lý) để đưa ra dự đoán về khả năng dương tính với COVID-19 của mẫu tiếng ho.
© Mô hình tăng cường dữ liệu sử dung GAN: Chúng tôi thiết kế một kiến trúc GAN với dit liệu huấn luyện từ bộ dit liệu AICovidVN dé huấn luyện một mô hình có khả năng sinh ra các mẫu đặc trưng tiếng ho nhân tạo. Ngoài ra, chúng tôi cũng tiến hành thực nghiệm trên các mô hình học máy và các phương pháp tiền xử lý đặc trưng khác nhau để đưa ra nhiều kết quả so sánh cho nghiên cứu. TONG QUAN ĐÈ TÀI 1. Lý do chọn đề tài COVID-19 do Coronavirus 2 (SARS-CoV2) gây ra, là hội chứng hô hap cấp tính được tổ chức y tế thé giới (WHO) tuyên bé là đại dịch toàn cầu vào ngày 11 tháng 2 năm 2020.
Theo trang thống kê trực tuyến worldometers.info [1], tính đến sáng ngày 29/11/2021 (giờ Việt Nam), thé giới ghi nhận có tông cộng 261,763,255 ca nhiễm COVID-19, trong đó 5,217,302 ca tử vong và 236,423,420 ca bình phục. Còn ở Việt Nam ghi nhận có tong cong 1,210,340 ca nhiém COVID-19, trong đó 24,882 ca tử vong và 958,636 ca bình phục. Việc bùng nô đại dịch SARS — CoV-2 đang diễn biến ngày càng phức tạp và khó lường gây ảnh hưởng nghiêm trọng đến kinh tế xã hội trên toàn thé giới. Ké cả những quốc gia lớn, giàu mạnh trên thế giới cũng gặp khó khăn trong việc triển khai các phương pháp kiểm dịch và quản lý do sự lây lan nhanh chóng, phức tạp và ngày càng xuất hiện thêm các biến chủng nguy hiểm khác của SARS-CoV2 có thé kề đến như Beta, Gamma, Delta, Omicron.
Hiện nay phương pháp xét nghiệm COVID-19 phô biến và tiêu chuẩn có thé kế đến real-time Reverse Transcription Polymerase Chain Reaction (rRT-PCR) được sử dung thường xuyên dé xác nhận các trường hop COVID-19. Phuong pháp thử nghiệm này mặc dù có nhiều ưu điểm là có độ chính xác khá cao và ít có khả năng mang lại kết quả âm tinh giả nhưng bên cạnh đó vẫn còn nhiều van đề khó khăn dé kiểm soát đại dịch vì những lý do như: tính khả dụng bị hạn chế do vấn đề địa lý và thời gian; sự khan hiếm và chi phí của các xét nghiệm lâm sang; yêu cầu phải trực tiếp đến bệnh viện, phòng khám, phòng thí nghiệm hoặc trang bị phòng thí nghiệm di động dé tiễn hành kiểm tra, việc nay có thé gây ra lây nhiễm giữa người được kiểm tra với nhau và đội ngũ y tế trong quá trình kiểm tra. Phân loại tín hiệu âm thanh ho đã được sử dụng thành công đề chân đoán nhiều loại bệnh liên quan đến đường hô hap và đã có sự quan tâm đáng ké đến việc tận dụng Học may (Machine Learning) dé cung cap sang loc COVID-19 rộng rãi. Các nghiên cứu trước đây đã chỉ ra răng ho do các hội chứng hô hấp riêng biệt có các đặc điểm tiềm ẩn riêng biệt [2].
Những đặc điểm riêng biệt này có thé được trích xuất bằng xử lý tín hiệu thích hợp và các phép biến đổi trên âm thanh ho. Các đặc trưng sau đó có thể được sử dụng để đào tạo một công cụ Trí tuệ nhân tạo (Artificial Intelligence) tinh vi dé thực hiện sơ bộ chan đoán chi dựa trên tiếng ho. Một số phân tích chuyên sâu đã được chứng thực về sự thay đổi hình thái bệnh lý gây ra bởi COVID-19 trong hệ thống đường hô hấp, cho thấy rằng các thay đổi là khác biệt với những bệnh do các bệnh đường hô hấp không phải do COVID-19 gây ra. Điều này cho thấy COVID-19 lây nhiễm vào hệ hô hap theo một cách riêng biệt.