Luận án phân loại tín hiệu âm thanh bằng học sâu tại Đại học Phùng Giáp của NCS Nguyễn Minh Tuấn

Tìm hiểu kỹ thuật phân loại tín hiệu âm thanh bằng deep learning. Tổng hợp các mô hình tiên tiến, kiến trúc mạng và quy trình xử lý dữ liệu hiệu quả.

• Tác giả: Nguyễn Minh Tuấn
• Người hướng dẫn: GS.TS. Hoàng Cẩm Hoàng
• Trường học: Đại học Phùng Giáp
• Chuyên ngành: Kỹ thuật Cơ khí và Hàng không
• Đề tài: Phân loại tín hiệu âm thanh bằng các kỹ thuật học sâu
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2021
• Địa điểm: Đài Trung

Tóm tắt

I. Tổng quan phân loại tín hiệu âm thanh bằng học sâu

Nghiên cứu phân loại tín hiệu âm thanh bằng học sâu tại Đại học Phùng Giáp năm 2021 đánh dấu bước đột phá trong xử lý âm thanh kỹ thuật số. Luận án tiến sĩ của tác giả Nguyễn Minh Tuấn dưới sự hướng dẫn của Giáo sư Jin H. Huang tập trung khai thác mạng nơ-ron tích chập (CNN). Mục tiêu cốt lõi là giải quyết các bài toán nhận dạng âm thanh phức tạp trong môi trường thực tế. Hệ thống chuyển đổi các dao động cơ học dạng sóng âm thành dữ liệu số có cấu trúc. Công nghệ này phân tích phổ tần số để trích xuất các đặc trưng tiềm ẩn. Phương pháp tiếp cận hiện đại thay thế các thuật toán truyền thống vốn phụ thuộc nhiều vào tham số thủ công. Sự kết hợp giữa xử lý tín hiệu và trí tuệ nhân tạo tạo ra mô hình tự động hóa toàn diện. Kết quả nghiên cứu hỗ trợ định vị nguồn phát âm, nhận diện giọng nói và giám sát âm thanh môi trường. Đề tài mở ra tiềm năng lớn cho các thiết bị thông minh và robot tương tác.

1.1. Bối cảnh nghiên cứu tại Đại học Phùng Giáp

Đại học Phùng Giáp tại Đài Loan nổi tiếng với các công trình cơ khí và hàng không vũ trụ. Năm 2021, nhóm nghiên cứu tập trung giải quyết bài toán nhận thức của máy móc qua âm thanh. Xử lý tín hiệu âm thanh vốn đối mặt nhiều thách thức do tiếng ồn nền và tính biến thiên cao. Các thiết bị thông minh cần khả năng nhận biết âm thanh tương tự thính giác con người. Mô hình học sâu mở ra cơ hội khắc phục hạn chế của các phương pháp phân loại cổ điển. Nghiên cứu tập trung xây dựng nền tảng lý thuyết vững chắc và kiểm chứng bằng dữ liệu mô phỏng lẫn thực nghiệm. Đóng góp này mang giá trị học thuật cao trong lĩnh vực trí tuệ nhân tạo ứng dụng.

1.2. Mục tiêu phân loại âm thanh bằng học sâu

Mục tiêu nghiên cứu là tự động hóa toàn bộ quy trình nhận diện tín hiệu âm thanh đầu vào. Tín hiệu âm thanh gốc thường chứa nhiều tạp âm và thành phần phi tuyến tính phức tạp. Học sâu giúp máy tính tự động học các đặc trưng mà không cần thiết kế thủ công. Luận án đặt trọng tâm vào việc xác định vị trí của bộ thu âm trong phòng kín. Công trình áp dụng mạng nơ-ron để ánh xạ mối quan hệ giữa âm thanh và không gian vật lý. Độ chính xác cao của hệ thống chứng minh tính khả thi của giải pháp trong điều kiện thực tế. Đây là nền tảng kỹ thuật quan trọng cho hệ thống trợ lý ảo và thiết bị thông minh.

II. Khó khăn khi phân loại tín hiệu âm thanh bằng học sâu

Phân loại tín hiệu âm thanh truyền thống gặp nhiều trở ngại lớn về độ chính xác và tính thích ứng. Dạng sóng âm thanh nguyên bản ở miền thời gian có tính biến thiên liên tục và khó đoán. Môi trường âm thanh thực tế luôn tồn tại tiếng vang, phản xạ bề mặt và nhiễu ngẫu nhiên. Các kỹ thuật trích xuất đặc trưng thủ công như MFCC, Spectral flux hay Spectral roll-off bộc lộ nhiều điểm yếu. Chúng yêu cầu kinh nghiệm chuyên gia sâu sắc và tốn thời gian tinh chỉnh tham số. Khi điều kiện không gian hoặc vật liệu phòng thay đổi, các chỉ số này nhanh chóng mất tính khái quát. Mô hình cổ điển thường thất bại trong việc phân biệt các nguồn âm có tần số chồng lấn. Ngoài ra, kích thước dữ liệu âm thanh lớn gây áp lực tính toán lên phần cứng. Việc thiếu các bộ dữ liệu gán nhãn chuẩn xác cũng là rào cản lớn. Những hạn chế này đòi hỏi một phương pháp tự động trích xuất đặc trưng đa tầng.

2.1. Hạn chế của trích xuất đặc trưng thủ công

Các phương pháp truyền thống dựa vào các công thức toán học cố định để đo lường đặc tính âm thanh. Các kỹ thuật như MFCC mô phỏng thính giác người nhưng bỏ sót nhiều thông tin không gian. Hệ số Spectral roll-off chỉ tập trung vào phân bố năng lượng tần số cao mà bỏ qua tương quan thời gian. Spectral flux phản ánh biến thiên phổ giữa các khung hình nhưng rất nhạy cảm với nhiễu môi trường. Kỹ sư phải mất hàng tuần để thử nghiệm và lựa chọn tổ hợp đặc trưng phù hợp cho từng bài toán. Quá trình này thiếu tính tổng quát và không thể tự điều chỉnh khi môi trường thay đổi. Hiệu quả phân loại suy giảm nghiêm trọng trong các không gian thực tế có cấu trúc phức tạp.

2.2. Thách thức mô phỏng âm thanh phòng kín

Hiện tượng phản xạ âm thanh trong phòng kín tạo ra trường âm phân tán phức tạp. Kích thước phòng và chất liệu bề mặt tường ảnh hưởng trực tiếp đến đường truyền tín hiệu. Sóng âm dội lại nhiều lần gây ra hiện tượng giao thoa và suy hao năng lượng không đồng đều. Mô hình toán học thuần túy khó mô phỏng chính xác toàn bộ phản ứng âm học của căn phòng. Sự khác biệt giữa môi trường mô phỏng trên máy tính và điều kiện phòng thực tế rất lớn. Khi nguồn phát âm thanh ở vị trí cố định, tín hiệu ghi lại tại bộ thu phụ thuộc vào góc đặt và khoảng cách. Thuật toán phân loại buộc phải học được các đặc trưng không gian ẩn sâu trong tín hiệu để đưa ra kết luận chuẩn xác.

III. Giải pháp phân loại tín hiệu âm thanh bằng học sâu

Giải pháp tại Đại học Phùng Giáp đề xuất quy trình hai giai đoạn gồm huấn luyện và kiểm thử. Hệ thống chuyển đổi tín hiệu âm thanh thô sang miền biểu diễn tần số - thời gian bằng biến đổi Fourier ngắn (STFT). Kết quả biến đổi tạo ra các ảnh phổ âm thanh (spectrogram) chứa đầy đủ thông tin năng lượng. Kỹ thuật này chuyển hóa bài toán âm thanh 1D thành bài toán nhận dạng mẫu ảnh 2D trực quan. Mạng nơ-ron tích chập (CNN) được triển khai để tự động học các đặc trưng cấp cao từ spectrogram. Các tầng tích chập thực hiện quét cục bộ và trích xuất họa tiết âm thanh đặc trưng mà không cần can thiệp thủ công. Cơ chế này loại bỏ hoàn toàn gánh nặng thiết kế đặc trưng truyền thống. Dữ liệu âm thanh được phân đoạn tỉ mỉ trước khi đưa vào mô hình học sâu. Khung làm việc cho phép tối ưu hóa trọng số mạng qua các thuật toán lan truyền ngược hiệu quả.

3.1. Chuyển đổi tín hiệu thành Spectrogram

Tín hiệu âm thanh dạng sóng 1D rất khó nhận biết quy luật nếu chỉ quan sát biên độ thời gian. Phương pháp STFT chia nhỏ tín hiệu thành các đoạn ngắn chồng lấp nhau theo thời gian. Mỗi phân đoạn được tính toán biến đổi Fourier nhanh để xác định phổ tần số tương ứng. Kết quả tạo thành ma trận 2D trực quan hóa cường độ âm thanh theo thời gian và tần số. Ảnh phổ spectrogram phản ánh trung thực dấu vết của nguồn âm trong không gian. Định dạng hình ảnh này cho phép tận dụng triệt để sức mạnh của các kiến trúc thị giác máy tính. Đây là bước tiền xử lý then chốt giúp tối ưu hóa hiệu năng tính toán cho toàn bộ mạng nơ-ron sâu.

3.2. Ứng dụng mạng nơ ron tích chập CNN

Mạng nơ-ron tích chập CNN tiếp nhận spectrogram dưới dạng dữ liệu đầu vào chuẩn hóa. Các bộ lọc tích chập tự động học các đặc trưng không gian và thời gian của tín hiệu âm thanh. Các lớp gộp (pooling layers) giúp giảm số lượng tham số và tăng tính bất biến đối với dịch chuyển. Lớp kết nối đầy đủ (fully connected) tổng hợp thông tin để phân loại vị trí của bộ thu âm thanh. Quy trình huấn luyện sử dụng các thuật toán tối ưu hóa hiện đại nhằm giảm thiểu hàm mất mát. Mô hình tự động thích ứng với các biến đổi phức tạp của âm thanh trong phòng thử nghiệm. Cấu trúc CNN thể hiện ưu thế vượt trội về độ ổn định so với các mô hình máy học truyền thống.

IV. Hiệu quả phân loại tín hiệu âm thanh bằng học sâu

Nghiên cứu của Đại học Phùng Giáp năm 2021 đạt độ chính xác thử nghiệm trên 93% trong cả mô phỏng và thực tế. Thành tựu này chứng minh tính khả thi vượt trội của phương pháp học sâu đối với phân loại âm thanh. Hệ thống xác định chính xác vị trí bộ thu âm mà không phụ thuộc vào thiết bị phần cứng đắt tiền. Sự kết hợp giữa STFT và CNN mở ra hướng đi bền vững cho các bài toán âm học phức tạp. Kỹ thuật này giảm thiểu chi phí phát triển và rút ngắn thời gian triển khai mô hình công nghiệp. Các ngành công nghiệp tự động hóa, xe tự hành và thiết bị nhà thông minh có thể ứng dụng ngay giải pháp. Khả năng kháng nhiễu và độ tin cậy cao giúp hệ thống vận hành ổn định trong môi trường biến đổi liên tục. Công trình khẳng định vai trò tiên phong của trí tuệ nhân tạo trong xử lý tín hiệu cơ học và hàng không vũ trụ.

4.1. Độ chính xác và kết quả thử nghiệm

Kết quả kiểm thử khẳng định mô hình CNN đạt độ chính xác trên 93% ở cả hai môi trường. Quá trình mô phỏng kiểm tra khả năng ước tính vị trí với nhiều kích thước phòng khác nhau. Thử nghiệm thực tế chứng minh mô hình xử lý tốt tiếng ồn âm học và hiện tượng dội âm. Sự đồng nhất giữa dữ liệu giả lập và thực tế thể hiện tính ổn định cao của mạng nơ-ron. Thuật toán phân đoạn tín hiệu giúp tăng cường lượng mẫu huấn luyện có chất lượng. Tốc độ suy luận diễn ra gần như tức thì, đáp ứng yêu cầu xử lý thời gian thực. Thành công này tạo tiền đề vững chắc cho việc thương mại hóa công nghệ định vị nguồn âm.

4.2. Khả năng ứng dụng thực tế và tương lai

Công nghệ phân loại tín hiệu âm thanh có phạm vi ứng dụng thực tiễn rất phong phú. Các hệ thống an ninh có thể phát hiện tiếng kính vỡ, tiếng súng hoặc tiếng bước chân lạ. Trong nhà thông minh, thiết bị dễ dàng xác định vị trí người nói để điều hướng micro thu âm. Ngành sản xuất công nghiệp ứng dụng giải pháp để giám sát tiếng ồn động cơ và chẩn đoán hỏng hóc sớm. Xe tự hành sử dụng mô hình để lắng nghe còi cứu thương hoặc phương tiện xung quanh. Tiềm năng tích hợp mô hình vào các vi mạch phần cứng nhỏ gọn mở ra tương lai đầy hứa hẹn. Nghiên cứu thúc đẩy sự phát triển của thế hệ thiết bị nhận thức âm thanh tự động thông minh.

Nội dung chính

Tổng quan luận án

Luận án tiến sĩ "Audio Signal Classification Using Deep Learning Techniques" (Sử dụng kỹ thuật học sâu để phân loại tín hiệu âm thanh) do nghiên cứu sinh Nguyễn Minh Tuấn (Minh Tuan Nguyen) thực hiện dưới sự hướng dẫn của Giáo sư Hoàng Cẩm Hoàng (Jin H. Huang) tại Chương trình Tiến sĩ Kỹ thuật Cơ khí và Hàng không, Trường Đại học Phùng Giáp (Feng Chia University, Đài Loan), hoàn thành vào tháng 6 năm 2021. Hội đồng chấm luận án gồm các thành viên: TS. Yu-Ting Tsai, TS. Chang-Ann Yuan, TS. Jiunn Fang, TS. Yen-Sheng Chen và TS. Tian-Yau Wu.

Tính cấp thiết của đề tài xuất phát từ nhu cầu tự động hóa quá trình nhận diện và phân loại tín hiệu âm thanh (Audio Signal Classification - ASC) trong các lĩnh vực kỹ thuật, y tế và giám sát an ninh. Trong các ứng dụng truyền thống như nhận dạng tiếng nói hoặc phân loại thể loại âm nhạc, các mô hình chuẩn hóa và bộ đặc trưng đã được phát triển tương đối hoàn thiện. Tuy nhiên, trong lĩnh vực kỹ thuật cơ khí (chẩn đoán lỗi thiết bị cơ khí qua âm thanh vận hành) và y học (chẩn đoán bệnh lý van tim qua âm thanh nhịp tim), sự khác biệt giữa các tín hiệu thường rất nhỏ và chịu ảnh hưởng lớn từ tiếng ồn môi trường. Các công việc này trước đây đòi hỏi chuyên gia thính giác giàu kinh nghiệm, nhưng việc đào tạo chuyên gia tốn kém chi phí và không thể triển khai trên diện rộng. Sự phát triển của các kỹ thuật học sâu (deep learning - DL) mở ra giải pháp xây dựng các mô hình tự động phân loại tín hiệu âm thanh với hiệu năng cao. Khoảng trống nghiên cứu được tác giả xác định là việc thiếu các khảo sát toàn diện về việc lựa chọn đặc trưng kết hợp với các mô hình học sâu tối ưu cho từng bài toán kỹ thuật chuyên biệt, đặc biệt là bài toán ước lượng vị trí máy thu âm thanh, phát hiện lỗi thiết bị cơ khí trong điều kiện máy chưa biết (unknown machine) và phân loại âm thanh tim để chẩn đoán bệnh van tim.

Mục tiêu nghiên cứu tổng quát của luận án là phát triển các mô hình học sâu tối ưu về cấu trúc và tham số cài đặt, ứng dụng vào việc giải quyết các bài toán phân loại âm thanh kỹ thuật. Luận án chia thành bốn nhiệm vụ cụ thể được đánh số theo văn bản như sau:

1. Tổng hợp và phân tích hai quá trình chính trong hệ thống ASC gồm trích xuất đặc trưng và các mô hình học máy; trong đó phân tích sâu các đặc trưng biểu diễn và mô hình mạng nơ-ron học sâu.
2. Đề xuất phương pháp ước lượng vị trí máy thu âm thanh trong phòng kín dựa trên mạng nơ-ron tích chập (Convolutional Neural Network - CNN), kiểm chứng qua dữ liệu mô phỏng và thực nghiệm đo đạc thực tế.
3. Đề xuất phương pháp phát hiện trạng thái hoạt động bất thường của máy bơm nước dựa trên phân tích âm thanh bằng kỹ thuật học sâu; thực nghiệm trên ba máy bơm nước khác nhau trong điều kiện hút từ bể và xả vào bể nước ở các trạng thái bình thường và bất thường.
4. Đề xuất hai mô hình học sâu (CNN và LSTM) để phân loại âm thanh nhịp tim dựa trên biểu đồ log-mel spectrogram nhằm hỗ trợ chẩn đoán năm bệnh lý van tim.

Đối tượng nghiên cứu của luận án là tín hiệu âm thanh thu nhận được trong ba bài toán ứng dụng: tín hiệu âm thanh trong phòng kín có nguồn âm cố định, tín hiệu âm thanh phát ra khi vận hành máy bơm nước và tín hiệu âm thanh nhịp tim người. Phạm vi nghiên cứu về không gian và thời gian bao gồm: mô phỏng ba phòng âm thanh hình hộp chữ nhật (Room A, Room B, Room C) và một phòng đo thực nghiệm tại Trường Đại học Phùng Giáp (Đài Trung, Đài Loan); hệ thống thực nghiệm gồm ba máy bơm nước kết nối với bể chứa; bộ dữ liệu âm thanh tim mở (open-access dataset) về bệnh van tim; toàn bộ dữ liệu và thực nghiệm được xử lý, phân tích và nghiệm thu tính đến tháng 6 năm 2021.

Tổng quan tài liệu và vị trí của luận án

Trong chương mở đầu, luận án tổng hợp các công trình tiêu biểu trong lịch sử phát triển của kỹ thuật phân loại tín hiệu âm thanh:

• Lin và cộng sự (2005) [10] sử dụng máy vector hỗ trợ (Support Vector Machine - SVM) kết hợp với các đặc trưng âm thanh như năng lượng dải phụ (subband power), thông tin cao độ (pitch information) và hệ số cepstral tần số Mel (MFCCs) để phân loại danh mục âm thanh.
• Umapathy và cộng sự [11] giới thiệu kỹ thuật trích xuất đặc trưng và hệ thống phân loại đa nhóm tập trung vào các không gian con thời gian - tần số bằng kỹ thuật cơ sở phân biệt cục bộ (local discriminant bases).
• Xu và cộng sự [12] áp dụng thuật toán phân cụm dựa trên dự đoán tuyến tính (linear prediction) và hệ số cepstral dự đoán tuyến tính (LPCC) để cấu trúc hóa nội dung âm nhạc.
• Ajmera và cộng sự (2003) [13] kết hợp mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) và mô hình Markov ẩn (Hidden Markov Model - HMM) để phân biệt tiếng nói và âm nhạc trong dữ liệu phát thanh tin tức.
• Nghiên cứu [14] phân biệt tiếng nói và âm nhạc dựa trên năng lượng hiệu dụng căn bậc hai (RMS) và tỷ lệ vượt qua điểm không (ZCR).
• Honda và cộng sự [15] đánh giá khoảng cách tín hiệu âm thanh đơn kênh dựa trên hiện tượng giao thoa pha giữa sóng quan sát và sóng giả quan sát.

Về quá trình phát triển của mạng nơ-ron và học sâu, luận án điểm lại các mốc lịch sử từ thuật toán Perceptron của Rosenblatt (1957) [16], thuật toán lan truyền ngược của Rumelhart và cộng sự (1986) [17], đến bước phát triển của học sâu trong phân loại hình ảnh của Krizhevsky và cộng sự (2012) [18] và nhận dạng tiếng nói của Dahl và cộng sự (2012) [19]. Kỹ thuật học sâu sau đó được mở rộng sang nhận dạng ngôn ngữ [21], dịch tiếng nói [22], phát hiện hoạt động giọng nói [23], phân loại âm thanh môi trường trong khuôn khổ cuộc thi DCASE [24], phân loại âm thanh tim [27], âm thanh phổi [28] và chẩn đoán lỗi cơ khí [29]. Phần lớn các nghiên cứu này chuyển đổi tín hiệu dạng sóng thành biểu đồ phổ (spectrogram) để đưa vào các mô hình CNN, RNN hoặc CRNN, cho thấy hiệu năng cao hơn các phương pháp truyền thống như mô hình hỗn hợp Gauss (GMM), HMM hay phân tích ma trận không âm (NMF) [30].

Đối với bài toán ước lượng khoảng cách và định vị âm thanh (được khảo sát chi tiết trong Chương 3):

• Bronkhorst và cộng sự [81] đề xuất phương pháp ước lượng khoảng cách trong phòng dựa trên thông tin trong đáp ứng xung phòng (room impulse response).
• Lu và cộng sự [82] đánh giá khoảng cách hai tai (binaural) thông qua tỷ lệ âm trực tiếp trên dội âm (direct-to-reverberant-ratio).
• Rodemann và cộng sự [83] sử dụng các biến thiên cường độ và thời gian giữa hai tai, biên độ và các đặc trưng phổ để ước lượng khoảng cách nguồn âm.
• Về định vị âm thanh bằng học sâu, Huang và cộng sự [91] xác định dải áp suất âm bằng mạng nơ-ron sâu (DNN); Yiwere và cộng sự [25] sử dụng CRNN để đánh giá vị trí nguồn âm trong môi trường xác định; Yalta và cộng sự [26] dùng DNN định vị nguồn âm với mảng micro trong môi trường có dội âm; Takeda và cộng sự [92] giải quyết bài toán định vị nguồn âm bằng DNN kết hợp huấn luyện phân biệt.

Khoảng trống nghiên cứu mà luận án lựa chọn giải quyết:

1. Hầu hết các phương pháp ước lượng khoảng cách truyền thống phụ thuộc vào việc thiết kế đặc trưng thủ công (handcrafted features), khiến quá trình trích xuất phức tạp và độ chính xác chưa cao.
2. Các công trình trước đây tập trung chủ yếu vào định vị nguồn âm thanh (sound source localization) theo góc phương vị, độ cao hoặc khoảng cách, trong khi bài toán ước lượng vị trí của máy thu âm thanh (sound receiver location) trong môi trường có nguồn âm cố định có rất ít công trình khảo sát [89, 90].
3. Trong chẩn đoán lỗi thiết bị cơ khí, phần lớn các mô hình chỉ được kiểm tra trên các thiết bị đã biết trong tập huấn luyện, thiếu các đánh giá thực nghiệm trên các máy chưa từng xuất hiện (unknown machine), đồng thời vấn đề mất cân bằng dữ liệu giữa trạng thái bình thường và bất thường chưa được xử lý triệt để.
4. Trong chẩn đoán bệnh van tim, cần thiết lập các kiến trúc học sâu chuyên biệt kết hợp biểu đồ log-mel spectrogram để nâng cao độ chính xác phân loại năm bệnh van tim so với các nghiên cứu tiền nhiệm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án xây dựng cơ sở lý thuyết dựa trên hai nhóm nội dung chính: trích xuất đặc trưng âm thanh và các thuật toán học máy, học sâu.

Các đặc trưng âm thanh

Tín hiệu âm thanh sau khi tiền xử lý định dạng và giảm nhiễu được trích xuất các đặc trưng trong miền thời gian và miền tần số:

• Miền thời gian:
  1. Năng lượng ngắn hạn (Short-term energy): $E_i = \sum_{n=1}^N x_i^2(n)$, trong đó $x_i(n)$ là mẫu tín hiệu của khung thứ $i$, $N$ là độ dài khung.
  2. Độ to (Loudness): $L = 10 \log_{10}(I / I_0)$ (dB), với $I$ là cường độ âm thanh và $I_0 = 10^{-12} \text{ W/m}^2$ là ngưỡng nghe tối thiểu của tai người.
  3. Trọng tâm thời gian (Temporal centroid): điểm cân bằng thời gian của năng lượng âm thanh, tính toán từ đường bao tín hiệu.
  4. Tỷ lệ vượt qua điểm không (Zero-Crossing Rate - ZCR): $ZCR = \frac{1}{2L} \sum_{k=1}^L |\text{sgn}[x(k+1)] - \text{sgn}[x(k)]|$.
  5. Entropy của năng lượng (Entropy of energy): đo lường sự biến đổi đột ngột mức năng lượng của tín hiệu thông qua chia khung thành các khung con và tính entropy.
• Miền tần số:
  1. Trọng tâm phổ (Spectral Centroid): $C = \frac{\sum f(k) x(k)}{\sum x(k)}$, xác định tâm khối lượng của phổ, tương quan với cảm nhận về độ sáng âm thanh.
  2. Entropy phổ (Spectral Entropy): đo lường tính đồng đều của phân bố năng lượng trong miền tần số.
  3. Thông lượng phổ (Spectral Flux): bình phương sai phân giữa độ lớn phổ chuẩn hóa của hai khung thời gian ngắn kế tiếp nhau.
  4. Tần số cuộn phổ (Spectral roll-off): tần số mà bên dưới đó tập trung một tỷ lệ phần trăm năng lượng xác định (thường từ 85% đến 95%).
  5. Hệ số cepstral tần số Mel (MFCCs): mô tả phổ công suất ngắn hạn trên thang tần số Mel phi tuyến: $f_{mel} = 2595 \log_{10}(1 + f / 700)$.
  6. Biểu đồ phổ (Spectrogram): tính toán dựa trên biến đổi Fourier thời gian ngắn (STFT) trên các cửa sổ trượt gối đầu: $S(mL, k) = \log |X_w(mL, k)|$.

Các mô hình phân loại

Luận án phân tích hai nhóm thuật toán:

• Học máy truyền thống: Naïve Bayes (dựa trên định lý xác suất Bayes với giả định độc lập có điều kiện), K-Nearest Neighbor (phân loại dựa trên khoảng cách Euclid giữa các điểm dữ liệu), Cây quyết định (Decision Tree - cấu trúc phân nhánh nút quyết định và lá), Rừng ngẫu nhiên (Random Forest - kết hợp nhiều cây quyết định để lấy biểu quyết số đông) và Máy vector hỗ trợ (SVM - tìm siêu phẳng tối ưu phân tách các lớp với biên khoảng cách lớn nhất).
• Học sâu:
  • Mạng Perceptron đa tầng (MLP): mạng truyền thẳng có tầng ẩn với các hàm kích hoạt phi tuyến như Sigmoid, Tanh, ReLU.
  • Mạng nơ-ron tích chập (CNN): gồm các tầng tích chập thực hiện tích chập giữa ma trận đầu vào với bộ lọc kích thước $K$, bước trượt $S$, đệm 0 $P$; các tầng gộp (max pooling, average pooling, sum pooling); tầng kết nối đầy đủ (FC) và tầng ra sử dụng hàm kích hoạt Softmax.
  • Mạng nơ-ron hồi quy (RNN) và Mạng bộ nhớ ngắn - dài (LSTM): RNN xử lý chuỗi dữ liệu với các vòng phản hồi trạng thái ẩn; LSTM khắc phục hiện tượng triệt tiêu đạo hàm bằng khối nhớ (memory block) điều khiển bởi cổng vào (input gate), cổng quên (forget gate) và cổng ra (output gate).

Phương pháp nghiên cứu thực tế và nguồn dữ liệu

Nghiên cứu áp dụng phương pháp định lượng thực nghiệm kết hợp mô phỏng số:

• Bài toán vị trí máy thu: Mô phỏng âm học dựa trên mô hình nguồn ảnh (Image Source Model - ISM) để tính toán đáp ứng xung phòng hai tai (BRIRs) trong ba phòng chữ nhật có kích thước và vật liệu khác nhau; thực nghiệm kiểm chứng trong phòng thử nghiệm thực tế với nguồn âm cố định và máy thu di động.
• Bài toán máy bơm nước: Thiết lập mô hình thực nghiệm gồm ba máy bơm nước riêng biệt kết nối bể chứa, vận hành ở các chế độ hút và xả trong điều kiện bình thường và nhân tạo các lỗi hoạt động; áp dụng kỹ thuật lấy mẫu dư ngẫu nhiên (Random Oversampling) để cân bằng dữ liệu huấn luyện.
• Bài toán âm thanh tim: Sử dụng bộ cơ sở dữ liệu mở về âm thanh tim để trích xuất biểu đồ log-mel spectrogram với các phân đoạn thời gian khác nhau (2.x giây và 1.x giây).

Tiêu chí đánh giá thực nghiệm

Hiệu năng của các mô hình được đo lường thông qua bốn chỉ số thống kê dựa trên số lượng mẫu đúng thực tế (TP), sai khẳng định (FP) và sai phủ định (FN):

Chỉ số đánh giá	Công thức toán học	Diễn giải ý nghĩa
Precision (Pre)	$\text{Pre} = \frac{TP}{TP + FP}$	Tỷ lệ dự đoán chính xác trên tổng số mẫu được mô hình dự đoán thuộc về lớp đó
Sensitivity (Sen)	$\text{Sen} = \frac{TP}{TP + FN}$	Tỷ lệ nhận diện chính xác trên tổng số mẫu thực tế thuộc về lớp đó
F1-score (F1_s)	$\text{F1_s} = \frac{2 \cdot \text{Pre} \cdot \text{Sen}}{\text{Pre} + \text{Sen}}$	Trung bình điều hòa giữa độ chính xác và độ nhạy
Overall Accuracy (Acc)	$\text{Acc} = \frac{\text{Số lượng mẫu dự đoán đúng}}{\text{Tổng số mẫu thử nghiệm}}$	Tỷ lệ phân loại chính xác trên toàn bộ tập dữ liệu thử nghiệm

Nội dung chính theo từng chương

Chương 1: Introduction (Giới thiệu)

Chương 1 trình bày tổng quan bối cảnh của lĩnh vực phân loại tín hiệu âm thanh (ASC), nhấn mạnh việc ứng dụng các thuật toán nhận dạng âm thanh trong giải trí, kỹ thuật cơ khí, giám sát môi trường và y sinh. Tác giả chỉ ra hạn chế của việc sử dụng chuyên gia con người và điểm lại tiến trình nghiên cứu từ các giải thuật học máy cổ điển (SVM, HMM, LPCC) đến các bước tiến của học sâu (MLP, CNN, RNN). Từ việc nhận diện các vấn đề chưa được giải quyết trong định vị máy thu, giám sát máy móc công nghiệp và chẩn đoán âm tim, tác giả thiết lập mục tiêu tổng quát, bốn mục tiêu cụ thể và phác thảo cấu trúc sáu chương của luận án.

Chương 2: Methodology (Phương pháp luận)

Chương 2 mô tả chi tiết phương pháp luận xây dựng hệ thống ASC. Quá trình xử lý gồm hai giai đoạn: trích xuất đặc trưng và xây dựng mô hình phân loại. Tác giả phân tích cơ sở toán học của các đặc trưng miền thời gian (năng lượng ngắn hạn, độ to, trọng tâm thời gian, tỷ lệ vượt qua điểm không, entropy năng lượng) và miền tần số (trọng tâm phổ, entropy phổ, thông lượng phổ, tần số cuộn phổ, hệ số MFCCs, biểu đồ phổ STFT). Chương này trình bày chi tiết nguyên lý của các thuật toán phân loại truyền thống (NB, KNN, DT, RF, SVM) và các kiến trúc học sâu (MLP, CNN, RNN, LSTM). Tác giả so sánh ưu thế của học sâu trong việc tự động học đặc trưng từ dữ liệu phi cấu trúc, giảm bớt công đoạn thiết kế đặc trưng thủ công, đồng thời chỉ rõ hạn chế về chi phí tính toán GPU và nhu cầu dữ liệu lớn. Cuối chương, các công thức định lượng tiêu chí đánh giá (Precision, Sensitivity, F1-score, Accuracy) được thiết lập.

Chương 3: Location estimation of receiver in an audio room (Ước lượng vị trí máy thu trong phòng âm thanh)

Chương 3 đề xuất phương pháp ước lượng tọa độ của máy thu âm thanh trong phòng kín có nguồn âm cố định bằng mạng CNN. Bài toán được chuyển đổi thành bài toán phân loại hình ảnh bằng cách biến đổi tín hiệu âm thanh thu được thành biểu đồ phổ spectrogram thông qua biến đổi STFT kết hợp ngưỡng cắt lọc. Mô hình nguồn ảnh (ISM) được dùng để mô phỏng đáp ứng xung phòng hai tai (BRIRs) trong ba phòng chữ nhật (Room A, Room B, Room C) với kích thước và hệ số hấp thụ âm thanh bề mặt theo tần số khác nhau. Các vị trí máy thu trong phòng được chia thành các lớp không gian riêng biệt. Bên cạnh mô phỏng, tác giả thực hiện đo đạc thực nghiệm trong một phòng thử nghiệm thực tế với nguồn âm cố định và máy thu đặt tại các vị trí xác định. Kết quả huấn luyện và kiểm thử mô hình CNN đề xuất cho thấy độ chính xác nhận diện đạt trên 93% ở tất cả các phòng mô phỏng và đạt 93% trong phòng thử nghiệm thực tế. Chương này cung cấp chi tiết ma trận nhầm lẫn và các bảng chỉ số Precision, Sensitivity, F1-score cho từng phòng.

Chương 4: Abnormality detection in water pumps based on sound analysis (Phát hiện bất thường ở máy bơm nước dựa trên phân tích âm thanh)

Chương 4 nghiên cứu bài toán phát hiện sự cố hoạt động của máy bơm nước thông qua phân tích tín hiệu âm thanh bằng kỹ thuật học sâu. Dữ liệu thực nghiệm được thu thập từ ba máy bơm nước khác nhau vận hành ở các chu trình hút từ bể và xả vào bể trong trạng thái bình thường và các trạng thái bất thường. Tín hiệu âm thanh được chuyển đổi sang dạng biểu đồ Mel-spectrogram. Nhằm khắc phục hiện tượng chênh lệch số lượng mẫu giữa trạng thái bình thường và bất thường trong thực tế, tác giả áp dụng kỹ thuật lấy mẫu dư ngẫu nhiên (Random Oversampling technique) để cân bằng dữ liệu huấn luyện. Bốn kiến trúc CNN được thử nghiệm và đối chiếu, bao gồm mạng chuẩn AlexNet và ba mô hình CNN do tác giả tự thiết kế (Model 1, Model 2, Model 3). Thực nghiệm đánh giá được triển khai theo hai kịch bản:

1. Phát hiện bất thường trên máy đã biết (Known machine): Huấn luyện và kiểm thử trên cùng các máy bơm (kết quả tại các Bảng 4.4, 4.5, 4.6, 4.7).
2. Phát hiện bất thường trên máy chưa biết (Unknown machine): Huấn luyện mô hình trên một tổ hợp máy và kiểm tra khả năng phát hiện lỗi trên một máy bơm hoàn toàn mới thông qua chín kịch bản kết hợp máy bơm khác nhau (Bảng 4.8, kết quả tại các Bảng 4.9, 4.10, 4.11, 4.12). Kết quả khẳng định các mô hình CNN thiết kế có khả năng nhận diện bất thường tự động với độ chính xác cao ngay cả khi gặp thiết bị chưa từng được huấn luyện.

Chương 5: Sound classification for diagnosis of heart valve diseases (Phân loại âm thanh để chẩn đoán bệnh van tim)

Chương 5 ứng dụng các mô hình học sâu để phân loại âm thanh nhịp tim phục vụ chẩn đoán năm bệnh lý van tim từ cơ sở dữ liệu mở. Tín hiệu âm thanh tim được phân tích biểu đồ phân bố giá trị điểm ảnh (pixel histogram) và chuyển thành biểu đồ log-mel spectrogram. Nghiên cứu khảo sát hiệu năng phân loại trên các đoạn tín hiệu có độ dài thời gian khác nhau (phân đoạn 2.x giây và 1.x giây). Hai mô hình học sâu được tác giả đề xuất gồm mạng nơ-ron hồi quy LSTM và mạng nơ-ron tích chập CNN. Kết quả phân loại được tổng hợp qua các ma trận nhầm lẫn và bảng so sánh chi tiết giữa mô hình LSTM và CNN (Bảng 5.6, 5.7, 5.8). Luận án cũng đo lường thời gian dự đoán trên một mẫu đơn lẻ (Single sample prediction time tính bằng miligiây - Bảng 5.9) và so sánh hiệu năng tổng thể với các công trình nghiên cứu trước đây (Bảng 5.1 và Bảng 5.9), cho thấy các mô hình đề xuất đạt độ chính xác cao hơn.

Chương 6: Conclusion and future works (Kết luận và hướng nghiên cứu tương lai)

Chương 6 tổng kết toàn bộ các kết quả đạt được từ ba bài toán ứng dụng thực nghiệm: ước lượng vị trí máy thu âm thanh, phát hiện lỗi máy bơm nước và phân loại âm thanh tim chẩn đoán bệnh van tim. Tác giả phân tích các hạn chế của nghiên cứu hiện tại liên quan đến quy mô dữ liệu, điều kiện thử nghiệm thực địa và thời gian tính toán của các mô hình nơ-ron phức tạp. Từ đó, chương này đề xuất các hướng mở rộng nghiên cứu tiếp theo nhằm hoàn thiện giải pháp phân loại tín hiệu âm thanh ứng dụng trong thực tế kỹ thuật và y tế.

Kết quả và những đóng góp mới

Luận án tự xác định các đóng góp mới về mặt phương pháp và thực tiễn kỹ thuật như sau:

• Tổng hợp và hệ thống hóa phương pháp luận trích xuất đặc trưng âm thanh và các mô hình phân loại học máy, làm rõ cơ chế chuyển đổi tín hiệu âm thanh 1D sang biểu diễn hình ảnh 2D (Spectrogram, Mel-spectrogram, Log-mel spectrogram) nhằm khai thác cấu trúc phân lớp của mạng nơ-ron học sâu.
• Đề xuất phương pháp ước lượng vị trí máy thu âm thanh trong phòng kín có nguồn âm cố định bằng mạng CNN nhận diện ảnh phổ STFT. Đây là hướng tiếp cận bổ sung quan trọng cho các nghiên cứu âm học vốn chỉ tập trung vào định vị nguồn âm, đạt độ chính xác trên 93% trong cả mô phỏng âm học phòng chữ nhật và kiểm nghiệm thực tế.
• Thiết lập quy trình phát hiện bất thường ở máy bơm nước sử dụng Mel-spectrogram kết hợp kỹ thuật cân bằng dữ liệu Random Oversampling. Luận án kiểm chứng thực nghiệm tính khả thi của ba cấu trúc mạng CNN tự thiết kế so với AlexNet trên chín kịch bản kết hợp máy bơm khác nhau, giải quyết thành công bài toán phát hiện lỗi trên thiết bị chưa từng được học (unknown machine).
• Đề xuất hai kiến trúc học sâu CNN và LSTM phân loại âm thanh nhịp tim dựa trên biểu đồ log-mel spectrogram, đạt hiệu năng nhận diện năm bệnh van tim cao hơn các nghiên cứu công bố trước đó, đồng thời cung cấp thông số thực nghiệm về thời gian xử lý mẫu đơn lẻ (ms).

Về giải pháp và kiến nghị ứng dụng:

• Ứng dụng mô hình ước lượng vị trí máy thu để tối ưu hóa thiết kế âm học công trình và bố trí vị trí nghe trong phòng âm thanh.
• Tích hợp các mô hình CNN vào hệ thống giám sát tự động để cảnh báo sớm sự cố máy bơm nước trong các hệ thống cấp thoát nước công nghiệp.
• Ứng dụng mô hình học sâu phân loại âm tim vào các thiết bị hỗ trợ bác sĩ chuyên khoa tim mạch sàng lọc bệnh nhân mắc bệnh lý van tim.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được văn bản đề cập bao gồm:

• Các mô hình học sâu đòi hỏi khối lượng dữ liệu huấn luyện lớn và yêu cầu cấu hình phần cứng GPU chuyên dụng có chi phí tính toán cao.
• Nghiên cứu vị trí máy thu mới chỉ tiến hành trên các phòng có cấu trúc hình hộp chữ nhật với nguồn âm cố định, chưa khảo sát các không gian có hình học phức tạp hoặc nguồn âm di động.
• Thực nghiệm phát hiện lỗi máy bơm nước giới hạn trên ba máy bơm cụ thể kết nối với bể chứa trong phòng thí nghiệm.
• Nghiên cứu âm thanh tim khai thác tập dữ liệu mở có sẵn, chưa mở rộng thu thập dữ liệu lâm sàng đa dạng hơn về các bệnh lý tim mạch khác ngoài năm bệnh van tim đã khảo sát.

Hướng nghiên cứu tiếp theo được tác giả nêu ra:

• Mở rộng xây dựng các cơ sở dữ liệu âm thanh có quy mô lớn hơn và chứa nhiều tạp âm môi trường thực tế hơn.
• Nghiên cứu sâu hơn về tính tối ưu của các dạng biểu diễn phổ (khảo sát xem Mel-spectrogram đã là đại diện tối ưu nhất hay cần kết hợp với dạng sóng thô trong từng trường hợp cụ thể).
• Tối ưu hóa kiến trúc mạng để giảm thời gian xử lý và giảm số lượng tham số, phục vụ triển khai trên các thiết bị nhúng thời gian thực.
• Mở rộng phạm vi ứng dụng của phương pháp sang chẩn đoán lỗi ở các loại máy móc cơ khí khác và chẩn đoán các bệnh lý âm thanh phổi.

Giá trị tham khảo

Nội dung của luận án có giá trị tham khảo cụ thể cho các nhóm đối tượng học thuật và kỹ thuật:

• Nghiên cứu sinh, học viên cao học và giảng viên ngành Kỹ thuật Âm thanh, Kỹ thuật Cơ khí và Trí tuệ nhân tạo: Tham khảo cách tiếp cận chuyển đổi tín hiệu âm thanh thành dữ liệu hình ảnh 2D (Spectrogram, Mel-spectrogram, Log-mel spectrogram) để xử lý bằng mạng nơ-ron học sâu tại Chương 2.
• Kỹ sư cơ khí và chuyên viên bảo trì thiết bị công nghiệp: Tham khảo quy trình thực nghiệm, kỹ thuật cân bằng dữ liệu (Random Oversampling) và thiết kế mạng CNN chẩn đoán lỗi thiết bị trên các máy chưa biết (unknown machine) tại Chương 4 để phát triển hệ thống bảo trì dự đoán cho máy bơm và máy quay công nghiệp.
• Kỹ sư âm học công trình: Tham khảo phương pháp mô phỏng nguồn ảnh (ISM) kết hợp mạng CNN ước lượng vị trí máy thu trong Chương 3 để tính toán phân bố trường âm và bố trí hệ thống thu phát âm thanh trong phòng.
• Nhóm nghiên cứu thiết bị y tế kỹ thuật số: Tham khảo các mô hình phân loại chuỗi thời gian (LSTM) và mô hình tích chập (CNN) phân loại âm thanh nhịp tim tại Chương 5 để tích hợp vào các phần mềm hỗ trợ chẩn đoán bệnh van tim.

Câu hỏi thường gặp

1. Luận án giải quyết vấn đề mất cân bằng dữ liệu trong bài toán phát hiện lỗi máy bơm nước bằng cách nào? Tác giả áp dụng kỹ thuật lấy mẫu dư ngẫu nhiên (Random Oversampling technique) tại Chương 4 để nhân bản các mẫu thuộc lớp thiểu số, giúp cân bằng số lượng mẫu giữa trạng thái vận hành bình thường và trạng thái bất thường trước khi đưa vào huấn luyện mạng CNN.

2. Độ chính xác của mô hình CNN trong bài toán ước lượng vị trí máy thu âm thanh đạt mức bao nhiêu? Mô hình CNN do tác giả đề xuất đạt độ chính xác nhận diện trên 93% trong các kịch bản mô phỏng phòng chữ nhật (Room A, Room B, Room C) và đạt chính xác 93% khi thử nghiệm thực tế trong phòng đo đạc thực nghiệm.

3. Điểm khác biệt chính giữa kịch bản máy đã biết và máy chưa biết trong Chương 4 là gì? Kịch bản máy đã biết (known machine) huấn luyện và kiểm thử mô hình trên cùng các máy bơm thu thập dữ liệu; trong khi kịch bản máy chưa biết (unknown machine) huấn luyện mô hình trên một tập hợp máy bơm này và kiểm tra khả năng nhận diện lỗi trên một máy bơm hoàn toàn khác thông qua chín kịch bản kết hợp, nhằm đánh giá khả năng tổng quát hóa của mạng nơ-ron.

4. Dạng biểu diễn đặc trưng nào được đưa vào mô hình học sâu để chẩn đoán bệnh van tim trong Chương 5? Tín hiệu âm thanh nhịp tim được chuyển đổi thành biểu đồ log-mel spectrogram với các phân đoạn thời gian 2.x giây và 1.x giây, sau đó được cung cấp trực tiếp làm dữ liệu đầu vào cho hai mô hình học sâu là CNN và LSTM.

5. Phương pháp mô phỏng âm học nào được sử dụng để tạo dữ liệu huấn luyện vị trí máy thu trong Chương 3? Tác giả sử dụng mô hình nguồn ảnh (Image Source Model - ISM) để tính toán đáp ứng xung phòng hai tai (BRIRs) dựa trên kích thước phòng hình hộp chữ nhật và hệ số hấp thụ âm của các bề mặt theo từng dải tần số.

Kết luận

Luận án của nghiên cứu sinh Nguyễn Minh Tuấn đã nghiên cứu toàn diện việc ứng dụng kỹ thuật học sâu trong phân loại tín hiệu âm thanh thông qua ba bài toán thực tế: ước lượng vị trí máy thu âm thanh trong phòng, phát hiện bất thường ở máy bơm nước và chẩn đoán bệnh van tim qua âm thanh nhịp tim. Bằng cách chuyển đổi tín hiệu âm thanh thành các biểu diễn phổ 2D, các mô hình CNN và LSTM đề xuất đã giải quyết hiệu quả các hạn chế của phương pháp trích xuất đặc trưng thủ công truyền thống, đạt độ chính xác trên 93% ở bài toán định vị máy thu và thể hiện khả năng tổng quát hóa cao trên các máy bơm chưa từng được huấn luyện. Các kết quả thực nghiệm và cấu trúc mạng được công bố trong luận án cung cấp cơ sở dữ liệu và giải pháp kỹ thuật rõ ràng cho việc phát triển các hệ thống chẩn đoán âm thanh tự động trong kỹ thuật cơ khí và y tế.

Trích đoạn nội dung tài liệu

逢 甲 大 學 機械與航空工程博士學位學程 博士論文 使用深度學習技術對音頻信號進行分類 Audio Signal Classification Using Deep Learning Techniques 指導教授：黃錦煌博士 研 究 生 ：阮明俊 中 華 民 國 一 百 一 十 年 六 月 Feng Chia University Ph. Program of Mechanical and Aeronautical Engineering Ph. Thesis Audio Signal Classification Using Deep Learning Techniques Adviser: Professor Jin H. Huang Student: Minh Tuan Nguyen June 2021 Audio Signal Classification Using Deep Learning Techniques Acknowledgments First and foremost, my deepest gratitude goes to my advisor, Distinguished Professor Jin H.

Huang, for his support, enthusiastic guidance, and consistent encouragement. He shared his brilliant insight and great vision on my research with me and taught me to be a good researcher with his experience. Besides, he opens my mind with new ideas, and every time I am reached out or depressed, he is there to guide me through the right way and give me more motivation to continue. I have been amazingly fortunate to have an advisor who could provide me with outstanding guidance on this long journey.

Without him, this thesis would not have been finished. I would especially like to thank my thesis committee members, Dr. Yu-Ting Tsai, Dr. Chang-Ann Yuan, Dr.

Jiunn Fang, Dr. Yen-Sheng Chen, and Dr. Tian-Yau Wu, for their insightful comments, challenging questions, and valuable suggestions in this research and for their time and effort in service to my doctoral committee despite their already heavy loads of responsibility. I would like to thank Dr.

Wen-Chin Tsai and Ms. Jeou-Yuh Lin, for their assistance and willingness. I thank all my lab members for their unconditional help and friendship. It has been a great pleasure to work with them and get to know them.

In addition, I thank my Vietnamese friends in Taichung who make me happy and keep me entertained during my study time here. Last but not least, I would express my gratitude to my beloved family. My parents raised me and taught me to study hard and prioritize my life to quest for knowledge. My wife for unwavering love, cheering me up, and standing beside me through the good and bad times.

My precious children, who mean everything to me and are the biggest strength, helped me always to try my best, my brother and my sister, for their sharing and encouragement. All their support and constant encouragement help me through the hard times of this program. My most profound appreciation is expressed to them for their love, understanding, and inspiration. Minh Tuan Nguyen i FCU e-Theses & Dissertations (2021) Audio Signal Classification Using Deep Learning Techniques Abstract Audio signal classification (ASC) is a recognition based on the device's ability to hear audio signals.

This field is receiving substantial attention and development in recent years. In speech/music recognition, the methodologies and standard models are well-developed (e., feature sets, classification models, learning strategies), achieved many successes, and applied in many life areas. However, there are still much gaps that needs strong promotion, such as in engineering (diagnosing errors of machines and equipment via sound), medicine (diagnosing acquired diseases through heart sounds, sound pulmonary), and security monitoring (environmental recognition through sound). With the vigorous development of artificial intelligence, including deep learning techniques, many automatic and modern models have been developed for ASC with high performance.

In this thesis, a comprehensive investigation of ASC methodologies, including the features and the classification models, is performed. Based on these analyses, the features and efficient models for high performance are selected for experimental applications. Three studies using deep learning techniques are “sound receiver location estimation using a convolutional neural network,” “fault detection in water pumps based on sound analysis,” and “heartbeat sound classification” were implemented. In each study, the consistent features of the sound signal were first extracted.

Secondly, classification models were developed, using these extracted features to classify the sound signals in open-access datasets. All three studies have archived high accuracy, demonstrating the effectiveness of the proposed methods and the great potential of deep learning algorithms in processing and classifying audio signals. Keywords: Audio signal classification, deep learning, recurrent neural network, convolution neural network, sound receiver location estimation, abnormality detection, heart sound classification. ii FCU e-Theses & Dissertations (2021) Audio Signal Classification Using Deep Learning Techniques Contents Acknowledgments ………….

iii List of Figures ………………………………………………………………. v List of Tables ……………………………………………………………. Structure of this thesis …………. Audio features for ASC ….

Time-domain features. Frequency-domain features………………………. Traditional machine learning models ………. Deep learning models …………………….

Location estimation of receiver in an audio room ……………. Proposed CNN model ………………………………. Simulation results and discussion …………………. Experiment results and discussion …………………….

41 iii FCU e-Theses & Dissertations (2021) Audio Signal Classification Using Deep Learning Techniques 3. Abnormality detection in water pumps based on sound analysis …. Balancing the training datasets ……………………………. Results and discussion ………………………………………….

Abnormality detection in a known machine …………. Abnormality detection in an unknown machine ……………… 59 4. Sound classification for diagnosis of heart valve diseases …………. Proposed DL models …………………………….

Results and discussion ………………………. Summary and future works ………………………. Conclusion and future works ……………………………………. 98 List of publicactions ……………………………………………………………….

99 iv FCU e-Theses & Dissertations (2021) Audio Signal Classification Using Deep Learning Techniques List of Figures Fig.1 Main framework of an ASC system.1 DT architecture example .2 RF prediction process example …………………….3 Mechanism of training an SVM classifier in a binary classification problem ……………………………………………………………….4 An example of MLPs’ architecture …………………………………… 15 Fig.5 The plot of the common activation functions ………………………… 16 Fig.7 Architecture of RNN ……………………………………….8 Architecture of LSTM block …………………………………….1 The main framework of the sound receiver’s location estimation …… 26 Fig.2 Description of the proposed CNN architecture ……………………….3 Configuration of the simulation room ………………………………… 28 Fig.4 BRIRs results of the receiver at the three different locations …….5 Receiver’s location division classes in the simulation rooms ….6 Spectrogram without and with the threshold in the feature extraction of an audio signal …………….7 Accuracy and loss curves of training progress ………….8 Confusion matrix of Room C ………………………………………… 40 Fig.9 Experiment room with the sound source and receiver ……….10 Spectrogram of an audio signal of the experiment room ….11 Accuracy and loss curves of the training progress of the experiment room ………………………………………………………………….12 Confusion matrix of the experiment room …………………………….1 The main framework of the CNN model for machine fault detection using sound signals ………………………………………….2 The samples of a normal and abnormal sound signal of three pumps with and without pre-processing ……………….3 Mel-spectrogram of the normal and abnormal sound signals from three pumps ………………………….4 The architecture of AlexNet …………………….… 54 v FCU e-Theses & Dissertations (2021) Audio Signal Classification Using Deep Learning Techniques Fig.5 The architecture of one of the designed CNN models …………….6 Data balancing using the random oversampling technique ……….7 Confusion matrices of each trained and tested models ………….8 Confusion matrices each trained and tested models ………………….9 The system automatically detects the fault of a pump through the sound signal ………………………………………………………………….1 The main framework of heart sound classification ….2 The histogram of the pixel values of the training data ……………….3 Waveform and log-mel spectrogram of some heart sound samples ….4 The architecture of the proposed LSTM model ……….5 The architecture of the proposed CNN model ………………….6 Confusion matrices of LSTM models …………………….7 Confusion matrices of CNN models …….8 Performance comparison of LSTM and CNN models ………….9 Performance comparison of previous studies and proposed models …. 80 vi FCU e-Theses & Dissertations (2021) Audio Signal Classification Using Deep Learning Techniques List of Tables Table.1 Dimensions, face materials, the sound source’s location, and the receiver’s location of the simulation rooms ………………………….2 Absorption coefficients of face materials depend on the frequency band ………………………………………………………………….3 The number of classes and audio signals for each simulation room ….4 Accuracy and training time of the simulation rooms ….5 Precision, Sensitivity, and F1_score of Room A ………………….6 Precision, Sensitivity, and F1_score of Room B ………………….7 Precision, Sensitivity, and F1_score of Room C ………………….8 Parameters of the experiment room ………………….9 Precision, Sensitivity, and F1_score of the experiment room …….1 Dataset content details ……………………………………………….2 Parameters of the CNN architecture …………….3 The setting hyperparameters of the CNN models ……….4 Classification results of AlexNet for abnormality detection in a known machine ………………………………………….5 Classification results of Model 1 for abnormality detection in a known machine ………………………………………….6 Classification results of Model 2 for abnormality detection in a known machine ………………………………………….7 Classification results of Model 2 for abnormality detection in a known machine ………………………………………….8 The nine different pump combinations ……………………………….9 Classification results of AlexNet for abnormality detection in an unknown machine …………………………………………………… 60 Table.10 Classification results of Model 1 for abnormality detection in an unknown machine …………………………………………………… 61 Table.11 Classification results of Model 2 for abnormality detection in an unknown machine …………………………………………………… 61 Table.12 Classification results of Model 3 for abnormality detection in an unknown machine …………………………………………………… 62 vii FCU e-Theses & Dissertations (2021) Audio Signal Classification Using Deep Learning Techniques Table.1 Summarized studies on the classification of heart sound using DL techniques …………………….2 Detail of the dataset ………………………………………………….3 Setting parameters of proposed LSTM model ……………………….4 Setting parameters of proposed CNN model ……….5 The hyperparameters of the training processes …….6 Classification results of 2.7 Classification results of 1.8 Classification results of 1.9 Single sample prediction time (ms) …………………………………. 79 viii FCU e-Theses & Dissertations (2021) Audio Signal Classification Using Deep Learning Techniques Chapter 1 INTRODUCTION 1. Background The audio signal classification (ASC) includes extracting the audio signal's related features and using them to determine which class of the signal belongs to the audio classes and distinguish it from others.

With distinctly different sounds, people can recognize and classify them quickly, such as speech recognition, distinguishing between phone ringing and alarms, distinguishing animals' sounds, etc. The classification problem becomes more complicated when the sound contains much noise or the differences between audio signals are not clear. For example, hearing the patient's breathing or the patient's heart sounds to detect the patient's diseases. Experienced and knowledgeable medical professionals can perform this and give results quickly.

Similarly, skilled engineers can diagnose a machine's problem by hearing the sound emitted as it runs, etc. These require sound classification experts, people who use ears to do their jobs. However, the training of the expert system is costly and not always accessible. An ASC system usually operates in two main steps and depicted in Fig.

Therefore, ASC systems have been researched and developed to replace the human performing classification tasks. The first step is extracting the appropriate features of the audio signals for use in the classifiers. The second step is to design a classification model to implement classification tasks and have achieved certain achievements in several ASC fields such as speech/music recognition and music transcription. The main framework of an ASC system ASC is a field of audio data processing and is applied in entertainment, media, education, digital libraries, and supervisor systems.

Classical problems such as speech and speaker recognition have been widely considered for decades [1]. In speech recognition, audios are phonologically differentiated. Words, phrases, and sentences are formed by combining these phonemes. The challenge is the ability to recognize speech continuously, not grammatically and independently of the speaker.

Another 1 FCU e-Theses & Dissertations (2021) Audio Signal Classification Using Deep Learning Techniques aspect of the ASC is music recognition and transcription [2, 3]. In this regard, the acoustic signal is music, layers can be musical notes, and the output is usually a track. Several systems were developed to address this, but the problem becomes more complicated when the sound is full of orchestration. A more general ASC system can distinguish between speech and music and can be used to assign sounds to a specific transcription system.

If a sound signal were classified as speech, speech recognition is used, and if it were music, the music transcriber is called into action. In a system like this, the speech recognizer and music transcriber can be optimized to expect the appropriate input, simplify each, and improve the whole system's robustness.