CHƯƠNG 1: TỔNG QUAN VỀ TÍN HIỆU ÂM THANH 1. Định nghĩa âm thanh Theo wikipedia, âm thanh là các dao động cơ học (biến đổi vị trí qua lại) của các phân tử, nguyên tử hay các hạt làm nên vật chất và lan truyền trong vật chất như các sóng. Âm thanh, giống như nhiều sóng, được đặc trưng bởi tần số, bước sóng, chu kì, biên độ và vận tốc lan truyền (tốc độ âm thanh).[1] • Các đặc trưng Vật lý: o Tần số: là số dao động mà nguồn âm có thể thực hiện được trong 1 giây. Đơn vị tần số là Hertz (hz).
Con người có khả năng nghe âm thanh trong miền tần số 20Hz - 20. o Cường độ âm (I): biểu diễn mức năng lượng của âm thanh. Đơn vị đo cường độ âm là W/m².1: Thang âm lượng phát ra từ các loại âm thanh khác nhau 5 • Các đặc trưng Sinh lý: liên quan đến sự cảm nhận âm thanh của tai người. o Âm sắc: là sắc thái cao thấp, trầm bổng (liên quan đến phổ tần số của sóng âm) o Âm lượng: cảm giác to nhỏ của tai người khi nghe, âm lượng liên quan đến cường độ của sóng âm.
Âm lượng là một đại lượng tương đối, được đo bằng Decibel (dB). Người ta quy ước giá trị cường độ ngưỡng nhỏ nhất mà tai người còn có thể cảm nhận được âm thanh là 10−12W / m2 ứng với mức âm lượng 0 dB. Âm thanh số hóa (digital sound – audio) Âm thanh là dạng tín hiệu liên tục, trong khi máy tính làm việc với các con số rời rạc. Vì vậy, để thuận lợi trong việc lưu trữ, truyền tải, xử lý, tín hiệu âm thanh được chuyển sang dạng số (digital sound) - chính là những file audio với định dạng mp3, wav chúng ta thường nghe trên máy tính hoặc điện thoại.2: Thông tin cơ bản của một audio • Sample rate: tần số lấy mẫu trên giây của tín hiệu (đơn vị Hz).
Sample rate càng cao, chất lượng càng tốt. Một bản nhạc có sample rate là 44100 Hz thì mỗi giây âm thanh sẽ được lấy mẫu 44100 lần. Về mặt toán học, để biến một sóng âm thanh thành số, chúng ta chỉ cần ghi lại chiều cao của sóng tại các điểm cách đều nhau.3: Biểu diễn số hóa của một tín hiệu âm thanh • Channels: mô phỏng âm thanh trong không gian, chanel càng cao, âm thanh càng sống động, giúp ta hình dung giống như cảm nhận được vị trí âm phát ra trong không gian. Stereo là một tập tin âm thanh tích hợp hai kênh âm thanh riêng biệt, chính là biểu tượng cho tai trái và tai phải người.
Trong khi đó, Mono là một tập tin âm thanh đơn kênh. Khi mở một bản nhạc 360 độ, ta sẽ cảm nhận sự khác biệt trong âm thanh được phát ra ở hai bên tai nghe, đó chính là âm thanh Stereo. Ngược lại, Momo lại phát ra âm thanh như nhau trong cả hai bên tai nghe. Trong phân loại âm thanh, thường đưa tín hiệu về dạng mono tức là 1 kênh.
• Bitrate: là đơn vị cơ bản để nói đến mức dung lượng mà thiết bị lưu trữ cần có để xử lý một giây âm thanh (đơn vị kbps - kilobit per second). Bitrate càng cao sẽ ghi nhận đầy đủ những loại âm thanh, chất lượng tập tin cũng cao hơn do đó dung lượng tập tin cũng sẽ lớn hơn. Ngược lại, bitrate càng thấp thì âm thanh bị lược bỏ càng nhiều nên chất lượng thấp hơn do đó dung lượng tập tin nhỏ hơn. Vì vậy nếu giảm bitrate quá nhiều thì dữ liệu âm thanh có khả năng bị mất.
Các định dạng file audio Ta có định dạng file wav là định dạng giữ nguyên gốc nhưng dung lượng rất lớn (khoảng 10Mb cho mỗi phút nhạc). Vì vậy, để tiện việc lưu trữ hay chia sẻ, chúng ta cần nén lại dưới các định dạng khác như mp3, ogg, … Cách để giảm kích thước tập tin là chỉnh sửa một trong các thông số (sample rate, bitrate hoặc channels) Có hai cách nén chính: • Nén có mất (lossy compression): mp3, wma, ogg, … Loại bỏ những dữ liệu “không cần thiết" trong tập tin âm thanh cần nén. • Nén không mất (lossless compression): flac, ape, … Không làm mất dữ liệu của tập tin gốc. 8 CHƯƠNG 2: TRÍCH CHỌN ĐẶC TRƯNG CỦA ÂM THANH 2.
Khái quát về đặc trưng chính của âm thanh Trong thực tế, việc trích chọn các đặc trưng chính của âm thanh đóng vai trò quan trọng trong nhiều lĩnh vực khác nhau. Các đặc trưng chính của âm thanh bao gồm biên độ, tần số, thời gian, cao độ và nhiều yếu tố khác. Trong công nghiệp âm nhạc, chúng quyết định chất lượng và đa dạng của âm thanh được tạo ra. Trong lĩnh vực y học, đặc trưng âm thanh có thể được sử dụng để chẩn đoán và điều trị nhiều tình trạng sức khỏe.
Trong ngôn ngữ và giao tiếp, chúng hỗ trợ việc phân tích các yếu tố như tốc độ nói và tần số của giọng nói. Ngoài ra, trong an toàn và bảo mật, đặc trưng âm thanh cũng có thể được áp dụng để nhận diện tiếng động không bình thường, đảm bảo an toàn, an ninh trong khu vực. Chúng cho thấy đặc trưng quan trọng của các loại tín hiệu âm thanh khác nhau. Để nâng cao tính chính xác của việc phân lớp phân cụm âm thanh, ta cần phải lựa chọn các đặc trưng tốt.
Đa số các phương pháp, giải thuật trích chọn đặc trưng hiện nay đều xem các đặc trưng sau đây là hiệu quả để phân lớp và phân cụm âm thanh. Các đặc trưng âm thanh trong miền thời gian Biểu diễn trong miền thời gian hay thời gian – biên độ là kỹ thuật biểu diễn tín hiệu âm thanh cơ bản nhất, trong đó tín hiệu được biểu diễn như biên độ biến đổi theo thời gian.1 là một ví dụ về tín hiệu âm thanh trong miền thời gian – biên độ. Im lặng (câm) được biểu diễn bởi giá trị 0. Giá trị tín hiệu âm thanh có thể âm hay dương phụ thuộc vào áp suất âm thanh cao hơn hay thấp hơn áp suất cân bằng khi im lặng.
Đoạn audio trong hình được mà hóa bằng 32 bit với sample rate là 44100Hz và được chuẩn hóa về biên độ từ -1.1: Tín hiệu âm thanh theo miền thời gian – biên độ được biểu diễn qua ứng dụng Audacity Từ cách biểu diễn trên ta có thể dễ dàng tính được năng lượng trung bình, tốc độ vượt qua 0 (Zero crossing rate) và tỷ lệ câm (silence ratio). Energy Năng lượng của một tín hiệu âm thanh là tổng cường độ của tín hiệu đó theo miền thời gian [1]. Được cho bởi công thức: E ( x) = x ( N ) 2 N trong đó, E là năng lượng của đoạn audio, x ( N ) là giá trị biên độ của mẫu N. Root Mean Square Energy RMS Energy (RMSE) là một chỉ số thống kê dùng để đo mức độ năng lượng hoặc công suất tổng cộng chứa trong một tín hiệu âm thanh trong một khoảng thời gian [2].
Công thức toán học để tính RMSE của một chuỗi tín hiệu âm thanh x với N mẫu là: 1 RMSE ( x) = 2 x( N ) N N 10 2. Zero crossing rate Tốc độ vượt qua 0 (Zero crossing rate) chỉ ra tần số thay đổi của dấu biên độ tín hiệu. Nói cách khác nó chỉ ra tần số trung bình của tín hiệu [3]. Công thức tính Zero crossing rate: sgn[ x( N )] − sgn[ x( N − 1)] ZCR = N 2N trong đó, sgn[ x( N )] là dấu của x( N ) và có giá trị là 1 nếu x( N ) nhận giá trị dương, giá trị là -1 nếu x( N ) nhận giá trị âm.
Silence ratio Tỷ lệ im lặng chỉ ra kích thước đoạn âm thanh im lặng. Im lặng được định nghĩa như chu kỳ trong đó giá trị biên độ tuyệt đối của một số mẫu nhỏ hơn ngưỡng nào đó. Có hai loại ngưỡng: ngưỡng biên độ và ngưỡng thời gian [5]. Với ngưỡng biên độ, mẫu được xem như là im lặng khi biên độ của nó nhỏ hơn ngưỡng biên độ.
Chỉ một mẫu im lặng không được xem như chu kỳ im lặng. Chỉ khi tổng các mẫu im lặng liên tục vượt qua ngưỡng thời gian nào đó thì các mẫu này hình thành chu kỳ im lặng (silence period). Tỷ lệ im lặng được tính bằng tỷ lệ giữa tổng chu kỳ im lặng và tổng độ dài của đoạn âm thanh. Các đặc trưng âm thanh trong miền tần số 2.
Phổ âm thanh Phổ âm thanh hiển thị các tần số khác nhau có trong âm thanh. Hầu hết các âm thanh được tạo thành từ một hỗn hợp rung động phức tạp [4].2 bên dưới biểu diễn tín hiệu âm thanh 3 được tạo thành từ hỗn hợp 2 tín hiệu rung động 1 và 2.2: Tín hiệu âm thanh là sự kết hợp của các sóng hình sin hoặc cosin Biểu diễn miền thời gian không chỉ ra được các thành phần tần số và phân bổ tần số của tín hiệu âm thanh. Biểu diễn miền tần số suy diễn từ biểu diễn miền thời gian bằng biến đổi Fourier. Biến đổi Fourier tách tín hiệu thành các thành phần tần số riêng lẻ.
Trong miền tần số, tín hiệu được biểu diễn bởi biên độ biến đổi theo tần số, chỉ ra tổng năng lượng tại các tần số khác nhau. Biểu diễn miền tần số của tín hiệu âm thanh được gọi là phổ của tín hiệu âm thanh.3 là phổ của tín hiệu âm thanh. Xuất phát từ phổ tín hiệu, dễ dàng nhận ra phân bổ năng lượng theo dải tần số. Ta sử dụng biến đổi Discrete Fourier Transform (DFT) để suy diễn ra phổ tín hiệu: N −1 X (k ) = x(n)e jnk N =0 2 k trong đó, k = , x(n) là tín hiệu rời rạc với N mẫu, k là DFT bin.
N Nếu tần số lấy mẫu tín hiệu là f s Hz thì tần số f k của bin k sẽ là: k k fk = fs = fs 2 N 12 Nếu x(n) có giới hạn thời gian là N thì nó có thể khôi phục hoàn toàn IDFT của N mẫu tần số như sau: 1 N −1 x ( n) = X (k )e jnk N k =0 Các giá trị DFT và IDFT được tính toán hiệu quả bằng bằng thuật toán FFT.3: Phổ của tín hiệu âm thanh Như đã nói ở trên, DFT làm việc với tín hiệu rời rạc có giới hạn độ dài N. Thực tế, rất nhiều tín hiệu trong khoảng thời gian dài, rất khó tính toán DFT với N lớn. Để giải quyết vấn đề này, người ta sử dụng STFT (Short Time Fourier Transform). Trong đó, tín hiệu với độ dài lớn được chia thành các khối gọi là frame và DFT áp dụng cho từng frame.