Chương 1 - Giới thiệu tổng quát về bài toán, động lực, mục tiêu nghiên cứu; Chương 2 - Trình bày những kiến thức nền cơ bản liên quan đến Âm thanh và Xử lý tín hiệu âm thanh; Chương 3 - Trình bày tổng quan nghiên cứu, khảo sát các phương pháp tiếp cận, các tập dữ liệu, chuẩn đo đánh giá kết quả của một vài phương pháp điển hình cũng như là những đề xuất hướng phát triển cho luận văn này; Chương 4 - Trình bày mục tiêu, đóng góp cải tiến, nội dung phương pháp và phân tích kết quả đạt được cho phương pháp đề xuất thứ nhất eCMU; Chương 5 - Trình bày động lực, những đóng góp cải tiến, nội dung phương pháp và phân tích kết quả đạt được cho phương pháp mô hình đa mục tiêu; Chương 6 - Tổng kết các kết quả đạt được, những hạn chế cũng như định hương phát triển trong tương lai. 2 KIẾN THỨC NỀN TẢNG Chương 2 Kiến thức nền tảng 2.1 Xử lý tín hiệu âm thanh 2.1 Âm thanh và Sóng âm Âm thanh chúng ta nghe được hằng ngày là kết quả từ quá trình dao động cơ học của các vật thể, ví dụ như: dây đàn, bề mặt trống, dây thanh của con người,. Chính sự dao động này làm cho các phân tử không khí xung quanh nó chuyển động, việc chuyển động của các phân tử không khí làm cho áp suất không khí dao động tăng hoặc giảm theo một mô hình nhất định, lan truyền dưới dạng sóng trong không khí đến tai người. Các bộ phận trong tai người sẽ tiếp nhận, xử lý và chuyển đổi sóng thành các xung thần kinh, các xung thần kinh này tiếp tục truyền đến và được hiểu bởi bộ não.
Về mặt trực quan, sự thay đổi áp suất không khí tại một điểm nhất định có thể biểu diễn Hình 2.1: Ví dụ minh hoạ về sự rung của âm thoa dẫn đến sự dao động qua lại của các phân tử trong không khí, lan truyền dưới dạng sóng dọc. Biểu đồ hình sóng hiển thị độ lệch của áp suất không khí so với áp suất không khí trung bình tại một vị trí cụ thể theo thời gian. 3 KIẾN THỨC NỀN TẢNG bằng biểu đồ áp suất-thời gian, hay còn được gọi là dạng sóng của âm thanh (waveform). Dạng sóng thể hiện độ lệch của áp suất không khí so với áp suất không khí trung bình (hình 2.
Một sóng cơ học có thể được mô tả như một dao động truyền trong không gian, nơi năng lượng được truyền từ điểm này sang điểm khác. Khi có sóng truyền qua môi trường nào đó, chất của môi trường này bị biến dạng tạm thời. Như đã mô tả ở trên, sóng âm thanh truyền qua các phân tử không khí va chạm với các phân tử xung quanh của chúng. Sau khi các phân tử không khí va chạm, chúng bật ra khỏi nhau.
Điều này ngăn các phân tử tiếp tục di chuyển theo hướng của sóng. Thay vào đó, chúng dao động xung quanh các vị trí gần như cố định. Nếu các phân tử dao động vuông góc với phương truyền năng lượng, ta gọi đó là sóng ngang. Còn trong trường hợp, các phân tử dao động song song với phương truyền sóng, ta gọi đó là sóng dọc.
Về mặt toán học, sóng là dao động điều hoà được biểu diễn bằng hàm sin: y(t) = A sin(2πf t + ϕ) (2.1) trong đó - f là tần số, A là biên độ, ϕ là pha dao động ban đầu, khi đó y(t) là biên độ dao động tại thời điểm t. • Pha dao động ban đầu (ϕ ∈ [−π, π]): độ lệch của sóng, cho chúng ta biết vị trí của sóng tại thời điểm t = 0 Hình 2.2: Ví dụ minh hoạ cho dạng sóng của âm thanh được biểu diễn dưới dạng đồ thị áp suất - thời gian. 4 KIẾN THỨC NỀN TẢNG Hình 2.3: Đồ thị sóng hình sin với tần số dao động 4 Hz.2 Tần số và Cao độ Tần số của sóng hình sin càng cao thì âm thanh càng cao. Dải tần số có thể nghe được đối với con người là từ khoảng 20 Hz đến 20,000 Hz (20 kHz).
Các loài động vật khác nhau có phạm vi thính giác khác nhau. Ví dụ: cận trên trong phạm vi thính giác của chó là khoảng 45 kHz, của mèo là 64 kHz, thậm chí dơi có thể phát hiện tần số vượt quá 100 kHz. Đây là lý do tại sao người ta có thể sử dụng một chiếc còi cho chó, phát ra âm thanh siêu âm vượt quá khả năng nghe của con người, để huấn luyện và ra lệnh cho những con vật không làm phiền những người xung quanh. Độ cao (pitch) là một đặc trưng mang tính chất chủ quan của âm thanh, khái niệm dùng cho sự cảm nhận âm thanh.
Tai người không cảm nhận âm thanh một cách tuyến tính mà phi tuyến theo hàm số logarit. Hai tần số được cảm nhận tương tự nhau nếu chúng khác nhau 2n. Ví dụ nốt A3 (220 Hz) và A4 (440 Hz) được cảm nhận là như nhau. Đặc tính này của âm thanh được dùng để chia một quãng tám thành 12 quãng nửa cung bằng nhau.
Mối quan hệ giữa tần số và độ cao được biểu diễn bằng hàm số: F (p) = 2(p−69)/12 .2) trong đó - p ∈ [0, 127] chỉ số nốt MIDI (chỉ sổ nốt của C4 là 60, A4 là 69), F (p) là tần số trung tâm tương ứng với chỉ số nốt MIDI p. Ta có tính chất F (p + 12) = 2F (p) và F (p + 1)/F (p) = 212 ≈ 1. Như vậy, khi nhân tần số bất kì với hệ số trên đồng nghĩa với việc ta sẽ dịch độ cao tương ứng lên nửa cung. Tổng quát hơn, người ta dùng khái niệm cent như một đơn vị nhỏ hơn để đo sự khác nhau về cảm nhận âm thanh giữa hai tần số bất kỳ.
Cụ thể, mỗi một quãng tám được chia thành 1200 cents, đồng nghĩa mỗi một nửa cung = 100 cents. Khi đó, sự khác nhau giữa hai tần số được tính bằng: ω1 log2 ( ).3) ω2 Khoảng cách giữa một cent là khá nhỏ để có thể nghe ra được. Việc này phụ thuộc vào khả năng cảm âm của mỗi người và theo độ tuổi. Ngưỡng có thể cảm nhận được (just noticeable difference) là từ 10 cents với những người đã trải qua việc luyện cảm âm hoặc có năng khiếu bẩm sinh, còn người trưởng thành bình thường là 25 cents.
Âm thanh trong tự nhiên là sóng tổng hợp từ nhiều sóng với các tần số dao động khác nhau. Trong đó bao gồm sóng dao động với tần số cơ bản f0 (tần số dao động thấp nhất) và các thành phần sóng hamornic với tần số bằng bội số nguyên của tần số cơ bản (f1 = 2. Thông thường, độ cao của sóng được quy định bởi tần số cơ bản. Ngoài ra, tập hợp các thành phần sóng ngoại trừ f0 còn được gọi là bội âm (overtone).
5 KIẾN THỨC NỀN TẢNG Bảng 2.1: Bảng thống kế cường độ âm và mức cường độ âm của các nguồn âm thanh điển hình Nguồn âm Cường độ âm (W/m2 ) Mức cường độ âm (dB) × TOH Ngưỡng nghe (TOH) 10−12 0 1 Tiếng thì thầm 10−10 20 102 Đối thoại thông thường 10−6 60 106 Ngưỡng đau (TOP) 10 130 1013 Động cơ máy bay 102 140 1014 Ngưỡng gây điếc 104 160 1016 2.3 Cường độ âm - Công suất và Độ to Công suất là mức năng lượng được truyền đi, sử dụng hoặc chuyển hóa, đơn vị đo là Watt (W). Tương tự, công suất âm thanh cho biết mức năng lượng trên một đơn vị thời gian được phát ra bởi một nguồn âm thanh truyền theo mọi hướng trong không khí. Khi đó, khái niệm Cường độ âm được dùng để thể hiện công suất âm thanh trên một đơn vị diện tích (W/m2 ). Trong thực tế, tai người có thể cảm nhận được âm thanh với giá trị cường độ âm rất nhỏ hay còn gọi là ngưỡng nghe (threshold of hearing - TOH), IT OH = 10−12 (W/m2 ).
Tương tự, ngưỡng đau (threshold of pain - TOP) là giá trị cường độ âm có thể gây đau cho người, IT OP = 10(W/m2 ). Mức cường độ âm (đơn vị: decibel - dB) cho biết tỷ lệ giữa hai giá trị cường độ âm trong thang đo logarit.1 thống kê giá trị cường độ âm và mức cường độ âm tương ứng của các nguồn âm thanh khác nhau.4) IT OH Độ to của âm thanh là cách cảm nhận chủ động về cường độ âm. Độ to không chỉ phụ thuộc vào cường độ âm mà còn phụ thuộc vào khoảng thời gian và tần số âm thanh. Ngoài ra, còn phụ thuộc vào độ tuổi.
Đơn vị đo là phon.4 là kết quả thí nghiệm cho thấy sự phụ thuộc giữa độ to âm thanh với tần số và mức cường độ âm, trên hình thể hiện những đường viền mà mỗi điểm trên đường viền đó sẽ có độ to âm thanh như nhau. Đơn vị phon được chuẩn hoá tại mức tần số 1000 Hz, trong đó giá trị phon bằng với giá trị mức cường độ âm.4 Âm sắc Hay còn gọi là màu sắc âm thanh, là đặc tính của âm thanh giúp chúng ta có thể phân biệt được âm thanh của các loại nhạc cụ khác nhau, hay tổng quát hơn là hai âm thanh có cùng tần số, cùng cường độ và cùng khoảng thời gian. Âm sắc là một khái niệm đa chiều khó để đo lường, các nhà nghiên cứu đã cố gắng tiếp cận âm sắc bằng cách xem xét các mối tương quan với các đặc điểm âm thanh như quá trình phát triển của âm thanh, các thành phần âm thanh và sự phân bố năng lượng của chúng. Quá trình phát triển của âm thanh (sound envelope) có thể mô tả bởi mô hình ADSR (A - Attack, D - Decay, S - Sustain, R - Release).
Các loại nhạc cụ khác nhau thì có quá trình phát triển âm thanh cũng khác nhau.5b khi nốt C4 vang lên bằng piano và violin tương ứng, ta có thể thấy đối với piano biên độ tăng mạnh khi 6 KIẾN THỨC NỀN TẢNG Hình 2.4: Các đường thể hiện độ to ngang nhau theo tần số và cường độ âm.5: Waveform, amplitude envelope búa gõ vào dây đàn, sau đó biên độ sẽ giảm từ từ và duy trì ở một mức nhất định và tiêu biến khi phím đàn được thả. Còn trong trường hợp âm thanh tạo ra bởi violin, vì giai điệu được phát nhẹ nhàng với âm lượng tăng dần nên giai đoạn (A) được dàn trải, không có giai đoạn (D) và giai đoạn (S) dao động không ổn định. Giai đoạn (R) xảy ra khi nhạc công ngừng kéo dây đàn. Âm thanh sau đó nhỏ dần nhanh chóng.