Chương 1. TỔNG QUAN VỀ NHẬN THỨC TIẾNG NÓI 1. Giới thiệu Nhận thức nói chung là việc tổ chức, xác định và diễn giải thông tin từ các giác quan để biểu diễn và hiểu môi trường xung quanh [Schacter, 2011]. Nhận thức liên quan đến các tín hiệu trong hệ thần kinh mà nó là kết quả từ sự kích thích vật lý hay hóa học của các cơ quan giác quan.
Nhận thức tiếng nói là khả năng nhận biết cấu trúc ngôn ngữ trong tín hiệu âm thanh hay nhận thức tiếng nói là quá trình tín hiệu âm thanh của một ngôn ngữ được nghe, diễn dịch để hiểu ngôn ngữ. Tín hiệu Hệ Kích Lưu trữ Liên kết Âm thính thích lên vỏ với vùng vỏ Hành động thanh giác nơ- ron não não khác Hình 1.1 Sơ đồ quá trình nhận thức tiếng nói Từ sơ đồ quá trình nhận thức, tín hiệu âm thanh được thu nhận thông qua hệ thính giác, khi tín hiệu đủ mạnh sẽ làm kích thích các nơ-ron thần kinh làm kích hoạt một số nơ-ron trên vùng vỏ não. Đồng thời, cùng với các tín hiệu thu được từ hệ thính giác khác vỏ não sẽ tạo nên các liên kết giữa vùng vỏ não của vùng não thính giác với các vũng não khác để lưu trữ các thông tin bậc cao, thông tin ở mức trừu tượng về sự vật hiện tượng và có phản ứng phù hợp với tín hiệu thu được. Trong khoa học máy tính, để máy tính có thể nhận thức được tiếng nói các nhà nghiên cứu đã cố gắng mô phỏng, giải thích cơ chế hoạt động nhận thức tiếng nói của con người.
Chúng tôi cho rằng, quá trình mô phỏng nhận thức tiếng nói trong máy tính cơ bản có những bước sau: Tín hiệu Lấy Lượng Mã hóa Biểu diễn Trích chọn Âm mẫu tín tử hóa tín hiệu tín hiệu đặc trưng thanh hiệu Phân lớp, Trả về đáp phân cụm ứng tín hiệu Hình 1. 2 Mô phỏng các bước trong nhận thức tiếng nói của máy tính 19 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Trong phần 1.3 của chương này sẽ giải thích sơ lược các bước trong quá trình nhận thức tiếng nói ở người, và phần 1.4 sẽ giải thích các bước trong mô hình mô phỏng nhận thức tiếng nói trên máy tính. Quá trình nhận thức tiếng nói ở người Quá trình nhận thức tiếng nói được bắt đầu từ việc thu nhận tín hiệu âm thanh trải qua một số giai đoạn sau: 1. Tai ngoài thu nhận tín hiệu tiếng nói từ Tai ngoài được cấu tạo bởi vành tai và ống tai ngoài.
Vành tai là một bộ phận có chức năng thu nhận âm thanh. Ống tai ngoài có tác dụng khuếch đại các âm thanh ở tần số âm thanh từ 2,5kHz đến 3,5kHz [Menezes, 2004]. Vành tai có tác dụng thu thập và tập trung tín hiệu âm thanh để truyền tải vào tai giữa và tai trong. Tai giữa Tai giữa được ngăn cách với tai ngoài bởi màng nhĩ.
Màng nhĩ cực kỳ đàn hồi và là bộ phận chính tiếp nhận sóng âm để tạo ra các rung động tương ứng. Khi âm thanh đi vào trong ống tai, nó sẽ làm rung động màng nhĩ. Màng nhĩ có thể dễ dàng tiếp nhận sóng âm dù âm thanh được truyền đến từ bất cứ vị trí nào trên màng nhĩ. Khi tiếp nhận được tín hiệu âm thanh, mãng nhĩ sẽ dao động và làm dịch chuyển hệ thống khuếch đại âm thanh thông qua cấu trúc liên kết của ba hệ xương là xương búa, xương đe và xương bàn đạp.
Tín hiệu âm thanh sau khi được khuếch đại sẽ được truyền vào tai trong. Tai trong và cơ chế truyền sóng âm trong ốc tai Tai trong gồm bộ phận tiền đình và ốc tai. Ốc tai là bộ phận phức tạp nhất của hệ thống thính giác. Ốc tai có nhiệm vụ là sử dụng các dao động vật lý của sóng âm để chuyển hóa thành các tín hiệu mà bộ não hiểu được.
Cấu tạo ốc tai gồm ba ống đặt kề nhau ngăn cách bởi các màng mẫn cảm, các ống này co lại thành hình xoắn như trôn ốc. 20 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Xung kích thích được dây thần kinh thính giác truyền 1. Sóng âm làm tới vỏ não thính giác rung mãng nhĩ, được khuếch đại qua hệ xương 2.
Cửa sổ Oval dịch chuyển làm chuyển động 3. Các sợi sinh học chất lỏng trong ốc tai dao động cộng hưởng làm rung các sợi sinh với tín hiệu sẽ tạo ra học xung kích thích truyền tới vỏ não thính giác Hình 1. 3 Quá trình thu nhận âm thanh ở ốc tai Màng đáy, là một bề mặt cứng dàn trải toàn bộ chiều dài của ốc tai có chức năng tiếp nhận sóng âm thanh truyền từ bên ngoài đến đầu còn lại của ốc tai. Màng đáy được cấu tạo bởi khoảng 15.5001 sợi sinh học dàn trải trên toàn bộ kích thước ốc tai.
Các sợi này có cấu tạo khác nhau để cộng hưởng với các tần số khác nhau của sóng âm [Guenter, 1978] [Purves, 2001]. Khi một tần số sóng âm cộng hưởng với các sợi sinh học này ở một điểm nào đó, làm chúng dao động liên tục dẫn đến năng lượng của sóng âm sẽ được giải phóng. Các tín hiệu âm thanh với tần số cao sẽ làm dao động các sợi sinh học ở gần gốc trong khi các tín hiệu âm với tần số thấp sẽ làm dao động các sợi ở phần đỉnh của ốc tai.eu/en/hair-cells 21 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. 4 Cộng hưởng với các tần số âm khác nhau ở ốc tai Các xung này lại tiếp tục được gửi đến vỏ não thính giác và được não tiếp nhận.
Bộ não sẽ phân biệt âm thanh với các cao độ khác nhau qua các vị trí khác nhau mà những xung này được gởi đến từ các nang bào. Âm thanh có âm lượng càng lớn sẽ giải tỏa nhiều năng lượng hơn và làm di chuyển nhiều nang bào hơn. Bộ não phân biệt được các âm thanh là nhờ vào số lượng các nang bào cùng được kích hoạt trong một vị trí nào đó. Khu vực vỏ não thính giác trước đây được chia thành các khu vực sơ cấp (A1), khu vực thứ cấp (A2) và vùng vành đai.
Các quan điểm hiện đại [Pickles, 2012] [Purves, 2001] chia vỏ não thính giác thành các vùng là vùng lõi (A1), vùng vành đai và vùng parabelt. Vùng vành đai là khu vực ngay xung quanh lõi; vùng parabelt là tiếp giáp với phía bên của vành đai. Một số tác giả nghiên cứu về vai trò của não đối với hoạt động nhận thức chia vùng vỏ não thính giác thành vùng sơ cấp, vùng liên kết thính giác và vùng liên kết bậc cao hay còn gọi là vùng liên kết đa giác quan. 22 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chức năng của vỏ não thính giác sơ cấp là xử lý âm thanh.
Vỏ não thính giác sơ cấp xử lý các thông tin như độ cao, âm lượng và vị trí của âm thanh, những đặc trưng này rất cần thiết cho việc hiểu ngôn ngữ. Các nơ-ron trong vỏ não thính giác được sắp xếp theo trật tự của tần số tương ứng với sự sắp xếp các sợ sinh học trong ốc tai, mỗi nơ-ron trong vỏ não thính giác phản ứng tốt nhất với một dải tần số cụ thể và được sắp xếp theo tần số từ cao xuống thấp từ gốc của đến đỉnh ốc tai. Vỏ não thính giác thứ cấp chịu trách nhiệm xử lý các tính chất âm thanh phức tạp hơn như các mẫu nhịp điệu trong khi vùng vành đai giúp tích hợp thính giác với các hệ thống giác quan khác.5 Khu vực lưu trữ đặc trưng tiếng nói trên vỏ não 1. Quá trình mô phỏng nhận thức tiếng nói trên máy tính Tín hiệu tiếng nói là tín hiệu tương tự, do đó khi biểu diễn tín hiệu tiếng nói trong môi trường tính toán tín hiệu số, việc biểu diễn và lưu trữ sao cho không bị mất thông tin là vấn đề rất quan trọng trong các hệ thống thông tin sử dụng tiếng nói.
Biểu diễn tín hiệu tiếng nói dưới dạng số chịu ảnh hưởng quan trọng của lý thuyết lấy mẫu, do đó các trạng thái của tín hiệu có dải tần số giới hạn có thể được biểu diễn dưới dạng các mẫu lấy tuần hoàn theo một chu kì cố định được gọi là chu kì lấy mẫu. Phương pháp biểu diễn tín hiệu theo dạng sóng, được xem xét đến với việc bảo quản thông tin theo cách thông thường là giữ nguyên hình dạng sóng của tín hiệu tương ứng khi đã qua các bước lấy mẫu và lượng tử hoá tín hiệu. Phương pháp thứ hai được dùng để biểu diễn tiếng nói là phương pháp biểu diễn theo tham số. Phương pháp này xem xét đến trên khía 23 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cạnh biểu diễn tín hiệu tiếng nói như là đầu ra của hệ thống tổng hợp tiếng nói.
Để thu được các tham số biểu diễn tiếng nói, đầu tiên tín hiệu tiếng nói cũng được biểu diễn theo dạng sóng, nghĩa là tín hiệu tiếng nói được lấy mẫu và lượng tử hóa giống như phương pháp biểu diễn tín hiệu tiếng nói dạng sóng, sau đó sẽ tiến hành xử lý để thu được các tham số của tín hiệu tiếng nói của mô hình tổng hợp tiếng nói nêu trên. Các tham số của mô hình tổng hợp tiếng nói này thường được phân loại thành các tham số kích thích và các tham số của bộ máy phát âm tương ứng. Để thu được biểu diễn của tín hiệu tiếng nói dưới dạng sóng người ta phải biểu diễn tín hiệu tiếng nói dưới dạng rời rạc. Quá trình rời rạc hoá tín hiệu tiếng nói bao gồm các bước sau: lấy mẫu tín hiệu tiếng nói, lượng tử hoá các mẫu, và mã hoá và nén tín hiệu.
Lấy mẫu tín hiệu tiếng nói Lấy mẫu tín hiệu là quá trình chuyển đổi tín hiệu từ liên tục thành rời rạc bằng cách lấy từng mẫu (sample) của tín hiệu liên tục tại các thời điểm rời rạc. Vậy nếu tín hiệu x(t) được đưa vào bộ lấy mẫu thì đầu ra là x(nT) ≡ x(n) với T là chu kỳ lấy mẫu. Nghịch đảo của chu kỳ lấy mẫu sẽ được gọi là tần số lấy mẫu. Sau khi lấy mẫu, tín hiệu liên tục trở thành dãy các giá trị rời rạc và có thể lưu trữ trong bộ nhớ máy tính để xử lý.
Khi lấy mẫu một tín hiệu tương tự với tần số lấy mẫu f0, cần đảm bảo rằng việc khôi phục lại tín hiệu đó từ tín hiệu rời rạc tương ứng phải thực hiện được. Shanon đã đưa ra một định lý để xác định tần số lấy mẫu đảm bảo khôi phục được tín hiệu gốc.