Chương 1: Giới thiệu các khái niệm cơ bản về hệ thính giác của con người. Phần này chú trọng tới các đặc điểm có ảnh hưởng tới quá trình nhận thức của con người. Giới thiệu tổng quan về bài toán nhận thức tiếng nói, những bài toán và các hướng nghiên cứu cụ thể của bài toán nhận thức tiếng nói, các mức độ nhận thức cũng như các khó khăn trong bài toán này. Chương này cũng giới thiệu một cách khái quát các lý thuyết, mô hình cho bài toán nhận thức tiếng nói và các ứng dụng của bài toán nhận thức tiếng nói.
Chương 2: Giới thiệu các kiến thức cơ sở về nhận thức tiếng nói như các phương pháp học máy được sử dụng trong bài toán nhận thức tiếng nói, một số phương pháp trích chọn đặc trưng phổ biến được sử dụng trong các hệ thống nhận thức tiếng nói. Chương 3: Đề xuất hai hướng tiếp cận mới cho bài toán nhận thức tiếng nói trong mối liên hệ với các khái niệm, thuật ngữ được định nghĩa trước bằng cách áp dụng phương pháp phân lớp LNBNN-SIFT-SPEECH và đề xuất mô hình tích chập cho bài toán nhận thức tiếng nói này. Các mô hình được đánh giá thông qua thực nghiệm trên một số bộ dữ liệu cụ thể. Chương 4: Đề xuất mô hình nhận thức tiếng nói dựa trên việc học mối quan hệ và mô hình học ánh xạ giữa một tín hiệu tiếng nói với một hình ảnh thu được của một sự vật, hiện tượng xảy ra cùng lúc với tín hiệu âm thanh được nghe thấy giống như quá trình học ngôn ngữ của con người.
Chương 5: Đề xuất phương pháp rút gọn đặc trưng bằng cách lượng tử hóa giá trị của các thành phần của đặc trưng SIFT về giá trị nhị phân sau đó mã hóa lại đặc trưng SIFT nhị phân thành một bộ mô tả mới, đồng thời đề xuất cài đặt phương pháp phân lớp LNBNN-HADOOP song song, phân tán trên nền tảng Hadoop cho bài toán nhận thức tiếng nói dữ liệu lớn. TỔNG QUAN VỀ NHẬN THỨC TIẾNG NÓI 1. Giới thiệu Nhận thức nói chung là việc tổ chức, xác định và diễn giải thông tin từ các giác quan để biểu diễn và hiểu môi trường xung quanh [Schacter, 2011]. Nhận thức liên quan đến các tín hiệu trong hệ thần kinh mà nó là kết quả từ sự kích thích vật lý hay hóa học của các cơ quan giác quan.
Nhận thức tiếng nói là khả năng nhận biết cấu trúc ngôn ngữ trong tín hiệu âm thanh hay nhận thức tiếng nói là quá trình tín hiệu âm thanh của một ngôn ngữ được nghe, diễn dịch để hiểu ngôn ngữ. Tín hiệu Hệ Kích Lưu trữ Liên kết Âm thính thích lên vỏ với vùng vỏ Hành động thanh giác nơ- ron não não khác Hình 1.1 Sơ đồ quá trình nhận thức tiếng nói Từ sơ đồ quá trình nhận thức, tín hiệu âm thanh được thu nhận thông qua hệ thính giác, khi tín hiệu đủ mạnh sẽ làm kích thích các nơ-ron thần kinh làm kích hoạt một số nơ-ron trên vùng vỏ não. Đồng thời, cùng với các tín hiệu thu được từ hệ thính giác khác vỏ não sẽ tạo nên các liên kết giữa vùng vỏ não của vùng não thính giác với các vũng não khác để lưu trữ các thông tin bậc cao, thông tin ở mức trừu tượng về sự vật hiện tượng và có phản ứng phù hợp với tín hiệu thu được. Trong khoa học máy tính, để máy tính có thể nhận thức được tiếng nói các nhà nghiên cứu đã cố gắng mô phỏng, giải thích cơ chế hoạt động nhận thức tiếng nói của con người.
Chúng tôi cho rằng, quá trình mô phỏng nhận thức tiếng nói trong máy tính cơ bản có những bước sau: Tín hiệu Lấy Lượng Mã hóa Biểu diễn Trích chọn Âm mẫu tín tử hóa tín hiệu tín hiệu đặc trưng thanh hiệu Phân lớp, Trả về đáp phân cụm ứng tín hiệu Hình 1. 2 Mô phỏng các bước trong nhận thức tiếng nói của máy tính 19 Trong phần 1.3 của chương này sẽ giải thích sơ lược các bước trong quá trình nhận thức tiếng nói ở người, và phần 1.4 sẽ giải thích các bước trong mô hình mô phỏng nhận thức tiếng nói trên máy tính. Quá trình nhận thức tiếng nói ở người Quá trình nhận thức tiếng nói được bắt đầu từ việc thu nhận tín hiệu âm thanh trải qua một số giai đoạn sau: 1. Tai ngoài thu nhận tín hiệu tiếng nói từ Tai ngoài được cấu tạo bởi vành tai và ống tai ngoài.
Vành tai là một bộ phận có chức năng thu nhận âm thanh. Ống tai ngoài có tác dụng khuếch đại các âm thanh ở tần số âm thanh từ 2,5kHz đến 3,5kHz [Menezes, 2004]. Vành tai có tác dụng thu thập và tập trung tín hiệu âm thanh để truyền tải vào tai giữa và tai trong. Tai giữa Tai giữa được ngăn cách với tai ngoài bởi màng nhĩ.
Màng nhĩ cực kỳ đàn hồi và là bộ phận chính tiếp nhận sóng âm để tạo ra các rung động tương ứng. Khi âm thanh đi vào trong ống tai, nó sẽ làm rung động màng nhĩ. Màng nhĩ có thể dễ dàng tiếp nhận sóng âm dù âm thanh được truyền đến từ bất cứ vị trí nào trên màng nhĩ. Khi tiếp nhận được tín hiệu âm thanh, mãng nhĩ sẽ dao động và làm dịch chuyển hệ thống khuếch đại âm thanh thông qua cấu trúc liên kết của ba hệ xương là xương búa, xương đe và xương bàn đạp.
Tín hiệu âm thanh sau khi được khuếch đại sẽ được truyền vào tai trong. Tai trong và cơ chế truyền sóng âm trong ốc tai Tai trong gồm bộ phận tiền đình và ốc tai. Ốc tai là bộ phận phức tạp nhất của hệ thống thính giác. Ốc tai có nhiệm vụ là sử dụng các dao động vật lý của sóng âm để chuyển hóa thành các tín hiệu mà bộ não hiểu được.
Cấu tạo ốc tai gồm ba ống đặt kề nhau ngăn cách bởi các màng mẫn cảm, các ống này co lại thành hình xoắn như trôn ốc. Xung kích thích được dây thần kinh thính giác truyền 1. Sóng âm làm tới vỏ não thính giác rung mãng nhĩ, được khuếch đại qua hệ xương 2. Cửa sổ Oval dịch chuyển làm chuyển động 3.
Các sợi sinh học chất lỏng trong ốc tai dao động cộng hưởng làm rung các sợi sinh với tín hiệu sẽ tạo ra học xung kích thích truyền tới vỏ não thính giác Hình 1. 3 Quá trình thu nhận âm thanh ở ốc tai Màng đáy, là một bề mặt cứng dàn trải toàn bộ chiều dài của ốc tai có chức năng tiếp nhận sóng âm thanh truyền từ bên ngoài đến đầu còn lại của ốc tai. Màng đáy được cấu tạo bởi khoảng 15.5001 sợi sinh học dàn trải trên toàn bộ kích thước ốc tai. Các sợi này có cấu tạo khác nhau để cộng hưởng với các tần số khác nhau của sóng âm [Guenter, 1978] [Purves, 2001].
Khi một tần số sóng âm cộng hưởng với các sợi sinh học này ở một điểm nào đó, làm chúng dao động liên tục dẫn đến năng lượng của sóng âm sẽ được giải phóng. Các tín hiệu âm thanh với tần số cao sẽ làm dao động các sợi sinh học ở gần gốc trong khi các tín hiệu âm với tần số thấp sẽ làm dao động các sợi ở phần đỉnh của ốc tai.eu/en/hair-cells 21 Hình 1. 4 Cộng hưởng với các tần số âm khác nhau ở ốc tai Các xung này lại tiếp tục được gửi đến vỏ não thính giác và được não tiếp nhận. Bộ não sẽ phân biệt âm thanh với các cao độ khác nhau qua các vị trí khác nhau mà những xung này được gởi đến từ các nang bào.
Âm thanh có âm lượng càng lớn sẽ giải tỏa nhiều năng lượng hơn và làm di chuyển nhiều nang bào hơn. Bộ não phân biệt được các âm thanh là nhờ vào số lượng các nang bào cùng được kích hoạt trong một vị trí nào đó. Khu vực vỏ não thính giác trước đây được chia thành các khu vực sơ cấp (A1), khu vực thứ cấp (A2) và vùng vành đai. Các quan điểm hiện đại [Pickles, 2012] [Purves, 2001] chia vỏ não thính giác thành các vùng là vùng lõi (A1), vùng vành đai và vùng parabelt.
Vùng vành đai là khu vực ngay xung quanh lõi; vùng parabelt là tiếp giáp với phía bên của vành đai. Một số tác giả nghiên cứu về vai trò của não đối với hoạt động nhận thức chia vùng vỏ não thính giác thành vùng sơ cấp, vùng liên kết thính giác và vùng liên kết bậc cao hay còn gọi là vùng liên kết đa giác quan. 22 Chức năng của vỏ não thính giác sơ cấp là xử lý âm thanh. Vỏ não thính giác sơ cấp xử lý các thông tin như độ cao, âm lượng và vị trí của âm thanh, những đặc trưng này rất cần thiết cho việc hiểu ngôn ngữ.
Các nơ-ron trong vỏ não thính giác được sắp xếp theo trật tự của tần số tương ứng với sự sắp xếp các sợ sinh học trong ốc tai, mỗi nơ-ron trong vỏ não thính giác phản ứng tốt nhất với một dải tần số cụ thể và được sắp xếp theo tần số từ cao xuống thấp từ gốc của đến đỉnh ốc tai. Vỏ não thính giác thứ cấp chịu trách nhiệm xử lý các tính chất âm thanh phức tạp hơn như các mẫu nhịp điệu trong khi vùng vành đai giúp tích hợp thính giác với các hệ thống giác quan khác.5 Khu vực lưu trữ đặc trưng tiếng nói trên vỏ não 1. Quá trình mô phỏng nhận thức tiếng nói trên máy tính Tín hiệu tiếng nói là tín hiệu tương tự, do đó khi biểu diễn tín hiệu tiếng nói trong môi trường tính toán tín hiệu số, việc biểu diễn và lưu trữ sao cho không bị mất thông tin là vấn đề rất quan trọng trong các hệ thống thông tin sử dụng tiếng nói. Biểu diễn tín hiệu tiếng nói dưới dạng số chịu ảnh hưởng quan trọng của lý thuyết lấy mẫu, do đó các trạng thái của tín hiệu có dải tần số giới hạn có thể được biểu diễn dưới dạng các mẫu lấy tuần hoàn theo một chu kì cố định được gọi là chu kì lấy mẫu.
Phương pháp biểu diễn tín hiệu theo dạng sóng, được xem xét đến với việc bảo quản thông tin theo cách thông thường là giữ nguyên hình dạng sóng của tín hiệu tương ứng khi đã qua các bước lấy mẫu và lượng tử hoá tín hiệu. Phương pháp thứ hai được dùng để biểu diễn tiếng nói là phương pháp biểu diễn theo tham số. Phương pháp này xem xét đến trên khía 23 cạnh biểu diễn tín hiệu tiếng nói như là đầu ra của hệ thống tổng hợp tiếng nói.