Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Giao tiếp người - máy thông qua ngôn ngữ tự nhiên đóng vai trò quan trọng trong việc phát triển các ứng dụng giải phóng sức lao động của con người. Nghiên cứu về nhận thức âm thanh và tiếng nói đã được triển khai từ đầu những năm 1950. Ban đầu, các nghiên cứu tập trung vào những bài toán cụ thể như tách nguồn tiếng nói, nhận dạng tiếng nói, nhận dạng và xác thực người nói.

Tuy nhiên, các hệ thống nhận thức tiếng nói phần lớn mới chỉ giải quyết các bài toán phân biệt ở một số khía cạnh riêng lẻ:

  • Phân biệt các nguồn tiếng nói khác nhau từ một nguồn tổng hợp [Allen, 2004].
  • Phân biệt tiếng nói từ nguồn có nhiễu; phân biệt nguyên âm với phụ âm [Hillenbrand, 1995], [Hillenbrand, 2001], [Krisztina, 2005], [Lengeris, 2014].
  • Phân biệt các âm tiết, nhận dạng từ độc lập [Bever, 1969], [McClelland, 1986], [Luce, 1998] hoặc nhận dạng tiếng nói liên tục [Davis, 1980], [Fowler, 1995].

Về mặt sinh học thần kinh, các nghiên cứu nêu trên chủ yếu mô phỏng hoạt động nhận thức xảy ra tại vùng vỏ não thính giác sơ cấp (A1 - nơi lưu trữ đặc trưng tần số) và vùng vỏ não thính giác thứ cấp (A2 - nơi chứa các mẫu âm thanh có mối liên hệ với nhau). Khoảng trống nghiên cứu cơ bản được xác định là:

  1. Rất ít nghiên cứu đặt bài toán nhận thức tiếng nói trong mối quan hệ với các hệ giác quan khác (thị giác, khứu giác, xúc giác).
  2. Các nghiên cứu hiện hành chủ yếu mô phỏng quá trình ánh xạ giữa tín hiệu âm thanh với các thành phần ngôn ngữ, từ ngữ hoặc khái niệm do tri thức con người cung cấp và định nghĩa trước.
  3. Chưa có nhiều nghiên cứu tập trung vào quá trình tự học mối liên kết giữa tín hiệu âm thanh với các tín hiệu thu nhận đồng thời từ các giác quan khác mà không cần sự can thiệp của tri thức gán nhãn sẵn.

Từ khoảng trống này, luận án lựa chọn đề tài "Hướng tiếp cận dựa trên phổ tần số cho bài toán nhận thức tiếng nói", tập trung đề xuất mô hình mô phỏng quá trình nhận thức tiếng nói thông qua việc học liên kết giữa vùng vỏ não thính giác với các vùng vỏ não khác, cụ thể là vùng vỏ não thị giác.

Mục tiêu và nhiệm vụ nghiên cứu

Mục tiêu chính của luận án là xây dựng mô hình nhận thức tiếng nói dựa trên liên kết giữa tín hiệu thính giác với các thông tin và tín hiệu khác. Trong đó, thực nghiệm tập trung vào:

  • Mô hình học mối quan hệ giữa tín hiệu thính giác với khái niệm cho trước.
  • Mô hình học mối quan hệ và ánh xạ giữa tín hiệu tiếng nói và tín hiệu hình ảnh.

Để đạt được mục tiêu trên, luận án xác định 4 nhiệm vụ cụ thể:

  1. Cải thiện phương pháp học liên kết giữa tín hiệu tiếng nói với các từ được định nghĩa sẵn.
  2. Xây dựng mô hình học mối quan hệ giữa tín hiệu tiếng nói với các tín hiệu khác (tín hiệu hình ảnh).
  3. Cải thiện tốc độ thông qua rút gọn dữ liệu đặc trưng, giảm kích thước bộ nhớ cần thiết cho mô hình.
  4. Cải thiện tốc độ thông qua thực hiện tính toán song song và phân tán hóa mô hình cho bài toán xử lý dữ liệu lớn.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Tín hiệu tiếng nói, phổ tần số của tiếng nói, đặc trưng âm học, các mô hình học máy (HMM, mạng nơ-ron, mạng tích chập CNN), phương pháp phân lớp LNBNN, và dữ liệu hình ảnh kết hợp.
  • Phạm vi nội dung:
    • Xử lý đoạn tín hiệu tiếng nói và biểu diễn tín hiệu trên miền thời gian - tần số.
    • Trích chọn đặc trưng tiếng nói từ ảnh phổ tần số.
    • Hiểu tiếng nói ở khía cạnh liên kết với từ, cụm từ định nghĩa sẵn (nhận dạng từ độc lập).
    • Hiểu tiếng nói ở khía cạnh liên kết giữa tín hiệu tiếng nói và tín hiệu hình ảnh thu được đồng thời.
  • Phạm vi dữ liệu thực nghiệm: Các bộ dữ liệu tiếng nói là các từ và cụm từ độc lập; bộ dữ liệu kết hợp âm thanh và hình ảnh của sự vật, hiện tượng.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

Luận án đã tổng hợp các công trình nghiên cứu trong và ngoài nước theo các nhóm tiếp cận:

Hướng tiếp cận Tác giả & Năm công bố Nội dung trọng tâm
Tách nguồn và hiệu ứng bữa tiệc (Cocktail-party) Cherry (1953); Broadbent & Ladefoged (1957) Nghiên cứu khả năng phân biệt tín hiệu tiếng nói trong môi trường đa nguồn âm thanh; phân biệt nguyên âm đồng thời dựa trên tần số cơ bản $F_0$.
Tích hợp đa phương thức (Audio-Visual) Sumby & Pollack (1954); Massaro (1998); Rosenblum Chứng minh sự kết hợp thính giác và thị giác làm tăng khả năng nhận dạng âm tiết, đặc biệt trong môi trường có mức độ nhiễu cao.
Vai trò não bộ và bộ nhớ Kimura (1961a, 1961b); Miller (1956); Pisoni (1973); Goldinger (1998); Allen & Miller (2004); Smith (2004) Phân tích tính bất đối xứng bán cầu não trong xử lý ngôn ngữ; vai trò của bộ nhớ ngắn hạn và mẫu nhớ âm vị trong việc nhận dạng từ và người nói.
Các lý thuyết nhận thức kinh điển Liberman et al. (1967); Stevens (1972, 1989); McClelland (1986); Halle & Stevens (1962); Marslen-Wilson (1975, 1987); Lacerda & Johnson (1995); Pierrehumbert (2001); Kröger (2009); Hickok & Poeppel (2000, 2007) - Lý thuyết vận động (Motor Theory): Nhận thức gắn liền với cấu âm.
- Lý thuyết lượng tử hóa (Quantal Theory).
- Mô hình TRACE: Tích hợp đa nguồn thông tin nhận dạng từ.
- Phân tích bằng tổng hợp (Analysis-by-synthesis).
- Mô hình Cohort: Nhận dạng từ vựng theo chuỗi thời gian.
- Lý thuyết mẫu (Exemplar Theory): Dựa trên bộ nhớ và trải nghiệm.
- Mô hình tính toán nơ-ron.
- Mô hình luồng kép (Dual Stream): Luồng xử lý ngữ nghĩa và luồng xử lý vận động cấu âm.
Mô hình học máy trong khoa học máy tính Juang (1991); Bagul (2013); Aida-zade (2016); Tsenov (2010); Sak (2014); Soltau (2014); Chen (2017); Dominique (2017) Ứng dụng HMM, GMM, SVM, mạng nơ-ron nhiều lớp (MLP), mạng hồi quy (RNN), mạng nơ-ron sâu (DNN), mô hình kết hợp HMM-DNN trong nhận dạng tiếng nói.
Nghiên cứu nhận dạng tiếng nói tại Việt Nam Viện CNTT (Vũ Thắng, 2005; Huy, 2003; Đức, 2004; Thắng, 2008); ĐH KHTN TP.HCM (Tuấn, 2009); PTN MICA; các tác giả: Phúc (2000), Hoàn (1996), Vũ Ngọc (2009), Văn Huy (2015), Hồng Quang (2008), Dũng (2010) Phát triển hệ thống nhận dạng tiếng Việt từ vựng lớn sử dụng mạng nơ-ron (ANN) với bộ công cụ CSLU, mô hình HMM với công cụ HTK; các ứng dụng truy vấn thông tin, điều khiển robot, dịch tự động và nhận dạng người nói.

Khoảng trống luận án lựa chọn giải quyết

Các nghiên cứu trước đây chủ yếu tập trung vào việc trích chọn các đặc trưng âm học truyền thống (MFCC, LPC, PLP), sau đó ánh xạ tín hiệu vào các đơn vị ngôn ngữ do con người định nghĩa sẵn (âm vị, âm tiết, từ). Chưa có mô hình nào giải quyết bài toán liên kết tín hiệu tiếng nói với các tín hiệu cảm giác khác (như hình ảnh) để sau khi học, hệ thống có thể tái hiện lại các thông tin liên kết của sự vật, hiện tượng khi nghe thấy tín hiệu tiếng nói tương ứng. Luận án chọn giải quyết bài toán xây dựng mạng liên kết đa giác quan này kết hợp với việc khai thác thông tin phổ tần số 2D.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết sinh học và thần kinh học

Luận án dựa trên cấu trúc sinh học của hệ thính giác người:

  • Tai ngoài: Gồm vành tai và ống tai ngoài, có chức năng thu nhận và khuếch đại âm thanh ở dải tần $2{,}5\text{ kHz} - 3{,}5\text{ kHz}$ [Menezes, 2004].
  • Tai giữa: Màng nhĩ tiếp nhận sóng âm, chuyển dịch rung động qua hệ thống ba xương (xương búa, xương đe, xương bàn đạp) để khuếch đại và truyền vào tai trong.
  • Tai trong và ốc tai: Ốc tai chứa màng đáy với khoảng $15.500$ sợi sinh học [Guenter, 1978], [Purves, 2001]. Các sợi sinh học ở gốc cộng hưởng với tần số cao, các sợi ở đỉnh cộng hưởng với tần số thấp.
  • Vỏ não thính giác: Được phân chia theo quan điểm hiện đại gồm vùng lõi sơ cấp (A1 - xử lý độ cao, âm lượng, vị trí theo trật tự tần số), vùng vành đai (belt - xử lý nhịp điệu phức tạp) và vùng parabelt (tích hợp thính giác với các giác quan khác) [Pickles, 2012], [Purves, 2001].

Lý thuyết xử lý tín hiệu và số hóa tiếng nói

  • Lấy mẫu (Sampling): Theo định lý Shannon, điều kiện để khôi phục tín hiệu tương tự liên tục từ chuỗi mẫu rời rạc với tần số lấy mẫu $f_0$ là: $$f_0 > F_{\max}$$ Dải tần tai người nghe được là $16\text{ Hz} - 20\text{ kHz}$, yêu cầu tần số lấy mẫu tối thiểu $40\text{ kHz}$. Trong các bài toán thực tế, tần số lấy mẫu thường được chọn từ $6.000\text{ Hz} - 16.000\text{ Hz}$ (ví dụ điện thoại giới hạn ở $3.400\text{ Hz}$ với $f_0 = 8.000\text{ Hz}$).
  • Lượng tử hóa (Quantization): Chuyển đổi biên độ liên tục thành $L$ mức rời rạc với bước lượng tử $\Delta$: $$\Delta = \frac{x_{\max} - x_{\min}}{L - 1}$$ Sai số lượng tử hóa $e_q(n)$ nằm trong khoảng $\left[-\frac{\Delta}{2}, \frac{\Delta}{2}\right]$.
  • Mã hóa: Gán số nhị phân cho các mức lượng tử với số bit thỏa mãn $b \ge \log_2 L$.

Các phương pháp trích chọn đặc trưng truyền thống

Văn bản điểm lại ba phương pháp đặc trưng kinh điển:

+------------------------------------------------------------------------------------+
|                                    MFCC                                            |
|  Tín hiệu -> Pre-emphasis -> Cửa sổ Hamming -> DFT -> Bộ lọc Mel -> Log -> DCT     |
+------------------------------------------------------------------------------------+
|                                     LPC                                            |
|  Tín hiệu -> Pre-emphasis -> Phân đoạn -> Cửa sổ Hamming -> Thuật toán Levinson-   |
|  Durbin -> Hệ số Cepstral -> Trọng số -> Đạo hàm Cepstral                          |
+------------------------------------------------------------------------------------+
|                                     PLP                                            |
|  Tín hiệu -> FFT -> Lọc thang Bark -> Cân bằng độ ồn -> Luật cường độ nghe (căn    |
|  bậc 3) -> Biến đổi Fourier ngược -> Thuật toán Durbin -> Hệ số PLP               |
+------------------------------------------------------------------------------------+

Phương pháp nghiên cứu của luận án

Luận án kết hợp nghiên cứu lý thuyết và nghiên cứu thực nghiệm:

  • Nghiên cứu lý thuyết: Tổng hợp các lý thuyết nhận thức tiếng nói, mô hình âm học, mô hình tính toán nơ-ron và các kiến trúc học sâu.
  • Nghiên cứu thực nghiệm:
    • Xây dựng phương pháp trích chọn đặc trưng SIFT-SPEECH từ phổ tần số 2D.
    • Sử dụng phương pháp phân lớp LNBNN (Local Naive Bayes Nearest Neighbor) kết hợp đặc trưng SIFT-SPEECH.
    • Xây dựng mô hình mạng nơ-ron tích chập (CNN) xử lý trực tiếp trên ảnh phổ tần số.
    • Xây dựng mô hình học ánh xạ liên kết âm thanh - hình ảnh thu nhận đồng thời.
    • Nghiên cứu lượng tử hóa nhị phân vector SIFT và phân tán hóa thuật toán LNBNN trên nền tảng Hadoop.

Nội dung chính theo từng chương

Chương 1: Tổng quan về nhận thức tiếng nói

Chương 1 trình bày cơ sở sinh học của hệ thính giác người và mô hình hóa quá trình này trên máy tính:

  • Phân tích cơ chế thu nhận âm thanh từ tai ngoài, tai giữa đến ốc tai và sự phân vùng chức năng trên vỏ não thính giác.
  • Định nghĩa nhận thức tiếng nói là khả năng nhận biết cấu trúc ngôn ngữ hoặc diễn dịch tín hiệu âm thanh để hiểu nội dung [Schacter, 2011].
  • Phân loại bài toán nhận thức tiếng nói trong khoa học máy tính thành hai cấp độ:
    1. Cấp độ nhận dạng: Liên kết tín hiệu với khái niệm/định danh do con người định nghĩa sẵn (nhận dạng người nói, nhận dạng tiếng nói).
    2. Cấp độ nhận thức: Tự học mối quan hệ giữa tín hiệu tiếng nói với các thông tin giác quan khác trong quá trình tương tác mà không cần nhãn gán sẵn.
  • Phân tích 5 khó khăn cốt lõi trong nhận thức tiếng nói:
    1. Tính tuyến tính: Sự phụ thuộc giữa các âm lân cận (đồng cấu âm).
    2. Phân đoạn tiếng nói: Khó khăn trong xác định ranh giới âm vị, âm tiết, từ.
    3. Sự phụ thuộc người nói: Khác biệt về giải phẫu thanh quản, độ tuổi, cảm xúc.
    4. Vấn đề nhiễu: Tạp âm môi trường và giọng nói xen lẫn.
    5. Đơn vị nhận thức cơ bản: Tranh cãi giữa việc chọn âm vị, từ hay câu [Bever, 1969], [Miller, 1956].

Chương 2: Một số hướng tiếp cận học máy cho bài toán nhận thức tiếng nói

Chương 2 hệ thống hóa các mô hình toán học và công cụ học máy:

  • Mô hình Markov ẩn (HMM-GMM): Biểu diễn bằng bộ tham số $\lambda = (A, B, \Pi)$. Mô hình hoạt động dựa trên hai giả thiết: tính độc lập của các quan sát và tính chất Markov của chuỗi trạng thái.
  • Mô hình ngôn ngữ N-gram: Xác định xác suất chuỗi từ dựa trên xấp xỉ Markov: $$P(w_i | w_{i-n+1} \dots w_{i-1}) = \frac{C(w_{i-n+1} \dots w_i)}{C(w_{i-n+1} \dots w_{i-1})}$$ Các kỹ thuật làm mịn để xử lý phân bố không đồng đều gồm: Add-One, Back-off và Interpolation.
  • Mạng Perceptron nhiều lớp (MLP): Công thức truyền thẳng và thuật toán lan truyền ngược cập nhật trọng số: $$W_{i,j,k}^q = W_{i,j,k}^{q-1} - \alpha \frac{\partial E}{\partial W_{i,j,k}^{q-1}}$$
  • Mạng học sâu (DNN):
    • Bộ tự mã hóa (Auto-Encoders): Gồm bộ mã hóa, mã không gian tiềm ẩn và bộ giải mã, phục vụ nén và rút gọn chiều dữ liệu phi giám sát.
    • Mạng hồi quy (RNN): Có khả năng lưu giữ thông tin chuỗi thời gian qua các trạng thái ẩn.
    • Mạng nơ-ron tích chập (CNN): Cấu trúc gồm lớp tích chập (Convolution), hàm kích hoạt phi tuyến ReLU ($f(x) = \max(0, x)$), lớp lấy mẫu (Pooling: Max, Min, Average) và lớp kết nối đầy đủ (Fully Connected).
    • Các kiến trúc CNN tiêu biểu: LeNet-5 (1998 - $60.000$ tham số), AlexNet (2012 - $60$ triệu tham số), ZF Net (2013), GoogLeNet (2014 - 22 lớp, $4$ triệu tham số), VGGNet (2014 - 16 lớp, $138$ triệu tham số), ResNet (2015 - 152 lớp, cơ chế skip connection).
  • Các phương pháp trích chọn đặc trưng: Chi tiết các bước tính toán và công thức toán học của MFCC (thang tần số Mel), LPC (thuật toán Levinson-Durbin) và PLP (thang Bark kết hợp luật cường độ nghe).

Chương 3: Hướng tiếp cận dựa trên phổ tần số cho bài toán nhận thức tiếng nói trong mối liên hệ với các khái niệm

Chương 3 chỉ ra các nhược điểm của đặc trưng truyền thống (MFCC, LPC, PLP):

  • Sử dụng các bộ lọc dựa trên giả thuyết thính giác làm mất thông tin tần số và thông tin pha [Majeed, 2015].
  • Tín hiệu tiếng nói có độ dài khác nhau tạo ra số lượng vector đặc trưng không đồng nhất, buộc phải dùng các kỹ thuật lấy mẫu lại, lượng tử hóa hoặc phân cụm để quy về cùng kích thước cho HMM hay SVM [Francois, 2007], gây mất mát thông tin.

Để giải quyết, chương đề xuất hai phương pháp tiếp cận trực tiếp trên ảnh phổ tần số 2D (trục tung là tần số, trục hoành là thời gian, giá trị điểm ảnh là biên độ):

  1. Phương pháp LNBNN-SIFT-SPEECH: Trích chọn các điểm đặc trưng SIFT trực tiếp từ ảnh phổ tần số (SIFT-SPEECH) dựa trên cơ chế bắt đặc trưng của hệ thính giác, kết hợp thuật toán phân lớp khoảng cách láng giềng gần nhất Naive Bayes cục bộ (LNBNN).
  2. Mô hình mạng tích chập CNN trên phổ tần số: Sử dụng các lớp tích chập để tự động trích chọn đặc trưng không gian trên ảnh phổ, kết hợp với lớp phân lớp Softmax ở đầu ra.

Chương 4: Mô hình nhận thức tiếng nói dựa trên việc học mối quan hệ giữa tín hiệu tiếng nói và tín hiệu hình ảnh

Chương 4 đề xuất mô hình mô phỏng quá trình nhận thức tại vùng vỏ não liên kết đa giác quan:

  • Xây dựng cơ chế học mối quan hệ và ánh xạ trực tiếp giữa tín hiệu tiếng nói và hình ảnh của sự vật, hiện tượng xuất hiện đồng thời.
  • Cơ chế này mô phỏng cách học ngôn ngữ tự nhiên của con người (khi nghe từ "quả chanh" liên kết với hình ảnh thị giác về màu sắc, hình dáng).
  • Hệ thống tự thiết lập liên kết đa phương thức mà không cần cung cấp các nhãn ngôn ngữ định sẵn.

Chương 5: Đề xuất phương pháp rút gọn đặc trưng và cài đặt phân lớp song song, phân tán trên nền tảng Hadoop

Chương 5 giải quyết vấn đề hiệu năng và tính toán cho dữ liệu quy mô lớn:

  • Rút gọn dữ liệu đặc trưng SIFT nhị phân: Biểu diễn vector đặc trưng SIFT từ dạng gốc 128 chiều (mỗi chiều 1 byte = 128 byte) thành vector nhị phân 128 bit. Phương pháp lượng tử hóa này giúp giảm kích thước lưu trữ 8 lần trong khi vẫn duy trì độ chính xác của mô hình.
  • Cài đặt LNBNN-HADOOP: Chuyển đổi và cài đặt thuật toán phân lớp LNBNN trên nền tảng tính toán song song, phân tán Hadoop (MapReduce), cho phép kết hợp các máy tính cấu hình phổ thông để xử lý các tập dữ liệu tiếng nói lớn.

Kết quả và những đóng góp mới

Các đóng góp mới về mặt khoa học và kỹ thuật

  1. Đề xuất đặc trưng SIFT-SPEECH: Trích chọn đặc trưng SIFT trực tiếp từ ảnh phổ tần số 2D của tín hiệu tiếng nói dựa trên cơ chế thu nhận đặc trưng tần số của hệ thính giác người.
  2. Đề xuất phương pháp phân lớp LNBNN-SIFT-SPEECH: Kết hợp bộ phân lớp LNBNN với đặc trưng SIFT-SPEECH cho bài toán nhận thức/nhận dạng tiếng nói từ độc lập.
  3. Đề xuất mô hình CNN trên phổ tần số: Áp dụng mạng nơ-ron tích chập tự động trích chọn đặc trưng trên ảnh phổ tần số kết hợp lớp Softmax để phân lớp tiếng nói gắn với khái niệm cho trước.
  4. Đề xuất mô hình liên kết đa giác quan Thính giác - Thị giác: Xây dựng mô hình học quan hệ và ánh xạ giữa tín hiệu tiếng nói và tín hiệu hình ảnh xảy ra đồng thời, mô phỏng vùng vỏ não liên kết bậc cao.
  5. Đề xuất phương pháp nhị phân hóa đặc trưng SIFT: Lượng tử hóa vector SIFT 128 byte thành vector 128 bit nhị phân, giảm dung lượng lưu trữ 8 lần mà không làm suy giảm độ chính xác nhận dạng.
  6. Cài đặt LNBNN-HADOOP trên nền tảng phân tán: Xây dựng giải pháp tính toán song song cho thuật toán LNBNN trên Hadoop phục vụ bài toán nhận thức tiếng nói dữ liệu lớn.

Kiến nghị và khả năng ứng dụng thực tiễn

  • Ứng dụng trong các hệ thống tương tác và giao tiếp tự nhiên giữa người và máy.
  • Ứng dụng trong lĩnh vực chế tạo người máy (robotics): Cung cấp khung nhận thức đa giác quan tự nhiên cho người máy thông qua việc tích hợp các bộ cảm biến âm thanh và hình ảnh mô phỏng giác quan con người.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế của nghiên cứu

  • Phạm vi dữ liệu: Các thực nghiệm trong luận án chủ yếu tiến hành trên tập dữ liệu là các từ và cụm từ độc lập (phát âm rời rạc), chưa mở rộng đầy đủ sang tiếng nói liên tục.
  • Mức độ đa giác quan: Mối liên kết đa giác quan mới chỉ dừng lại ở thực nghiệm liên kết giữa hai kênh tín hiệu thính giác (tiếng nói) và thị giác (hình ảnh), chưa tích hợp các kênh giác quan khác (xúc giác, khứu giác, vị giác).
  • Thách thức âm học thực tế: Hệ thống vẫn chịu ảnh hưởng bởi các vấn đề cố hữu trong xử lý tiếng nói như hiện tượng đồng cấu âm (co-articulation), phân đoạn ranh giới từ khi phát âm nhanh, sự biến thiên giữa các người nói và môi trường có độ nhiễu cao.

Hướng phát triển tiếp theo

  • Mở rộng mô hình nhận thức phổ tần số và liên kết đa giác quan cho bài toán nhận dạng tiếng nói liên tục trong môi trường tự nhiên.
  • Nghiên cứu tích hợp thêm các kênh thông tin cảm biến khác nhằm hoàn thiện mô hình nhận thức đa phương thức cho hệ thống người máy.

Giá trị tham khảo

Luận án cung cấp tài liệu tham khảo cho các nhóm đối tượng:

  • Nghiên cứu sinh và học viên ngành Khoa học máy tính, Xử lý tín hiệu, Trí tuệ nhân tạo: Có thể tham khảo cơ sở toán học về trích chọn đặc trưng (MFCC, LPC, PLP), lý thuyết phổ tần số 2D và các kiến trúc mạng nơ-ron sâu (LeNet, AlexNet, VGGNet, ResNet).
  • Kỹ sư phát triển hệ thống Tương tác Người - Máy (HCI) và Người máy (Robotics): Tham khảo kiến trúc mô phỏng vùng não liên kết thính giác - thị giác (Chương 4) để xây dựng hệ thống tự học đa cảm biến cho robot.
  • Kỹ sư xử lý dữ liệu lớn: Tham khảo phương pháp nhị phân hóa đặc trưng SIFT và mô hình phân tán LNBNN-HADOOP (Chương 5) để tối ưu hóa bộ nhớ và tốc độ tính toán trên cụm máy tính.

Câu hỏi thường gặp

1. Tại sao luận án lại đề xuất trích chọn đặc trưng từ phổ tần số 2D thay vì dùng MFCC hay PLP truyền thống?

Đặc trưng MFCC và PLP sử dụng các bộ lọc dựa trên giả thuyết thính giác tai người khiến tín hiệu bị mất thông tin về pha và dải tần số cao. Đồng thời, tín hiệu tiếng nói có độ dài khác nhau dẫn đến số lượng vector đặc trưng không đồng đều, buộc phải qua các bước lượng tử hóa hoặc lấy mẫu lại để khớp kích thước đầu vào cho các bộ phân lớp truyền thống. Việc chuyển đổi tín hiệu sang ảnh phổ tần số 2D cho phép bảo toàn toàn bộ cấu trúc thời gian - tần số và tận dụng được các thuật toán xử lý ảnh mạnh mẽ như SIFT và CNN.

2. Phương pháp SIFT-SPEECH kết hợp LNBNN hoạt động như thế nào?

Phương pháp SIFT-SPEECH trích chọn các điểm đặc trưng cục bộ bất biến từ ảnh biểu diễn phổ tần số của đoạn tiếng nói. Sau đó, thuật toán LNBNN (Local Naive Bayes Nearest Neighbor) thực hiện phân lớp trực tiếp dựa trên khoảng cách giữa các vector đặc trưng SIFT của mẫu thử nghiệm với các lớp dữ liệu mà không cần thông qua bước lượng tử hóa trung gian (như Bag-of-Words), giúp giảm thiểu tối đa việc mất mát thông tin.

3. Việc rút gọn đặc trưng SIFT sang dạng nhị phân mang lại hiệu quả gì?

Đặc trưng SIFT chuẩn được biểu diễn bằng vector 128 chiều, mỗi chiều chiếm 1 byte dữ liệu (tổng cộng 128 byte). Luận án đề xuất lượng tử hóa các giá trị thành vector nhị phân 128 bit (16 byte), giúp giảm kích thước lưu trữ bộ nhớ đi 8 lần mà vẫn đảm bảo độ chính xác phân lớp trong các thực nghiệm.

4. Mô hình nhận thức tiếng nói trong Chương 4 khác gì so với bài toán nhận dạng tiếng nói truyền thống?

Nhận dạng tiếng nói truyền thống là quá trình ánh xạ tín hiệu âm thanh vào một tập các từ vựng, nhãn văn bản hoặc ký hiệu ngôn ngữ được định nghĩa sẵn bởi tri thức con người. Mô hình trong Chương 4 mô phỏng vùng não liên kết đa giác quan, tự thiết lập mối quan hệ và ánh xạ giữa tín hiệu âm thanh và hình ảnh thị giác thu được đồng thời của sự vật/hiện tượng mà không cần gán nhãn văn bản trước.

Kết luận

Luận án "Hướng tiếp cận dựa trên phổ tần số cho bài toán nhận thức tiếng nói" đã hệ thống hóa cơ sở sinh học thính giác và các mô hình học máy trong xử lý tiếng nói, từ đó chỉ ra hạn chế của các phương pháp ánh xạ đơn phương thức truyền thống. Tác giả đề xuất hướng tiếp cận biểu diễn tín hiệu trên ảnh phổ tần số 2D kết hợp với đặc trưng SIFT-SPEECH, bộ phân lớp LNBNN và mạng nơ-ron tích chập CNN. Đồng thời, luận án xây dựng mô hình học liên kết đa giác quan giữa âm thanh và hình ảnh mô phỏng vỏ não bậc cao, kết hợp các giải pháp nhị phân hóa đặc trưng và xử lý phân tán LNBNN-HADOOP. Các kết quả đạt được tạo tiền đề kỹ thuật cho các hệ thống tương tác người - máy và mô hình nhận thức cho robot.