Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Giao tiếp giữa người và máy thông qua ngôn ngữ tự nhiên đóng vai trò thiết thực trong việc giải phóng sức lao động của con người khi xã hội thông tin phát triển. Nhận thức âm thanh và nhận thức tiếng nói đã được nghiên cứu từ đầu những năm 1950, tập trung vào các bài toán như tách nguồn tiếng nói, nhận dạng tiếng nói, nhận dạng hoặc xác thực người nói.

Tuy nhiên, các hệ thống truyền thống chủ yếu dừng lại ở mức độ phân biệt tiếng nói ở một số khía cạnh riêng lẻ (như phân biệt nguồn tiếng nói từ hỗn hợp tín hiệu, phân biệt nguyên âm và phụ âm, phân biệt âm tiết, nhận dạng từ độc lập hay nhận dạng tiếng nói liên tục). Các nghiên cứu này chủ yếu mô phỏng hoạt động ở vùng vỏ não thính giác sơ cấp (nơi lưu trữ đặc trưng tần số) và vùng vỏ não thính giác thứ cấp (nơi chứa các mẫu âm thanh có mối liên hệ với nhau), tập trung vào việc ánh xạ tín hiệu âm thanh với các thành phần ngôn ngữ do tri thức con người định nghĩa trước.

Khoảng trống nghiên cứu được tác giả xác định là: còn rất ít công trình đặt bài toán nhận thức tiếng nói trong mối quan hệ với các hệ giác quan khác (như thị giác, khứu giác, xúc giác) và mô phỏng sự liên kết giữa vùng vỏ não thính giác với các vùng vỏ não khác mà không cần tri thức định nghĩa sẵn của con người.

Mục tiêu, câu hỏi và nhiệm vụ nghiên cứu

Mục tiêu chính của luận án là xây dựng mô hình nhận thức tiếng nói dựa trên liên kết giữa tín hiệu thính giác với các thông tin, tín hiệu khác; cụ thể là thực nghiệm mô hình học mối quan hệ giữa tín hiệu thính giác với khái niệm cho trước và mô hình quan hệ giữa tín hiệu tiếng nói với tín hiệu hình ảnh.

Nhiệm vụ nghiên cứu được phân chia cụ thể như sau:

  1. Cải thiện phương pháp học liên kết giữa tín hiệu tiếng nói với các từ được định nghĩa sẵn.
  2. Xây dựng mô hình học mối quan hệ giữa tín hiệu tiếng nói với các tín hiệu khác (cụ thể là tín hiệu hình ảnh).
  3. Cải thiện tốc độ xử lý thông qua rút gọn dữ liệu đặc trưng, giảm kích thước bộ nhớ cần thiết cho mô hình.
  4. Cải thiện tốc độ thông qua thực hiện tính toán song song và phân tán hóa mô hình cho bài toán dữ liệu lớn.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Tín hiệu tiếng nói, phổ tần số của tín hiệu tiếng nói, hình ảnh trực quan tương ứng, các thuật toán trích chọn đặc trưng và các mô hình học máy.
  • Phạm vi nội dung:
    • Xử lý đoạn tín hiệu tiếng nói.
    • Biểu diễn tín hiệu tiếng nói và trích chọn đặc trưng tiếng nói.
    • Hiểu tiếng nói ở khía cạnh liên kết với từ, cụm từ định nghĩa sẵn.
    • Hiểu tiếng nói ở khía cạnh liên kết với các tín hiệu khác (thực nghiệm liên kết giữa tín hiệu tiếng nói với tín hiệu hình ảnh).
  • Phạm vi dữ liệu thực nghiệm: Các bộ dữ liệu tiếng nói từ độc lập tiếng Anh, tiếng Nhật, tiếng Việt (English Digits, ISOLET, TMW, JVPD, Số tiếng Việt) và các bộ dữ liệu hình ảnh (DIGITS, OBJECTS, COIL, FNT, MNIST).

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước được điểm lại

Luận án hệ thống hóa các hướng tiếp cận lịch sử và hiện đại trong nhận thức tiếng nói:

Hướng tiếp cận Tác giả, công trình tiêu biểu Nội dung chính
Phân biệt nguồn và hiệu ứng bữa tiệc Cherry (1953); Broadbent & Ladefoged (1957); Allen (2004) Nghiên cứu hiệu ứng bữa tiệc (cocktail-party effect), khả năng nhận thức nhiều người nói (multi-talker perception), tách nguồn tiếng nói từ môi trường nhiễu và phân biệt nguyên âm đồng thời dựa trên tần số cơ bản $F_0$.
Phân loại thành phần âm học Hillebrand (1995, 2001); Krisztina (2005); Lengeris (2014); McClelland (1986); Bever (1969); Luce (1998); Davis (1980); Fowler (1995) Phân biệt nguyên âm và phụ âm, nhận dạng âm tiết, nhận dạng từ độc lập và nhận dạng tiếng nói liên tục.
Tích hợp đa phương thức (Audio-Visual) Sumby & Pollack (1954); Massaro (1998); Rosenblum Chứng minh sự kết hợp thính giác và thị giác (audio-visual) làm tăng khả năng nhận dạng âm tiết và từ ngữ trong môi trường có độ nhiễu cao.
Cơ chế thần kinh và não bộ Kimura (1961a, 1961b); Schacter (2011); Pickles (2012); Purves (2001) Nghiên cứu vai trò của vỏ não, tính ưu thế của bán cầu não đối với xử lý ngôn ngữ; phân chia vỏ não thính giác thành vùng lõi (A1), vùng vành đai (belt), vùng parabelt, vùng sơ cấp và vùng liên kết đa giác quan.
Vai trò của bộ nhớ Miller (1956); Pisoni (1973); Goldinger (1998); Smith (2004) Nghiên cứu bộ nhớ ngắn hạn (short-term memory), ảnh hưởng của thông số âm học và thông tin âm vị đối với việc lưu trữ và nhận dạng từ ngữ.
Lý thuyết và mô hình nhận thức tiếng nói Liberman (1967); Marslen-Wilson (1975, 1987); McClelland (1986); Halle & Stevens; Hickok (2000, 2007); Kröger (2009) Lý thuyết vận động (Motor Theory), mô hình Cohort, mô hình TRACE, mô hình luồng kép (dual-stream model) và mô hình tính toán nơ-ron.
Mạng nơ-ron và thị giác máy tính LeCun (1998); Lowe (1999); Krizhevsky (2012); Zeiler (2014); Simonyan (2014); Hopfield (1982); Kosko (1987) Mạng LeNet-5, AlexNet, ZF Net, VGGNet; đặc trưng SIFT; mô hình mạng Hopfield và mạng nhớ kết hợp hai chiều (BAM).

Khoảng trống luận án lựa chọn giải quyết

Phần lớn các nghiên cứu trước đây chỉ mô phỏng quá trình nhận thức mối liên hệ giữa các tín hiệu âm thanh với nhau hoặc liên kết âm thanh với từ/khái niệm do con người gán nhãn trước. Luận án lựa chọn giải quyết bài toán mô phỏng quá trình nhận thức tiếng nói thông qua việc học mối liên kết giữa vùng vỏ não thính giác với các vùng vỏ não khác (đặc biệt là vỏ não thị giác), đồng thời tối ưu hóa biểu diễn đặc trưng và thuật toán phân lớp trên nền tảng dữ liệu lớn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Lý thuyết, khái niệm và khung phân tích

  • Cơ chế sinh học của hệ thính giác:
    • Tai ngoài gồm vành tai và ống tai ngoài (khuếch đại âm thanh tần số từ 2,5 kHz đến 3,5 kHz theo Menezes, 2004).
    • Tai giữa gồm màng nhĩ và chuỗi ba xương nhỏ (xương búa, xương đe, xương bàn đạp) thực hiện truyền và khuếch đại dao động.
    • Tai trong chứa ốc tai với màng đáy gồm khoảng 15.500 sợi sinh học (Guenter, 1978; Purves, 2001) đóng vai trò cộng hưởng với các tần số khác nhau: tần số cao dao động ở phần đáy gần gốc, tần số thấp dao động ở phần đỉnh ốc tai.
    • Vỏ não thính giác phân chia thành vùng sơ cấp (xử lý cao độ, âm lượng, vị trí âm thanh theo trật tự tần số) và vùng liên kết (tích hợp với các giác quan khác).
  • Lý thuyết xử lý tín hiệu số:
    • Định lý lấy mẫu Nyquist-Shannon ($f_0 > 2 F_{max}$). Tần số lấy mẫu trong xử lý tiếng nói dao động từ 6.000 Hz đến 16.000 Hz (đối với điện thoại, dải tần giới hạn ở 3.400 Hz với tần số lấy mẫu 8.000 Hz).
    • Quá trình rời rạc hóa tín hiệu gồm: lấy mẫu, lượng tử hóa và mã hóa.
    • Biểu diễn tín hiệu tiếng nói trên miền thời gian, miền tần số và miền kết hợp thời gian - tần số (phổ tần số / spectrogram).
  • Khung phân tích học máy và thị giác:
    • Mô hình trích chọn đặc trưng bất biến SIFT (Scale Invariant Feature Transform) của Lowe (1999).
    • Bộ phân lớp Local Naïve Bayes Nearest Neighbor (LNBNN).
    • Mạng nơ-ron tích chập (CNN) và mạng nhớ kết hợp hai chiều (BAM).

Phương pháp nghiên cứu

Luận án sử dụng phương pháp kết hợp giữa nghiên cứu lý thuyết và thực nghiệm tính toán:

  • Nghiên cứu lý thuyết: Tổng hợp các lý thuyết nhận thức tiếng nói, cơ chế truyền sóng âm sinh học, các phương pháp trích chọn đặc trưng (MFCC, SIFT, HOG, SURF) và các mô hình học máy (HMM, GMM, SVM, ANN, DNN, CNN, RNN).
  • Nghiên cứu thực nghiệm định lượng:
    • Đề xuất quy trình trích chọn đặc trưng SIFT-SPEECH từ ảnh phổ tần số.
    • Xây dựng thuật toán phân lớp kết hợp LNBNN-SIFT-SPEECH.
    • Thiết kế kiến trúc CNN học mối quan hệ trực tiếp giữa phổ tần số tiếng nói và ma trận điểm ảnh.
    • Rút gọn vector đặc trưng SIFT 128 byte thành vector nhị phân 128 bit và áp dụng bảng băm đa chỉ số Multi-Index Hashing (MIH) kết hợp thuật toán $K$ hàng xóm gần nhất (MIH_KNN).
    • Song song hóa thuật toán LNBNN bằng mô hình MapReduce trên nền tảng Apache Hadoop (LNBNN-HADOOP).

Nguồn tư liệu và tập dữ liệu

Luận án sử dụng các tập dữ liệu chuẩn cho thực nghiệm:

  • Dữ liệu tiếng nói: English Digits, ISOLET, TMW, JVPD, tập dữ liệu chữ số tiếng Việt.
  • Dữ liệu hình ảnh: DIgITS, OBJECTS, COIL, FNT (tập ký tự từ A đến Z), MNIST (chữ số viết tay).

Nội dung chính theo từng chương

Chương 1: Tổng quan về nhận thức tiếng nói

  • Khái niệm: Nhận thức tiếng nói là khả năng nhận biết cấu trúc ngôn ngữ trong tín hiệu âm thanh hoặc quá trình tín hiệu âm thanh của một ngôn ngữ được nghe, diễn dịch để hiểu ngôn ngữ.
  • Cơ chế sinh học: Trình bày chi tiết đường truyền tín hiệu từ tai ngoài (thu nhận sóng âm), tai giữa (khuếch đại cơ học qua màng nhĩ và hệ xương con) đến tai trong (ốc tai phân tích tần số thông qua màng đáy) và chuyển thành xung thần kinh truyền lên vỏ não thính giác.
  • Mô phỏng trên máy tính: Phân tích các bước chuyển đổi tín hiệu tương tự sang số (lấy mẫu, lượng tử hóa, mã hóa), các dạng biểu diễn tín hiệu (miền thời gian, miền tần số, miền kết hợp thời gian - tần số), trích chọn đặc trưng mức thấp (tần số, biên độ) và mức cao (âm vị, từ), cùng các kỹ thuật phân lớp/phân cụm.
  • Tổng quan nghiên cứu: Điểm lại các công trình về hiệu ứng bữa tiệc, nhận dạng người nói, tích hợp đa giác quan thính giác - thị giác và các mô hình nhận thức kinh điển (Lý thuyết vận động, TRACE, Cohort).

Chương 2: Một số hướng tiếp cận học máy cho bài toán nhận thức tiếng nói

  • Các mô hình học máy: Trình bày các mô hình tính toán và phân lớp phổ biến trong nhận thức tiếng nói bao gồm HMM, HMM-GMM (cấu trúc Left-Right), ANN, RNN, CNN (LeNet-5, AlexNet, ZF Net, VGGNet), SVM, SOM, BAM, Hopfield.
  • Phương pháp trích chọn đặc trưng: Phân tích các kỹ thuật trích xuất đặc trưng truyền thống như LPC, PLP, MFCC, các phép biến đổi Fourier (DFT, FFT), biến đổi Cosin (DCT) cùng các kỹ thuật phân tích thành phần (PCA, ICA, LDA, FA).
  • Đặc trưng phổ: Trình bày nguyên lý biểu diễn phổ tần số của tín hiệu âm thanh ổn định trong các khung thời gian ngắn (5–100 ms) và cơ sở chuyển đổi tín hiệu âm thanh 1 chiều thành biểu diễn 2 chiều tương tự hình ảnh.

Chương 3: Hướng tiếp cận dựa trên phổ tần số cho bài toán nhận thức tiếng nói trong mối liên hệ với các khái niệm

  • Đặc trưng SIFT-SPEECH: Đề xuất phương pháp trích chọn điểm đặc trưng bất biến SIFT từ ảnh phổ tần số của tín hiệu tiếng nói. Tác giả chỉ ra rằng phổ tần số của cùng một từ/âm tiết phát âm bởi các người nói khác nhau vẫn duy trì các điểm đặc trưng hình học ổn định.
  • Mô hình phân lớp LNBNN-SIFT-SPEECH: Kết hợp bộ phân lớp cục bộ Naïve Bayes Nearest Neighbor với đặc trưng SIFT-SPEECH cho bài toán nhận dạng từ độc lập.
  • Mô hình mạng tích chập dựa trên phổ tần số: Ứng dụng trực tiếp cấu trúc mạng CNN tiếp nhận đầu vào là ảnh phổ tần số để phân lớp khái niệm.
  • Kết quả thực nghiệm:
    • So sánh độ chính xác phân lớp giữa đặc trưng SIFT và đặc trưng MFCC khi sử dụng bộ phân lớp LNBNN trên các bộ dữ liệu English Digits, ISOLET, TMW (20 lớp đầu tiên), JVPD và dữ liệu số tiếng Việt.
    • Thí nghiệm kiểm tra tính bền vững của mô hình với dữ liệu bị co giãn theo thời gian (time warping).
    • So sánh độ chính xác giữa mô hình CNN và LNBNN kết hợp SIFT trên phổ tần số tiếng nói.

Chương 4: Mô hình nhận thức tiếng nói thông qua học mối quan hệ giữa tín hiệu tiếng nói và hình ảnh

  • Cơ sở lý thuyết: Dựa trên cơ chế nhận thức ở vùng vỏ não liên kết đa giác quan, nơi não bộ hình thành liên kết giữa tín hiệu âm thanh nghe thấy và hình ảnh quan sát được mà không cần nhãn từ ngữ trung gian do con người định nghĩa sẵn.
  • Phương pháp tiếp cận: Khảo sát các kỹ thuật học mối quan hệ bằng mạng nhân tạo, HMM, hệ luật và mô hình thống kê; từ đó đề xuất mô hình ánh xạ giữa tín hiệu âm thanh và hình ảnh bằng mạng tích chập (CNN).
  • Mô hình nhận thức tiếng nói cho người máy: Xây dựng hệ thống học ánh xạ trực tiếp từ phổ tín hiệu tiếng nói đầu vào sang biểu diễn hình ảnh tương ứng của sự vật, hiện tượng.
  • Kết quả thực nghiệm: Đánh giá độ chính xác phân lớp và chất lượng tái tạo hình ảnh sinh ra từ tín hiệu tiếng nói trên các tập dữ liệu DIGITS, OBJECTS, COIL (8 lớp đối tượng), FNT (ký tự A–Z) và MNIST (chữ số viết tay).

Chương 5: Một số cải tiến cho bài toán nhận thức tiếng nói dữ liệu lớn

  • Thuật toán rút gọn đặc trưng SIFT_REDUCE: Lượng tử hóa các giá trị thành phần của vector đặc trưng SIFT từ biểu diễn 128 chiều (mỗi chiều 1 byte = 8 bit) thành vector nhị phân 128 bit.
  • Tăng tốc truy vấn với MIH: Xây dựng bảng băm đa chỉ số (Multi-Index Hashing - MIH) và thuật toán tìm kiếm $K$ hàng xóm gần nhất (MIH_KNN) trên không gian khoảng cách Hamming cho vector nhị phân.
  • Phân tán và song song hóa LNBNN-HADOOP: Cài đặt thuật toán phân lớp LNBNN trên nền tảng Hadoop MapReduce bao gồm 4 pha xử lý:
    • LNBNN-HADOOP-SETUP: Khởi tạo và phân phối dữ liệu huấn luyện.
    • LNBNN-HADOOP-MAP: Tính toán khoảng cách cục bộ từ các điểm đặc trưng của mẫu kiểm thử tới các lớp.
    • LNBNN-HADOOP-REDUCE: Tổng hợp khoảng cách tích lũy và xác định nhãn lớp tối ưu.
    • LNBNN-HADOOP-CLEANUP: Giải phóng tài nguyên và xuất kết quả.
  • Kết quả thực nghiệm trên cụm máy tính: Đo lường độ chính xác phân lớp, dung lượng bộ nhớ tiết kiệm và thời gian truy vấn trung bình một đặc trưng trên các tập dữ liệu thực nghiệm (IS0LET, Digits, PLACES, JVPD, TMW).

Kết quả và những đóng góp mới

Đóng góp mới về mặt lý luận và khoa học

  1. Đề xuất sử dụng đặc trưng SIFT-SPEECH trích chọn từ phổ tần số của tín hiệu tiếng nói, dựa trên mô phỏng cơ chế thu nhận đặc trưng của hệ thính giác ở người.
  2. Đề xuất mô hình phân lớp LNBNN-SIFT-SPEECH, chứng minh tính khả thi của việc áp dụng kỹ thuật thị giác máy tính trên biểu diễn phổ tần số âm thanh.
  3. Đề xuất mô hình mạng nơ-ron tích chập (CNN) xử lý trực tiếp phổ tần số tiếng nói để phân loại khái niệm ngôn ngữ.
  4. Đề xuất mô hình nhận thức tiếng nói mô phỏng vùng vỏ não liên kết đa giác quan, thực hiện học mối quan hệ/ánh xạ trực tiếp giữa tín hiệu tiếng nói và tín hiệu hình ảnh mà không phụ thuộc vào tri thức gán nhãn trung gian của con người.

Đóng góp mới về mặt thực tiễn và kỹ thuật

  1. Rút gọn dữ liệu đặc trưng: Đề xuất phương pháp chuyển đổi vector SIFT 128 chiều (128 byte) thành vector nhị phân 128 bit, giúp giảm kích thước lưu trữ bộ nhớ 8 lần mà vẫn duy trì độ chính xác phân lớp của mô hình.
  2. Xử lý dữ liệu lớn song song: Thiết kế và cài đặt thành công thuật toán phân lớp LNBNN trên nền tảng Hadoop (LNBNN-HADOOP), cho phép phân tán tính toán trên cụm máy tính cấu hình phổ thông để xử lý các tập dữ liệu tiếng nói quy mô lớn.

Kiến nghị và ứng dụng thực tiễn

  • Ứng dụng mô hình trong huấn luyện người máy (robotics), trang bị các bộ cảm biến mô phỏng giác quan giúp người máy học nhận thức thế giới tự nhiên thông qua tương tác âm thanh - hình ảnh đồng thời.
  • Ứng dụng trong các hệ thống giao tiếp người - máy thông minh và các dự án bảo tồn di sản văn hóa phi vật thể đa phương tiện (như đề tài ĐTĐL-CN.34/16).

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi và nội dung được công bố trong văn bản luận án:

  • Phạm vi dữ liệu: Luận án tập trung thực nghiệm chủ yếu trên các tập dữ liệu tiếng nói là các từ độc lập, chữ số, chữ cái và âm tiết tách rời (English Digits, ISOLET, TMW, JVPD, số tiếng Việt); chưa mở rộng đầy đủ sang bài toán nhận thức tiếng nói liên tục trong môi trường hội thoại tự nhiên phức tạp.
  • Mối liên kết đa giác quan: Luận án mới dừng lại ở việc mô phỏng thực nghiệm mối liên hệ hai chiều giữa thính giác (âm thanh) và thị giác (hình ảnh); chưa tích hợp đầy đủ các giác quan khác như xúc giác hay khứu giác theo mô hình lý thuyết vùng vỏ não liên kết toàn diện.
  • Hướng phát triển: Tiếp tục hoàn thiện mô hình nhận thức đa giác quan cho người máy, tối ưu hóa các thuật toán phân tán trên các kiến trúc tính toán dữ liệu lớn và mở rộng sang các ngữ cảnh tiếng nói liên tục với độ nhiễu cao.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên môn phù hợp cho:

  • Nghiên cứu sinh, học viên cao học ngành Khoa học máy tính, Công nghệ thông tin và Kỹ thuật dữ liệu: Tham khảo phương pháp tiếp cận liên ngành giữa xử lý tín hiệu âm thanh, thị giác máy tính và học máy (đặc biệt là kỹ thuật trích chọn đặc trưng SIFT-SPEECH từ phổ tần số và mô hình phân lớp LNBNN).
  • Giảng viên và nhà nghiên cứu trong lĩnh vực Xử lý tiếng nói và Thị giác máy tính: Tham khảo cơ sở lý thuyết về giải phẫu sinh học hệ thính giác, cấu trúc vùng vỏ não liên kết và các mô hình học ánh xạ đa phương thức (Audio-Visual).
  • Kỹ sư phát triển hệ thống tính toán phân tán và Dữ liệu lớn: Tham khảo thuật toán rút gọn vector đặc trưng nhị phân kết hợp bảng băm đa chỉ số MIH và quy trình triển khai thuật toán học máy phân lớp trên nền tảng Hadoop MapReduce.

Câu hỏi thường gặp

1. Ý tưởng cốt lõi của phương pháp SIFT-SPEECH trong luận án là gì?

Ý tưởng cốt lõi là chuyển đổi tín hiệu tiếng nói một chiều theo thời gian sang biểu diễn hai chiều trên miền kết hợp thời gian - tần số (ảnh phổ tần số), sau đó áp dụng thuật toán SIFT để trích chọn các điểm đặc trưng cục bộ bất biến đối với các phép biến đổi hình học và độ co giãn thời gian của giọng nói.

2. Phương pháp LNBNN-HADOOP giải quyết thách thức nào trong bài toán nhận thức tiếng nói?

Phương pháp giải quyết thách thức về chi phí tính toán và dung lượng bộ nhớ khi xử lý tập dữ liệu tiếng nói lớn. Bằng cách phân tán thuật toán phân lớp LNBNN thành các pha Map và Reduce trên nền tảng Hadoop, hệ thống tận dụng được năng lực của cụm máy tính thông thường để xử lý song song các truy vấn khoảng cách.

3. Phương pháp rút gọn đặc trưng của tác giả giúp giảm dung lượng bộ nhớ bao nhiêu lần?

Phương pháp lượng tử hóa vector đặc trưng SIFT từ 128 chiều (mỗi chiều 1 byte = 8 bit) thành vector SIFT nhị phân 128 bit giúp giảm kích thước lưu trữ bộ nhớ đúng 8 lần mà vẫn đảm bảo độ chính xác phân lớp trong thực nghiệm.

4. Mô hình nhận thức ở Chương 4 khác gì so với các hệ thống nhận dạng tiếng nói truyền thống?

Các hệ thống truyền thống yêu cầu ánh xạ tín hiệu âm thanh với từ ngữ hoặc khái niệm đã được gán nhãn sẵn bởi con người. Mô hình ở Chương 4 học trực tiếp mối quan hệ ánh xạ giữa tín hiệu âm thanh và hình ảnh thu nhận đồng thời (mô phỏng vùng vỏ não liên kết đa giác quan), giúp máy tính/người máy tự hình thành nhận thức mà không cần nhãn ngôn ngữ trung gian.

Kết luận

Luận án tiến sĩ "Hướng tiếp cận dựa trên phổ tần số cho bài toán nhận thức tiếng nói" của tác giả Nguyễn Quang Trung đã xây dựng khung nghiên cứu thực nghiệm mô phỏng cơ chế nhận thức tiếng nói dựa trên phổ tần số và liên kết đa phương thức thính giác - thị giác. Công trình đóng góp giải pháp trích chọn đặc trưng SIFT-SPEECH, mô hình phân lớp LNBNN và mạng tích chập xử lý trực tiếp trên ảnh phổ âm thanh. Đồng thời, tác giả đã đề xuất kỹ thuật rút gọn vector đặc trưng nhị phân 128 bit và cài đặt thành công thuật toán LNBNN phân tán trên nền tảng Hadoop, cung cấp giải pháp xử lý dữ liệu lớn hiệu quả cho bài toán nhận thức tiếng nói trên máy tính.