Luận văn thạc sĩ về nhận dạng tiếng nói sử dụng MFCC và lượng tử vector trên KIT DSP TMS320C6713

Luận văn thạc sĩ nghiên cứu nhận dạng tiếng nói bằng giải thuật MFCC và lượng tử vector trên kit DSKTMS320C6713, mang lại ứng dụng thực tiễn.

• Tác giả: Huỳnh Lâm Đồng
• Người hướng dẫn: Hoàng Trang
• Trường học: Không tìm thấy thông tin
• Chuyên ngành: Không tìm thấy thông tin
• Đề tài: Nghiên cứu nhận dạng tiếng nói bằng MFCC và lượng tử vector trên KIT DSP TMS320C6713
• Loại tài liệu: luận văn
• Năm xuất bản: 2013
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu
• 1.2. Tình hình nghiên cứu trong và ngoài nước
• 1.3. Tính cấp thiết của đề tài
• 1.4. Mục tiêu nghiên cứu của luận văn
• 1.5. Nhiệm vụ luận văn
• 1.6. Đối tượng và phạm vi
• 1.7. Cấu trúc luận văn
• 2. CHƯƠNG 2: TÍN HIỆU TIẾNG NÓI VÀ PHÂN LOẠI PHƯƠNG PHÁP NHẬN DẠNG ÂM THANH
• 2.1. Tín hiệu tiếng nói
• 2.2. Phân loại các phương pháp nhận dạng âm thanh
• 2.2.1. Phương pháp ngữ âm
• 2.2.2. Phương pháp nhận dạng mẫu
• 2.2.3. Phương pháp trí thông minh nhân tạo
• 2.2.4. Mạng noron và ứng dụng trong nhận dạng âm thanh
• 2.3. Thuật toán trích đặc trưng MFCC
• 2.3.1. Trích đặc trưng MFCC (Mel-scale Frequency Cepstral Coefficient)
• 2.3.2. Phân tích phổ FFT
• 2.3.3. Mel frequency filter Bank
• 2.3.4. Phân tích cepstral
• 2.4. Lượng tử vector VQ
• 3. CHƯƠNG 3: THỰC HIỆN HỆ THỐNG NHẬN DẠNG TIẾNG NÓI TRÊN MATLAB
• 3.1. Tính năng lượng
• 3.2. Tính biên độ
• 3.3. Mel-filter bank
• 3.4. Tính hệ số cepstral
• 3.5. Kết quả
• 4. CHƯƠNG 4: THỰC HIỆN HỆ THỐNG NHẬN DẠNG TIẾNG NÓI TRÊN KIT DSKTMS320C6713
• 4.1. Bộ xử lý tín hiệu số TMS320C6713
• 4.2. Code Composer Studio
• 4.3. Tổng quan về kit DSKTMS320C6713
• 4.4. Xây dựng hệ thống nhận dạng âm thanh trên nền Kit DSP DSKTMS320C6713
• 4.5. Mel frequency spectrum
• 4.6. Biến đổi Cosine rời rạc DCT
• 4.7. Lượng tử vector VQ
• 4.8. Nhận dạng
• 5. CHƯƠNG 5: KẾT LUẬN
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Tổng quan về Nghiên cứu Nhận dạng Tiếng nói bằng MFCC

Nghiên cứu nhận dạng tiếng nói đã trở thành một lĩnh vực quan trọng trong công nghệ thông tin. Việc áp dụng các phương pháp như MFCC (Mel Frequency Cepstral Coefficients) và lượng tử vector trên KIT DSP TMS320C6713 đã mở ra nhiều cơ hội mới cho việc phát triển các ứng dụng nhận dạng tiếng nói. MFCC là một trong những phương pháp trích đặc trưng phổ biến nhất, giúp cải thiện độ chính xác trong nhận dạng tiếng nói. Bài viết này sẽ đi sâu vào các khía cạnh của nghiên cứu này.

1.1. Khái niệm cơ bản về Nhận dạng Tiếng nói

Nhận dạng tiếng nói là quá trình chuyển đổi tín hiệu âm thanh thành văn bản. Các hệ thống nhận dạng tiếng nói hiện nay sử dụng nhiều phương pháp khác nhau, trong đó có MFCC. Phương pháp này giúp trích xuất các đặc trưng âm thanh quan trọng từ tín hiệu tiếng nói, từ đó cải thiện khả năng nhận diện.

1.2. Lịch sử phát triển của Nhận dạng Tiếng nói

Trong những thập kỷ qua, công nghệ nhận dạng tiếng nói đã có những bước tiến vượt bậc. Từ những hệ thống đơn giản chỉ nhận diện một số từ, đến các hệ thống phức tạp có khả năng nhận diện nhiều ngôn ngữ và giọng nói khác nhau. Sự phát triển của MFCC và lượng tử vector đã đóng góp lớn vào thành công này.

II. Thách thức trong Nghiên cứu Nhận dạng Tiếng nói

Mặc dù có nhiều tiến bộ, nhưng việc nhận dạng tiếng nói vẫn gặp phải nhiều thách thức. Các yếu tố như ngữ điệu, tốc độ nói và môi trường xung quanh có thể ảnh hưởng đến độ chính xác của hệ thống. Việc xử lý các tín hiệu âm thanh trong điều kiện nhiễu cũng là một vấn đề lớn.

2.1. Ảnh hưởng của môi trường đến Nhận dạng Tiếng nói

Môi trường xung quanh có thể tạo ra nhiều loại nhiễu khác nhau, làm giảm độ chính xác của hệ thống nhận dạng. Việc phát triển các thuật toán có khả năng xử lý nhiễu là rất cần thiết để cải thiện hiệu suất.

2.2. Sự biến thiên trong giọng nói của người nói

Mỗi người có một cách phát âm và ngữ điệu riêng, điều này tạo ra sự biến thiên lớn trong tín hiệu tiếng nói. Việc xây dựng các mô hình có khả năng nhận diện được sự biến thiên này là một thách thức lớn trong nghiên cứu.

III. Phương pháp Nghiên cứu Nhận dạng Tiếng nói bằng MFCC

Phương pháp MFCC là một trong những kỹ thuật trích đặc trưng hiệu quả nhất trong nhận dạng tiếng nói. Kết hợp với lượng tử vector, phương pháp này giúp xây dựng các mô hình nhận diện chính xác hơn. Việc áp dụng trên KIT DSP TMS320C6713 cho phép thực hiện các phép toán phức tạp một cách nhanh chóng.

3.1. Quy trình trích xuất đặc trưng MFCC

Quy trình trích xuất đặc trưng MFCC bao gồm nhiều bước, từ việc phân tích tín hiệu âm thanh đến việc tính toán các hệ số MFCC. Các bước này cần được thực hiện một cách chính xác để đảm bảo chất lượng của dữ liệu đầu vào cho hệ thống nhận dạng.

3.2. Lượng tử vector trong Nhận dạng Tiếng nói

Lượng tử vector là một phương pháp quan trọng trong việc xây dựng codebook cho các từ cần nhận diện. Phương pháp này giúp giảm thiểu kích thước dữ liệu mà vẫn đảm bảo độ chính xác cao trong nhận dạng.

IV. Ứng dụng thực tiễn của Nghiên cứu Nhận dạng Tiếng nói

Nghiên cứu về nhận dạng tiếng nói có nhiều ứng dụng thực tiễn trong đời sống. Từ các hệ thống điều khiển bằng giọng nói đến các ứng dụng trong lĩnh vực y tế và giáo dục, công nghệ này đang ngày càng trở nên phổ biến.

4.1. Ứng dụng trong lĩnh vực y tế

Trong lĩnh vực y tế, nhận dạng tiếng nói có thể được sử dụng để ghi chép thông tin bệnh nhân một cách nhanh chóng và chính xác. Điều này giúp giảm thiểu thời gian và công sức cho các bác sĩ và nhân viên y tế.

4.2. Ứng dụng trong giáo dục

Công nghệ nhận dạng tiếng nói cũng có thể được áp dụng trong giáo dục, giúp học sinh học ngôn ngữ mới một cách hiệu quả hơn thông qua việc tương tác với các hệ thống nhận diện giọng nói.

V. Kết luận và Tương lai của Nghiên cứu Nhận dạng Tiếng nói

Nghiên cứu nhận dạng tiếng nói bằng MFCC và lượng tử vector trên KIT DSP TMS320C6713 đã mở ra nhiều cơ hội mới cho công nghệ này. Tương lai của nhận dạng tiếng nói hứa hẹn sẽ còn nhiều tiến bộ hơn nữa với sự phát triển của trí tuệ nhân tạo và học máy.

5.1. Xu hướng phát triển trong tương lai

Với sự phát triển không ngừng của công nghệ, nhận dạng tiếng nói sẽ ngày càng trở nên chính xác và hiệu quả hơn. Các nghiên cứu mới sẽ tiếp tục cải thiện khả năng nhận diện trong các điều kiện khác nhau.

5.2. Thách thức trong tương lai

Mặc dù có nhiều tiến bộ, nhưng vẫn còn nhiều thách thức cần phải vượt qua, đặc biệt là trong việc xử lý các tín hiệu tiếng nói trong môi trường nhiễu và sự biến thiên trong giọng nói của người nói.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng tiếng nói tự động (Automatic Speech Recognition - ASR) là một trong những công nghệ then chốt mở ra phương thức giao tiếp tự nhiên và hiệu quả nhất giữa con người và máy móc. Trong lĩnh vực kỹ thuật điều khiển và tự động hóa, nhu cầu tích hợp các thuật toán nhận dạng giọng nói trực tiếp lên các vi xử lý nhúng chuyên dụng đang tăng trưởng mạnh mẽ, hướng tới thay thế các hệ thống xử lý cồng kềnh trên máy vi tính. Tuy nhiên, rào cản lớn nhất khi triển khai phần cứng là tài nguyên bộ nhớ và năng lực xử lý dấu chấm động bị giới hạn, đòi hỏi các mô hình nhận dạng phải được tối ưu hóa sâu về mặt thuật toán và tham số cấu hình.

Luận văn thạc sĩ kỹ thuật điện tử của tác giả Huỳnh Lâm Đồng, được thực hiện năm 2013 tại Thành phố Hồ Chí Minh dưới sự hướng dẫn của Tiến sĩ Hoàng Trang, tập trung giải quyết bài toán cốt lõi: Đánh giá và tối ưu hóa hệ thống nhận dạng tiếng nói tiếng Việt thời gian thực dựa trên thuật toán trích đặc trưng hệ số phổ tần số Mel (MFCC) kết hợp giải thuật lượng tử hóa vector (Vector Quantization - VQ) nhúng trực tiếp trên bộ xử lý tín hiệu số DSP TMS320C6713 thuộc dòng TMS320C6000 của Texas Instruments.

Mục tiêu cụ thể của nghiên cứu là đánh giá tác động định lượng của hai tham số cấu hình quyết định—kích thước Codebook (8 codeword so với 16 codeword) và số lượng mẫu trên mỗi khung âm thanh (160, 200 và 256 mẫu)—đối với độ chính xác nhận dạng. Phạm vi thực nghiệm bao gồm tập 16 từ vựng tiếng Việt, gồm 10 chữ số từ 1 đến 10 và 6 từ lệnh điều hướng không gian (trái, phải, trên, dưới, trước, sau). Toàn bộ 16 từ vựng đều được thu âm 100 lần độc lập, tạo ra tập dữ liệu 1600 mẫu thử nghiệm. Kết quả nghiên cứu chứng minh hệ thống nhúng phần cứng hoạt động ổn định trên bộ nhớ SDRAM 16MB, đạt tỷ lệ nhận dạng trung bình lên đến 89.8% cho toàn bộ 16 từ vựng và đạt mức chính xác vượt trội 96.0% đối với tập 6 từ lệnh điều khiển. Công trình mang ý nghĩa thực tiễn cao, đặt nền tảng kỹ thuật vững chắc để thương mại hóa các module nhận dạng giọng nói rời ứng dụng trong nhà thông minh và robot tự hành.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên ba trụ cột lý thuyết nền tảng của ngành xử lý tín hiệu tiếng nói và nhận dạng mẫu:

Thứ nhất, mô hình âm học thính giác người và thang đo tần số Mel. Hệ thống thính giác con người có độ nhạy cảm phi tuyến tính: đáp ứng tuyến tính đối với các tần số dưới 1000 Hz và đáp ứng theo hàm logarit đối với các tần số trên 1000 Hz. Băng tần năng lượng tiếng nói chủ yếu tập trung trong khoảng 100 Hz đến 3000 Hz, trong khi các formant bậc cao suy giảm với tốc độ khoảng -12 dB/octave. Do đó, việc sử dụng bộ lọc tiền nhấn (pre-emphasis) có đáp ứng tần số tăng 6 dB/octave với hệ số lọc a = 0.97 trên phần mềm và tối ưu hóa thành a = 31/32 trên phần cứng giúp bù đắp năng lượng dải cao một cách tối ưu.

Thứ hai, lý thuyết trích chọn đặc trưng Mel-frequency Cepstral Coefficients (MFCC). Đây là phương pháp biểu diễn hình bao phổ công suất của tín hiệu âm thanh thông qua chuỗi xử lý: phân khung tín hiệu thành các đoạn ngắn 10-30 ms đảm bảo tính dừng cục bộ, nhân cửa sổ Hamming để triệt tiêu hiệu ứng gián đoạn biên, biến đổi Fourier nhanh (FFT), áp dụng chuỗi bộ lọc tam giác thang Mel và thực hiện biến đổi Cosine rời rạc (DCT). Không gian đặc trưng thu được bao gồm 12 hệ số MFCC tĩnh bậc thấp, 1 hệ số log năng lượng, kết hợp cùng 13 hệ số sai phân bậc một (delta) và 13 hệ số sai phân bậc hai (delta-delta) để mô tả toàn diện động học biến thiên theo thời gian của âm vị.

Thứ ba, lý thuyết lượng tử hóa vector (VQ) và giải thuật tạo chùm LBG (Linde-Buzo-Gray). VQ là kỹ thuật nén không gian vector âm học đa chiều thành một tập hữu hạn các vector đại diện (gọi là codeword), tập hợp các codeword này cấu thành nên một Codebook đặc trưng cho từng từ vựng. Trong giai đoạn nhận dạng, độ đo khoảng cách Euclid giữa vector âm thanh cần nhận dạng và các codeword trong từng Codebook được tính toán; từ vựng nào có tổng khoảng cách biến dạng trung bình nhỏ nhất sẽ được bộ phân lớp quyết định lựa chọn.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm chuẩn hóa với cỡ mẫu gồm 16 từ vựng tiếng Việt đơn âm tiết, mỗi từ vựng được thực hiện thu âm lặp lại 100 lần độc lập, tạo thành tổng cỡ mẫu 1600 lượt phát âm. Phương pháp chọn mẫu là chọn mẫu đồng nhất có kiểm soát trong môi trường phòng thí nghiệm ít tạp âm nền, trong đó mẫu thu âm từ cùng một người nói được áp dụng đồng nhất cho cả pha huấn luyện xây dựng Codebook và pha kiểm thử nhận dạng để loại trừ phương sai do khác biệt cá nhân.

Quy trình phân tích và thực nghiệm được tiến hành theo hai giai đoạn nối tiếp:

• Giai đoạn mô phỏng thuật toán trên môi trường MATLAB: Xây dựng toàn bộ pipeline tiền xử lý, thuật toán phát hiện điểm đầu/cuối của từ dựa trên hàm năng lượng thời gian ngắn, trích xuất vector MFCC và huấn luyện Codebook bằng thuật toán LBG nhằm kiểm chứng tính đúng đắn của giải thuật toán học.
• Giai đoạn thực thi hệ thống nhúng trên Kit DSP TMS320C6713: Lập trình bằng ngôn ngữ C kết hợp công cụ Code Composer Studio (CCSv5) và các thư viện hỗ trợ phần cứng (BSL, CSL). Tín hiệu tiếng nói được số hóa ở độ phân giải 16-bit qua IC giải mã âm thanh Codec AIC23/AIC2381 với tần số lấy mẫu 8 kHz. Việc lựa chọn nền tảng DSP C6713 được bảo đảm bởi kiến trúc tập lệnh từ siêu dài (VLIW), khả năng tính toán dấu chấm động 32-bit và 64-bit chính xác cao, cùng băng thông bộ nhớ SDRAM 16MB mở rộng qua giao tiếp EMIF, cho phép tính toán biến đổi FFT 128 điểm và phép xấp xỉ logarit theo thuật toán Mitchell với thời gian thực thi tối thiểu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử 1600 mẫu phát âm trên KIT phần cứng DSP TMS320C6713 đã đưa ra những phát hiện khoa học mang tính định lượng rõ ràng:

Phát hiện thứ nhất: Kích thước Codebook đóng vai trò quyết định đến độ mịn của không gian vector đặc trưng và độ chính xác phân lớp. Khi nâng kích thước Codebook từ 8 codeword lên 16 codeword, tỷ lệ nhận dạng trung bình của toàn hệ thống tăng mạnh ở mọi cấu hình chia khung âm thanh. Cụ thể, ở cấu hình khung 160 mẫu, tỷ lệ nhận dạng tăng từ 78.5% lên 87.1% (tăng 8.6%). Ở cấu hình khung 200 mẫu, tỷ lệ nhận dạng tăng từ 81.2% lên 89.8% (tăng 8.6%). Ở cấu hình khung 256 mẫu, tỷ lệ nhận dạng tăng từ 80.3% lên 86.5% (tăng 6.2%).

Phát hiện thứ hai: Kích thước khung âm thanh 200 mẫu (tương đương độ dài cửa sổ thời gian 25 ms ở tần số lấy mẫu 8 kHz) với khoảng chồng lấn 100 mẫu (50%) mang lại hiệu năng tối ưu nhất. Với mô hình Codebook 16 codeword, cấu hình 200 mẫu/khung đạt tỷ lệ nhận dạng cao nhất là 89.8%, vượt trội hơn so với cấu hình 160 mẫu/khung (đạt 87.1%) và cấu hình 256 mẫu/khung (đạt 86.5%).

Phát hiện thứ ba: Quy mô từ vựng ảnh hưởng trực tiếp đến xác suất xung đột khoảng cách Euclid giữa các tâm cụm. Khi thu hẹp tập từ vựng từ 16 từ xuống còn 6 từ lệnh điều hướng cơ bản ("trái, phải, trên, dưới, trước, sau") trên mô hình Codebook 16 codeword và khung 256 mẫu, độ chính xác nhận dạng đạt mức ấn tượng 96.0%, tăng 9.5% so với tập 16 từ vựng đầy đủ.

Thảo luận kết quả

Nguyên nhân chính giúp cấu hình khung 200 mẫu đạt độ chính xác cao nhất là do khoảng thời gian 25 ms phản ánh trọn vẹn đặc tính dừng của cơ quan phát âm người mà không làm mất đi các thành phần tần số chuyển tiếp ngắn của âm tiết tiếng Việt. Cửa sổ 160 mẫu (20 ms) cung cấp số lượng mẫu tương đối ít cho phép ước lượng phổ FFT, trong khi cửa sổ 256 mẫu (32 ms) bắt đầu làm nhòe tính dừng do chuyển động của lưỡi và vòm miệng. Bên cạnh đó, việc sử dụng 16 codeword giúp giải thuật LBG tạo ra đủ các tâm chùm bao phủ trọn vẹn 12 chiều không gian vector MFCC, hạn chế tối đa sai số lượng tử hóa.

Khi so sánh với các công trình nghiên cứu cùng thời kỳ, giải pháp nhúng trên DSP C6713 cho thấy ưu thế vượt trội: nghiên cứu trước đó trên dòng chip định điểm DSP TMS320C2812 chỉ đạt tỷ lệ chính xác trên 70% với tập 4 từ vựng; trong khi các nghiên cứu sử dụng mô hình Markov ẩn (HMM) trên máy tính đạt trên 90% với 15 từ nhưng yêu cầu tài nguyên phần cứng lớn gấp nhiều lần. Việc tối ưu hóa thuật toán nhân ma trận và xấp xỉ logarit Mitchell trên DSP C6713 đã giúp hệ thống đạt độ chính xác tương đương các phần mềm trên máy tính nhưng vận hành hoàn toàn độc lập trên một board mạch nhúng nhỏ gọn.

Dữ liệu kết quả nghiên cứu được biểu diễn trực quan thông qua các bảng ma trận nhầm lẫn (confusion matrix) cho từng từ vựng và biểu đồ phân tán không gian vector đặc trưng MFCC, làm nổi bật sự tách biệt rõ rệt giữa các cụm codeword của từng nguyên âm và phụ âm tiếng Việt.

Đề xuất và khuyến nghị

Dựa trên các kết luận thực nghiệm thu được từ luận văn, bốn nhóm giải pháp kỹ thuật cụ thể được đề xuất nhằm nâng cấp và ứng dụng hệ thống trong môi trường công nghiệp:

Thứ nhất, chuẩn hóa tham số tiền xử lý tín hiệu cho các vi xử lý nhúng. Khuyến nghị các kỹ sư phát triển áp dụng cấu hình khung âm thanh 200 mẫu (tương đương 25 ms tại tần số lấy mẫu 8 kHz) kết hợp độ chồng lấn 50% (100 mẫu) và cửa sổ Hamming. Trong khối tiền nhấn phần cứng, bắt buộc sử dụng phép toán dịch bit với hệ số a = 31/32 thay cho phép nhân số thực dấu chấm động, giúp giảm thời gian tính toán của khối tiền xử lý xuống dưới 5 mili-giây mà không làm suy giảm tỷ lệ nhận dạng.

Thứ hai, nâng cấp kiến trúc Codebook và tích hợp mô hình phân lớp lai ghép. Đề xuất mở rộng kích thước Codebook lên 32 codeword cho các từ vựng phức tạp, đồng thời kết hợp lượng tử hóa vector VQ với mô hình Markov ẩn bán liên tục (SCHMM). Mục tiêu kỹ thuật là nâng cao độ chính xác nhận dạng lên trên 93.0% đối với tập từ vựng mở rộng trên 30 từ, triển khai trong lộ trình nghiên cứu 6 tháng tới.

Thứ ba, tích hợp thuật toán lọc nhiễu môi trường thích nghi. Các nhà phát triển hệ thống cần bổ sung mô-đun trừ phổ (Spectral Subtraction) hoặc thuật toán lọc thích nghi LMS ngay trước khối trích xuất đặc trưng MFCC nhằm loại bỏ tạp âm nền công nghiệp, bảo đảm duy trì tỷ lệ nhận dạng trên 90.0% khi tỷ số tín hiệu trên nhiễu (SNR) giảm xuống dưới 15 dB.

Thứ tư, tối ưu hóa phần cứng và mở rộng bộ nhớ ngoài qua giao tiếp EMIF. Doanh nghiệp sản xuất thiết bị nên thiết kế bo mạch chuyên dụng tích hợp chip DSP C6000 với bộ nhớ SDRAM ngoài 32MB hoặc 64MB thông qua giao tiếp EMIF, cho phép lưu trữ hàng trăm bộ Codebook đã huấn luyện, phục vụ các ứng dụng điều khiển giọng nói thời gian thực cho hệ thống tự hành và robot công nghiệp trong giai đoạn 2026-2027.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu học thuật và kỹ thuật chuyên sâu mang lại giá trị thiết thực cho bốn nhóm đối tượng sau:

Nhóm thứ nhất: Kỹ sư phát triển hệ thống nhúng và thiết bị IoT. Tài liệu cung cấp hướng dẫn chi tiết từ sơ đồ khối phần cứng, cách giao tiếp IC Codec AIC23 qua cổng McBSP đến kỹ thuật cấu hình bộ nhớ và tối ưu mã nguồn C trên môi trường Code Composer Studio, giúp rút ngắn thời gian nghiên cứu và phát triển sản phẩm điều khiển giọng nói độc lập.

Nhóm thứ hai: Học viên cao học và nghiên cứu sinh chuyên ngành Kỹ thuật Điện tử, Viễn thông và Tự động hóa. Luận văn là tài liệu tham khảo chuẩn mực về quy trình toán học trích xuất đặc trưng MFCC, thuật toán phân cụm LBG trong lượng tử hóa vector và phương pháp thiết kế thực nghiệm đánh giá tham số khoa học.

Nhóm thứ ba: Chuyên gia thiết kế robot và nhà thông minh (Smart Home). Sử dụng trực tiếp cấu hình tập lệnh 6 từ điều hướng (trái, phải, trên, dưới, trước, sau) đạt độ chính xác 96.0% để tích hợp ngay vào module điều khiển chuyển động của cánh tay robot hoặc xe tự hành mà không cần phụ thuộc vào dịch vụ đám mây.

Nhóm thứ tư: Giảng viên và sinh viên các trường đại học kỹ thuật. Có thể sử dụng các đoạn mã nguồn mô phỏng trên MATLAB và chương trình nhúng C trên DSP trong luận văn làm học liệu thực hành cho các môn học Xử lý tín hiệu số nâng cao, Xử lý tiếng nói và Kiến trúc máy tính nhúng.

Câu hỏi thường gặp

Thuật toán MFCC có ưu điểm gì vượt trội so với các phương pháp trích đặc trưng khác như LPC hay AMDF? MFCC mô phỏng chính xác cơ chế cảm thụ âm thanh phi tuyến tính của tai người thông qua chuỗi bộ lọc thang tần số Mel, giúp giữ lại các thông tin đặc trưng ổn định của âm vị tiếng Việt và loại bỏ các biến động không có ích, mang lại độ chính xác nhận dạng vượt trội so với phương pháp phân tích dự báo tuyến tính (LPC) hay hàm hiệu biên độ cực tiểu (AMDF).

Tại sao nghiên cứu lại chia tín hiệu tiếng nói thành các khung ngắn từ 10 đến 30 mili-giây? Tiếng nói là tín hiệu biến thiên không dừng theo thời gian dài, nhưng trong các khoảng thời gian rất ngắn từ 10 đến 30 ms (tương đương 160 đến 256 mẫu ở tần số lấy mẫu 8 kHz), vị trí các cơ quan phát âm gần như giữ nguyên, do đó tín hiệu được coi là dừng cục bộ, cho phép biến đổi Fourier và phân tích phổ đạt độ chính xác toán học cao.

Lượng tử hóa vector VQ và giải thuật LBG đóng vai trò gì trong hệ thống nhận dạng? Lượng tử hóa vector nén hàng nghìn vector MFCC đa chiều thành một tập hữu hạn 16 codeword đại diện (Codebook). Giải thuật LBG lặp đi lặp lại việc phân vùng không gian và cập nhật trọng tâm cụm cho đến khi sai số biến dạng đạt mức tối thiểu, giúp giảm dung lượng lưu trữ trên bộ nhớ SDRAM 16MB và tăng tốc độ so khớp khoảng cách Euclid trong thời gian thực.

Sự khác biệt căn bản giữa mô phỏng trên MATLAB và triển khai nhúng trên DSP C6713 là gì? Trên MATLAB, các phép tính toán ma trận và logarit được xử lý tự do với độ dài từ dữ liệu lớn trên máy tính. Trong khi đó, trên phần cứng DSP C6713, lập trình viên phải trực tiếp tối ưu cấu trúc tập lệnh VLIW, cấu hình bộ đệm ngắt qua IC Codec AIC23 và áp dụng các phép xấp xỉ logarit Mitchell nhằm bảo đảm hệ thống xử lý tức thời mà không gây tràn bộ nhớ.

Làm thế nào để hệ thống nhận dạng đạt độ chính xác 96.0% đối với tập lệnh điều khiển? Tập lệnh điều khiển gồm 6 từ ("trái, phải, trên, dưới, trước, sau") có sự khác biệt rõ rệt về mặt ngữ âm và cấu trúc formant nguyên âm. Khi kết hợp với kích thước Codebook 16 codeword và khung cửa sổ 256 mẫu, khoảng cách Euclid giữa các tâm cụm phân tách hoàn toàn, giúp loại bỏ triệt để hiện tượng phân lớp nhầm lẫn.

Kết luận

• Luận văn đã hoàn thành xuất sắc việc thiết kế và hiện thực hóa hệ thống nhận dạng tiếng nói tự động thời gian thực trên bo mạch nhúng DSP TMS320C6713 kết hợp IC Codec âm thanh 16-bit.
• Nghiên cứu chứng minh cấu hình khung âm thanh 200 mẫu và Codebook kích thước 16 codeword là tham số tối ưu, mang lại độ chính xác nhận dạng đạt 89.8% cho tập 16 từ vựng và 96.0% cho tập 6 từ lệnh điều hướng.
• Giải pháp trích đặc trưng MFCC kết hợp lượng tử hóa vector VQ khẳng định tính hiệu quả vượt trội về tốc độ tính toán và tiết kiệm dung lượng bộ nhớ đối với các hệ thống nhúng có tài nguyên giới hạn.
• Định hướng phát triển tiếp theo trong 6 đến 12 tháng tới là nâng cấp mô hình phân lớp sang kiến trúc HMM và mở rộng bộ nhớ ngoài qua giao tiếp EMIF để nhận dạng tập từ vựng độc lập người nói.
• Các kỹ sư và nhà phát triển hệ thống nhúng được khuyến khích áp dụng ngay kiến trúc phần cứng và bộ tham số tối ưu từ luận văn để xây dựng các giải pháp điều khiển giọng nói ngoại tuyến trong công nghiệp và dân dụng.

Trích đoạn nội dung tài liệu

LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Hồ Chí Minh, ngày 20 tháng 8 năm 2013 (Ký tên và ghi rõ họ tên) Huỳnh Lâm Đồng ii LỜI CẢM ƠN Em xin chân thành cảm ơn thầy Hoàng Trang đã tận tình hướng dẫn em trong việc thực hiện luận văn này. Thầy đã luôn giành sự quan tâm, thời gian và những chia sẻ gần gũi để giúp em hiểu và giải quyết những khó khăn trong quá trình thực hiện đề tài nhận dạng tiếng nói.

Thầy đã cung câp những tài liệu cũng như định hướng để em có thể hoàn thành luận văn sớm nhất có thể. Em cũng xin chân thành cảm ơn khoa Điện – Điện tử đặc biệt là bộ môn Điện tử đã tạo điều kiện để em có thể thực hiện đề tài. Mình cũng xin cảm ơn các bạn trong lớp cao ho ̣c Điê ̣n – Điê ̣n. Các bạn đã luôn chia sẻ những kinh nghiệm và sự hiểu biết với mình khi mình gặp những khó khăn và khúc mắc chưa thể giải quyết.

Cuối cùng với tấ t cả tấ m lòng con xin cảm ơn gia đình đã luôn quan tâm, chia sẻ và động viên để con có thể hoàn thành chương trình học một cách tốt nhất. iii TÓM TẮT LUẬN VĂN Trong nhiều thập niên gần đây, việc điều khiển thông qua nhận dạng tiếng nói tự động (ASR) nhận được sự quan tâm lớn thông qua nhiều ứng dụng. Có nhiều giải thuật được đưa ra trong quá trình trích đặc trưng, huấn luyện cũng như nhận dạng. Thuật toán nhận dạng tiếng nói thông qua quá trình trích đặc trưng các hệ số MFCC (Mel frequency cepstrum coefficient) và xây dựng Codebook bằng phương pháp lượng tử vector là hai phương pháp đặt nền tảng cho các thuật toán nhận dạng tiếng nói khác và chúng được sử dụng một cách rộng rãi trong nhiều ứng dụng.

Trong luận văn này, tôi sẽ đánh giá thuật toán nêu trên thông qua việc xây dựng chương trình nhúng trên KIT DSP, mà cụ thể là KIT DSKTMS320C6713 với nền tảng là bộ xử lý TMS320C6000. Nội dung luận văn được chia thành hai phần chính: phần đầu của luận văn sẽ trình bày nội dung về thuật toán trích đặc trưng MFCC và lượng tử vector trong nhận dạng tiếng nói. Đồng thời, xây dựng phần mềm MATLAB mô phỏng các giải thuật để có hình dung khái quát về quá trình nhận dạng. Phần thứ hai của luận văn sẽ xây dựng chương trình nhúng trên KIT DSKTMS320C6713.

Chương trình nhúng gồm có hai phần: huấn luyện và nhận dạng. Trong cả hai phần, tiếng nói được ghi âm và xử lý trực tiếp thông qua IC CODEC mã hóa âm thanh AIC2381, dữ liệu được số hóa 16bit chuẩn bị cho quá trình huấn luyện và nhận dạng. Ngoài ra để đẩy nhanh quá trình tính toán và đánh giá, dữ liệu tiếng nói còn được lưu thành các file header trên CCS. KIT DSP sẽ lấy dữ liệu trực tiếp từ các file này trong quá trình tính toán.

Quá trình đánh giá có thể được thực hiện thông qua việc thay đổi trực tiếp các thông số trên các file dữ liệu. Bộ xử lý DSP C6713 với kiến trúc tập lệnh VLIW và khả năng xử lý dấu chấm động floating-point; việc này đảm bảo độ chính xác cao cho các phép tính. Phạm vi giá trị các phép tính có thể mở rộng trong phạm vi Single (32bit) hoặc double (64bit). Các dữ liệu trong quá trình tính toán bao gồm codebook đã được huấn luyện và mẫu âm thanh cần nhận dạng được lưu trên bộ nhớ SDRAM 16MB.

Số lượng từ vựng cần nhận dạng phụ thuộc vào iv dung luợng bộ nhớ. Bộ nhớ có thể được mở rộng thông qua giao tiếp bộ nhớ mở rộng bên ngoài EMIF. Quá trình huấn luyện sử dụng dữ liệu tiếng nói được ghi âm trực tiếp trên KIT hoặc từ các file dữ liệu lưu sẵn. Dữ liệu được xử lý trích đặc trưng MFCC thành một tập các hệ số cho mỗi từ cần huấn luyện.

Thông qua giải thuật lượng tử vector xây dựng codebook cho từ cần huấn luyện dựa trên các hệ số MFCC. Trong quá trình nhận dạng dữ liệu tiếng nói được ghi âm trực tiếp trên KIT hoặc từ các file dữ liệu lưu sẵn. Dữ liệu được xử lý trích đặc trưng MFCC thành một tập các hệ số cho mỗi từ cần nhận dạng. Khoảng cách Euclide được tính toán trên tập các hệ số này so với tập huấn luyện gồm các codebook đã lưu ở phần trên.

Khoảng cách Euclide nhỏ nhất sẽ xác định được mẫu tiếng nói cần nhận dạng. Đánh giá thuật toán nhận dạng dựa trên kết quả nhận dạng tập dữ liệu các từ số đếm từ một đến mười và và các từ “trái, phải, trên, dưới, trước, sau”. Mỗi từ được đánh giá 100 lần. Thuật toán được đánh giá trên cơ sở điều chỉnh các thông số của quá trình huấn luyện và nhận dạng: kích thước của các frame âm thanh, khoảng chồng lấn giữa các frame, kích thước codebook.

Để tăng tính chính xác, khách quan của quá trình đánh giá thì dữ liệu trong cả phần huấn luyện và nhận dạng được lấy mẫu theo cùng một phương pháp từ ghi âm, xử lý, tính toán sai số. iv ABSTRACT In recent decades , the control through automatic speech recognition ( ASR ) received great attention by many applications. There are many algorithms given in the quote process characteristics , training and recognition. Speech recognition algorithm through characteristic coefficients extracted MFCC ( Mel frequency cepstrum coefficient ) and the construction of codebook by vector quantization methods are based two methods for speech recognition algorithms and their other been widely used in many applications.

In this essay , I will evaluate the above algorithms through building programs on embedded DSP KIT , KIT DSKTMS320C6713 in particular with a platform TMS320C6000 processor. The contents of the thesis is divided into two main parts : the first part of the paper presents algorithms extract the contents of MFCC features and vector quantization in speech recognition. At the same time , building simulation software MATLAB algorithms to visualize an overview of the identification process. The second part of the thesis will build on KIT DSKTMS320C6713 embedded programs.

Embedded program consists of two parts : training and recognition. In both sections , the voices were recorded and processed directly through IC AIC2381 audio codec , 16bit digitized data prepared for the training and recognition. In addition to accelerating the calculation and assessment , the voice data is stored in the file header on the CCS. KIT DSP will retrieve data directly from the file in the calculation process.

The evaluation process can be done through changing the parameters directly on the data file. C6713 DSP processor with VLIW instruction set architecture and the ability to handle floating point floating-point , this ensures high precision calculations. Scope value calculations can be extended within single ( 32-bit ) or double ( 64bit ). The data in the calculation process includes trained codebook and to recognize sound patterns that are stored on 16MB SDRAM memory.

The number of iv required vocabulary recognition depends on the memory capacity. The memory can be expanded via memory interface EMIF external expansion. Training process using voice data is recorded directly in the KIT or from stored data files. Data processing extract MFCC features into a set of coefficients for each word training.

Through the algorithm for vector quantization codebook built from need -based training MFCC coefficients. In the process of identifying the voice data is recorded directly on the KIT or from stored data files. Data processing extract MFCC features into a set of coefficients for each word to be recognized. Euclidean distance is computed on the set of coefficients from the training set consists of codebook has stored in the previous section.

Smallest Euclidean distance to determine the required sample voice recognition. Rating recognition algorithm based on the recognition results from the data set the count from one to ten and and the words " trái (left) , phải (right), trên (top) , dưới (bottom) , trước (front), sau (back)". Each word is evaluated 100 times. The algorithm is evaluated on the basis of adjusting the parameters of the training process and identity : the frame size of audio , some overlap between the frames , the codebook size.

To increase the accuracy and objectivity of the assessment process , the data in both the training and recognition is sampled by the same method of recording , processing , calculation errors. iv MỤC LỤC Trang tựa TRANG Quyết định giao đề tài Lý lịch cá nhân i Lời cam đoan ii Cảm tạ iii Tóm tắt iv Mục lục v Danh sách các chữ viết tắt vi Danh sách các hình vii Danh sách các bảng viii Chƣơng 1.2 Tình hình nghiên cƣ́u trong và ngoài nƣớc 2 1.3 Tính cấp thiết của đề tài 5 1.4 Mục tiêu nghiên cứu của luận văn 5 1.5 Nhiêm ̣ vu ̣ luâ ̣n văn 6 1.6 Đối tƣợng và phạm vi 6 1.7 Cấu trúc luận văn 7 Chƣơng 2.1 Tín hiệu tiếng nói 8 2.2 Phân loa ̣i các phƣơng pháp nhâ ̣n da ̣ng âm thanh 12 2.1 Phương pháp ngữ âm 12 2.2 Phương pháp nhâ ̣n da ̣ng mẫu 13 2.3 Phương pháp trí thông minh nhân ta ̣o 14 2.4 Mạng noron và ứng dụng trong nhận dạng âm thanh 15 2.3 Thuâ ̣t toán trích đă ̣c trƣng MFCC 16 2.2 Trích đặc trưng MFCC (Mel-scale Frequency Cepstral Coefficient) 20 2.2 Phân tích phổ FFT 23 2.3 Mel frequency filter Bank 25 2.4 Phân tích cepstral 28 2.4 Lƣơ ̣ng tƣ̉ vector VQ 34 Chƣơng 3. THƢ̣C HIỆN HỆ THỐNG NHẬN DẠNG TIẾNG NÓI TRÊN MATLAB 39 v 3.2 Tính năng lƣợng 41 3.6 Tính biên độ 42 3.7 Mel-filter bank 42 3.9 Tính hệ số cepstral 42 3.10 Kết quả 43 Chƣơng 4. THƢ̣C HIỆN HỆ THỐNG NHẬN DẠNG TIẾNG NÓI TRÊN KIT DSKTMS320C6713 48 4.1 Bộ xử lý tín hiệu số TMS320C6713 48 4.2 Code Composer Studio 50 4.3 Tổng quan về kit DSKTMS320C6713 53 4.4 Xây dựng hệ thống nhận dạng âm thanh trên nền Kit DSP DSKTMS320C6713 56 4.5 Mel frequency spectrum 63 4.7 Biến đổi Cosine rời rạc DCT 66 4.8 Lượng tử vector VQ 68 4.2 Nhận dạng 73 Chƣơng 5.

KẾT LUẬN 82 TÀI LIỆU THAM KHẢO 84 PHỤ LỤC 86 v DANH SÁCH CÁC CHỮ VIẾT TẮT MFLOPS floating-point operations per second MIPS instructions per second MMACS million multiply-accumulate operations per second VLIW very-long-instruction-word L1P Level 1 program L1D Level 1 data TI Texas Instruments CCS Code composer studio COFF common object file format CCSv5 Code composer studio version 5 CSL Chip support library BSL Board support library DSK DSP starter kit ADC analog digital converter DAC digital ananog converter MFCC Mel-frequency cepstral coefficients FFT Fast Fourier transform ASR Automatic speech recognition vi DANH SÁCH CÁC HÌNH BẢNG TRANG Hình 2.1: Cấu tạo các cơ quan phát ra âm thanh 8 Hình 2.2: Cấu tạo tai người 9 Hình 2.3: Dạng sóng theo thời gian 11 Hình 2.