Luận văn thạc sĩ HCMUTE về nhận dạng tiếng nói sử dụng MFCC và lượng tử vector

Luận văn thạc sĩ HCMUTE nghiên cứu nhận dạng tiếng nói bằng MFCC và lượng tử vector trên kit DSKTMS320C6713, mang lại giải pháp hiệu quả.

• Tác giả: Huỳnh Lâm Đồng
• Người hướng dẫn: TS. Hoàng Trang
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Nhận Dạng Tiếng Nói Bằng MFCC Và Lượng Tử Vector Trên Kit DSKTMS320C6713
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu
• 1.2. Tình hình nghiên cứu trong và ngoài nước
• 1.3. Tính cấp thiết của đề tài
• 1.4. Mục tiêu nghiên cứu của luận văn
• 1.5. Nhiệm vụ luận văn
• 1.6. Đối tượng và phạm vi
• 1.7. Cấu trúc luận văn
• 2. CHƯƠNG 2: TÍN HIỆU TIẾNG NÓI VÀ CÁC PHƯƠNG PHÁP NHẬN DẠNG ÂM THANH
• 2.1. Tín hiệu tiếng nói
• 2.2. Phân loại các phương pháp nhận dạng âm thanh
• 2.2.1. Phương pháp ngữ âm
• 2.2.2. Phương pháp nhận dạng mẫu
• 2.2.3. Phương pháp trí thông minh nhân tạo
• 2.2.4. Mạng noron và ứng dụng trong nhận dạng âm thanh
• 2.3. Thuật toán trích đặc trưng MFCC
• 2.3.1. Trích đặc trưng MFCC (Mel-scale Frequency Cepstral Coefficient)
• 2.3.2. Phân tích phổ FFT
• 2.3.3. Mel frequency filter Bank
• 2.3.4. Phân tích cepstral
• 2.4. Lượng tử vector VQ
• 3. CHƯƠNG 3: THỰC HIỆN HỆ THỐNG NHẬN DẠNG TIẾNG NÓI TRÊN MATLAB
• 3.1. Tính năng lượng
• 3.2. Tính biên độ
• 3.3. Mel-filter bank
• 3.4. Tính hệ số cepstral
• 3.5. Kết quả
• 4. CHƯƠNG 4: THỰC HIỆN HỆ THỐNG NHẬN DẠNG TIẾNG NÓI TRÊN KIT DSKTMS320C6713
• 4.1. Bộ xử lý tín hiệu số TMS320C6713
• 4.2. Code Composer Studio
• 4.3. Tổng quan về kit DSKTMS320C6713
• 4.4. Xây dựng hệ thống nhận dạng âm thanh trên nền Kit DSP DSKTMS320C6713
• 4.5. Mel frequency spectrum
• 4.6. Biến đổi Cosine rời rạc DCT
• 4.7. Lượng tử vector VQ
• 4.8. Nhận dạng
• 5. CHƯƠNG 5: KẾT LUẬN
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Giới thiệu về nhận dạng tiếng nói

Nhận dạng tiếng nói là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, với mục tiêu chuyển đổi tín hiệu âm thanh thành văn bản. Việc sử dụng MFCC (Mel-frequency cepstral coefficients) trong quá trình trích đặc trưng là một trong những phương pháp phổ biến nhất. MFCC giúp mô tả đặc điểm âm thanh của tín hiệu tiếng nói, từ đó cải thiện độ chính xác trong nhận dạng. Hệ thống nhận dạng tiếng nói có thể được áp dụng trong nhiều lĩnh vực như trợ lý ảo, dịch vụ khách hàng và điều khiển thiết bị thông minh. Việc phát triển các thuật toán nhận dạng tiếng nói hiệu quả không chỉ giúp nâng cao trải nghiệm người dùng mà còn mở ra nhiều cơ hội ứng dụng trong cuộc sống hàng ngày.

1.1. Tính cấp thiết của đề tài

Trong bối cảnh công nghệ ngày càng phát triển, việc nghiên cứu và phát triển hệ thống nhận dạng tiếng nói trở nên cần thiết hơn bao giờ hết. Các ứng dụng như trợ lý ảo, hệ thống điều khiển bằng giọng nói đang ngày càng trở nên phổ biến. Việc áp dụng lượng tử vector trong xây dựng codebook cho phép tối ưu hóa quá trình nhận dạng, giúp hệ thống hoạt động hiệu quả hơn. Hệ thống DSKTMS320C6713 được sử dụng trong nghiên cứu này cho phép thực hiện các phép toán phức tạp với độ chính xác cao, từ đó nâng cao khả năng nhận diện giọng nói trong môi trường thực tế.

II. Phương pháp trích đặc trưng MFCC

Phương pháp trích đặc trưng MFCC là một trong những kỹ thuật quan trọng trong nhận dạng tiếng nói. Quá trình này bao gồm nhiều bước như phân tích phổ, lọc Mel và tính toán hệ số cepstral. MFCC giúp chuyển đổi tín hiệu âm thanh thành các đặc trưng có thể sử dụng cho việc nhận dạng. Việc sử dụng tín hiệu âm thanh trong quá trình này cho phép hệ thống nhận diện được các đặc điểm quan trọng của giọng nói, từ đó cải thiện độ chính xác trong nhận dạng. Các nghiên cứu đã chỉ ra rằng việc áp dụng MFCC có thể giúp tăng cường khả năng nhận diện giọng nói trong các điều kiện khác nhau, bao gồm cả môi trường ồn ào.

2.1. Các bước trong quá trình trích đặc trưng

Quá trình trích đặc trưng MFCC bao gồm các bước chính như sau: đầu tiên, tín hiệu âm thanh được chia thành các khung thời gian ngắn để phân tích. Sau đó, các đặc trưng âm thanh được trích ra thông qua việc áp dụng bộ lọc Mel. Cuối cùng, các hệ số cepstral được tính toán để tạo ra các đặc trưng MFCC. Việc thực hiện chính xác các bước này là rất quan trọng để đảm bảo độ chính xác trong quá trình nhận dạng. Hệ thống DSP được sử dụng trong nghiên cứu này cho phép thực hiện các phép toán phức tạp một cách nhanh chóng và hiệu quả.

III. Ứng dụng trên kit DSKTMS320C6713

Kit DSKTMS320C6713 là một nền tảng mạnh mẽ cho việc phát triển các ứng dụng nhận dạng tiếng nói. Với bộ xử lý TMS320C6000, kit này cho phép thực hiện các phép toán phức tạp với độ chính xác cao. Việc xây dựng chương trình nhúng trên kit này giúp tối ưu hóa quá trình nhận dạng tiếng nói, từ đó nâng cao hiệu suất và độ chính xác. Hệ thống được thiết kế để xử lý tín hiệu âm thanh trực tiếp từ mic, cho phép nhận diện giọng nói trong thời gian thực. Các ứng dụng thực tế của hệ thống này bao gồm điều khiển thiết bị thông minh và hỗ trợ người dùng trong các tình huống khác nhau.

3.1. Cấu trúc hệ thống

Hệ thống nhận dạng tiếng nói trên kit DSKTMS320C6713 bao gồm hai phần chính: huấn luyện và nhận dạng. Trong phần huấn luyện, dữ liệu tiếng nói được ghi âm và xử lý để trích xuất các đặc trưng MFCC. Sau đó, các đặc trưng này được sử dụng để xây dựng codebook thông qua phương pháp lượng tử vector. Trong phần nhận dạng, hệ thống sẽ so sánh các đặc trưng của tín hiệu âm thanh mới với các đặc trưng đã được huấn luyện để xác định từ cần nhận dạng. Việc sử dụng hệ thống nhúng giúp tối ưu hóa hiệu suất và giảm thiểu độ trễ trong quá trình nhận dạng.

IV. Kết quả và đánh giá

Kết quả của nghiên cứu cho thấy hệ thống nhận dạng tiếng nói sử dụng MFCC và lượng tử vector trên kit DSKTMS320C6713 đạt được độ chính xác cao trong việc nhận diện các từ đơn giản. Các thử nghiệm cho thấy rằng việc điều chỉnh các thông số như kích thước frame âm thanh và kích thước codebook có ảnh hưởng lớn đến hiệu suất của hệ thống. Đặc biệt, việc sử dụng dữ liệu huấn luyện đồng nhất giúp cải thiện đáng kể độ chính xác trong quá trình nhận dạng. Hệ thống này có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ trợ lý ảo đến các ứng dụng trong công nghiệp.

4.1. Đánh giá hiệu suất

Đánh giá hiệu suất của hệ thống được thực hiện thông qua việc so sánh kết quả nhận dạng với các từ đã được huấn luyện. Kết quả cho thấy rằng hệ thống có thể nhận diện chính xác các từ trong bộ từ vựng đã được thiết lập. Việc điều chỉnh các thông số trong quá trình huấn luyện và nhận dạng cũng cho thấy sự cải thiện rõ rệt trong độ chính xác. Hệ thống này không chỉ có giá trị trong nghiên cứu mà còn có thể được ứng dụng rộng rãi trong thực tế, giúp nâng cao trải nghiệm người dùng trong các ứng dụng công nghệ hiện đại.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng tiếng nói tự động (Automatic Speech Recognition - ASR) là lĩnh vực nghiên cứu quan trọng trong kỹ thuật điện tử và xử lý tín hiệu, với nhiều ứng dụng thực tiễn như điều khiển thiết bị, nhập liệu không dùng tay, và giao tiếp người-máy. Theo ước tính, các hệ thống ASR hiện đại có thể nhận dạng chính xác trên 85% các từ trong bộ từ vựng nhỏ từ 10 đến 100 từ, tuy nhiên vẫn còn nhiều thách thức trong việc nâng cao độ chính xác và khả năng ứng dụng trong môi trường thực tế có nhiễu. Luận văn này tập trung nghiên cứu và đánh giá thuật toán nhận dạng tiếng nói dựa trên trích đặc trưng MFCC (Mel Frequency Cepstral Coefficient) và lượng tử vector (Vector Quantization - VQ) trên nền tảng phần cứng KIT DSK TMS320C6713, một bộ xử lý tín hiệu số (DSP) có khả năng xử lý dấu chấm động với kiến trúc VLIW.

Mục tiêu chính của nghiên cứu là đánh giá ảnh hưởng của hai thông số quan trọng trong mô hình nhận dạng: kích thước codebook và số lượng mẫu trên mỗi frame âm thanh, nhằm tối ưu hóa độ chính xác nhận dạng. Phạm vi nghiên cứu bao gồm xây dựng mô hình nhận dạng trên MATLAB để mô phỏng thuật toán, sau đó triển khai chương trình nhúng trên KIT DSP với bộ từ vựng gồm 16 từ phổ biến trong tiếng Việt, mỗi từ được ghi âm và đánh giá 100 lần trong môi trường ít nhiễu. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc phát triển các hệ thống nhận dạng tiếng nói nhúng có hiệu suất cao, chi phí thấp và thời gian triển khai nhanh, góp phần thúc đẩy ứng dụng công nghệ nhận dạng tiếng nói trong các thiết bị điện tử và tự động hóa.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình nghiên cứu chính:

1. Trích đặc trưng MFCC: MFCC là phương pháp trích đặc trưng phổ tần số dựa trên thang Mel, mô phỏng cách tai người cảm nhận âm thanh. Quá trình trích đặc trưng bao gồm chia tín hiệu thành các frame ngắn (10-30ms), áp dụng cửa sổ Hamming để giảm hiệu ứng biên, biến đổi Fourier nhanh (FFT) để tính phổ công suất, áp dụng bộ lọc Mel filter bank để tổng hợp năng lượng theo thang Mel, lấy logarithm và biến đổi Cosine rời rạc (DCT) để tạo ra các hệ số cepstral. MFCC giúp giảm thiểu ảnh hưởng của nhiễu và biến thiên trong tín hiệu tiếng nói, đồng thời giảm khối lượng dữ liệu cần xử lý.

2. Lượng tử vector (Vector Quantization - VQ): VQ là kỹ thuật phân cụm dữ liệu, ánh xạ các vector đặc trưng MFCC vào một tập hợp hữu hạn các codeword tạo thành codebook. Thuật toán LBG được sử dụng để xây dựng codebook từ dữ liệu huấn luyện. Trong quá trình nhận dạng, khoảng cách Euclide giữa vector đặc trưng của từ cần nhận dạng và các codeword trong codebook được tính toán để xác định từ phù hợp nhất. VQ có ưu điểm đơn giản, hiệu quả và phù hợp với các hệ thống nhúng.

Các khái niệm chuyên ngành quan trọng bao gồm: frame blocking, pre-emphasis, cửa sổ Hamming, FFT, Mel filter bank, DCT, codebook, khoảng cách Euclide, delta và delta-delta MFCC.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu gồm các mẫu tiếng nói được ghi âm trực tiếp trên KIT DSK TMS320C6713 hoặc lấy từ các file dữ liệu lưu sẵn. Bộ từ vựng gồm 16 từ phổ biến trong tiếng Việt, bao gồm các số đếm từ một đến mười và các từ chỉ hướng như "trái", "phải", "trên", "dưới", "trước", "sau". Mỗi từ được ghi âm và đánh giá 100 lần trong môi trường ít nhiễu, cùng một người nói để đảm bảo tính đồng nhất.

Phương pháp phân tích bao gồm:

• Xây dựng mô hình nhận dạng trên MATLAB để mô phỏng quá trình trích đặc trưng MFCC, huấn luyện codebook bằng thuật toán LBG và nhận dạng dựa trên khoảng cách Euclide.
• Triển khai chương trình nhúng trên KIT DSK TMS320C6713 sử dụng ngôn ngữ C, tận dụng bộ xử lý DSP TMS320C6713 với kiến trúc VLIW và khả năng xử lý dấu chấm động để đảm bảo độ chính xác tính toán.
• Thực hiện đánh giá ảnh hưởng của kích thước codebook (8, 16 codeword) và số lượng mẫu trên frame âm thanh (160, 200, 256 mẫu) đến độ chính xác nhận dạng.
• Sử dụng bộ nhớ SDRAM 16MB để lưu trữ codebook và dữ liệu mẫu, có thể mở rộng bộ nhớ qua giao tiếp EMIF.
• Timeline nghiên cứu kéo dài từ việc thu thập dữ liệu, xây dựng mô hình MATLAB, phát triển chương trình nhúng, đến đánh giá và phân tích kết quả.

Cỡ mẫu lớn (160-256 mẫu trên frame) và số lần đánh giá (100 lần mỗi từ) đảm bảo tính khách quan và độ tin cậy của kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Ảnh hưởng của kích thước codebook đến độ chính xác nhận dạng: Khi sử dụng codebook gồm 16 codeword, tỉ lệ nhận dạng trung bình đạt khoảng 87.1% đến 89.8% tùy thuộc vào số lượng mẫu trên frame. Trong khi đó, với codebook 8 codeword, tỉ lệ nhận dạng giảm xuống khoảng 78% đến 81%. Ví dụ, với 200 mẫu trên frame và chồng lấn 100 mẫu, codebook 16 codeword đạt 89.8% trong khi codebook 8 codeword chỉ đạt 81%.

2. Ảnh hưởng của số lượng mẫu trên frame âm thanh: Tỉ lệ nhận dạng cao nhất đạt được khi sử dụng 200 mẫu trên frame với chồng lấn 100 mẫu, đạt 89.8% với codebook 16 codeword. Khi tăng lên 256 mẫu trên frame, tỉ lệ nhận dạng giảm nhẹ xuống 86%, cho thấy việc chọn kích thước frame phù hợp là quan trọng để cân bằng giữa độ phân giải và hiệu quả tính toán.

3. Độ chính xác nhận dạng từ vựng 6 từ với codebook 16 codeword và 256 mẫu trên frame: Tỉ lệ nhận dạng trung bình đạt tới 96%, cho thấy thuật toán MFCC kết hợp VQ trên nền tảng DSP có khả năng nhận dạng chính xác cao với bộ từ vựng nhỏ.

4. Tính ổn định của thuật toán trong môi trường ít nhiễu: Dữ liệu huấn luyện và nhận dạng được lấy mẫu theo cùng một phương pháp, cùng người nói và môi trường ghi âm ít nhiễu, giúp giảm sai số và tăng tính khách quan của kết quả.

Thảo luận kết quả

Nguyên nhân chính của sự khác biệt về độ chính xác nhận dạng là do kích thước codebook ảnh hưởng trực tiếp đến khả năng mô tả đặc trưng của từ vựng. Codebook lớn hơn cung cấp nhiều codeword hơn, giúp phân biệt các đặc trưng MFCC tốt hơn, từ đó nâng cao độ chính xác. Tuy nhiên, codebook quá lớn sẽ làm tăng chi phí tính toán và bộ nhớ, không phù hợp với các hệ thống nhúng có tài nguyên hạn chế.

Số lượng mẫu trên frame cũng ảnh hưởng đến độ phân giải tần số và khả năng trích đặc trưng chính xác. Kích thước frame quá nhỏ có thể không đủ dữ liệu để ước lượng phổ chính xác, trong khi frame quá lớn làm giảm tính ổn định của đặc trưng do tín hiệu tiếng nói biến đổi theo thời gian. Kết quả cho thấy 200 mẫu trên frame với 50% chồng lấn là lựa chọn tối ưu trong nghiên cứu này.

So sánh với các nghiên cứu trong nước và quốc tế, tỉ lệ nhận dạng đạt được tương đương hoặc cao hơn các hệ thống sử dụng mạng neuron hay mô hình Markov ẩn với bộ từ vựng tương tự. Việc triển khai trên nền tảng DSP TMS320C6713 giúp tăng tốc độ xử lý và độ chính xác tính toán nhờ kiến trúc VLIW và khả năng xử lý dấu chấm động.

Dữ liệu có thể được trình bày qua các bảng kết quả nhận dạng theo từng cấu hình codebook và kích thước frame, biểu đồ so sánh tỉ lệ nhận dạng giữa các cấu hình, giúp minh họa rõ ràng ảnh hưởng của các thông số đến hiệu suất hệ thống.

Đề xuất và khuyến nghị

1. Tối ưu kích thước codebook và frame âm thanh: Khuyến nghị sử dụng codebook gồm 16 codeword và frame âm thanh có 200 mẫu với 50% chồng lấn để đạt hiệu suất nhận dạng tối ưu. Chủ thể thực hiện là nhóm phát triển phần mềm nhúng, thời gian điều chỉnh trong vòng 1-2 tháng.

2. Mở rộng bộ từ vựng và đa dạng hóa dữ liệu huấn luyện: Để nâng cao khả năng ứng dụng thực tế, cần mở rộng bộ từ vựng và thu thập dữ liệu từ nhiều người nói, môi trường khác nhau nhằm tăng tính tổng quát của mô hình. Thời gian thực hiện dự kiến 6-12 tháng, do nhóm nghiên cứu và phòng thí nghiệm xử lý tín hiệu đảm nhiệm.

3. Phát triển giao diện người dùng và tích hợp hệ thống: Xây dựng giao diện điều khiển thân thiện trên KIT DSP để dễ dàng ghi âm, huấn luyện và nhận dạng, đồng thời tích hợp với các thiết bị điều khiển tự động như robot, thiết bị gia dụng. Chủ thể là nhóm kỹ sư phần mềm, thời gian 3-4 tháng.

4. Nghiên cứu áp dụng các thuật toán nâng cao: Kết hợp MFCC-VQ với các mô hình học sâu hoặc mạng neuron để cải thiện độ chính xác nhận dạng trong môi trường nhiễu phức tạp. Thời gian nghiên cứu 12-18 tháng, do các nhóm nghiên cứu chuyên sâu về trí tuệ nhân tạo thực hiện.

5. Đánh giá và thử nghiệm trong môi trường thực tế: Triển khai hệ thống nhận dạng trên các thiết bị thực tế, đánh giá hiệu suất trong môi trường có nhiễu và đa dạng người nói để hoàn thiện sản phẩm. Thời gian 6 tháng, phối hợp giữa nhóm nghiên cứu và đối tác ứng dụng.

Đối tượng nên tham khảo luận văn

1. Sinh viên và nghiên cứu sinh ngành Kỹ thuật Điện tử, Xử lý tín hiệu số: Luận văn cung cấp kiến thức chuyên sâu về trích đặc trưng MFCC, lượng tử vector và ứng dụng trên nền tảng DSP, hỗ trợ nghiên cứu và phát triển các hệ thống nhận dạng tiếng nói.

2. Kỹ sư phát triển phần mềm nhúng và hệ thống nhúng: Tham khảo để hiểu cách triển khai thuật toán nhận dạng tiếng nói trên phần cứng KIT DSP, tối ưu hóa hiệu suất và tài nguyên hệ thống.

3. Nhà nghiên cứu và phát triển công nghệ nhận dạng tiếng nói: Cung cấp cơ sở lý thuyết và thực nghiệm về ảnh hưởng các thông số mô hình đến độ chính xác, làm nền tảng cho các nghiên cứu nâng cao và ứng dụng thực tế.

4. Doanh nghiệp và tổ chức phát triển thiết bị điều khiển giọng nói: Hướng dẫn xây dựng hệ thống nhận dạng tiếng nói hiệu quả, chi phí thấp, phù hợp với các thiết bị tự động hóa, robot, thiết bị gia dụng thông minh.

Câu hỏi thường gặp

1. MFCC là gì và tại sao được sử dụng trong nhận dạng tiếng nói?
   MFCC (Mel Frequency Cepstral Coefficient) là phương pháp trích đặc trưng phổ tần số dựa trên thang Mel, mô phỏng cách tai người cảm nhận âm thanh. Nó giúp giảm ảnh hưởng của nhiễu và biến thiên trong tín hiệu, đồng thời giảm khối lượng dữ liệu cần xử lý, làm tăng hiệu quả nhận dạng.

2. Lượng tử vector (VQ) hoạt động như thế nào trong nhận dạng tiếng nói?
   VQ phân cụm các vector đặc trưng MFCC thành các nhóm (cluster) đại diện bởi codeword trong codebook. Khi nhận dạng, khoảng cách Euclide giữa vector đặc trưng của từ cần nhận dạng và các codeword được tính để xác định từ phù hợp nhất, giúp đơn giản hóa và tăng tốc quá trình nhận dạng.

3. Tại sao chọn KIT DSK TMS320C6713 làm nền tảng triển khai?
   KIT DSK TMS320C6713 có kiến trúc VLIW và khả năng xử lý dấu chấm động, giúp thực hiện các phép tính phức tạp với độ chính xác cao và tốc độ nhanh, phù hợp cho các ứng dụng nhúng nhận dạng tiếng nói đòi hỏi hiệu suất cao và thời gian triển khai nhanh.

4. Ảnh hưởng của kích thước codebook và số lượng mẫu trên frame đến độ chính xác nhận dạng là gì?
   Codebook lớn hơn giúp mô tả đặc trưng chi tiết hơn, nâng cao độ chính xác nhận dạng, nhưng tăng chi phí tính toán. Số lượng mẫu trên frame ảnh hưởng đến độ phân giải tần số và tính ổn định của đặc trưng; kích thước frame phù hợp giúp cân bằng giữa độ chính xác và hiệu quả tính toán.

5. Hệ thống có thể áp dụng trong môi trường nhiều nhiễu không?
   Nghiên cứu hiện tại thực hiện trong môi trường ít nhiễu và cùng người nói để đảm bảo tính đồng nhất. Để áp dụng trong môi trường nhiều nhiễu, cần mở rộng dữ liệu huấn luyện, kết hợp các thuật toán nâng cao như mạng neuron hoặc mô hình Markov ẩn để cải thiện khả năng kháng nhiễu.

Kết luận

• Luận văn đã xây dựng và đánh giá thành công thuật toán nhận dạng tiếng nói dựa trên trích đặc trưng MFCC và lượng tử vector VQ trên nền tảng KIT DSK TMS320C6713.
• Kích thước codebook và số lượng mẫu trên frame âm thanh là hai thông số quan trọng ảnh hưởng đến độ chính xác nhận dạng, với codebook 16 codeword và 200 mẫu trên frame cho kết quả tối ưu.
• Mô hình nhận dạng đạt tỉ lệ nhận dạng trung bình trên 89% với bộ từ vựng 16 từ, và lên đến 96% với bộ từ vựng 6 từ trong môi trường ít nhiễu.
• Việc triển khai trên DSP TMS320C6713 giúp tăng tốc độ xử lý và độ chính xác tính toán, phù hợp cho các ứng dụng nhúng và thiết bị điều khiển giọng nói.
• Các bước tiếp theo bao gồm mở rộng bộ từ vựng, đa dạng hóa dữ liệu huấn luyện, phát triển giao diện người dùng và nghiên cứu tích hợp các thuật toán nâng cao để ứng dụng trong môi trường thực tế đa dạng.

Để tiếp tục phát triển hệ thống nhận dạng tiếng nói hiệu quả, các nhà nghiên cứu và kỹ sư được khuyến khích áp dụng các giải pháp đề xuất và triển khai thử nghiệm trong các ứng dụng thực tế.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ HUỲNH LÂM ĐỒNG NHẬN DẠNG TIẾNG NÓI DÙNG GIẢI THUẬT TRÍCH ĐẶC TRƯNG MFCC VÀ LƯỢNG TỬ VECTOR TRÊN KIT DSKTMS320C6713 CỦA TI NGÀNH: KỸ THUẬT ĐIỆN TỬ - 605270 S KC 0 0 4 1 5 4 Tp. Hồ Chí Minh, tháng 09 năm 2013 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ HUỲNH LÂM ĐỒNG NHẬN DẠNG TIẾNG NÓI DÙNG GIẢI THUẬT TRÍCH ĐẶC TRƯNG MFCC VÀ LƯỢNG TỬ VECTOR TRÊN KIT DSKTMS320C6713 CỦA TI NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Hướng dẫn khoa học: TS HOÀNG TRANG Tp. Hồ Chí Minh, tháng 09/2013 Luan van LÝ LỊCH KHOA HỌC I. LÝ LỊCH SƠ LƯỢC: Họ & tên: Huỳnh Lâm Đồng Giới tính: nam Ngày, tháng, năm sinh: 31/07/1987 Nơi sinh: TP.

HCM Quê quán: Lâm Đồng Dân tộc: Kinh Chỗ ở riêng hoặc địa chỉ liên lạc: 230/4/10 Phan Văn Tri /̣ P12/ Q.Gò Vấp/TP HCM. Điện thoại cơ quan: Điện thoại nhà riêng: 0838415874 Fax: E-mail: huynhlamdong@gmail. QUÁ TRÌNH ĐÀO TẠO: 1. Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ ……/…… đến ……/ …… Nơi học (trường, thành phố): Ngành học: 2.

Đại học: Hệ đào tạo: Chính quy. Thời gian đào tạo từ 09/2005 đến 12/2010 Nơi học (trường, thành phố): ĐH Sư Phạm Kỹ Thuật TP. Ngành học: Công nghệ điện tử viễn thông Tên đồ án, luận án hoặc môn thi tốt nghiệp: Wimax và các tiêu chuẩn kỹ thuật ứng dụng trong Wimax. Ngày & nơi bảo vệ đồ án, luận án hoặc thi tốt nghiệp: Tháng 10/2010, ĐH SPKT.

Người hướng dẫn: Lê Ngọc Hồ Nguyên. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm 2010 đến Công ty Thông Tin Điện Tử Z755 Trợ lý kỹ thuật 08/2013 i Luan van LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Hồ Chí Minh, ngày 20 tháng 8 năm 2013 (Ký tên và ghi rõ họ tên) Huỳnh Lâm Đồng ii Luan van LỜI CẢM ƠN Em xin chân thành cảm ơn thầy Hoàng Trang đã tận tình hướng dẫn em trong việc thực hiện luận văn này.

Thầy đã luôn giành sự quan tâm, thời gian và những chia sẻ gần gũi để giúp em hiểu và giải quyết những khó khăn trong quá trình thực hiện đề tài nhận dạng tiếng nói. Thầy đã cung câp những tài liệu cũng như định hướng để em có thể hoàn thành luận văn sớm nhất có thể. Em cũng xin chân thành cảm ơn khoa Điện – Điện tử đặc biệt là bộ môn Điện tử đã tạo điều kiện để em có thể thực hiện đề tài. Mình cũng xin cảm ơn các bạn trong lớp cao ho ̣c Điê ̣n – Điê ̣n.

Các bạn đã luôn chia sẻ những kinh nghiệm và sự hiểu biết với mình khi mình gặp những khó khăn và khúc mắc chưa thể giải quyết. Cuối cùng với tấ t cả tấ m lòng con xin cảm ơn gia đình đã luôn quan tâm, chia sẻ và động viên để con có thể hoàn thành chương trình học một cách tốt nhất. iii Luan van TÓM TẮT LUẬN VĂN Trong nhiều thập niên gần đây, việc điều khiển thông qua nhận dạng tiếng nói tự động (ASR) nhận được sự quan tâm lớn thông qua nhiều ứng dụng. Có nhiều giải thuật được đưa ra trong quá trình trích đặc trưng, huấn luyện cũng như nhận dạng.

Thuật toán nhận dạng tiếng nói thông qua quá trình trích đặc trưng các hệ số MFCC (Mel frequency cepstrum coefficient) và xây dựng Codebook bằng phương pháp lượng tử vector là hai phương pháp đặt nền tảng cho các thuật toán nhận dạng tiếng nói khác và chúng được sử dụng một cách rộng rãi trong nhiều ứng dụng. Trong luận văn này, tôi sẽ đánh giá thuật toán nêu trên thông qua việc xây dựng chương trình nhúng trên KIT DSP, mà cụ thể là KIT DSKTMS320C6713 với nền tảng là bộ xử lý TMS320C6000. Nội dung luận văn được chia thành hai phần chính: phần đầu của luận văn sẽ trình bày nội dung về thuật toán trích đặc trưng MFCC và lượng tử vector trong nhận dạng tiếng nói. Đồng thời, xây dựng phần mềm MATLAB mô phỏng các giải thuật để có hình dung khái quát về quá trình nhận dạng.

Phần thứ hai của luận văn sẽ xây dựng chương trình nhúng trên KIT DSKTMS320C6713. Chương trình nhúng gồm có hai phần: huấn luyện và nhận dạng. Trong cả hai phần, tiếng nói được ghi âm và xử lý trực tiếp thông qua IC CODEC mã hóa âm thanh AIC2381, dữ liệu được số hóa 16bit chuẩn bị cho quá trình huấn luyện và nhận dạng. Ngoài ra để đẩy nhanh quá trình tính toán và đánh giá, dữ liệu tiếng nói còn được lưu thành các file header trên CCS.

KIT DSP sẽ lấy dữ liệu trực tiếp từ các file này trong quá trình tính toán. Quá trình đánh giá có thể được thực hiện thông qua việc thay đổi trực tiếp các thông số trên các file dữ liệu. Bộ xử lý DSP C6713 với kiến trúc tập lệnh VLIW và khả năng xử lý dấu chấm động floating-point; việc này đảm bảo độ chính xác cao cho các phép tính. Phạm vi giá trị các phép tính có thể mở rộng trong phạm vi Single (32bit) hoặc double (64bit).

Các dữ liệu trong quá trình tính toán bao gồm codebook đã được huấn luyện và mẫu âm thanh cần nhận dạng được lưu trên bộ nhớ SDRAM 16MB. Số lượng từ vựng cần nhận dạng phụ thuộc vào iv Luan van dung luợng bộ nhớ. Bộ nhớ có thể được mở rộng thông qua giao tiếp bộ nhớ mở rộng bên ngoài EMIF. Quá trình huấn luyện sử dụng dữ liệu tiếng nói được ghi âm trực tiếp trên KIT hoặc từ các file dữ liệu lưu sẵn.

Dữ liệu được xử lý trích đặc trưng MFCC thành một tập các hệ số cho mỗi từ cần huấn luyện. Thông qua giải thuật lượng tử vector xây dựng codebook cho từ cần huấn luyện dựa trên các hệ số MFCC. Trong quá trình nhận dạng dữ liệu tiếng nói được ghi âm trực tiếp trên KIT hoặc từ các file dữ liệu lưu sẵn. Dữ liệu được xử lý trích đặc trưng MFCC thành một tập các hệ số cho mỗi từ cần nhận dạng.

Khoảng cách Euclide được tính toán trên tập các hệ số này so với tập huấn luyện gồm các codebook đã lưu ở phần trên. Khoảng cách Euclide nhỏ nhất sẽ xác định được mẫu tiếng nói cần nhận dạng. Đánh giá thuật toán nhận dạng dựa trên kết quả nhận dạng tập dữ liệu các từ số đếm từ một đến mười và và các từ “trái, phải, trên, dưới, trước, sau”. Mỗi từ được đánh giá 100 lần.

Thuật toán được đánh giá trên cơ sở điều chỉnh các thông số của quá trình huấn luyện và nhận dạng: kích thước của các frame âm thanh, khoảng chồng lấn giữa các frame, kích thước codebook. Để tăng tính chính xác, khách quan của quá trình đánh giá thì dữ liệu trong cả phần huấn luyện và nhận dạng được lấy mẫu theo cùng một phương pháp từ ghi âm, xử lý, tính toán sai số. iv Luan van ABSTRACT In recent decades , the control through automatic speech recognition ( ASR ) received great attention by many applications. There are many algorithms given in the quote process characteristics , training and recognition.

Speech recognition algorithm through characteristic coefficients extracted MFCC ( Mel frequency cepstrum coefficient ) and the construction of codebook by vector quantization methods are based two methods for speech recognition algorithms and their other been widely used in many applications. In this essay , I will evaluate the above algorithms through building programs on embedded DSP KIT , KIT DSKTMS320C6713 in particular with a platform TMS320C6000 processor. The contents of the thesis is divided into two main parts : the first part of the paper presents algorithms extract the contents of MFCC features and vector quantization in speech recognition. At the same time , building simulation software MATLAB algorithms to visualize an overview of the identification process.

The second part of the thesis will build on KIT DSKTMS320C6713 embedded programs. Embedded program consists of two parts : training and recognition. In both sections , the voices were recorded and processed directly through IC AIC2381 audio codec , 16bit digitized data prepared for the training and recognition. In addition to accelerating the calculation and assessment , the voice data is stored in the file header on the CCS.

KIT DSP will retrieve data directly from the file in the calculation process. The evaluation process can be done through changing the parameters directly on the data file. C6713 DSP processor with VLIW instruction set architecture and the ability to handle floating point floating-point , this ensures high precision calculations. Scope value calculations can be extended within single ( 32-bit ) or double ( 64bit ).

The data in the calculation process includes trained codebook and to recognize sound patterns that are stored on 16MB SDRAM memory. The number of iv Luan van required vocabulary recognition depends on the memory capacity. The memory can be expanded via memory interface EMIF external expansion. Training process using voice data is recorded directly in the KIT or from stored data files.

Data processing extract MFCC features into a set of coefficients for each word training. Through the algorithm for vector quantization codebook built from need -based training MFCC coefficients. In the process of identifying the voice data is recorded directly on the KIT or from stored data files. Data processing extract MFCC features into a set of coefficients for each word to be recognized.

Euclidean distance is computed on the set of coefficients from the training set consists of codebook has stored in the previous section. Smallest Euclidean distance to determine the required sample voice recognition. Rating recognition algorithm based on the recognition results from the data set the count from one to ten and and the words " trái (left) , phải (right), trên (top) , dưới (bottom) , trước (front), sau (back)". Each word is evaluated 100 times.

The algorithm is evaluated on the basis of adjusting the parameters of the training process and identity : the frame size of audio , some overlap between the frames , the codebook size. To increase the accuracy and objectivity of the assessment process , the data in both the training and recognition is sampled by the same method of recording , processing , calculation errors. iv Luan van MỤC LỤC Trang tựa TRANG Quyết định giao đề tài Lý lịch cá nhân i Lời cam đoan ii Cảm tạ iii Tóm tắt iv Mục lục v Danh sách các chữ viết tắt vi Danh sách các hình vii Danh sách các bảng viii Chƣơng 1.2 Tình hình nghiên cƣ́u trong và ngoài nƣớc 2 1.3 Tính cấp thiết của đề tài 5 1.4 Mục tiêu nghiên cứu của luận văn 5 1.