Luận văn thạc sĩ về ứng dụng FPGA cho nhận dạng tiếng nói tiếng Việt

Luận văn thạc sĩ trình bày ứng dụng FPGA trong nhận dạng tiếng nói tiếng Việt, khám phá công nghệ và giải pháp hiệu quả cho lĩnh vực này.

• Tác giả: Trần Xuân Thiện
• Người hướng dẫn: TS. Hoàng Trang
• Trường học: Không có thông tin
• Chuyên ngành: Không có thông tin
• Đề tài: Ứng dụng FPGA trong nhận dạng tiếng nói tiếng Việt
• Loại tài liệu: Luận văn
• Năm xuất bản: 2013
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM TẠ
• TÓM TẮT LUẬN VĂN
• MASTER ESSAY SUMMARRY
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. TỔNG QUAN CHUNG VỀ LĨNH VỰC NGHIÊN CỨU
• 1.2. MỤC TIÊU, KHÁCH THỂ VÀ ĐỐI TƯỢNG NGHIÊN CỨU
• 1.3. NHIỆM VỤ CỦA ĐỀ TÀI VÀ PHẠM VI NGHIÊN CỨU
• 1.4. PHƯƠNG PHÁP NGHIÊN CỨU
• 1.5. NỘI DUNG ĐỀ TÀI
• 1.6. Ý NGHĨA THỰC TIỄN CỦA ĐỀ TÀI
• 2. CHƯƠNG 2: ĐẶC TRƯNG TIẾNG NÓI TIẾNG VIỆT
• 2.1. TỔNG QUAN VỀ TIẾNG NÓI
• 2.2. CÁC ĐẶC TRƯNG CƠ BẢN CỦA TIẾNG VIỆT
• 2.3. NGUYÊN ÂM VÀ PHỤ ÂM
• 3. CHƯƠNG 3: MÔ HÌNH NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT
• 3.1. PHÂN LOẠI CÁC HỆ THỐNG NHẬN DẠNG TIẾNG NÓI
• 3.2. NHẬN DẠNG TỪ LIÊN TỤC VÀ NHẬN DẠNG TỪ CÁCH BIỆT
• 3.3. NHẬN DẠNG PHỤ THUỘC NGƯỜI NÓI VÀ ĐỘC LẬP NGƯỜI NÓI
• 3.4. CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN KẾT QUẢ NHẬN DẠNG TIẾNG NÓI
• 3.5. CẤU TRÚC HỆ NHẬN DẠNG TIẾNG NÓI
• 3.6. GIẢI THUẬT HỆ THỐNG NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT DÙNG MARKOV ẨN
• 3.7. PHƯƠNG PHÁP TRÍCH ĐẶC TRƯNG MFCC
• 3.7.1. BIẾN ĐỔI FFT
• 3.7.2. LỌC TẦN SỐ THEO THANG TẦN SỐ MEL
• 3.7.3. PHÂN TÍCH CEPSTRAL
• 3.7.4. TÍNH TOÁN NĂNG LƯỢNG
• 3.7.5. HỆ SỐ DELTA
• 3.8. LƯỢNG TỬ VECTOR
• 3.8.1. TỔNG QUAN VỀ LƯỢNG TỬ VECTOR (VQ)
• 3.8.2. CẤU TRÚC VÀ TẬP HUẤN LUYỆN VQ
• 3.8.3. PHÂN NHÓM CÁC VECTOR HUẤN LUYỆN
• 4. CHƯƠNG 4: MÔ HÌNH MARKOV ẨN HMM
• 4.1. QUÁ TRÌNH MARKOV
• 4.2. MÔ HÌNH MARKOV ẨN
• 4.3. GIẢI PHÁP TOÁN HỌC CHO BA BÀI TOÁN CƠ BẢN CỦA MÔ HÌNH MARKOV ẨN
• 4.4. CÁC LOẠI MÔ HÌNH MARKOV ẨN
• 5. CHƯƠNG 5: KIT DE2 CỦA HÃNG ALTERA
• 5.1. TỔNG QUAN KIT DE2
• 5.2. TỔNG QUAN VỀ SOPC TRÊN FPGA
• 5.3. THIẾT LẬP HỆ THỐNG NIOS TRÊN KIT DE2
• 6. CHƯƠNG 6: THIẾT KẾ HỆ THỐNG NHẬN DẠNG TRÊN KIT DE2 VÀ KẾT QUẢ ĐẠT ĐƯỢC
• 6.1. LẤY MẪU VÀ TÁCH KHOẢNG LẶNG
• 6.2. TRÍCH ĐẶC TRƯNG MFCC
• 6.3. LƯỢNG TỬ VECTOR VQ
• 6.4. HUẤN LUYỆN MÔ HÌNH HMM
• 6.5. LƯU ĐỒ GIẢI THUẬT NHẬN DẠNG
• 6.6. KẾT QUẢ THỰC HIỆN
• 6.7. KẾT QUẢ NHẬN DẠNG
• 6.7.1. KẾT QUẢ NHẬN DẠNG CỦA MÔ HÌNH 1
• 6.7.2. KẾT QUẢ NHẬN DẠNG CỦA MÔ HÌNH 2
• 6.7.3. KẾT QUẢ NHẬN DẠNG CỦA MÔ HÌNH 3
• 6.8. KẾT QUẢ ĐÁNH GIÁ SỐ XUNG CLOCK CỦA TỪNG MÔ HÌNH
• 6.9. NHẬN XÉT KẾT QUẢ
• 6.10. NHỮNG MỤC TIÊU ĐẠT ĐƯỢC
• 6.11. HẠN CHẾ CỦA ĐỀ TÀI
• 6.12. HƯỚNG PHÁT TRIỂN ĐỀ TÀI
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về ứng dụng FPGA trong nhận dạng tiếng nói tiếng Việt

Nhận dạng tiếng nói tiếng Việt là một lĩnh vực nghiên cứu quan trọng, đặc biệt trong bối cảnh công nghệ ngày càng phát triển. FPGA (Field Programmable Gate Array) là một giải pháp hiệu quả cho việc xử lý tín hiệu số, giúp nâng cao độ chính xác và tốc độ trong nhận dạng tiếng nói. Việc ứng dụng FPGA trong lĩnh vực này không chỉ mang lại lợi ích về hiệu suất mà còn mở ra nhiều cơ hội mới cho các nghiên cứu và ứng dụng thực tiễn.

1.1. Khái niệm về FPGA và vai trò trong nhận dạng tiếng nói

FPGA là một loại vi mạch có thể lập trình được, cho phép người dùng tùy chỉnh cấu trúc phần cứng theo nhu cầu. Trong nhận dạng tiếng nói, FPGA giúp xử lý tín hiệu nhanh chóng và hiệu quả, từ đó cải thiện độ chính xác của các mô hình nhận dạng.

1.2. Tình hình nghiên cứu nhận dạng tiếng nói tiếng Việt

Nghiên cứu về nhận dạng tiếng nói tiếng Việt đã có nhiều tiến bộ, nhưng vẫn còn nhiều thách thức. Các phương pháp truyền thống thường gặp khó khăn trong việc đạt được độ chính xác cao. Việc ứng dụng FPGA có thể giải quyết một phần những vấn đề này.

II. Thách thức trong nhận dạng tiếng nói tiếng Việt

Nhận dạng tiếng nói tiếng Việt đối mặt với nhiều thách thức, bao gồm sự đa dạng trong cách phát âm, ngữ điệu và ngữ cảnh. Những yếu tố này làm cho việc phát triển các hệ thống nhận dạng trở nên phức tạp hơn. Đặc biệt, tiếng Việt có nhiều âm sắc và thanh điệu, điều này đòi hỏi các thuật toán phải được tối ưu hóa để xử lý chính xác.

2.1. Đặc điểm ngôn ngữ tiếng Việt ảnh hưởng đến nhận dạng

Tiếng Việt có nhiều âm sắc và thanh điệu khác nhau, điều này tạo ra sự khó khăn trong việc nhận diện chính xác các từ. Các hệ thống nhận dạng cần phải được thiết kế để nhận diện được sự khác biệt này.

2.2. Tốc độ và độ chính xác trong xử lý tín hiệu

Tốc độ xử lý tín hiệu là một yếu tố quan trọng trong nhận dạng tiếng nói. FPGA có khả năng xử lý song song, giúp tăng tốc độ nhận dạng mà vẫn đảm bảo độ chính xác cao.

III. Phương pháp trích chọn đặc trưng MFCC trong nhận dạng tiếng nói

Phương pháp trích chọn đặc trưng MFCC (Mel Frequency Cepstral Coefficients) là một trong những kỹ thuật phổ biến nhất trong nhận dạng tiếng nói. MFCC giúp chuyển đổi tín hiệu âm thanh thành các đặc trưng có thể sử dụng cho các mô hình học máy. Việc áp dụng MFCC trong môi trường FPGA giúp tối ưu hóa quá trình xử lý và nâng cao hiệu suất.

3.1. Nguyên lý hoạt động của MFCC

MFCC hoạt động bằng cách phân tích tín hiệu âm thanh thành các thành phần tần số, từ đó trích xuất các đặc trưng quan trọng. Điều này giúp cải thiện khả năng nhận diện của hệ thống.

3.2. Lợi ích của việc sử dụng MFCC trên FPGA

Việc triển khai MFCC trên FPGA cho phép xử lý nhanh chóng và hiệu quả hơn so với các phương pháp truyền thống. Điều này giúp giảm thiểu độ trễ trong nhận dạng tiếng nói.

IV. Mô hình Markov ẩn HMM trong nhận dạng tiếng nói

Mô hình Markov ẩn (HMM) là một trong những phương pháp mạnh mẽ nhất trong nhận dạng tiếng nói. HMM cho phép mô hình hóa các chuỗi tín hiệu âm thanh và dự đoán các từ dựa trên các đặc trưng đã trích xuất. Việc kết hợp HMM với FPGA có thể mang lại những cải tiến đáng kể về hiệu suất.

4.1. Cấu trúc và nguyên lý hoạt động của HMM

HMM sử dụng các trạng thái ẩn để mô hình hóa quá trình nhận dạng tiếng nói. Mỗi trạng thái tương ứng với một phần của tín hiệu âm thanh, giúp hệ thống nhận diện chính xác hơn.

4.2. Ứng dụng HMM trên FPGA

Việc triển khai HMM trên FPGA giúp tăng tốc độ xử lý và giảm thiểu độ trễ, từ đó cải thiện trải nghiệm người dùng trong các ứng dụng nhận dạng tiếng nói.

V. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu đã chỉ ra rằng việc ứng dụng FPGA trong nhận dạng tiếng nói tiếng Việt mang lại nhiều kết quả khả quan. Các mô hình thử nghiệm cho thấy độ chính xác cao và tốc độ xử lý nhanh. Điều này mở ra nhiều cơ hội cho việc phát triển các ứng dụng thực tiễn trong lĩnh vực này.

5.1. Đánh giá độ chính xác của mô hình

Các mô hình thử nghiệm cho thấy độ chính xác nhận dạng trung bình đạt trên 90%. Điều này chứng tỏ rằng việc ứng dụng FPGA có thể cải thiện đáng kể hiệu suất nhận dạng.

5.2. Ứng dụng thực tiễn của hệ thống nhận dạng

Hệ thống nhận dạng tiếng nói có thể được ứng dụng trong nhiều lĩnh vực như điều khiển giọng nói, trợ lý ảo, và nhiều ứng dụng khác trong đời sống hàng ngày.

VI. Kết luận và hướng phát triển tương lai

Nghiên cứu về ứng dụng FPGA trong nhận dạng tiếng nói tiếng Việt đã mở ra nhiều hướng đi mới cho các nghiên cứu tiếp theo. Việc cải thiện độ chính xác và tốc độ xử lý sẽ là mục tiêu hàng đầu trong tương lai. Các nghiên cứu tiếp theo có thể tập trung vào việc tối ưu hóa các thuật toán và mở rộng ứng dụng của hệ thống.

6.1. Những thành tựu đạt được

Nghiên cứu đã đạt được nhiều thành tựu quan trọng trong việc ứng dụng FPGA vào nhận dạng tiếng nói, từ đó nâng cao hiệu suất và độ chính xác.

6.2. Hướng phát triển trong tương lai

Các nghiên cứu tiếp theo có thể tập trung vào việc phát triển các mô hình mới, cải thiện thuật toán và mở rộng ứng dụng trong các lĩnh vực khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Xử lý tín hiệu âm thanh và nhận dạng tiếng nói là một trong những trụ cột then chốt của lĩnh vực tương tác người - máy, đặc biệt khi các hệ thống nhúng ngày càng đòi hỏi khả năng phản hồi tức thời. Trong bối cảnh công nghệ nhận dạng giọng nói tiếng Việt giai đoạn 2012 - 2013, phần lớn các giải pháp thực nghiệm trên các dòng vi điều khiển 8-bit hoặc 16-bit đều bị giới hạn nghiêm trọng về năng lực tính toán và dung lượng bộ nhớ, dẫn đến độ trễ cao và độ chính xác thấp. Ngược lại, việc hiện thực hóa toàn bộ thuật toán nhận dạng trên phần cứng mảng cổng lập trình dạng trường bằng ngôn ngữ mô tả phần cứng thuần túy lại đòi hỏi thời gian thiết kế phức tạp và khó mở rộng. Nhằm giải quyết triệt để nút thắt cổ chai này, đề tài tập trung nghiên cứu, thiết kế và tối ưu hóa hệ thống nhận dạng tiếng nói tiếng Việt cho các từ đơn lẻ dựa trên kiến trúc hệ thống trên chip lập trình.

Mục tiêu cốt lõi của nghiên cứu là xây dựng thành công quy trình trích xuất đặc trưng âm học, lượng tử hóa vector và mô hình hóa xác suất để nhận dạng bộ từ vựng gồm 15 từ đơn, bao gồm 10 chữ số từ 0 đến 9 và 5 khẩu lệnh điều khiển robot cơ bản là tiến, lùi, trái, phải, dừng. Hệ thống được triển khai và đánh giá thực nghiệm trên nền tảng vi xử lý nhúng 32-bit Nios II tích hợp trong vi mạch Altera Cyclone II FPGA DE2 tại Thành phố Hồ Chí Minh. Kết quả nghiên cứu mang ý nghĩa thực tiễn sâu sắc khi đạt độ chính xác nhận dạng tối đa lên đến 96.87% với tần số lấy mẫu chuẩn 8 kHz, đồng thời tối ưu hóa đáng kể số chu kỳ xung nhịp xử lý, đặt nền móng vững chắc cho các ứng dụng điều khiển tự động hóa bằng giọng nói tiếng Việt thời gian thực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Hệ thống nghiên cứu được xây dựng trên nền tảng lý thuyết âm học tiếng Việt kết hợp các giải thuật xử lý tín hiệu số tiên tiến. Về mặt ngữ âm học, tiếng Việt là ngôn ngữ đơn lập có thanh điệu với 6 thanh cơ bản và 16 âm vị nguyên âm, trong đó năng lượng phát âm chủ yếu tập trung ở dải tần số dưới 4 kHz. Cơ sở lý thuyết nhận dạng tích hợp 3 mô hình xử lý chính:

• Thuật toán trích xuất hệ số đặc trưng phổ tần số theo thang Mel kết hợp biến đổi Fourier nhanh 256 điểm, lọc qua 23 băng lọc tam giác thang Mel và tính toán 13 hệ số sai phân động bậc một để tạo thành vector đặc trưng âm học 26 chiều toàn diện.
• Lý thuyết lượng tử hóa vector dựa trên thuật toán phân cụm K-means kết hợp thuật toán tối ưu hóa mã để phân hoạch không gian vector 26 chiều thành các tập từ mã với kích thước codebook 32 và 128, sử dụng độ đo khoảng cách Euclidean làm chuẩn đánh giá độ méo dạng.
• Mô hình Markov ẩn rời rạc với cấu trúc topo chuyển trạng thái chuẩn, được xác định bởi bộ ba tham số xác suất chuyển trạng thái, xác suất quan sát và phân phối trạng thái khởi đầu, giải quyết triệt để bài toán đánh giá xác suất nhận dạng thông qua thuật toán tiến bước và giải mã chuỗi trạng thái tối ưu.

Phương pháp nghiên cứu

Nghiên cứu áp dụng phương pháp thực nghiệm kết hợp phân tích mô phỏng định lượng trên phần cứng thực tế. Nguồn dữ liệu sơ cấp được thu thập trực tiếp thông qua micro chất lượng cao với tần số lấy mẫu chuẩn hóa 8 kHz, độ phân giải 16-bit trong môi trường phòng thí nghiệm. Cỡ mẫu nghiên cứu bao gồm 15 từ đơn tiếng Việt, mỗi từ được thực hiện lặp lại 100 lần từ nhiều người nói khác nhau để tạo nên tập dữ liệu kiểm thử gồm 1.500 mẫu âm thanh độc lập, bên cạnh tập dữ liệu huấn luyện đa dạng. Phương pháp chọn mẫu là chọn mẫu theo cụm có chủ đích, kiểm soát chặt chẽ các yếu tố về tốc độ phát âm và khoảng cách thu âm.

Lý do lựa chọn phương pháp phân tích kết hợp giữa trích chọn đặc trưng MFCC 26 chiều và mô hình Markov ẩn HMM là nhằm tối ưu hóa tính toán trên bộ nhớ của bộ vi xử lý nhúng Nios II, đồng thời tận dụng thuật toán phát hiện điểm kích hoạt tiếng nói với khung độ dài 30 ms (tương đương 240 mẫu) và ngưỡng năng lượng xác định 0.04 để loại bỏ chính xác khoảng lặng. Toàn bộ quy trình nghiên cứu được triển khai chặt chẽ qua 4 giai đoạn nối tiếp kéo dài từ tháng 2 năm 2012 đến tháng 7 năm 2013, bảo đảm tính lặp lại và độ tin cậy tuyệt đối của các tham số cấu hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm nhận dạng 1.500 lần trên Kit Altera FPGA DE2 cho thấy sự khác biệt rõ rệt về hiệu năng giữa các kiến trúc mô hình và kích thước tập mã:

• Với kích thước codebook 128, mô hình 3 thể hiện hiệu năng vượt trội khi đạt độ chính xác nhận dạng trung bình 96.87%, cao hơn đáng kể so với mô hình 2 đạt 94.73% và mô hình 1 chỉ đạt mức khiêm tốn 56.50%. Khoảng cách chênh lệch hiệu suất giữa mô hình 3 và mô hình 1 lên tới 40.37%.
• Khi giảm kích thước codebook xuống 32 mức, mô hình 2 duy trì sự ổn định ấn tượng với độ chính xác 94.80%, trong khi mô hình 3 đạt 91.50% và mô hình 1 chỉ đạt 49.20%.
• Phân tích tài nguyên phần cứng cho thấy kích thước codebook 32 giúp cắt giảm từ 40% đến 60% số xung clock xử lý trung bình trên hệ thống Nios II so với codebook 128, giúp đẩy nhanh tốc độ phản hồi của hệ thống nhận dạng.

Các phát hiện thực nghiệm này có thể được trình bày một cách trực quan thông qua bảng đối chuẩn hiệu năng giữa 3 mô hình theo từng kích thước codebook và biểu đồ cột so sánh tương quan giữa độ chính xác nhận dạng với số chu kỳ xung clock tiêu thụ trên nền tảng phần cứng FPGA.

Thảo luận kết quả

Sự vượt trội của mô hình 3 khi sử dụng codebook 128 bắt nguồn từ việc tích hợp đầy đủ 12 hệ số phổ Mel, 1 hệ số năng lượng logarit và 13 hệ số vi phân delta, tạo nên vector đặc trưng 26 chiều có khả năng mô tả chính xác cả đặc tính dừng lẫn động học của âm vị tiếng Việt. Trong thực tế, các âm tiết tiếng Việt có sự biến thiên thanh điệu rất phức tạp; việc bổ sung hệ số delta giúp mô hình phân biệt rõ ràng các từ có âm đầu tương đồng như tiến, trái hay các từ chứa phụ âm xát.

Khi so sánh với các nghiên cứu nhận dạng tiếng Việt cùng thời kỳ trên máy vi tính, như nghiên cứu sử dụng mạng nơ-ron kết hợp trích đặc trưng dự báo tuyến tính LPC và hàm sai phân biên độ trung bình AMDF đạt 99.4%, hay nghiên cứu điều khiển xe 4 từ đạt trên 90%, kết quả 96.87% cho 15 từ đơn của luận văn là rất ấn tượng. Điểm khác biệt mấu chốt là nghiên cứu này đã thu nhỏ và nhúng thành công toàn bộ hệ thống xử lý phức tạp vào chip khả trình FPGA DE2. Về mặt kinh tế kỹ thuật, việc sử dụng kiến trúc vi xử lý mềm Nios II giúp giảm hơn 50% thời gian phát triển phần mềm nhúng so với việc viết mã thuần bằng ngôn ngữ Verilog HDL, trong khi vẫn duy trì tốc độ xử lý nhanh hơn gấp 3 lần so với các dòng vi điều khiển đơn chip phổ thông.

Đề xuất và khuyến nghị

Dựa trên các kết luận thực nghiệm, nghiên cứu đề xuất 4 nhóm giải pháp kỹ thuật cụ thể nhằm hoàn thiện và thương mại hóa hệ sinh thái nhận dạng tiếng nói tiếng Việt:

• Hoàn thiện thuật toán nhận dạng: Nâng cấp mô hình Markov ẩn rời rạc sang mô hình Markov ẩn mật độ liên tục và tích hợp giải thuật chuẩn hóa cepstral nhằm nâng cao độ chính xác nhận dạng đạt trên 98.5% trong môi trường nhiều tạp âm, thực hiện trong lộ trình 6 tháng bởi nhóm nghiên cứu thuật toán xử lý tín hiệu.
• Tăng tốc phần cứng chuyên dụng: Thiết kế và đóng gói các khối phần cứng tăng tốc IP Core bằng ngôn ngữ Verilog HDL cho các module tính toán nặng như phép biến đổi FFT 256 điểm và ngân hàng 23 bộ lọc Mel, nhằm giảm 70% số chu kỳ xung nhịp thực thi trên vi xử lý Nios II trong thời gian 9 tháng do các kỹ sư thiết kế vi mạch đảm nhiệm.
• Mở rộng tập từ vựng và thích nghi ngữ cảnh: Nâng quy mô bộ từ vựng nhận dạng từ 15 từ đơn lên 50 đến 100 từ ghép và cụm câu lệnh điều khiển phức tạp, đồng thời phát triển thuật toán khử nhiễu thích nghi cho tỷ số tín hiệu trên nhiễu dưới 15 dB trong vòng 12 tháng bởi nhóm phát triển ứng dụng nhúng.
• Thương mại hóa giải pháp trên thiết bị IoT: Tích hợp hệ thống nhận dạng tiếng Việt trên bo mạch SoC FPGA vào các robot vận chuyển công nghiệp và hệ thống nhà thông minh với mục tiêu độ trễ phản hồi dưới 200 ms trước năm 2025 bởi các doanh nghiệp công nghệ tự động hóa.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng chuyên sâu cho 4 nhóm đối tượng trọng tâm sau:

• Kỹ sư thiết kế vi mạch và hệ thống nhúng FPGA: Tiếp cận phương pháp luận thiết kế hệ thống trên chip lập trình với vi xử lý Nios II, nắm vững kỹ thuật cấu hình khối âm thanh và tối ưu hóa bộ nhớ cho các thuật toán xử lý tín hiệu số phức tạp.
• Nhà nghiên cứu và chuyên gia xử lý ngôn ngữ tự nhiên: Khảo sát quy trình trích chọn đặc trưng MFCC 26 chiều và cấu trúc mô hình Markov ẩn HMM được hiệu chỉnh chuyên biệt cho các đặc trưng thanh điệu và âm tiết độc lập của tiếng Việt.
• Giảng viên, sinh viên và học viên cao học ngành Điện - Điện tử và Viễn thông: Sử dụng luận văn như một tài liệu tham khảo chuẩn mực trong giảng dạy và nghiên cứu chuyên đề về xử lý tín hiệu số DSP, lập trình phần cứng và tương tác người - máy.
• Doanh nghiệp sản xuất thiết bị tự động hóa và Robot: Ứng dụng trực tiếp giải pháp nhận dạng giọng nói ngoại tuyến không cần kết nối mạng internet vào các sản phẩm robot thông minh, bảng điều khiển thiết bị y tế và xe tự hành công nghiệp.

Câu hỏi thường gặp

Tại sao nghiên cứu lựa chọn tần số lấy mẫu 8 kHz và băng thông 4 kHz?

Tần số tiếng nói con người tập trung năng lượng chủ yếu ở dải dưới 4 kHz. Theo định lý lấy mẫu Nyquist, tần số lấy mẫu 8 kHz là hoàn toàn tối ưu để khôi phục chính xác tín hiệu âm thanh mà không làm quá tải bộ nhớ đệm và băng thông xử lý của hệ thống nhúng Nios II.

Kích thước codebook 32 và 128 ảnh hưởng như thế nào đến tài nguyên hệ thống?

Codebook 128 đem lại độ chính xác cao nhất đạt 96.87% nhờ biểu diễn chi tiết không gian vector, nhưng tiêu tốn nhiều bộ nhớ và xung clock. Ngược lại, codebook 32 giúp giảm khoảng 50% số xung clock tính toán trên FPGA nhưng vẫn duy trì độ chính xác 94.80% ở mô hình 2, rất phù hợp cho các thiết bị cần phản hồi tức thời.

Cấu trúc vector đặc trưng 26 chiều trong nghiên cứu gồm những thành phần nào?

Vector đặc trưng 26 chiều bao gồm 12 hệ số phổ Mel từ 23 băng lọc tam giác, 1 hệ số năng lượng logarit của khung tín hiệu 20 ms, và 13 hệ số vi phân delta bậc một tương ứng phản ánh sự biến thiên động học của âm thanh theo thời gian.

Lợi thế vượt trội của việc triển khai SoPC Nios II trên FPGA so với vi điều khiển truyền thống là gì?

Hệ thống SoPC trên FPGA kết hợp được sự linh hoạt trong lập trình phần mềm của vi xử lý 32-bit Nios II với tốc độ xử lý phần cứng cao của FPGA, giúp tăng tốc độ thực thi nhanh gấp 3 lần so với vi điều khiển thông thường mà vẫn tiết kiệm thời gian phát triển so với viết mã phần cứng thuần túy.

Hệ thống xử lý các khoảng lặng trong âm thanh đầu vào bằng thuật toán nào?

Nghiên cứu sử dụng thuật toán phát hiện điểm kích hoạt tiếng nói dựa trên việc chia tín hiệu thành các đoạn ngắn 30 ms (240 mẫu) và tính toán hàm năng lượng ngắn hạn, loại bỏ triệt để các khung có mức năng lượng thấp hơn ngưỡng thực nghiệm 0.04 trước khi đưa vào khâu trích đặc trưng MFCC.

Kết luận

Công trình nghiên cứu đã hiện thực hóa thành công một hệ thống nhận dạng tiếng nói tiếng Việt đơn từ hoàn chỉnh trên phần cứng nhúng hiện đại với những đóng góp cốt lõi:

• Xây dựng thành công quy trình xử lý tín hiệu âm thanh tiếng Việt hoàn chỉnh từ tiền xử lý, trích đặc trưng MFCC 26 chiều đến mô hình hóa HMM trên nền tảng Altera Cyclone II FPGA DE2.
• Đạt độ chính xác nhận dạng ấn tượng 96.87% cho bộ từ vựng 15 từ đơn sau 1.500 lần kiểm thử thực nghiệm với cấu hình codebook 128.
• Làm chủ kỹ thuật thiết kế hệ thống trên chip lập trình SoPC Nios II, cân bằng tối ưu giữa độ chính xác nhận dạng và số chu kỳ xung nhịp tính toán.
• Cung cấp cơ sở dữ liệu thực nghiệm và giải pháp kỹ thuật có giá trị tham khảo cao cho các nghiên cứu xử lý tín hiệu nhúng tiếp theo.
• Định hình lộ trình phát triển rõ ràng hướng tới nâng cấp mô hình CD-HMM và đóng gói IP Core phần cứng trước năm 2025.

Các nhà nghiên cứu và kỹ sư quan tâm có thể khai thác ngay mô hình kiến trúc này để phát triển các giải pháp điều khiển giọng nói thời gian thực hiệu năng cao trong kỷ nguyên tự động hóa thông minh.

Trích đoạn nội dung tài liệu

LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình nào khác Tp. Hồ Chí Minh, ngày 15 tháng 10 năm 2013 (Ký tên và ghi rõ họ tên) Trần Xuân Thiện GVHD: TS. Hoàng Trang Trang ii LỜI CẢM TẠ  Trong thời gian thực hiện đề tài,người thực hiện đã học hỏi được rất nhiều điều bổ ích từ Giáo Viên hướng dẫn và các anh chị trong lớp.

Nhân đây, người thực hiện xin được bày tỏ lòng biết ơn sâu sắc đến thầy Hoàng Trang trên cương vị là người hướng dẫn đề tài, đã tận tình hướng dẫn, giúp đỡ và tạo mọi điều kiện thuận lợi nhất cho học viên hoàn thành tốt đề tài. Người thực hiện cũng xin chân thành cảm ơn các thầy, các cô trong khoa Điện - Điện Tử, cùng bạn bè đã đóng góp ý kiến và kinh ngiệm qúy báu trong quá trình thực hiện đề tài này.HỒ CHÍ MINH, Ngày 15tháng 10 năm 2013 Người thực hiện Trần Xuân Thiện GVHD: TS. Hoàng Trang Trang iii TÓM TẮT LUẬN VĂN Vấn đề nhận dạng tiếng nói tiếng Việt đã đƣợc nghiên cứu và phát triển ở Việt Nam nhiều năm qua, với nhiều thuật toán khác nhau trên nền tảng các dòng vi điều khiển, DSP,… khác nhau. Tuy nhiên vấn đề nhận dạng chƣa đạt kết quả tối ƣu về mặc độ chính xác và tốc độ xử lý.

FPGA là một vi mạch có thể lập trình đƣợc, có tốc độ xử lý cao, hỗ trợ mạnh việc xử lý tín hiệu số,… đã đƣợc một số nơi trên thế giới ứng dụng để nhận dạng và xử lý tiếng nói. Phần luận văn sẽ đi tìm hiểu và nghiên cứu thuật toán trích chọn đặc trƣng MFCC, lƣợng tử vector VQ và mô hình Markov ẩn HMM để ứng dụng vào việc nhận dạng các từ đơn lẻ của tiếng nói tiếng Việt nhằm mục đích nâng cao tốc độ xử lý và độ chính xác khi nhận dạng. Việc nhận dạng đƣợc thực thi trên Nios của kit FPGA DE2 của hãng Altera, với bộ từ vựng gồm 10 ký tự số và 5 ký tự đơntheo ba mô hình nhận dạng với hai kích thƣớc codebook khác nhau. Độ chính xác nhận dạng trung bình của các mô hình khi thực hiện nhận dạng 100 lần cho mỗi từ là: - Với codebook 128: mô hình 1 có độ chính xác trung bình 56.5%, mô hình 2 có độ chính xác trung bình 94,73%, mô hình 3 có độ chính xác trung bình 96.87% - Với codebook 32: mô hình 1 có độ chính xác trung bình 49.2%, mô hình 2 có độ chính xác trung bình 94.8%, mô hình 3 có độ chính xác trung bình 91.

Từ khóa:trích đặc trƣng MFCC, mô hình Markov ẩn HMM, Lƣợng tử vector VQ, Kit DE2, Nios System, SoPC. Hoàng Trang Trang iv MASTER ESSAY SUMMARRY The matter of Vietnamese speech recognition has been researched and developed for many years in Viet Nam with a number of diffirent algorithm based on different families of micro – controller, DSP, etc. However, does not reach the best of the aspects of exact and speed of processing. FPGA is an integrate circuit that is able to be programable, high speed processing and strong on support to digital signal processing, etc, has been applied to recognition and voiceprocessing by lots of places in the world.

The Master Essay Summarry is going to study and research the algorithm of feature extraction method MFCC, vector quantization and the Hidden Markov Model to be applied to recognition single words of Vietnamese speech, in order to enhance the exact and speed of processing when being in the process of recognition. The system recognition is carried out on Nios of Kit FPGA DE2 of Altera companywith the vocabulary including 10 numbers and 5 single letters according to three recognition models with two different codebook sizes. The average exact of the models when being applied tothe recognizing process of 100 times for each word is: - In Codebook 128: the average exact of the model 1 is 56.5%, the average exact of the model 2 is 94.73%, the average exact of the model 3 is 96. - In Codebook 32: the average exact of the model 1 is 49.2%, the average exact of the model 2 is 94.8%, the average exact of the model 3 is 91.

Keyword:Feature extranction MFCC, Hidden Markov Model (HMM), vector quantization (VQ), Kit DE2, Nios System, SoPC. Hoàng Trang Trang v MỤC LỤC TRANG TRANG TỰA QUYẾT ĐỊNH GIAO ĐỀ TÀI XÁC NHẬN CỦA CÁN BỘ HƢỚNG DẪN LÝ LỊCH KHOA HỌC. i LỜI CAM ĐOAN .ii LỜI CẢM TẠ. iii TÓM TẮT LUẬN VĂN.

iv MASTER ESSAY SUMMARRY. vi DANH SÁCH CÁC CHỮ VIẾT TẮT. x DANH SÁCH CÁC HÌNH. xi DANH SÁCH CÁC BẢNG.

xiii Chƣơng 1. TỔNG QUAN CHUNG VỀ LĨNH VỰC NGHIÊN CỨU:. Tổng quan về nhận dạng tiếng nói:. Các kết quả nghiên cứu trong và ngoài nƣớc:.

MỤC TIÊU, KHÁCH THỂ VÀ ĐỐI TƢỢNG NGHIÊN CỨU:. Đối tƣợng nghiên cứu:. NHIỆM VỤ CỦA ĐỀ TÀI VÀ PHẠM VI NGHIÊN CỨU:. Phạm vi nghiên cứu:.

PHƢƠNG PHÁP NGHIÊN CỨU:. NỘI DUNG ĐỀ TÀI:. Ý NGHĨA THỰC TIỄN CỦA ĐỀ TÀI: .8 ĐẶC TRƢNG TIẾNG NÓI TIẾNG VIỆT. Hoàng Trang Trang vi 2.

TỔNG QUAN VỀ TIẾNG NÓI:. Các đặc trƣng cơ bản của Tiếng Việt:. Nguyên âm và phụ âm: .12 MÔ HÌNH NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT. Phân loại các hệ thống nhận dạng tiếng nói:.

Nhận dạng từ liên tục và nhận dạng từ cách biệt:. Nhận dạng phụ thuộc ngƣời nói và độc lập ngƣời nói:. Các yếu tố ảnh hƣởng đến kết quả nhận dạng tiếng nói:. Cấu trúc hệ nhận dạng tiếng nói:.

Giải thuật hệ thống nhận dạng tiếng nói tiếng Việt dùng Markov ẩn:. Voice Acivation Detection (VAD):. Phƣơng pháp trích đặc trƣng tiếng nói MFCC:. Biến đổi FFT:.

Lọc tần số theo thang tần số Mel:. Phân tích cepstral:. Tính toán năng lƣợng:. Hệ số delta:.

Lƣợng tử vector:. Tổng quan về lƣợng tử vector (VQ):. Cấu trúc và tập huấn luyện VQ:. Phân nhóm các vector huấn luyện:.

Hoàng Trang Trang vii Chƣơng 4: .34 MÔ HÌNH MARKOV ẨN HMM. Quá trình Markov:. Mô hình Markov ẩn:. Giải pháp toán học cho ba bài toán cơ bản của mô hình Markov ẩn:.

Các loại mô hình Markov ẩn:.48 KIT DE2 CỦA HÃNG ALTERA. Tổng quan kit DE2:. Tổng quan về SoPC trên FPGA:. Thiết lập hệ thống NIOS trên kit DE2: .54 THIẾT KẾ HỆ THỐNG NHẬN DẠNG TRÊN KIT DE2 VÀ KẾT QUẢ ĐẠT ĐƢỢC.

Lấy mẫu và tách khoảng lặng:. Trích đặc trƣng MFCC:. Lƣợng tử vetor VQ:. Huấn luyện mô hình HMM:.

Lƣu đồ giải thuật nhận dạng:. Trích đặc trƣng MFCC:. Huấn luyện mô hình HMM:. Giải thuật nhận dạng:.

Kết quả thực hiện:. Hoàng Trang Trang viii 6. Kết quả nhận dạng:. Kết quả nhận dạng của mô hình 1:.

Kết quả nhận dạng của mô hình 2:. Kết quả nhận dạng của mô hình 3:. Kết quả đánh giá số xung clock của từng mô hình:. Nhận xét kết quả:.

Những mục tiêu đạt đƣợc:. Hạn chế của đề tài :. Hƣớng phát triển đề tài:. 80 TÀI LIỆU THAM KHẢO.

Hoàng Trang Trang ix DANH SÁCH CÁC CHỮ VIẾT TẮT MFCC Mel Frequency Cepstrum Coefficients VQ Vector Quantization LPC Linear Predictive Coding DSP Digital Signal Proccesing HMM Hidden Markov Model CD-HMM Continuous Density – Hidden Markov Model VAD Voice Acivation Detection DFT Discrete Fourier Transform FFT Fast Fourier Transform DCT Discrete Cosin Transform FPGA Field Programmable Gate Array RAM Random Access Memory SRAM Static Random Access Memory SDRAM Synchronous Dynamic Random Access Memory PLL Phase Locked Loop JTAG Joint Test Action Group SD Secure Digital SPI Serial Peripheral Interface TV Television SoPC System on a Programmable Chip ADC Analog to Digial Converter DAC Digial to Analog Converter UART Universal Asynchronous Receiver/Transmitter BGA Ball Grid Array LEs Logic Elements DPDT Double Pole Double Throw LBG: Linde-Buzo-Gray GVHD: TS. Hoàng Trang Trang x DANH SÁCH CÁC HÌNH HÌNH TRANG Hình 3. 1: Ngƣời nói khác nhau sẽ phát âm khác nhau. 2: Mô hình nhận dạng tiếng nói bán độc lập ngƣời nói.

3: Cấu trúc tổng quát của một hệ thống nhận dạng tiếng nói. 4: Lƣu đồ giải thuật hệ thống nhận dạng tiếng Việt dùng Markov ẩn. 5: Đoạn mẫu âm thanh trƣớc khi VAD. 6: Đoạn mẫu âm thanh sau khi VAD.

7: Các bƣớc xử lý của phƣơng pháp trích đặc trƣng MFCC. 8: Đáp ứng tần số đƣợc chuẩn hóa của bộ lọc pre – emphasis. 9: Tín hiệu trƣớc và sau pre – emphasis trong miền thời gian. 10: Các frame trong phân tích tiếng nói.

11: Cửa sổ Hamming 160 điểm. 12: Tín hiệu trƣớc khi cửa sổ hóa. 13: Tín hiệu sau khi cửa sổ hóa. 14: Cửa sổ Hamming dùng trong phân tích tiếng nói.

15: Quá trình phân tích phổ tín hiệu. 16: Đồ thị biểu diễn mối quan hệ giữa tần số Mel và Hertz. 17: Băng bộ lọc, (a) trong thang đo Mel; (b) trong thang đo thông thƣờng 27 Hình 3. 18: Sơ đồ khối cấu trúc của VQ huấn luyện và phân lớp.

19: Lƣu đồ giải thuật VQ. 1: Xích Markov 5 trạng thái S1,S2,.S5 và các xác suất chuyển trạng thái. 2: Ví dụ một mô hình Markov ẩn sáu trạng thái. 3: Mô tả các dãy phép toán đƣợc thực hiện để tính αt(i).

4: Mô tả các dãy phép toán đƣợc thực hiện để tính biến βt(i). 1: KIT FPGA DE2 của hãng Altera. 2: Sơ đồ khối kit DE2. 3: Sơ đồ khối tổng quan của SoPC trên FPGA.

Hoàng Trang Trang xi Hình 5. 4: Thiết lập Nioss II processor. 5: Cấu hình cho khối Audio. 6: Cấu hình cho khối AV_Config.

7: SoPC đã đƣợc tạo hoàn chỉnh. 1: Sơ đồ khối hệ thống nhận dạng tiếng nói trên kit DE2. 2: Lƣu đồ giải thuật loại bỏ khoảng lặng. 3: Lƣu đồ giải thuật trích đặc trƣng MFCC của mô hình 1.

4: Lƣu đồ giải thuật lƣợng tử vector. 5: Lƣu đồ quá trình huấn luyện HMM theo mô hình 1. 6: Lƣu đồ giải thuật huấn luyện HMM. 7: Lƣu đồ giải thuật nhận dạng theo mô hình 1.

8: Lƣu đồ giải thuật trích đặc trƣng MFCC của mô hình 2. 9: Lƣu đồ giải thuật trích đặc trƣng MFCC theo mô hình 3. 10: Lƣu đồ huấn luyện HMM theo mô hình 3. 11: Lƣu đồ giải thuật nhận dạng theo mô hình 3.

Hoàng Trang Trang xii DANH SÁCH CÁC BẢNG BẢNG TRANG Bảng 2. 1: Cấu trúc tổng quát của một âm tiết tiếng Việt. 1: Độ chính xác nhận dạng khi sử dụng bộ lọc tam giác với số lƣợng các bộ lọc khác nhau. 1: Kết quả nhận dạng của mô hình 1 với kích thƣớc codebook 128 .