Luận văn thạc sĩ: Nghiên cứu công nghệ nhận dạng giọng nói tiếng Việt và ứng dụng điều khiển thiết bị thông minh qua điện thoại Android

• Tác giả: Bùi Thanh Phong
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Nghiên Cứu Công Nghệ Nhận Dạng Giọng Nói Tiếng Việt Sử Dụng Học Máy Cho Điều Khiển Thiết Bị Thông Minh Qua Android
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: TP. Hồ Chí Minh

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. TỔNG QUAN VỀ HỆ THỐNG NHẬN DẠNG GIỌNG NÓI
• 1.2. TÌNH HÌNH NGHIÊN CỨU
• 1.2.1. Tình hình nghiên cứu trên thế giới
• 1.2.2. Tình hình nghiên cứu trong nước
• 1.3. CÁC CÔNG TRÌNH LIÊN QUAN VÀ GIẢI PHÁP ĐỀ XUẤT
• 1.3.1. PHƯƠNG PHÁP TRÍCH RÚT ĐẶC TRƯNG GIỌNG NÓI
• 1.3.1.1. Phương pháp trích đặc trưng LPC (Linear Predictive Coding)
• 1.3.1.2. Phương pháp trích đặc trưng MFCC (Mel-scale Frequency Cepstral Coefficient)
• 1.3.2. PHƯƠNG PHÁP NHẬN DẠNG GIỌNG NÓI
• 1.3.2.1. Phương pháp âm – ngữ học
• 1.3.2.2. Phương pháp nhận dạng mẫu
• 1.3.2.3. Phương pháp ứng dụng trí tuệ nhân tạo
• 1.3.3. GIẢI PHÁP ĐỀ XUẤT
• 1.4. MỤC TIÊU CỦA ĐỀ TÀI
• 1.5. GIỚI HẠN VÀ ĐỐI TƯỢNG NGHIÊN CỨU
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. PHƯƠNG PHÁP TRÍCH RÚT ĐẶC TRƯNG MFCC
• 2.2. Biến đổi FFT (Fast Fourier Transform)
• TÀI LIỆU THAM KHẢO
• BẢNG THUẬT NGỮ ANH - VIỆT VÀ TỪ VIẾT TẮT

I. Giới thiệu tổng quan

Trong bối cảnh công nghệ phát triển nhanh chóng, công nghệ nhận dạng giọng nói đang trở thành một lĩnh vực nghiên cứu quan trọng. Nghiên cứu này tập trung vào việc phát triển một hệ thống nhận dạng giọng nói tiếng Việt sử dụng học máy, với mục tiêu tối ưu hóa khả năng điều khiển thiết bị thông minh qua nền tảng Android. Hệ thống sẽ giúp người dùng tương tác với thiết bị thông minh một cách tự nhiên hơn thông qua giao tiếp qua giọng nói. Theo đó, nghiên cứu sẽ sử dụng phương pháp Connectionist Temporal Classification (CTC), một kỹ thuật mới trong lĩnh vực học máy, nhằm cải thiện độ chính xác trong việc nhận diện giọng nói tiếng Việt. Mục tiêu cuối cùng là xây dựng một ứng dụng có khả năng nhận diện giọng nói chính xác trên 80% cho các lệnh điều khiển thiết bị trong nhà.

1.1. Tình hình nghiên cứu

Nghiên cứu về nhận dạng giọng nói trên thế giới đã có lịch sử lâu dài, từ những năm 1920 cho đến nay. Trên thế giới, các công nghệ như trí tuệ nhân tạo và robot thông minh đã được áp dụng rộng rãi. Tuy nhiên, tại Việt Nam, nhận dạng giọng nói tiếng Việt vẫn còn nhiều hạn chế. Các nghiên cứu trong nước chủ yếu tập trung vào việc phát triển các mô hình nhận dạng cơ bản mà chưa khai thác hết tiềm năng của công nghệ. Đặc biệt, việc áp dụng các phương pháp học sâu như mạng nơ-ron hồi quy (RNN) và LSTM trong nhận dạng tiếng Việt vẫn còn mới mẻ và cần được nghiên cứu sâu hơn.

II. Công nghệ và phương pháp nghiên cứu

Nghiên cứu này sẽ áp dụng phương pháp trích rút đặc trưng giọng nói MFCC (Mel-frequency cepstral coefficients) để cải thiện khả năng nhận dạng giọng nói. MFCC là một phương pháp phổ biến trong lĩnh vực nhận dạng giọng nói nhờ vào khả năng phản ánh tốt các đặc trưng âm thanh của giọng nói con người. Quá trình nhận dạng sẽ trải qua các bước như trích rút đặc trưng, nhận dạng và xử lý kết quả. Việc sử dụng giải thuật CTC sẽ giúp tối ưu hóa quá trình huấn luyện mô hình, từ đó nâng cao độ chính xác của hệ thống. Hệ thống sẽ được phát triển trên nền tảng Android, cho phép người dùng dễ dàng điều khiển các thiết bị thông minh trong nhà thông qua các lệnh giọng nói đơn giản.

2.1. Xây dựng hệ thống điều khiển

Hệ thống điều khiển thiết bị thông minh sẽ được xây dựng với các khối chức năng rõ ràng. Đầu tiên, tín hiệu giọng nói sẽ được thu nhận và xử lý qua các bước tiền xử lý để loại bỏ nhiễu và nâng cao chất lượng âm thanh. Sau đó, các đặc trưng giọng nói sẽ được trích rút bằng phương pháp MFCC. Kết quả sẽ được đưa vào mô hình học máy để nhận diện và xử lý lệnh điều khiển. Hệ thống sẽ cho phép người dùng thực hiện các lệnh như tắt/mở đèn, đóng/mở cửa một cách nhanh chóng và chính xác, từ đó nâng cao trải nghiệm người dùng trong việc tương tác với các thiết bị thông minh.

III. Kết quả và ứng dụng thực tiễn

Kết quả nghiên cứu cho thấy rằng việc áp dụng công nghệ nhận dạng giọng nói tiếng Việt sử dụng học máy có thể mang lại nhiều lợi ích cho người dùng. Hệ thống đã đạt được độ chính xác trên 80% trong việc nhận diện các lệnh giọng nói cơ bản. Điều này mở ra hướng đi mới cho việc phát triển các ứng dụng thông minh, giúp người dùng có thể tương tác với thiết bị một cách tự nhiên hơn. Các ứng dụng tiềm năng bao gồm việc điều khiển các thiết bị gia dụng, hệ thống an ninh thông minh, và các trợ lý ảo. Nghiên cứu cũng chỉ ra rằng, việc phát triển và tối ưu hóa các mô hình nhận dạng giọng nói sẽ là chìa khóa để nâng cao trải nghiệm người dùng trong thời đại công nghệ 4.0.

3.1. Hướng phát triển tiếp theo

Trong tương lai, nghiên cứu có thể mở rộng ra nhiều lĩnh vực khác như giao tiếp qua giọng nói trong các ứng dụng y tế, giáo dục và giải trí. Việc cải tiến mô hình nhận dạng giọng nói để xử lý các ngữ điệu và giọng nói địa phương sẽ là một thách thức lớn nhưng cũng là cơ hội để phát triển. Hệ thống cũng có thể được tích hợp với các công nghệ AI tiên tiến hơn để cải thiện khả năng nhận diện và phản hồi, tạo ra một trải nghiệm tương tác hoàn hảo hơn cho người dùng.

Tổng quan nghiên cứu

Trong bối cảnh cuộc cách mạng công nghiệp 4.0 đang bùng nổ mạnh mẽ tại Việt Nam, công nghệ nhận dạng giọng nói ngày càng trở nên quan trọng và thiết yếu trong việc phát triển các ứng dụng trí tuệ nhân tạo (AI) và Internet vạn vật (IoT). Theo ước tính, việc ứng dụng nhận dạng giọng nói giúp nâng cao trải nghiệm người dùng và tối ưu hóa tương tác giữa con người và máy móc. Tuy nhiên, các nền tảng nhận dạng giọng nói tiếng Việt hiện nay vẫn còn hạn chế, đặc biệt trong việc áp dụng các phương pháp học máy tiên tiến như Connectionist Temporal Classification (CTC).

Luận văn tập trung nghiên cứu công nghệ nhận dạng giọng nói tiếng Việt sử dụng học máy, cụ thể là mạng nơ-ron hồi quy LSTM kết hợp giải thuật CTC, nhằm xây dựng hệ thống nhận dạng với độ chính xác trên 80%. Hệ thống được ứng dụng trong việc điều khiển thiết bị trong nhà qua điện thoại Android, với các lệnh điều khiển như mở/tắt đèn, đóng/mở cửa. Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 2 đến tháng 6 năm 2019 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. HCM, với dữ liệu thu thập từ giọng đọc của hai người trong môi trường sống bình thường.

Việc phát triển công nghệ nhận dạng giọng nói tiếng Việt không chỉ góp phần thúc đẩy ngành AI trong nước mà còn mở ra nhiều cơ hội ứng dụng thực tiễn trong các hệ thống nhà thông minh, nâng cao chất lượng cuộc sống và hiệu quả quản lý thiết bị điện tử.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính:

1. Phương pháp trích rút đặc trưng MFCC (Mel-scale Frequency Cepstral Coefficients):
   MFCC mô phỏng cách tai người cảm nhận âm thanh, sử dụng dãy bộ lọc tam giác trên thang tần số Mel để trích xuất các đặc trưng âm thanh quan trọng. Quá trình bao gồm biến đổi Fourier nhanh (FFT), lọc qua bộ lọc Mel-scale, lấy logarit năng lượng và biến đổi cosin rời rạc (DCT) để tạo ra các hệ số cepstral đặc trưng cho giọng nói. MFCC được lựa chọn do tốc độ tính toán nhanh, độ tin cậy cao và phổ biến trong các hệ thống nhận dạng giọng nói.

2. Mạng nơ-ron hồi quy LSTM (Long Short-Term Memory):
   LSTM là một dạng mạng nơ-ron hồi quy (RNN) được thiết kế để giải quyết vấn đề phụ thuộc xa trong dữ liệu tuần tự, khắc phục nhược điểm vanishing gradient của RNN truyền thống. LSTM sử dụng các cổng (gate) để kiểm soát thông tin được lưu giữ hoặc loại bỏ trong trạng thái tế bào, giúp mạng ghi nhớ thông tin dài hạn hiệu quả. Mạng LSTM được áp dụng để mô hình hóa chuỗi đặc trưng MFCC trong bài toán nhận dạng giọng nói.

3. Giải thuật Connectionist Temporal Classification (CTC):
   CTC là thuật toán huấn luyện mạng nơ-ron cho các bài toán nhận dạng chuỗi khi không có sự căn chỉnh chính xác giữa đầu vào và đầu ra. CTC cho phép mô hình học cách ánh xạ chuỗi đầu vào (tín hiệu âm thanh) sang chuỗi đầu ra (ký tự) mà không cần gán nhãn từng khung thời gian. Thuật toán sử dụng ký hiệu blank để xử lý các khoảng lặng và áp dụng quy hoạch động để tính toán hàm mất mát hiệu quả.

4. Giải thuật Edit Distance:
   Được sử dụng để đo độ tương đồng giữa chuỗi ký tự nhận dạng và chuỗi ký tự gốc, giúp cải thiện độ chính xác của hệ thống bằng cách chấp nhận các kết quả gần đúng trong ngưỡng sai số cho phép (dưới 50%). Đây là phương pháp dựa trên khoảng cách Levenshtein, tính số phép thêm, xóa, thay thế ký tự nhỏ nhất để biến đổi một chuỗi thành chuỗi khác.

Phương pháp nghiên cứu

• Nguồn dữ liệu:
  Tập dữ liệu gồm 2192 tệp âm thanh định dạng .wav, thu âm bốn câu lệnh điều khiển (mở cửa, đóng cửa, mở đèn, tắt đèn) từ hai người (một nam, một nữ) trong môi trường sống bình thường, sử dụng điện thoại Android để ghi âm. Dữ liệu được gán nhãn bằng chuỗi ký tự Unicode tương ứng.

• Phương pháp phân tích:
  Dữ liệu được trích xuất đặc trưng MFCC bằng thư viện python-speech-features phiên bản 0.6. Mô hình nhận dạng sử dụng mạng LSTM với một tầng ẩn, đầu ra gồm 28 ký tự, huấn luyện bằng thuật toán CTC với hàm mất mát được tính toán qua quy hoạch động. Giải thuật Edit Distance được áp dụng sau khối nhận dạng để lọc và tối ưu kết quả.

• Timeline nghiên cứu:

  • Giao nhiệm vụ: 11/02/2019
  • Thu thập và chuẩn bị dữ liệu: tháng 2 - tháng 3/2019
  • Xây dựng và huấn luyện mô hình: tháng 3 - tháng 5/2019
  • Đánh giá và điều chỉnh mô hình: tháng 5 - tháng 6/2019
  • Hoàn thiện luận văn và bảo vệ: tháng 6 - tháng 7/2019

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả trích rút đặc trưng MFCC:
   Việc sử dụng MFCC cho phép trích xuất các đặc trưng âm thanh phù hợp với đặc điểm cảm thụ của tai người, giúp mô hình nhận dạng đạt hiệu suất cao với tốc độ xử lý nhanh. Kết quả huấn luyện cho thấy MFCC là phương pháp tối ưu trong bối cảnh dữ liệu tiếng Việt.

2. Mạng LSTM kết hợp CTC đạt độ chính xác trên 80%:
   Mô hình LSTM với thuật toán CTC đã được huấn luyện trên toàn bộ 2192 tệp âm thanh, đạt độ chính xác nhận dạng trên 80% trong việc phân biệt các câu lệnh điều khiển. So với các phương pháp truyền thống, mô hình này giảm thiểu lỗi do không cần căn chỉnh nhãn từng khung thời gian.

3. Ứng dụng giải thuật Edit Distance nâng cao hiệu suất điều khiển:
   Khi áp dụng ngưỡng sai số dưới 50% cho phép nhận dạng các lệnh gần đúng, hệ thống điều khiển thiết bị trong nhà qua điện thoại Android có hiệu suất tăng đáng kể, giảm tỷ lệ từ chối lệnh do lỗi nhận dạng nhỏ.

4. Khả năng vận hành thực tế của hệ thống:
   Hệ thống điều khiển thiết bị trong nhà (mở/tắt đèn, đóng/mở cửa) hoạt động ổn định trong môi trường thực tế với độ chính xác và phản hồi nhanh, chứng minh tính khả thi của giải pháp trong ứng dụng thực tiễn.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình đạt hiệu quả là sự kết hợp giữa phương pháp trích rút đặc trưng MFCC phù hợp với đặc điểm âm thanh tiếng Việt và mạng LSTM có khả năng ghi nhớ thông tin dài hạn, xử lý tốt dữ liệu tuần tự. Giải thuật CTC giải quyết triệt để vấn đề không căn chỉnh nhãn, giúp mô hình học hiệu quả hơn so với các phương pháp nhận dạng mẫu truyền thống như HMM hay DTW.

So sánh với các nghiên cứu quốc tế, kết quả đạt được tương đương với các hệ thống nhận dạng giọng nói cho ngôn ngữ khác trong điều kiện dữ liệu hạn chế. Việc áp dụng giải thuật Edit Distance là điểm mới giúp tăng tính linh hoạt và độ chính xác trong điều khiển thiết bị, phù hợp với đặc thù tiếng Việt và môi trường sử dụng thực tế.

Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác nhận dạng trước và sau khi áp dụng Edit Distance, cũng như bảng thống kê tỷ lệ nhận dạng thành công từng câu lệnh điều khiển.

Đề xuất và khuyến nghị

1. Mở rộng bộ dữ liệu huấn luyện:
   Thu thập thêm dữ liệu từ nhiều người với các giọng đọc, môi trường khác nhau để tăng tính đa dạng và độ chính xác của mô hình. Mục tiêu đạt trên 90% độ chính xác trong vòng 12 tháng. Chủ thể thực hiện: nhóm nghiên cứu và các đối tác công nghệ.

2. Phát triển giao diện người dùng thân thiện:
   Thiết kế ứng dụng Android với giao diện trực quan, hỗ trợ phản hồi giọng nói và cảnh báo lỗi nhận dạng để nâng cao trải nghiệm người dùng. Thời gian thực hiện: 6 tháng. Chủ thể: nhóm phát triển phần mềm.

3. Tích hợp thêm các lệnh điều khiển và thiết bị IoT:
   Mở rộng phạm vi điều khiển sang các thiết bị khác trong nhà như quạt, máy lạnh, hệ thống an ninh. Mục tiêu tăng số lượng lệnh lên ít nhất 20 lệnh trong 1 năm. Chủ thể: nhóm nghiên cứu và đối tác IoT.

4. Nâng cao thuật toán nhận dạng:
   Nghiên cứu áp dụng các mô hình mạng sâu hơn như Transformer hoặc kết hợp đa mô-đun để cải thiện độ chính xác và khả năng xử lý ngôn ngữ tự nhiên. Thời gian nghiên cứu: 18 tháng. Chủ thể: nhóm nghiên cứu AI.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo:
   Luận văn cung cấp kiến thức chuyên sâu về ứng dụng học máy trong nhận dạng giọng nói tiếng Việt, phù hợp cho nghiên cứu và phát triển đề tài liên quan.

2. Các công ty phát triển phần mềm và ứng dụng di động:
   Tham khảo để xây dựng các ứng dụng điều khiển thiết bị thông minh bằng giọng nói, đặc biệt trên nền tảng Android.

3. Chuyên gia và kỹ sư IoT, nhà thông minh:
   Áp dụng công nghệ nhận dạng giọng nói để tích hợp vào hệ thống điều khiển thiết bị trong nhà, nâng cao tính tiện ích và tự động hóa.

4. Cơ quan quản lý và phát triển công nghệ tại Việt Nam:
   Sử dụng làm tài liệu tham khảo để định hướng phát triển công nghệ AI và nhận dạng giọng nói phù hợp với đặc thù ngôn ngữ và thị trường trong nước.

Câu hỏi thường gặp

1. Tại sao chọn MFCC làm phương pháp trích rút đặc trưng?
   MFCC mô phỏng cách tai người cảm nhận âm thanh, có tốc độ tính toán nhanh và độ tin cậy cao, phù hợp với đặc điểm âm thanh tiếng Việt, giúp mô hình nhận dạng hiệu quả.

2. Giải thuật CTC có ưu điểm gì so với các phương pháp khác?
   CTC cho phép huấn luyện mạng nơ-ron mà không cần căn chỉnh nhãn từng khung thời gian, xử lý tốt các chuỗi đầu vào và đầu ra có độ dài khác nhau, giảm thiểu công sức gán nhãn thủ công.

3. Làm thế nào để cải thiện độ chính xác nhận dạng?
   Có thể mở rộng bộ dữ liệu huấn luyện đa dạng hơn, áp dụng các mô hình mạng sâu hơn, và sử dụng giải thuật lọc như Edit Distance để chấp nhận các kết quả gần đúng.

4. Hệ thống có thể áp dụng cho các ngôn ngữ khác không?
   Về nguyên tắc, phương pháp và mô hình có thể áp dụng cho các ngôn ngữ khác, tuy nhiên cần điều chỉnh bộ dữ liệu và từ điển phù hợp với đặc điểm ngôn ngữ đó.

5. Ứng dụng thực tế của hệ thống điều khiển bằng giọng nói là gì?
   Hệ thống giúp người dùng điều khiển các thiết bị trong nhà như đèn, cửa bằng giọng nói tiếng Việt qua điện thoại Android, nâng cao tiện ích và trải nghiệm người dùng trong nhà thông minh.

Kết luận

• Luận văn đã xây dựng thành công hệ thống nhận dạng giọng nói tiếng Việt sử dụng mạng LSTM kết hợp giải thuật CTC, đạt độ chính xác trên 80%.
• Phương pháp trích rút đặc trưng MFCC được chứng minh hiệu quả trong việc mô phỏng đặc điểm âm thanh tiếng Việt.
• Giải thuật Edit Distance giúp nâng cao hiệu suất điều khiển thiết bị bằng cách chấp nhận các kết quả nhận dạng gần đúng.
• Hệ thống điều khiển thiết bị trong nhà qua điện thoại Android hoạt động ổn định, có tiềm năng ứng dụng rộng rãi trong thực tế.
• Đề xuất mở rộng dữ liệu, phát triển giao diện và nâng cao thuật toán để cải thiện hiệu quả và mở rộng phạm vi ứng dụng trong tương lai.

Hành động tiếp theo: Khuyến khích các nhà nghiên cứu và doanh nghiệp trong lĩnh vực AI và IoT tiếp tục phát triển và ứng dụng công nghệ nhận dạng giọng nói tiếng Việt để thúc đẩy chuyển đổi số và nâng cao chất lượng cuộc sống.