Nghiên cứu xây dựng hệ thống nhận dạng tiếng nói tiếng Việt ứng dụng cho phần mềm ghi biên bản họp

• Tác giả: Mai Văn Tuấn
• Người hướng dẫn: PGS. Nguyễn Quốc Cường
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa
• Đề tài: Nghiên cứu xây dựng hệ thống nhận dạng tiếng nói tiếng Việt ứng dụng cho phần mềm ghi biên bản họp
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

• 1. CHƯƠNG 1: TỔNG QUAN PHẦN MỀM GHI BIÊN BẢN HỌP VÀ KHẢO SÁT CÁC SẢN PHẨM NHẬN DẠNG TIẾNG NÓI
• 1.1. Tổng quan phần mềm
• 1.2. Tính năng của phần mềm
• 1.3. Kiến trúc của phần mềm
• 1.4. Tình hình nghiên cứu phát triển các sản phẩm nhận dạng tiếng nói
• 1.4.1. Các sản phẩm trên thế giới
• 1.4.2. Tình hình các sản phẩm nhận dạng tiếng nói trong nước
• 2. CHƯƠNG 2: TỔNG QUAN CÔNG NGHỆ NHẬN DẠNG TIẾNG NÓI
• 2.1. Giới thiệu công nghệ nhận dạng
• 2.2. Phương diện toán học
• 2.3. Trích xuất đặc trưng
• 2.3.1. Đặc trưng MFCC
• 2.3.2. Đặc trưng Pitch
• 2.4. Mô hình âm học
• 2.4.1. Mô hình HMM-GMM
• 2.4.2. Mô hình lai ghép HMM-DNN
• 2.5. Mô hình ngôn ngữ
• 3. CHƯƠNG 3: XÂY DỰNG VÀ CẢI THIỆN HỆ THỐNG NHẬN DẠNG TIẾNG NÓI
• 3.1. Lựa chọn công cụ
• 3.2. Chuẩn bị cơ sở dữ liệu
• 3.3. Phương pháp đề xuất
• 3.3.1. Huấn luyện mô hình âm học
• 3.3.2. Huấn luyện mô hình ngôn ngữ
• 4. CHƯƠNG 4: KẾT QUẢ TÍCH HỢP VÀO SẢN PHẨM
• 4.1. Giao diện sản phẩm
• 4.2. Đánh giá chất lượng
• 4.3. Đánh giá hiệu năng
• Lời cảm ơn
• TÀI LIỆU THAM KHẢO

I. Tổng Quan Hệ Thống Nhận Dạng Tiếng Nói Tiếng Việt Hiện Nay

Hệ thống nhận dạng tiếng nói đã có những bước tiến vượt bậc, đặc biệt là trong lĩnh vực chuyển đổi giọng nói thành văn bản. Các sản phẩm phần mềm ghi biên bản họp tự động ngày càng trở nên phổ biến, giúp tiết kiệm thời gian và công sức cho người dùng. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết, đặc biệt là đối với tiếng Việt, một ngôn ngữ có nhiều phương ngữ và biến thể. Các nghiên cứu tập trung vào việc nâng cao độ chính xác nhận dạng tiếng nói và tốc độ nhận dạng tiếng nói để đáp ứng nhu cầu thực tế. Theo luận văn, từ năm 2018 đã có những sản phẩm bóc băng tiếng Việt được đưa ra thị trường và được triển khai ở các bộ ban ngành, các doanh nghiệp đem lại những phản hồi rất tích cực từ phía người dùng.

1.1. Ứng dụng nhận dạng giọng nói trong phần mềm biên bản họp

Phần mềm ghi biên bản họp có khả năng chuyển tiếng nói thành văn bản trực tuyến, giúp giảm thiểu thời gian ghi chép. Ngoài ra, nó hỗ trợ chuyển đổi từ các file audio và video đã có. Tính năng chỉnh sửa nhanh chóng và trích xuất thông tin chính xác phục vụ xuất biên bản hoặc tra cứu được đánh giá cao. Phần mềm còn có khả năng chuẩn hóa văn bản tự động, lưu trữ và đối sánh nội dung họp một cách an toàn.

1.2. Lịch sử phát triển và tiềm năng của công nghệ ASR tiếng Việt

Công nghệ ASR tiếng Việt đã trải qua một quá trình phát triển dài, từ những năm 1960 đến nay. Sự thành công của công nghệ này đã mở ra nhiều ứng dụng thực tế, bao gồm giao tiếp người-máy qua lời nói và hệ thống học ngôn ngữ. Mục tiêu của hệ thống ASR là tìm ra chuỗi văn bản tương ứng với chuỗi âm thanh đầu vào. Với sự phát triển vượt bậc của công nghệ học sâu, chất lượng của hệ thống nhận dạng tiếng nói gần tiệm cận với khả năng nghe của con người.

II. Thách Thức Trong Nhận Dạng Giọng Nói Tiếng Việt Vùng Miền

Một trong những thách thức lớn nhất trong nhận dạng giọng nói tiếng Việt là sự đa dạng về phương ngữ và giọng vùng miền. Các hệ thống hiện tại thường hoạt động tốt hơn với giọng chuẩn, nhưng gặp khó khăn khi xử lý giọng địa phương. Điều này đòi hỏi các nhà nghiên cứu phải phát triển các mô hình ngôn ngữ tiếng Việt có khả năng thích nghi với sự khác biệt này. Bên cạnh đó, vấn đề xử lý nhiễu và tiếng ồn trong môi trường thực tế cũng là một yếu tố quan trọng cần được quan tâm. Chất lượng nhận dạng có thể giảm đáng kể trong môi trường ồn ào.

2.1. Ảnh hưởng của phương ngữ đến độ chính xác nhận dạng

Sự khác biệt về phát âm và từ vựng giữa các phương ngữ có thể gây ra sai sót trong quá trình nhận dạng tiếng nói. Các hệ thống nhận dạng giọng vùng miền Việt Nam cần được huấn luyện trên một lượng lớn dữ liệu đa dạng để có thể xử lý tốt các biến thể ngôn ngữ. Hiện tại, chất lượng nhận dạng của mô hình không ổn định đối với các phương ngữ khác nhau, có thể đa phần hệ thống sẽ nhận dạng tiếng miền Trung kém hơn so với giọng 2 miền còn lại.

2.2. Vấn đề nhiễu và tạp âm trong môi trường thực tế

Nhiễu và tạp âm là một vấn đề lớn trong nhận dạng tiếng nói offline và nhận dạng tiếng nói online. Các hệ thống cần có khả năng lọc nhiễu và tách biệt tiếng nói khỏi tiếng ồn để đảm bảo độ chính xác nhận dạng tiếng nói. Các phương pháp như giảm nhiễu phổ, lọc Kalman và các kỹ thuật học sâu đang được sử dụng để giải quyết vấn đề này.

2.3. Đánh giá hiệu năng hệ thống nhận dạng tiếng nói trong điều kiện thực tế

Việc đánh giá hiệu năng hệ thống nhận dạng tiếng nói trong điều kiện thực tế là rất quan trọng. Các chỉ số như Word Error Rate (WER) được sử dụng để đo lường mức độ chính xác của hệ thống. Ngoài ra, cần đánh giá tốc độ nhận dạng tiếng nói và khả năng hoạt động ổn định của hệ thống trong các điều kiện khác nhau.

III. Phương Pháp Xây Dựng Mô Hình Âm Học Acoustic Model Tiếng Việt

Mô hình âm học đóng vai trò quan trọng trong hệ thống nhận dạng tiếng nói. Nó hoạt động như tai người, tiếp nhận đặc trưng tiếng nói và đưa ra xác suất có điều kiện của từ hoặc âm vị. Các mô hình phổ biến bao gồm HMM-GMM và HMM-DNN. Quá trình huấn luyện mô hình đòi hỏi một lượng lớn dữ liệu tiếng nói đã được gán nhãn. Các thuật toán nhận dạng tiếng nói sử dụng Deep Learning nhận dạng tiếng nói ngày càng được ưa chuộng.

3.1. Sử dụng mô hình HMM DNN cho nhận dạng tiếng nói hiệu quả

Mô hình HMM-DNN kết hợp ưu điểm của mô hình Markov ẩn (HMM) và mạng nơ-ron sâu (DNN). HMM giúp mô hình hóa chuỗi âm thanh theo thời gian, trong khi DNN giúp trích xuất đặc trưng và phân loại âm vị một cách hiệu quả. Mô hình HMM-DNN cho kết quả tốt nhất trong các nghiên cứu gần đây [1].

3.2. Tối ưu hóa acoustic model cho môi trường nhiều nhiễu

Để cải thiện khả năng chống nhiễu của mô hình âm học, có thể sử dụng các kỹ thuật như huấn luyện đa dạng (data augmentation) và học thích nghi (adaptation). Huấn luyện đa dạng giúp mô hình làm quen với các loại nhiễu khác nhau, trong khi học thích nghi cho phép mô hình điều chỉnh tham số để phù hợp với môi trường cụ thể.

3.3. Xây dựng acoustic model với dữ liệu tiếng Việt lớn và đa dạng

Chất lượng của mô hình âm học phụ thuộc lớn vào lượng dữ liệu huấn luyện. Cần thu thập một lượng lớn dữ liệu tiếng Việt từ nhiều nguồn khác nhau, bao gồm sách nói, bản tin, podcast và cuộc hội thoại. Dữ liệu cần được gán nhãn chính xác và đa dạng về giọng vùng miền.

IV. Xây Dựng Mô Hình Ngôn Ngữ Cho Phần Mềm Ghi Biên Bản Họp

Mô hình ngôn ngữ (LM) cung cấp thông tin về ngữ pháp và xác suất xuất hiện của các từ trong một ngôn ngữ. Trong phần mềm ghi biên bản họp tự động, LM giúp hệ thống nhận dạng tiếng nói thời gian thực lựa chọn chuỗi từ có khả năng cao nhất dựa trên ngữ cảnh. Các mô hình ngôn ngữ phổ biến bao gồm N-gram và mô hình dựa trên mạng nơ-ron.

4.1. Sử dụng mô hình N gram để dự đoán từ tiếp theo trong câu

Mô hình N-gram dựa trên tần suất xuất hiện của các chuỗi N từ trong một tập văn bản lớn. Nó dự đoán từ tiếp theo trong câu dựa trên N-1 từ trước đó. Mô hình N-gram đơn giản và dễ huấn luyện, nhưng có thể gặp vấn đề với các chuỗi từ ít gặp.

4.2. Ứng dụng mạng nơ ron RNN trong xây dựng mô hình ngôn ngữ

Mạng nơ-ron hồi quy (RNN) có khả năng ghi nhớ thông tin từ các bước trước đó, giúp mô hình dự đoán từ tiếp theo trong câu một cách chính xác hơn. Các biến thể của RNN như LSTM và GRU đặc biệt hiệu quả trong việc xử lý các chuỗi dài.

4.3. Thích nghi mô hình ngôn ngữ với phong cách hội thoại trong cuộc họp

Mô hình ngôn ngữ cần được huấn luyện trên dữ liệu hội thoại thực tế để có thể xử lý tốt các đặc trưng của ngôn ngữ nói, bao gồm câu ngắn, câu lặp và các từ đệm. Có thể sử dụng các kỹ thuật như fine-tuning và domain adaptation để thích nghi mô hình với phong cách hội thoại trong cuộc họp.

V. Tích Hợp Hệ Thống Nhận Dạng Tiếng Nói Vào Phần Mềm Ghi Biên Bản

Sau khi xây dựng và huấn luyện mô hình âm học và mô hình ngôn ngữ, bước tiếp theo là tích hợp chúng vào phần mềm ghi biên bản họp. Hệ thống cần được tối ưu hóa để đảm bảo tốc độ nhận dạng nhanh và độ chính xác cao. Giao diện người dùng cần được thiết kế trực quan và dễ sử dụng.

5.1. Thiết kế API nhận dạng tiếng nói tiếng Việt để dễ dàng tích hợp

Cung cấp API nhận dạng tiếng nói tiếng Việt giúp các nhà phát triển dễ dàng tích hợp hệ thống vào các ứng dụng khác nhau. API nên hỗ trợ nhiều định dạng âm thanh và cung cấp các tùy chọn để tùy chỉnh mô hình nhận dạng.

5.2. Đánh giá và cải thiện hiệu năng sau khi tích hợp

Sau khi tích hợp, cần đánh giá hiệu năng của hệ thống trong điều kiện thực tế và thu thập phản hồi từ người dùng. Dựa trên kết quả đánh giá, có thể tiếp tục cải thiện mô hình và tối ưu hóa hệ thống.

5.3. Xây dựng SDK nhận dạng tiếng nói tiếng Việt cho các nền tảng khác nhau

Phát triển SDK nhận dạng tiếng nói tiếng Việt cho các nền tảng phổ biến như Android, iOS và web giúp các nhà phát triển dễ dàng xây dựng các ứng dụng nhận dạng tiếng nói trên nhiều thiết bị khác nhau.

VI. Kết Luận Hướng Phát Triển Của Nhận Dạng Tiếng Nói Tiếng Việt

Nghiên cứu và phát triển hệ thống nhận dạng tiếng nói tiếng Việt cho phần mềm ghi biên bản họp là một lĩnh vực đầy tiềm năng. Các nghiên cứu trong tương lai có thể tập trung vào việc cải thiện khả năng xử lý phương ngữ, giảm nhiễu và tích hợp các công nghệ mới như AI nhận dạng tiếng nói để nâng cao hiệu quả và trải nghiệm người dùng.

6.1. Nghiên cứu các phương pháp mới để xử lý giọng địa phương

Phát triển các mô hình có khả năng tự động thích nghi với giọng địa phương hoặc sử dụng các kỹ thuật học chuyển giao (transfer learning) để tận dụng kiến thức từ các mô hình đã được huấn luyện trên giọng chuẩn.

6.2. Khám phá tiềm năng của AI trong nhận dạng tiếng nói tiếng Việt

Áp dụng các kỹ thuật AI nhận dạng tiếng nói, như mạng nơ-ron biến áp (Transformer), để xây dựng các mô hình mạnh mẽ hơn và có khả năng xử lý các biến thể ngôn ngữ một cách linh hoạt.

6.3. Nâng cao khả năng chống nhiễu và tiếng ồn trong môi trường thực tế

Sử dụng các kỹ thuật lọc nhiễu tiên tiến và phát triển các mô hình có khả năngRobustness với nhiễu để đảm bảo độ chính xác nhận dạng cao trong mọi điều kiện.