Sử Dụng Active Learning Trong Việc Lựa Chọn Dữ Liệu Gán Nhãn Cho Bài Toán Nhận Dạng Tiếng Nói

Tài liệu nghiên cứu Sử dụng active learning trong việc lựa chọn dữ liệu gán nhãn cho bài toán speech recognition, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về

• Tác giả: Nguyễn Minh Sơn
• Người hướng dẫn: PGS.TS Nguyễn Xuân Hoài
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Sử Dụng Active Learning Trong Lựa Chọn Dữ Liệu Gán Nhãn Cho Nhận Dạng Tiếng Nói
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cảm ơn
• Lời cam đoan
• Danh sách hình ảnh, biểu đồ
• Danh sách bảng
• Bảng thuật ngữ
• MỞ ĐẦU
• 1. Chương 1: Giới thiệu bài toán
• 1.1. Quy trình gán nhãn dữ liệu
• 1.2. Vấn đề chính trong một hệ thống gán nhãn dữ liệu
• 1.3. Các phương pháp lựa chọn dữ liệu gán nhãn
• 1.4. Đánh giá chất lượng gán nhãn
• 2. Chương 2: Mô hình nhận dạng tiếng nói
• 2.1. Kiến trúc mô hình nhận dạng tiếng nói
• 2.1.1. Đặc trưng âm học (Acoustic Front-end)
• 2.1.2. Mô hình âm học (Acoustic Model)
• 2.1.3. Mô hình ngôn ngữ (Language Model)
• 2.2. Khảo sát mô hình nhận dạng tiếng nói hiện nay
• 2.2.1. Công cụ Kaldi
• 2.2.2. Deep Speech: Scaling up end-to-end speech recognition
• 2.2.3. Wav2letter++ Scaling Up Online Speech Recognition Using ConvNets
• 2.2.4. Mô hình QuartzNet: Deep Automatic Speech Recognition with 1D Time-Channel Separable Convolutions
• 2.2.5. PyChain: A Fully Parallelized PyTorch Implementation of LF-MMI for End-to-End ASR
• 2.2.6. Conformer: Convolution-augmented Transformer for Speech Recognition
• 3. Chương 3: Phương pháp học chủ động cho bài toán nhận dạng tiếng nói
• 3.1. Định nghĩa cụ thể của phương pháp học chủ động
• 3.2. Ngữ cảnh chính của phương pháp học chủ động
• 3.3. Chiến lược truy vấn của phương pháp học chủ động
• 3.4. Một số áp dụng phương pháp học chủ động cho bài toán nhận dạng tiếng nói
• 3.4.1. Active Learning For Automatic Speech Recognition [13]
• 3.4.2. Active Learning for Speech Recognition: the Power of Gradients [14]
• 3.4.3. Active and Semi-Supervised Learning in ASR: Benefits on the Acoustic and Language Models [15]
• 4. Chương 4: Cài đặt thực nghiệm
• 5. Chương 5: Kết luận
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới Thiệu Tổng Quan Về Học Chủ Động và Nhận Dạng Thoại

Công nghệ thông tin, đặc biệt là trí tuệ nhân tạo, đang là lĩnh vực được đầu tư mạnh mẽ trên toàn cầu. Ứng dụng CNTT ngày càng phổ biến, thay thế sức lao động thủ công. Sự phát triển của máy móc có khả năng tư duy đặt ra yêu cầu lớn về nguồn nhân lực Trí tuệ Nhân Tạo. Các hệ thống như nhận dạng hình ảnh, xe tự lái, và đặc biệt là nhận dạng tiếng nói, đang dần đạt đến độ chính xác tương đương con người. Để xây dựng các tác tử thông minh này, cần đến việc huấn luyện bằng dữ liệu gán nhãn, thúc đẩy sự phát triển của ngành công nghiệp gán nhãn dữ liệu, trị giá hàng tỷ đô la. Các bài toán khó đòi hỏi hàng chục, hàng trăm nghìn mẫu dữ liệu. Do đó, việc tối ưu lựa chọn dữ liệu gán nhãn, như sử dụng Active Learning, trở nên quan trọng để giảm chi phí và hỗ trợ người dùng gán nhãn hiệu quả.

1.1. Vai Trò Của Gán Nhãn Dữ Liệu Trong Học Máy Hiện Đại

Gán nhãn dữ liệu là quá trình gắn các nhãn hoặc thông tin mô tả vào dữ liệu thô, chẳng hạn như văn bản, hình ảnh hoặc âm thanh. Dữ liệu được gán nhãn này sau đó được sử dụng để huấn luyện các mô hình học máy, giúp chúng học cách nhận biết các mẫu và đưa ra dự đoán. Thị trường gán nhãn dữ liệu đang phát triển mạnh mẽ, phản ánh sự quan trọng ngày càng tăng của học máy trong nhiều ngành công nghiệp. Việc gán nhãn dữ liệu chính xác và hiệu quả là rất quan trọng để đảm bảo hiệu suất cao của các mô hình học máy. Các mô hình học máy cần một lượng lớn dữ liệu gán nhãn để đạt được độ chính xác cao.

1.2. Tổng Quan Về Bài Toán Nhận Dạng Tiếng Nói ASR

Bài toán nhận dạng tiếng nói (ASR) là một lĩnh vực quan trọng của xử lý ngôn ngữ tự nhiên (NLP), liên quan đến việc chuyển đổi âm thanh tiếng nói thành văn bản. Ứng dụng của ASR rất đa dạng, bao gồm trợ lý ảo, nhập liệu bằng giọng nói, và phiên dịch tự động. Việc phát triển các hệ thống ASR hiệu quả đòi hỏi một lượng lớn dữ liệu tiếng nói được gán nhãn chính xác. ASR là một trong những bài toán được đầu tư bởi rất nhiều tập đoàn công nghệ lớn tại Việt Nam trong thời gian gần đây.

II. Thách Thức Vấn Đề Trong Gán Nhãn Dữ Liệu Cho ASR

Bài toán nhận dạng tiếng nói, dù có nhiều tiến bộ, vẫn đối mặt với nhiều thách thức. Việc gán nhãn dữ liệu cho ASR, yêu cầu từ vài trăm đến vài chục nghìn giờ dữ liệu, tiêu tốn một lượng lớn ngân quỹ. Việc lựa chọn dữ liệu "quan trọng" để gán nhãn trở thành yếu tố then chốt. Điều này giúp thu được dữ liệu chất lượng nhất để huấn luyện mô hình, ngay cả với ngân sách hạn chế. Luận văn này đề xuất sử dụng phương pháp học chủ động để giải quyết vấn đề này. Việc lựa chọn dữ liệu gán nhãn tốt giúp giảm số lượng thời gian, ngân quỹ đáng kể cho việc làm dữ liệu mà vẫn đảm bảo độ chính xác của hệ thống.

2.1. Chi Phí Thời Gian Cho Gán Nhãn Dữ Liệu Tiếng Nói

Việc gán nhãn dữ liệu tiếng nói thường tốn kém và mất thời gian do yêu cầu chuyên môn và độ chính xác cao. Nhân viên gán nhãn cần có kiến thức về ngôn ngữ học và khả năng nghe tốt để phiên âm chính xác các đoạn ghi âm. Chi phí gán nhãn tăng lên đáng kể khi xử lý dữ liệu tiếng nói có nhiễu, giọng địa phương, hoặc các đặc điểm âm thanh phức tạp khác. Do đó, việc tối ưu hóa quá trình gán nhãn là rất quan trọng để giảm chi phí và thời gian phát triển các hệ thống ASR. Để phát triển một hệ thống nhận dạng tiếng nói tốt thì yêu cầu từ vài trăm giờ đến vài chục nghìn giờ dữ liệu huấn luyện.

2.2. Ảnh Hưởng Của Chất Lượng Dữ Liệu Đến Hiệu Năng ASR

Chất lượng của dữ liệu gán nhãn có ảnh hưởng trực tiếp đến hiệu năng của các hệ thống ASR. Dữ liệu gán nhãn không chính xác hoặc không đầy đủ có thể dẫn đến giảm độ chính xác của mô hình và tăng tỷ lệ lỗi. Việc đảm bảo chất lượng dữ liệu gán nhãn là rất quan trọng để xây dựng các hệ thống ASR đáng tin cậy. Để đánh giá chất lượng gán nhãn, ta có thể sử dụng 2 phương pháp tự động hoặc thủ công. Phương pháp thủ công: Cần có các nhóm người với vai trò người đánh giá. Nhóm sẽ xem xét các mẫu dữ liệu nhân viên gán nhãn và thực hiện và thực hiện đánh giá, chỉnh sửa lại.

III. Cách Sử Dụng Học Chủ Động Để Chọn Lọc Dữ Liệu ASR

Học chủ động là một phương pháp học máy cho phép mô hình tự động lựa chọn các mẫu dữ liệu quan trọng nhất để gán nhãn. Thay vì gán nhãn ngẫu nhiên, mô hình sẽ ưu tiên các mẫu mà nó chưa chắc chắn về dự đoán, giúp tối ưu hóa việc sử dụng nguồn lực gán nhãn. Phương pháp này dựa trên cơ chế bằng cách hỏi một chuyên gia tự động về việc có hay không nên gán nhãn một mẫu dữ liệu. Active Learning giúp giảm số lượng mẫu cần gán nhãn, giảm chi phí ngân quỹ gán nhãn mà còn giúp cải thiện chất lượng, thời gian huấn luyện mô hình. Trong luận văn này, sẽ trình bày việc áp dụng phương pháp học chủ động trong việc lựa chọn dữ liệu gán nhãn cho bài toán nhận dạng tiếng nói.

3.1. Nguyên Lý Hoạt Động Của Phương Pháp Học Chủ Động

Phương pháp học chủ động (Active Learning) lựa chọn mẫu dữ liệu để gán nhãn từ một hồ dữ liệu chưa được gán nhãn, và lặp đi lặp lại quá trình lựa chọn dữ liệu và huấn luyện mô hình để được tập dữ liệu cho việc gán nhãn. Mô hình Active Learning sẽ chọn ra các mẫu dữ liệu mà nó dự đoán ít chắc chắn nhất (ví dụ, bằng cách đo độ bất định của dự đoán), và yêu cầu người gán nhãn cung cấp nhãn chính xác cho các mẫu này. Sau khi được gán nhãn, các mẫu này sẽ được thêm vào tập huấn luyện, và mô hình sẽ được huấn luyện lại. Quá trình này được lặp lại cho đến khi đạt được hiệu năng mong muốn.

3.2. Các Chiến Lược Truy Vấn Dữ Liệu Trong Active Learning

Có nhiều chiến lược truy vấn dữ liệu khác nhau trong Active Learning, bao gồm: * Uncertainty Sampling: Chọn các mẫu mà mô hình ít chắc chắn nhất về dự đoán của mình. * Query by Committee: Sử dụng một tập hợp các mô hình (committee) và chọn các mẫu mà các mô hình trong committee có sự bất đồng lớn nhất. * Expected Model Change: Chọn các mẫu mà việc gán nhãn có khả năng thay đổi mô hình nhiều nhất. Lựa chọn chiến lược truy vấn phù hợp phụ thuộc vào đặc điểm của bài toán và dữ liệu. Các chiến lược truy vấn khác nhau có thể mang lại hiệu quả khác nhau đối với các loại dữ liệu khác nhau.

IV. Ứng Dụng Thực Tiễn Kết Quả Nghiên Cứu Học Chủ Động ASR

Học chủ động đã được áp dụng thành công trong nhiều bài toán ASR, giúp giảm đáng kể chi phí gán nhãn trong khi vẫn duy trì hoặc cải thiện hiệu năng của mô hình. Các nghiên cứu đã chỉ ra rằng Active Learning có thể hiệu quả hơn so với việc gán nhãn ngẫu nhiên, đặc biệt khi nguồn lực gán nhãn hạn chế. Phương pháp học chủ động là phương pháp tốt nhất để lựa chọn các dữ liệu quan trọng cho một hệ thống gán nhãn (hay mô hình học máy), có thể hoạt động trên nhiều bài toán và kiểu dữ liệu.

4.1. Tổng Quan Các Nghiên Cứu Về Active Learning và ASR

Nhiều nghiên cứu đã khám phá việc áp dụng Active Learning trong các bài toán nhận dạng tiếng nói. Một số nghiên cứu tập trung vào việc phát triển các chiến lược truy vấn hiệu quả hơn, trong khi các nghiên cứu khác tập trung vào việc kết hợp Active Learning với các kỹ thuật học bán giám sát (semi-supervised learning) để tận dụng dữ liệu chưa được gán nhãn. Các nghiên cứu về việc tối ưu lựa chọn những dữ liệu gán nhãn cũng ra đời nhằm đáp ứng việc giảm thiểu chi phí gán nhãn, cũng như hỗ trợ người dùng gán nhãn nhanh nhất, kiểm soát quá trình gán nhãn để đạt được tập dữ liệu tốt nhất cho việc huấn luyện mô hình.

4.2. Ví Dụ Về Triển Khai Active Learning Trong Các Hệ Thống ASR

Active Learning có thể được triển khai trong các hệ thống ASR bằng cách tích hợp một mô đun lựa chọn mẫu vào quy trình huấn luyện. Mô đun này sẽ sử dụng một chiến lược truy vấn cụ thể để chọn các mẫu dữ liệu từ một hồ dữ liệu chưa được gán nhãn, và yêu cầu người gán nhãn cung cấp nhãn chính xác cho các mẫu này. Các mẫu này sau đó được thêm vào tập huấn luyện, và mô hình ASR được huấn luyện lại. Quá trình này được lặp lại cho đến khi đạt được hiệu năng mong muốn. Do đó, trong luận văn này, luận văn sẽ tập trung vào bài toán nhận dạng tiếng nói và việc áp dụng phương pháp học chủ động cho bài toán nhận dạng tiếng nói.

V. Kết Luận Hướng Phát Triển Của Học Chủ Động Cho ASR

Luận văn này trình bày tổng quan về việc sử dụng Active Learning trong việc lựa chọn dữ liệu gán nhãn cho bài toán nhận dạng tiếng nói. Active Learning là một phương pháp hiệu quả để giảm chi phí gán nhãn và cải thiện hiệu năng của các hệ thống ASR. Với số ngân quỹ cố định cho việc gán nhãn, bài toán đặt ra là lựa chọn những dữ liệu tốt nhất cho mô hình học. Đây là vấn đề gặp phải với hầu hết các doanh nghiệp khi làm bài toán nhận dạng tiếng nói. Trong luận văn này, tôi sẽ trình bày về các nội dung nhằm giải quyết vấn đề lựa chọn dữ liệu quan trọng cho quá trình gán nhãn để huấn luyện mô hình nhận dạng tiếng nói như phân tích độ dư thừa dữ liệu và sử dụng phương pháp học chủ động (Active Learning) để lựa chọn dữ liệu quan trọng cho quá trình gán nhãn dữ liệu.

5.1. Tóm Tắt Các Ưu Điểm Của Phương Pháp Học Chủ Động

Active Learning mang lại nhiều lợi ích cho bài toán ASR, bao gồm: * Giảm chi phí gán nhãn: Bằng cách chọn các mẫu dữ liệu quan trọng nhất để gán nhãn, Active Learning giúp giảm số lượng mẫu cần gán nhãn, từ đó giảm chi phí. * Cải thiện hiệu năng: Bằng cách tập trung vào các mẫu dữ liệu mà mô hình chưa chắc chắn về dự đoán của mình, Active Learning giúp mô hình học nhanh hơn và đạt được hiệu năng tốt hơn. * Tăng tính linh hoạt: Active Learning có thể được áp dụng cho nhiều bài toán ASR khác nhau, và có thể được kết hợp với các kỹ thuật học máy khác để đạt được hiệu quả tốt nhất.

5.2. Các Hướng Nghiên Cứu Tiềm Năng Trong Tương Lai

Các hướng nghiên cứu tiềm năng trong tương lai bao gồm: * Phát triển các chiến lược truy vấn hiệu quả hơn, đặc biệt cho các dữ liệu tiếng nói phức tạp. * Kết hợp Active Learning với các kỹ thuật học sâu mới nhất để tạo ra các hệ thống ASR mạnh mẽ hơn. * Nghiên cứu ứng dụng Active Learning trong các bài toán ASR đa ngôn ngữ. Việc triển khai hệ thống nhận dạng tiếng nói cho Tiếng Việt gặp nhiều khó khăn hơn tiếng Anh do một số nguyên nhân sau: ● Tiếng Việt có ngữ pháp đa dạng phong phú ● Tiếng Việt là ngôn ngữ từ ghép. ● Tiếng Việt có nhiều phát âm vùng miền…

Nội dung chính

Tổng quan nghiên cứu

Thị trường gán nhãn dữ liệu toàn cầu ghi nhận mức định giá 547 triệu USD vào năm 2019 và được dự báo sẽ tăng trưởng gấp hơn 4 lần vào năm 2026. Sự bùng nổ của trí tuệ nhân tạo và học sâu đã thúc đẩy độ chính xác của các hệ thống nhận dạng tiếng nói tự động (ASR), tiêu biểu như Google Voice tăng từ 78% năm 2013 lên mức tương đương con người là 95% vào năm 2020. Tuy nhiên, việc huấn luyện các mô hình nhận dạng tiếng nói tiếng Việt chất lượng cao đòi hỏi quy mô dữ liệu khổng lồ từ vài trăm đến hàng chục nghìn giờ âm thanh được gán nhãn chuẩn xác. Đây là rào cản tài chính rất lớn đối với các viện nghiên cứu và doanh nghiệp công nghệ, bởi chi phí nhân công gán nhãn thủ công chiếm tỷ trọng áp đảo trong ngân sách phát triển dự án.

Vấn đề cốt lõi đặt ra là dữ liệu thu thập từ thực tế thường chứa tỷ lệ dư thừa thông tin cao, dao động từ 4% đến trên 20% mức câu, khiến việc gán nhãn tràn lan gây lãng phí nguồn lực nhưng không mang lại sự cải thiện tương xứng cho mô hình. Luận văn thạc sĩ khoa học máy tính của tác giả Nguyễn Minh Sơn, thực hiện năm 2021 tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội dưới sự hướng dẫn của PGS.TS Nguyễn Xuân Hoài và sự phối hợp từ Trung tâm Không gian mạng Viettel, tập trung giải quyết bài toán lựa chọn dữ liệu tối ưu. Mục tiêu cụ thể của nghiên cứu là xây dựng chiến lược học chủ động (Active Learning) đa tiêu chí nhằm chọn lọc những mẫu dữ liệu mang nhiều thông tin nhất để gán nhãn, giúp giảm thiểu chi phí và tối ưu hóa tỷ lệ lỗi từ (Word Error Rate - WER) cho hệ thống nhận dạng tiếng nói tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết học chủ động (Active Learning) và các kiến trúc nhận dạng tiếng nói tự động hiện đại. Học chủ động là phương pháp học máy có sự tương tác, trong đó thuật toán tự động đánh giá và truy vấn chuyên gia gán nhãn cho các điểm dữ liệu có giá trị thông tin cao nhất. Nghiên cứu khai thác ba ngữ cảnh vận hành chính của học chủ động gồm: Tổng hợp truy vấn thành viên (Membership Query Synthesis), lấy mẫu chọn lọc dựa trên luồng (Stream-Based Selective Sampling), và lấy mẫu dựa trên nhóm (Pool-Based Sampling).

Hệ thống nhận dạng tiếng nói được phân tích toàn diện qua hai trường phái kiến trúc chính: mô hình lai kết hợp mô hình Markov ẩn với mạng nơ-ron sâu (HMM-DNN) và các mô hình học sâu đầu-cuối (End-to-End). Các khái niệm then chốt được ứng dụng xuyên suốt gồm:

• Hệ số trích xuất đặc trưng âm học MFCC (Mel-Frequency Cepstrum Coefficients) với vector 13 chiều kết hợp đạo hàm bậc 1 và bậc 2 để mô phỏng thính giác người.
• Mô hình âm học (Acoustic Model) biểu diễn xác suất thống kê cho các âm vị (phonemes).
• Mô hình ngôn ngữ (Language Model) dựa trên n-gram và mạng hồi quy RNNLM nhằm ràng buộc cú pháp và ngữ nghĩa.
• Đồ thị trạng thái Lattice và hàm mất mát Lattice-free Maximum Mutual Information (LF-MMI) giúp tối ưu hóa quá trình giải mã.
• Tỷ lệ lỗi từ (Word Error Rate - WER), thước đo tiêu chuẩn định lượng độ chính xác nhận dạng.

Bên cạnh mô hình lai Kaldi, nghiên cứu cũng khảo sát các kiến trúc tiên tiến như Deep Speech, Wav2letter++, QuartzNet với các khối tích chập 1 chiều (1D Time-Channel Separable Convolutions), PyChain với 6 triệu tham số tối ưu, và Conformer kết hợp cơ chế chú ý tự thân Multi-head Self-Attention từng đạt quán quân tại cuộc thi VLSP 2020.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm bao gồm 2 bộ ngữ liệu tiếng Việt độc lập với quy mô 100 giờ âm thanh mỗi bộ:

• Bộ dữ liệu Set 1: Gồm 140.543 câu thoại sinh hoạt thường ngày, ngữ cảnh đa dạng, độ dư thừa thông tin thấp ở mức 4%.
• Bộ dữ liệu Set 2: Gồm 124.870 câu thoại trong môi trường thu âm rõ ràng nhưng tập trung vào phạm vi ngữ cảnh hẹp, độ trùng lặp và dư thừa thông tin cao lên tới 20%.
• Bộ kiểm thử độc lập: Gồm 15 giờ âm thanh chuẩn được sử dụng để đánh giá khách quan tại từng chu kỳ.

Phương pháp chọn mẫu áp dụng chiến lược Pool-Based Sampling kết hợp lấy mẫu ngẫu nhiên có kiểm soát ngưỡng. Bộ dữ liệu 100 giờ được phân chia thành 50 giờ huấn luyện ban đầu (tập D) và 50 giờ chứa trong hồ dữ liệu chưa gán nhãn (tập P). Thay vì chọn các mẫu có độ tin cậy thấp nhất tuyệt đối dễ dẫn đến việc chọn trùng lặp các câu giống nhau, tác giả áp dụng cơ chế lọc ngẫu nhiên trong khoảng độ tin cậy thấp từ 0.0 đến 0.8.

Lý do lựa chọn phương pháp phân tích: Luận văn sử dụng công cụ Kaldi làm nền tảng thực nghiệm chính vì khả năng bóc tách rõ ràng giữa trọng số âm học (Acoustic Score) và trọng số mô hình ngôn ngữ (Language Model Score) trên đồ thị lattice. Nghiên cứu đề xuất thuật toán cân chỉnh tham số alpha để kiểm soát tỷ lệ trội giữa hai thành phần điểm số, chia đều 5.000 câu cần gán nhãn mỗi vòng lặp thành 2.500 câu nghiêng về điểm âm học và 2.500 câu nghiêng về điểm ngôn ngữ. Timeline nghiên cứu được thực hiện qua 4 vòng lặp liên tiếp, bổ sung tương ứng 20 giờ dữ liệu gán nhãn tối ưu vào mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm đã mang lại 4 phát hiện quan trọng về hiệu năng của phương pháp học chủ động trong bài toán nhận dạng tiếng nói tiếng Việt:

Thứ nhất, hiệu quả của học chủ động phụ thuộc trực tiếp vào mức độ dư thừa của tập dữ liệu. Trên tập dữ liệu Set 1 với độ dư thừa thấp 4%, học chủ động chỉ mang lại mức cải thiện khiêm tốn 1% tỷ lệ lỗi tương quan so với chọn mẫu ngẫu nhiên. Ngược lại, trên tập dữ liệu Set 2 có độ dư thừa cao 20%, phương pháp học chủ động tạo ra bước đột phá khi cải thiện tới 5% tỷ lệ lỗi tương quan so với phương pháp chọn ngẫu nhiên.

Thứ hai, chiến lược phân tách tiêu chí điểm âm học và điểm ngôn ngữ vượt trội hoàn toàn so với độ đo kết hợp mặc định. Việc phân bổ 2.500 câu ưu tiên điểm âm học và 2.500 câu ưu tiên điểm ngôn ngữ giúp hệ thống đạt tỷ lệ lỗi từ tối ưu là 20.95% WER trên tập kiểm thử, giảm thiểu sự thiên lệch trong quá trình học.

Thứ ba, tham số điều chỉnh trọng số alpha = 0.8 mang lại độ chính xác cao nhất qua các vòng lặp. Khi áp dụng alpha = 0.8, tỷ lệ lỗi từ WER giảm dần đều từ mức ban đầu xuống 20.95% sau 4 chu kỳ gán nhãn bổ sung 20 giờ âm thanh. Phương pháp này cho kết quả tốt hơn từ 1% đến 3% so với Active Learning truyền thống và tốt hơn từ 2% đến 5% so với việc chọn ngẫu nhiên.

Thứ tư, khi tham số alpha giảm sâu xuống mức 0.4, hiệu năng của mô hình bị suy giảm nghiêm trọng, thậm chí cho kết quả kém hơn cả phương pháp chọn mẫu ngẫu nhiên. Nguyên nhân do độ đo tổng hợp bị lệch quá mức về một phía, làm sai lệch hoàn toàn giá trị phản ánh độ bất định của câu nhận dạng.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự thành công của phương pháp phân tách hai tiêu chí là do bộ giải mã ASR luôn vận hành dựa trên sự kết hợp giữa mô hình âm học và mô hình ngôn ngữ. Trong các hệ thống thông thường, độ tin cậy đầu ra gộp chung hai điểm số này theo tỷ lệ 1:1, dẫn đến việc không thể xác định mẫu dữ liệu bị nhận dạng sai do phát âm kém hay do cấu trúc câu lạ. Bằng cách thiết lập cơ chế kiểm soát độc lập với alpha = 0.8, thuật toán đã bổ sung chính xác các mẫu học còn thiếu cho từng thành phần chuyên biệt.

So sánh với các nghiên cứu quốc tế, kết quả này hoàn toàn tương thích và phát triển sâu hơn công trình của AT&T Lab năm 2002 (giảm 27% dữ liệu gán nhãn) và nghiên cứu của Amazon năm 2019 trên mô hình HMM-DNN. Tuy nhiên, công trình của Amazon chỉ sử dụng ngưỡng độ tin cậy từ 0.0 đến 0.7 trên điểm gộp, trong khi luận văn đã mở rộng ngưỡng lên 0.8 và chứng minh tính ưu việt của việc phân rã đa tiêu chí.

Dữ liệu thực nghiệm được trực quan hóa thông qua biểu đồ suy giảm tỷ lệ lỗi từ WER và bảng phân tích đa thông số qua 4 chu kỳ huấn luyện. Đồ thị cho thấy đường cong hội tụ của phương pháp đề xuất tách tiêu chí có độ dốc giảm lỗi nhanh và ổn định hơn hẳn so với đường biểu diễn răng cưa, phân tán của phương pháp chọn ngẫu nhiên. Điều này khẳng định 20 giờ dữ liệu được chọn lọc bởi học chủ động mang lại giá trị tương đương với hàng trăm giờ dữ liệu thu thập không qua sàng lọc.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm, luận văn đưa ra 4 khuyến nghị hành động cụ thể dành cho các tổ chức phát triển hệ thống nhận dạng tiếng nói:

Thứ nhất, phân tích định lượng độ dư thừa dữ liệu trước khi quyết định gán nhãn. Doanh nghiệp cần ứng dụng các thuật toán phân cụm không gian đặc trưng âm thanh và phân tích tần suất n-gram để xác định tỷ lệ trùng lặp. Mục tiêu là cắt giảm ngay từ 15% đến 20% chi phí thu thập dữ liệu rác, hoàn thành trong 2 tuần đầu của giai đoạn tiền xử lý dự án do Kỹ sư Dữ liệu (Data Engineer) phụ trách.

Thứ hai, chuẩn hóa quy trình học chủ động đa tiêu chí với tham số alpha tối ưu. Các nhóm kỹ thuật cần tích hợp thuật toán phân rã điểm âm học và điểm ngôn ngữ với tỷ lệ kiểm soát alpha = 0.8 vào pipeline huấn luyện tự động. Mục tiêu là hạ thấp tỷ lệ lỗi từ WER xuống dưới 21%, triển khai áp dụng trong khung thời gian 1 tháng dưới sự thực thi của Chuyên viên Nghiên cứu AI.

Thứ ba, áp dụng cơ chế lấy mẫu ngẫu nhiên trong vùng độ tin cậy từ 0.0 đến 0.8. Cần tuyệt đối tránh việc chỉ lọc lấy các mẫu có điểm số thấp nhất tuyệt đối để ngăn ngừa hiện tượng trùng lặp cục bộ các mẫu lỗi giống nhau. Mục tiêu là đảm bảo 100% mẫu đưa vào gán nhãn có tính đa dạng ngữ âm cao, thực hiện liên tục theo từng chu kỳ 5.000 câu dưới sự giám sát của Trưởng dự án Gán nhãn.

Thứ tư, nâng cấp kiến trúc giải mã sang các mô hình học sâu đầu-cuối hiện đại. Doanh nghiệp nên xây dựng lộ trình chuyển dịch từng bước từ mô hình lai Kaldi sang kiến trúc Conformer hoặc QuartzNet nhằm tận dụng sức mạnh tính toán song song hoàn toàn trên GPU. Mục tiêu là rút ngắn 40% thời gian huấn luyện mô hình trong lộ trình 3 đến 6 tháng tới, do Kiến trúc sư Hệ thống Học máy chủ trì.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

Thứ nhất, Kỹ sư Học máy và Chuyên gia Xử lý tiếng nói (ASR Engineers): Tài liệu cung cấp bức tranh toàn cảnh về các công cụ nhận dạng từ Kaldi, Deep Speech đến Conformer, đồng thời cung cấp mã nguồn thuật toán can thiệp vào đồ thị lattice để tinh chỉnh điểm âm học và ngôn ngữ trong thực tế.

Thứ hai, Quản lý Dự án Trí tuệ Nhân tạo và Lãnh đạo Doanh nghiệp Công nghệ: Luận văn cung cấp phương pháp luận tối ưu hóa bài toán kinh tế trong xây dựng tập ngữ liệu, giúp tiết kiệm từ hàng trăm triệu đến hàng tỷ đồng chi phí nhân công gán nhãn âm thanh mà vẫn đảm bảo hiệu năng mô hình.

Thứ ba, Học viên Cao học và Nghiên cứu sinh ngành Khoa học Máy tính: Công trình là tài liệu tham khảo chuẩn mực về phương pháp thiết lập thực nghiệm có đối chứng, cách đo lường độ dư thừa thông tin, và kỹ thuật đánh giá tỷ lệ lỗi từ WER một cách khoa học, chặt chẽ.

Thứ tư, Các Công ty Cung cấp Dịch vụ Gán nhãn và Xử lý Dữ liệu: Doanh nghiệp có thể áp dụng kiến trúc kiểm định chất lượng tự động kết hợp chuyên gia được mô tả trong chương 1 để tối ưu hóa quy trình bàn giao dữ liệu đạt chuẩn độ chính xác cao cho khách hàng.

Câu hỏi thường gặp

Học chủ động mang lại lợi ích kinh tế cụ thể nào cho các dự án nhận dạng tiếng nói tiếng Việt? Phương pháp giúp giảm thiểu từ 20% đến 30% khối lượng dữ liệu âm thanh cần gán nhãn thủ công nhưng vẫn duy trì độ chính xác tương đương. Điều này giúp doanh nghiệp tiết kiệm trực tiếp hàng trăm triệu đồng chi phí thuê nhân sự gán nhãn và rút ngắn đáng kể thời gian đưa sản phẩm AI ra thị trường.

Tại sao độ dư thừa dữ liệu lại quyết định trực tiếp đến hiệu quả của học chủ động? Học chủ động hoạt động dựa trên nguyên lý sàng lọc các mẫu chứa nhiều thông tin nhất. Khi tập dữ liệu có độ trùng lặp cao khoảng 20%, thuật toán dễ dàng loại bỏ các mẫu trùng lặp vô giá trị, giúp cải thiện 5% tỷ lệ lỗi tương quan. Với dữ liệu ít trùng lặp khoảng 4%, việc chọn lọc mang lại ít sự khác biệt hơn.

Vì sao cần phân tách riêng điểm âm học và điểm ngôn ngữ thay vì dùng điểm tin cậy tổng hợp? Bộ giải mã tiếng nói gồm hai thành phần riêng biệt là nhận dạng âm thanh và cấu trúc ngữ pháp. Điểm tin cậy gộp 1:1 không phản ánh được mô hình đang yếu ở phần nào. Việc tách tiêu chí giúp bổ sung chính xác 2.500 câu lỗi âm học và 2.500 câu lỗi ngữ nghĩa, giúp giảm thêm 1% đến 3% WER so với phương pháp cũ.

Tại sao nghiên cứu chọn ngưỡng độ tin cậy từ 0.0 đến 0.8 mà không chọn các mẫu có điểm thấp nhất? Nếu chỉ chọn nhóm mẫu có điểm tin cậy thấp nhất tuyệt đối, hệ thống sẽ bị rơi vào bẫy chọn phải các câu chứa nhiều tạp âm vô nghĩa hoặc các mẫu lỗi giống hệt nhau. Việc chọn ngẫu nhiên trong khoảng 0.0 đến 0.8 đảm bảo thu thập được các mẫu khó nhưng đa dạng về mặt ngữ âm.

Kiến trúc nhận dạng tiếng nói nào được đánh giá tối ưu nhất cho tiếng Việt trong giai đoạn hiện nay? Theo khảo sát của luận văn, mô hình lai Kaldi mang lại sự ổn định và dễ bóc tách trọng số giải mã. Tuy nhiên, kiến trúc học sâu đầu-cuối Conformer kết hợp mạng tích chập và Transformer đang là mô hình hiện đại nhất, đạt độ chính xác cao vượt trội tại các kỳ đánh giá chuẩn hóa như VLSP 2020.

Kết luận

Luận văn thạc sĩ của tác giả Nguyễn Minh Sơn đã giải quyết thành công bài toán tối ưu hóa chi phí gán nhãn dữ liệu cho hệ thống nhận dạng tiếng nói tiếng Việt thông qua các đóng góp nổi bật:

• Hệ thống hóa toàn diện quá trình phát triển của công nghệ nhận dạng tiếng nói từ mô hình lai HMM-DNN đến các kiến trúc học sâu đầu-cuối tiên tiến như QuartzNet, PyChain và Conformer.
• Chứng minh bằng thực nghiệm mối tương quan mật thiết giữa độ dư thừa dữ liệu và hiệu quả của phương pháp học chủ động (cải thiện 5% WER trên dữ liệu dư thừa 20%).
• Đề xuất giải pháp đột phá phân tách hai tiêu chí điểm âm học và điểm ngôn ngữ với tham số kiểm soát alpha = 0.8, đạt tỷ lệ lỗi từ tối ưu 20.95% WER.
• Thiết lập quy trình lấy mẫu ngẫu nhiên có kiểm soát trong ngưỡng độ tin cậy 0.0 đến 0.8, loại bỏ triệt để hiện tượng trùng lặp mẫu học cục bộ.
• Mở ra hướng nghiên cứu tiếp theo trong 6 tháng tới về việc nâng cao hệ số tương quan giữa chỉ số độ tin cậy (Confidence Score) và tỷ lệ lỗi từ thực tế (WER).

Các tổ chức và doanh nghiệp phát triển công nghệ nhận dạng tiếng nói nên ứng dụng ngay khung giải pháp học chủ động đa tiêu chí này vào quy trình sản xuất dữ liệu để tối đa hóa hiệu suất đầu tư và nâng cao chất lượng mô hình AI.

Trích đoạn nội dung tài liệu

Chương 1. Giới thiệu bài toán 1. Tổng quan Sự phát triển của các mô hình học máy và trí tuệ nhân tạo ngày cảng trở nên rộng rãi, máy móc ngày càng thay thế cho sức lao động của con người nhiều hơn. Đặc biệt trong những năm gần đây, với sự phát triển của mô hình học sâu đã chứng minh tính hiệu quả trong nhiều bài toán thực tế như: Nhận dạng khuôn mặt, Xử lý tiếng nói, Dịch máy… Đây đều là những bài toán phổ biến, được nhiều tập đoàn công nghệ lớn đầu tư và phát triển.

Ảnh 1 Thị trường gán nhãn dữ liệu Để phát triển những công cụ học máy với độ chính xác cao, hầu hết các mô hình đều yêu cầu từ hàng trăm ngàn đến hàng triệu mẫu dữ liệu học. Ngành công nghiệp gán nhãn chưa bao giờ phổ biến như hiện nay, điều này phản ánh sự dịch chuyển về cơ cấu lao động. Thay vì làm công việc máy móc đang làm, công việc gán nhãn đã và đang tạo việc làm cho rất nhiều lao động. Hiện nay, rất nhiều công ty đã được mở ra để kinh doanh dịch vụ gán nhãn dữ liệu.

Theo như thống kê, thị trường gán nhãn dữ liệu thủ công năm 2019 là 547 triệu USD, và sẽ tăng gấp hơn 4 lần vào năm 2026. Tương tự với việc gán nhãn tự động, tuy nhiên thị trường gán nhãn tự động thấp hơn thủ công do yêu cầu chủ yếu của việc gán nhãn là độ chính xác, điều này phụ thuộc vào con người. 13 Chuyển đổi số được thực hiện cho tất cả các ngành nghê, do đó việc gán nhãn dữ liệu có thể đến từ tất cả lĩnh vực như: Tài chính, Kinh tế, Nông nghiệp, Y tế, Viễn thông, Tự động hóa… Các dữ liệu gán nhãn cũng rất đa dạng, phong phú và có thể được lấy từ nhiều nguồn:  Dữ liệu văn bản  Dữ liệu hình ảnh  Dữ liệu âm thanh  Dữ liệu video  Dữ liệu có cấu trúc (HTML, XML, Excel) Đối với dữ liệu văn bản, ta có nhiều bài toán cần gán nhãn như: Tóm tắt, trích rút thực thể, phân loại văn bản. Đối với dữ liệu về ảnh, ta có các lớp bài toán như phân loại đối tượng, phát hiện đối tượng, phân vùng ảnh.

Đối với dữ liệu tiếng nói, ta có bài toán về nhận dạng tiếng nói, tổng hợp tiếng nói. Ngoài việc cung cấp hệ thống gán nhãn dữ liệu, một số doanh nghiệp còn có thể cung cấp về nhân lực con người. Ảnh 2 Một số loại dữ liệu và các bài toán gán nhãn (Lionbridge AI) Một số nhà cung cấp các công cụ, dịch vụ gán nhãn phổ biến như:  Lionbridge AI 14  Amazon Mechanical Turk  Computer Vision Annotation Tool (CVAT)  SuperAnnotate  Dataturks 1. Quy trình gán nhãn dữ liệu Ảnh 3 Quy trình gán nhãn dữ liệu Để có một hệ thống gán nhãn dữ liệu hoàn chỉnh, ta cần các thành phần sau:  Tài liệu đặc tả sử dụng phần mềm  Tài liệu hướng dẫn nhân viên gán nhãn và đánh giá dữ liệu.

Đối với các loại dữ liệu yêu cầu chuyển môn, cần có tài liệu hướng dẫn cụ thể và chi tiết.  Bộ ngữ liệu: Tập dữ liệu cần để gán nhãn.  Người gán nhãn: Nhân viên thực hiện gán nhãn dữ liệu 15  Đánh giá kết quả gán nhãn dữ liệu: Bước tự động đánh giá kết quả sử dụng mô hình đã huấn luyện sẵn.  Người kiểm tra kết quả: Nhân viên đánh giá, xem xét lại kết quả gán nhãn cuối cùng  Đóng gói và chuyển giao dữ liệu: Đóng gói dữ liệu gán nhãn và chuyển cho khách hàng.

Đây là thành phần thiết yếu cần cho một hệ thống gán nhãn dữ liệu. Tuy nhiên, tùy vào mỗi hệ thống gán nhãn và yêu cầu của bài toán gán nhãn mà ta có thể mở rộng kiến trúc hệ thống gán nhãn này để phù hợp và chi tiết hơn với việc gán nhãn và kiểm soát chất lượng gán nhãn của bài toán. Vấn đề chính trong một hệ thống gán nhãn dữ liệu. Một hệ thống gán nhãn dữ liệu thường gặp 2 vấn đề chính sau đây:  Lựa chọn dữ liệu gán nhãn: bước quan trọng nhất trong hệ thống gán nhãn.

Lựa chọn dữ liệu không những giúp giảm thiểu số lượng mẫu cần gán nhãn, giảm chi phí ngân quỹ gán nhãn mà còn giúp cải thiện chất lượng, thời gian huấn luyện mô hình.  Kiểm tra, đánh giá các dữ liệu đã gán nhãn: Đây là bước quan trọng để đảm bảo lỗi dữ liệu gán nhãn ở mức thấp nhất, tránh ảnh hưởng đến tỉ lệ lỗi của mô hình. Các phương pháp lựa chọn dữ liệu gán nhãn Luận văn tập trung vào việc lựa chọn dữ liệu gán nhãn (cụ thể cho bài toán nhận dạng tiếng nói). Bước lựa chọn dữ liệu gán nhãn là bước quan trọng đối với hầu hết các hệ thống gán nhãn.

Trong doanh nghiệp, việc lựa chọn dữ liệu gán nhãn tốt giúp giảm số lượng thời gian, ngân quỹ đáng kể cho việc làm dữ liệu mà vẫn đảm bảo độ chính xác của hệ thống. Hiện nay, có hai phương pháp chính trong việc lựa chọn dữ liệu:  Phương pháp học chủ động (Active Learning) 16  Phương pháp lựa chọn tập lõi (Core-Set Selection) Phương pháp học chủ động lựa chọn mẫu dữ liệu để gán nhãn từ một hồ dữ liệu chưa được gán nhãn, và lặp đi lặp lại quá trình lựa chọn dữ liệu và huấn luyện mô hình để được tập dữ liệu cho việc gán nhãn. Khác với phương pháp học chủ động, phương pháp lựa chọn tập lõi có thể thực hiện cho cả tập dữ liệu đã gán nhãn và chưa gán nhãn. Mục đích của phương pháp chọn tập lõi là tìm tập con nhỏ nhất có độ chính xác xấp xỉ toàn bộ tập dữ liệu.

Thuật toán thường sử dụng cho phương pháp lựa chọn tập lõi là phương pháp phân cụm k-means hoặc k-median. Sau khi lựa chọn được các tập Core-Set, ta có thể lựa chọn các mẫu theo tỉ lệ nhất định từ mỗi tập Core-Set này. Phương pháp Core-Set là phương pháp đơn giản, chủ yếu dựa vào phân cụm và khó kết hợp đối với tập dữ liệu đã gán nhãn sẵn hoặc mẫu có đặc trưng phức tạp. Ví dụ trong trường hợp nhận dạng tiếng nói, ta có thể phân cụm các mẫu trong tập dữ liệu chưa gán nhãn bằng đặc trưng âm học (MFCC), tuy nhiên sẽ không hiệu quả vì đây là đặc trưng theo thời gian.

Ta có thể thay bằng tìm tập Core-Set cho nhãn các câu được giải mã bằng máy, nhưng phụ thuộc vào độ chính xác của mô hình học và không thể kiểm tra đối với các mẫu đã gán nhãn. Phương pháp học chủ động là phương pháp tốt nhất để lựa chọn các dữ liệu quan trọng cho một hệ thống gán nhãn (hay mô hình học máy), có thể hoạt động trên nhiều bài toán và kiểu dữ liệu. Do đó, trong luận văn này, luận văn sẽ tập trung vào bài toán nhận dạng tiếng nói và việc áp dụng phương pháp học chủ động cho bài toán nhận dạng tiếng nói. Đánh giá chất lượng gán nhãn Để đánh giá chất lượng gán nhãn, ta có thể sử dụng 2 phương pháp tự động hoặc thủ công.

 Phương pháp thủ công: Cần có các nhóm người với vai trò người đánh giá. Nhóm sẽ xem xét các mẫu dữ liệu nhân viên gán nhãn và thực hiện và thực hiện đánh giá, chỉnh sửa lại. 17  Phương pháp tự động: Có nhiều phương pháp đánh giá tự động, tuy nhiên việc đánh giá tự động không đảm bảo được tính chính xác tuyệt đối. o Phương pháp 1 - Sử dụng tập dữ liệu đã gán nhãn: Đưa các dữ liệu này vào tập dữ liệu cần gán nhãn.

Kiểm tra tính chính xác của nhân viên gán nhãn bằng cách đối chiếu với nhãn thực tế. o Phương pháp 2 – So sánh chéo: So sánh nhiều mẫu được thực hiện bởi các nhân viên gán nhãn. So sánh và đối chiếu độ chính xác dựa trên các mẫu dữ liệu này. Mô hình nhận dạng tiếng nói.

Giới thiệu Bài toán nhận dạng tiếng nói là bài toán khó và gần đây rất được chú ý và nghiên cứu bởi cộng đồng. Nhưng thực tế bài toán nhận dạng tiếng nói được các nhà khoa học nghiên cứu từ rất sớm, từ đầu những năm 1950. Bài toán nhận dạng tiếng nói đi từ các bài toán đơn giản như nhận dạng từng chữ số, phát triển đến nhận dạng 26 ký tự trong bảng từ điển Tiếng Anh, và hiện nay là có thể nhận dạng được theo cả từ và câu. Quá trình phát triển của các mô hình nhận dạng tiếng nói [1].

Ảnh 4 Lịch sử phát triển của hệ thống nhận dạng tiếng nói Các mô hình nhận dạng tiếng nói cũng đi từ phương pháp thô sơ đến các phương pháp phức tạp như phương pháp học sâu đầu cuối. Các phương pháp ban đầu của nhận dạng tiếng nói chủ yếu dựa vào phương pháp phân loại đặc trưng âm thanh của các ký tự chữ hoặc số tương ứng. Đến những năm 1980, với sự phát triển của mô hình Markov ẩn (Hidden Markov Model, viết tắt HMM) là mô hình học máy dựa vào thống kê có thể xử lý dữ liệu theo chuỗi thời gian, các hệ thống nhận dạng tiếng nói trở nên phổ biến, được nghiên cứu nhiều hơn và độ chính xác được cải tiến đáng kể. Sau này, với sự phát triển 19 của mạng học sâu và phần cứng GPU, mô hình nhận dạng tiếng nói chuyển dịch dần sang mô hình lai (kết hợp HMM và mạng học sâu) từ đầu những năm 2010.

Từ năm 2013 đến nay, các mô hình học sâu đầu cuối đã bước đầu thay thế các phương pháp lai vì sự tiện lợi và dễ dàng trong việc chuẩn bị dữ liệu, huấn luyện mô hình cũng như khi triển khai thực tế. Ảnh 5 Độ chính xác của Google Voice qua các thời kỳ [2] Độ chính xác của mô hình nhận dạng học máy tăng nhanh từ khoảng từ năm 2013 trở lại đây. Hình trên cho thấy từ năm 2013, google chỉ đạt độ chính xác gần 78%, nhưng đến nay đã đạt độ chính xác tương tự con người với mức 95%. Công nghệ nhận dạng tiếng nói cũng được tìm hiểu và nghiên cứu từ đầu những năm 2014, 2015 bởi các tập đoàn lớn như Viettel, FPT, Zalo, Vingroup, … Việc triển khai hệ thống nhận dạng tiếng nói cho Tiếng Việt gặp nhiều khó khăn hơn tiếng Anh do một số nguyên nhân sau: ● Tiếng Việt có ngữ pháp đa dạng phong phú ● Tiếng Việt là ngôn ngữ từ ghép.

● Tiếng Việt có nhiều phát âm vùng miền… 20 Để phát triển một hệ thống nhận dạng tiếng nói tốt thì yêu cầu từ vài trăm giờ đến vài chục nghìn giờ dữ liệu huấn luyện.