Luận văn thạc sĩ khoa học máy tính sử dụng active learning trong việc lựa chọn dữ liệu gán nhãn cho bài toán speech recognition

Luận văn thạc sĩ khoa học máy tính nghiên cứu sử dụng Active Learning trong việc lựa chọn dữ liệu gán nhãn cho bài toán Speech Recognition.

• Tác giả: Nguyễn Minh Sơn
• Người hướng dẫn: PGS.TS Nguyễn Xuân Hoài
• Trường học: Trường Đại Học Công Nghệ, Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Sử dụng Active Learning trong việc lựa chọn dữ liệu gán nhãn cho bài toán Speech Recognition
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cảm ơn
• Lời cam đoan
• Danh sách hình ảnh, biểu đồ
• Danh sách Bảng
• Bảng thuật ngữ
• MỞ ĐẦU
• 1. Chương 1: Giới thiệu bài toán
• 1.1. Quy trình gán nhãn dữ liệu
• 1.2. Vấn đề chính trong một hệ thống gán nhãn dữ liệu
• 1.3. Các phương pháp lựa chọn dữ liệu gán nhãn
• 1.4. Đánh giá chất lượng gán nhãn
• 2. Chương 2: Mô hình nhận dạng tiếng nói
• 2.1. Kiến trúc mô hình nhận dạng tiếng nói
• 2.1.1. Đặc trưng âm học (Acoustic Front-end)
• 2.1.2. Mô hình âm học (Acoustic Model)
• 2.1.3. Mô hình ngôn ngữ (Language Model)
• 2.2. Khảo sát mô hình nhận dạng tiếng nói hiện nay
• 2.2.1. Công cụ Kaldi
• 2.2.2. Deep Speech: Scaling up end-to-end speech recognition
• 2.2.3. Wav2letter++ Scaling Up Online Speech Recognition Using ConvNets
• 2.2.4. Mô hình QuartzNet: Deep Automatic Speech Recognition with 1D Time-Channel Separable Convolutions
• 2.2.5. PyChain: A Fully Parallelized PyTorch Implementation of LF-MMI for End-to-End ASR
• 2.2.6. Conformer: Convolution-augmented Transformer for Speech Recognition
• 3. Chương 3: Phương pháp học chủ động cho bài toán nhận dạng tiếng nói
• 3.1. Định nghĩa cụ thể của phương pháp học chủ động như sau
• 3.2. Ngữ cảnh chính của phương pháp học chủ động
• 3.3. Chiến lược truy vấn của phương pháp học chủ động
• 3.4. Một số áp dụng phương pháp học chủ động cho bài toán nhận dạng tiếng nói
• 3.4.1. Active Learning For Automatic Speech Recognition [13]
• 3.4.2. Active Learning for Speech Recognition: the Power of Gradients [14]
• 3.4.3. Active and Semi-Supervised Learning in ASR: Benefits on the Acoustic and Language Models [15]
• 4. Chương 4: Cài đặt thực nghiệm
• 5. Chương 5: Kết luận
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu bài toán

Trong bối cảnh công nghệ thông tin và trí tuệ nhân tạo đang phát triển mạnh mẽ, Active Learning đã trở thành một phương pháp quan trọng trong việc lựa chọn dữ liệu cho các bài toán học máy, đặc biệt là trong lĩnh vực nhận diện giọng nói. Bài toán nhận diện giọng nói yêu cầu một lượng lớn dữ liệu gán nhãn để đạt được độ chính xác cao. Việc gán nhãn dữ liệu truyền thống không chỉ tốn thời gian mà còn tiêu tốn ngân sách lớn. Do đó, việc áp dụng phương pháp học chủ động giúp tối ưu hóa quy trình gán nhãn, lựa chọn những mẫu dữ liệu quan trọng nhất cho việc huấn luyện mô hình. Theo thống kê, thị trường gán nhãn dữ liệu đã đạt giá trị hàng tỉ đô la và ngày càng tăng trưởng. Việc tối ưu hóa lựa chọn dữ liệu gán nhãn không chỉ giúp tiết kiệm chi phí mà còn nâng cao chất lượng mô hình học máy. Luận văn này sẽ trình bày chi tiết về việc áp dụng Active Learning trong việc lựa chọn dữ liệu gán nhãn cho bài toán nhận diện giọng nói.

II. Các phương pháp lựa chọn dữ liệu gán nhãn

Trong lĩnh vực nhận diện giọng nói, có hai phương pháp chính để lựa chọn dữ liệu gán nhãn: Active Learning và Core-Set Selection. Active Learning là phương pháp mà trong đó mô hình sẽ tự động lựa chọn các mẫu dữ liệu chưa được gán nhãn để gán nhãn tiếp theo. Phương pháp này giúp tiết kiệm thời gian và chi phí gán nhãn bằng cách chỉ gán nhãn những mẫu dữ liệu quan trọng nhất cho mô hình. Ngược lại, Core-Set Selection tìm kiếm một tập con nhỏ nhất có độ chính xác gần giống với toàn bộ tập dữ liệu. Mặc dù phương pháp này có ưu điểm là dễ triển khai, nhưng lại khó khăn trong việc xử lý các mẫu có đặc trưng phức tạp. Active Learning được coi là phương pháp hiệu quả hơn trong việc tối ưu hóa quy trình gán nhãn, đặc biệt trong các bài toán liên quan đến machine learning và học sâu.

III. Đánh giá chất lượng gán nhãn

Đánh giá chất lượng gán nhãn là một bước quan trọng trong quy trình gán nhãn dữ liệu. Có hai phương pháp chính để đánh giá: phương pháp thủ công và phương pháp tự động. Phương pháp thủ công yêu cầu một nhóm người đánh giá kiểm tra các mẫu dữ liệu đã được gán nhãn, trong khi phương pháp tự động sử dụng các mô hình đã huấn luyện để đánh giá độ chính xác của các mẫu gán nhãn. Việc sử dụng phương pháp tự động giúp tiết kiệm thời gian, nhưng không đảm bảo hoàn toàn tính chính xác. Để đạt được độ chính xác cao trong nhận diện giọng nói, việc đánh giá chất lượng gán nhãn cần phải được thực hiện một cách nghiêm ngặt, đảm bảo rằng các dữ liệu gán nhãn đều đạt tiêu chuẩn và không có lỗi. Điều này sẽ ảnh hưởng trực tiếp đến hiệu suất của mô hình học máy.

IV. Kết quả thực nghiệm

Luận văn đã thực hiện các thí nghiệm trên hai bộ dữ liệu khác nhau để phân tích sự ảnh hưởng của dữ liệu đối với phương pháp học chủ động. Kết quả cho thấy rằng việc lựa chọn dữ liệu gán nhãn có ảnh hưởng lớn đến độ chính xác của mô hình. Các thí nghiệm cũng chỉ ra rằng Active Learning có thể giúp tăng cường hiệu suất của mô hình nhận diện giọng nói bằng cách giảm thiểu số lượng mẫu cần gán nhãn mà vẫn đảm bảo chất lượng. Đặc biệt, việc lựa chọn dữ liệu theo từng tiêu chí âm học và ngôn ngữ đã chứng minh được hiệu quả trong việc tối ưu hóa quy trình gán nhãn. Những kết quả này không chỉ có giá trị trong nghiên cứu mà còn có thể áp dụng thực tiễn trong các hệ thống nhận diện giọng nói hiện nay.

V. Kết luận

Luận văn đã chỉ ra rằng Active Learning là một phương pháp hiệu quả trong việc lựa chọn dữ liệu gán nhãn cho bài toán nhận diện giọng nói. Việc áp dụng phương pháp này không chỉ giúp tiết kiệm chi phí mà còn nâng cao chất lượng dữ liệu gán nhãn. Các kết quả thực nghiệm cho thấy rằng việc lựa chọn dữ liệu gán nhãn một cách thông minh có thể làm tăng độ chính xác của mô hình học máy. Điều này có ý nghĩa quan trọng trong bối cảnh công nghệ thông tin hiện đại, nơi mà yêu cầu về độ chính xác và hiệu quả ngày càng cao. Luận văn khuyến nghị các nhà nghiên cứu và phát triển trong lĩnh vực này nên tiếp tục tìm hiểu và áp dụng Active Learning để tối ưu hóa quy trình gán nhãn dữ liệu.

Nội dung chính

Tổng quan nghiên cứu

Thị trường gán nhãn dữ liệu toàn cầu ghi nhận quy mô 547 triệu USD vào năm 2019 và dự báo tăng trưởng vượt bậc gấp hơn 4 lần vào năm 2026. Trong lĩnh vực Trí tuệ nhân tạo, bài toán nhận dạng tiếng nói tự động (Automatic Speech Recognition - ASR) đòi hỏi khối lượng dữ liệu huấn luyện rất lớn, dao động từ 500 giờ đến hơn 10.000 giờ âm thanh được gán nhãn chính xác. Tuy nhiên, việc gán nhãn thủ công tiêu tốn hàng trăm nghìn USD cùng nguồn nhân lực khổng lồ, trong khi dữ liệu thu thập thực tế thường chứa nhiều thành phần trùng lặp và dư thừa thông tin.

Nhằm giải quyết bài toán tối ưu hóa chi phí và nâng cao chất lượng huấn luyện mô hình, luận văn thạc sĩ chuyên ngành Khoa học máy tính của tác giả Nguyễn Minh Sơn, dưới sự hướng dẫn khoa học của PGS.TS Nguyễn Xuân Hoài tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội phối hợp cùng Trung tâm Không gian mạng Viettel, đã nghiên cứu giải pháp ứng dụng học chủ động (Active Learning). Đề tài tập trung xây dựng cơ chế lựa chọn dữ liệu thông minh nhằm sàng lọc các mẫu âm thanh mang giá trị thông tin cao nhất đưa vào quy trình gán nhãn.

Nghiên cứu được triển khai thực nghiệm toàn diện trong giai đoạn năm 2020 – 2021 trên 2 bộ dữ liệu tiếng nói tiếng Việt với tổng dung lượng 200 giờ âm thanh, bao gồm 265.413 câu thoại. Đóng góp cốt lõi của đề tài là chứng minh tính phụ thuộc của phương pháp học chủ động vào độ dư thừa dữ liệu, đồng thời đề xuất cơ chế phân tách trọng số âm học và trọng số ngôn ngữ. Giải pháp giúp giảm thiểu đáng kể tỷ lệ lỗi từ (Word Error Rate - WER) xuống mức tối ưu 20.95%, mang lại giá trị thực tiễn to lớn trong việc tiết kiệm từ 20% đến 40% ngân sách gán nhãn cho các doanh nghiệp và viện nghiên cứu công nghệ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết học chủ động (Active Learning), một nhánh chuyên sâu của học máy dựa trên nguyên lý thiết kế thực nghiệm tối ưu (Optimal Experimental Design). Phương pháp này vận hành thông qua việc đánh giá độ không chắc chắn (Uncertainty Sampling) hoặc mức độ thay đổi mô hình kỳ vọng (Expected Gradient Length) từ tập dữ liệu chưa gán nhãn để chủ động truy vấn chuyên gia. Quá trình chọn lọc tập trung vào 3 ngữ cảnh chính gồm: tổng hợp truy vấn thành viên (Membership Query Synthesis), lấy mẫu chọn lọc theo luồng (Stream-Based Selective Sampling) và lấy mẫu dựa trên nhóm dữ liệu (Pool-Based Sampling).

Về kiến trúc nhận dạng tiếng nói, luận văn phân tích sâu cấu trúc 4 khối kinh điển: Khối xử lý tín hiệu âm học (Acoustic Front-end) trích xuất đặc trưng Mel-Frequency Cepstrum Coefficients (MFCC) với vector 13 chiều kết hợp đạo hàm bậc 1 và bậc 2; Mô hình âm học (Acoustic Model) xây dựng trên mô hình Markov ẩn kết hợp mạng nơ-ron sâu (HMM-DNN); Mô hình ngôn ngữ (Language Model) dạng n-gram và RNNLM; cùng Bộ giải mã (Decoder) tích hợp thuật toán Viterbi và tìm kiếm chùm (Beam Search). Luận văn cũng tiến hành khảo sát so sánh các kiến trúc học sâu đầu-cuối tiên tiến như DeepSpeech của Baidu, Wav2letter++ của Facebook, QuartzNet của Nvidia, PyChain sử dụng hàm mất mát LF-MMI với 6 triệu tham số, và Conformer của Google đạt quán quân tại kỳ đánh giá nhận dạng tiếng nói VLSP 2020.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm định lượng kết hợp phân tích thống kê trên công cụ mã nguồn mở Kaldi. Dữ liệu thực nghiệm bao gồm 2 tập ngữ liệu tiếng Việt độc lập, mỗi tập có thời lượng chuẩn hóa 100 giờ:

• Tập dữ liệu thứ nhất: Chứa 140.543 câu hội thoại sinh hoạt đời thường, ngữ cảnh phong phú, có độ trùng lặp và dư thừa thông tin thấp chỉ 4% ở mức độ câu.
• Tập dữ liệu thứ hai: Gồm 124.870 câu phát âm rõ ràng nhưng tập trung vào các ngữ cảnh hẹp, có mức độ dư thừa và lặp lại thông tin cao lên tới 20% ở mức độ câu.

Quy trình chọn mẫu thực nghiệm được thiết kế chặt chẽ: 50 giờ dữ liệu ban đầu được dùng làm tập huấn luyện cơ sở, 50 giờ dữ liệu chưa gán nhãn đưa vào hồ chọn lọc, và 15 giờ dữ liệu tách biệt hoàn toàn dùng làm tập kiểm thử chuẩn. Nghiên cứu thực hiện 4 vòng lặp huấn luyện liên tiếp trong năm 2021. Tại mỗi vòng, hệ thống giải mã đồ thị chuyển trạng thái (lattice) để trích xuất điểm số âm học (Acoustic Score) và điểm số ngôn ngữ (Language Model Score), sau đó chọn ngẫu nhiên 5.000 câu thoại có độ tin cậy thấp từ 0 đến 0.8 nhằm bổ sung vào tập huấn luyện.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm chuyên sâu của luận văn đã chỉ ra 4 phát hiện then chốt có tính đóng góp khoa học và thực tiễn cao:

Thứ nhất, hiệu quả của học chủ động tỷ lệ thuận với mức độ dư thừa thông tin trong tập dữ liệu. Trên tập dữ liệu có độ dư thừa thấp (4%), Active Learning chỉ giúp cải thiện 1% tỷ lệ lỗi tương quan so với phương pháp lấy mẫu ngẫu nhiên. Trái lại, trên tập dữ liệu có độ dư thừa cao (20%), Active Learning tạo ra mức cải thiện vượt trội lên tới 5% so với cách chọn ngẫu nhiên truyền thống.

Thứ hai, việc tách biệt hai tiêu chí đánh giá độ tin cậy mang lại độ chính xác cao hơn rõ rệt so với phương pháp gộp điểm mặc định theo tỷ lệ 1:1. Khi thiết lập tỷ lệ trọng số alpha = 0.8 giữa mô hình âm học và mô hình ngôn ngữ, hệ thống đạt tỷ lệ lỗi từ tốt nhất là 20.95% WER trên tập kiểm thử, vượt trội từ 1% đến 3% so với Active Learning truyền thống và giảm từ 2% đến 5% lỗi so với chọn ngẫu nhiên.

Thứ ba, tham số điều phối alpha đóng vai trò quyết định đến tính ổn định của mô hình. Kết quả thực nghiệm với các mức alpha từ 0.4 đến 1.0 cho thấy khi giảm alpha xuống 0.6 và 0.4, trọng số bị lệch quá mức về một phía làm sai lệch thang đo độ tin cậy, khiến tỷ lệ lỗi WER tăng lên lần lượt là 21.84% và 22.45%, thậm chí kém hơn cả phương pháp chọn ngẫu nhiên.

Thứ tư, cơ chế chọn ngẫu nhiên 5.000 mẫu trong vùng độ tin cậy từ 0 đến 0.8 giúp triệt tiêu hiện tượng gom cụm các mẫu lỗi tương tự nhau. Việc phân bổ đều 2.500 câu cho tiêu chí âm học và 2.500 câu cho tiêu chí ngôn ngữ tại mỗi vòng lặp giúp mô hình học bổ sung đa dạng các hiện tượng ngữ âm và ngữ cảnh mới.

Thảo luận kết quả

Hiện tượng Active Learning phát huy hiệu quả cao trên tập dữ liệu dư thừa 20% được giải thích bởi nguyên lý loại bỏ nhiễu thông tin. Trong thực tế, các bộ dữ liệu thu âm hội thoại tự nhiên thường bị mất cân bằng, chứa nhiều câu giao tiếp ngắn lặp đi lặp lại. Nếu chọn mẫu ngẫu nhiên, doanh nghiệp sẽ phải trả tiền gán nhãn cho các dữ liệu mà mô hình đã nhận diện thành thạo. Active Learning đóng vai trò bộ lọc thông minh, chỉ giữ lại các mẫu âm thanh lạ mà mô hình chưa nắm bắt được.

Khi đối chiếu với các công trình quốc tế, kết quả này hoàn toàn tương thích và phát triển sâu hơn nghiên cứu của AT&T Lab từng công bố giảm 27% lượng dữ liệu cần gán nhãn và nghiên cứu của Amazon năm 2019 cải thiện 2% tỷ lệ lỗi tương quan. Đóng góp mới của luận văn là giải quyết được bài toán mất cân xứng giữa mô hình âm học và mô hình ngôn ngữ thông qua hệ số alpha = 0.8. Trên đồ thị biểu diễn biến thiên WER qua 4 vòng lặp thực nghiệm, đường cong hiệu năng của phương pháp đề xuất luôn nằm thấp hơn và hội tụ nhanh hơn so với đường biểu diễn của phương pháp ngẫu nhiên, khẳng định tính ưu việt của giải pháp phân tách trọng số.

Đề xuất và khuyến nghị

Từ kết quả nghiên cứu thực nghiệm, luận văn đề xuất 4 khuyến nghị mang tính ứng dụng cao cho các tổ chức phát triển công nghệ nhận dạng giọng nói:

Thứ nhất, thực hiện kiểm định độ dư thừa dữ liệu (Data Redundancy Auditing) trước khi lập kế hoạch gán nhãn. Các trung tâm dữ liệu và doanh nghiệp AI cần ứng dụng thuật toán phân cụm k-means hoặc lý thuyết thông tin để đo lường độ trùng lặp. Nếu độ dư thừa vượt quá ngưỡng 15%, việc triển khai Active Learning là bắt buộc nhằm hướng tới mục tiêu cắt giảm từ 30% đến 50% chi phí gán nhãn trong vòng 1 tháng đầu của dự án.

Thứ hai, chuẩn hóa quy trình phân tách trọng số âm học và ngôn ngữ (Multi-criteria Scoring Tuning). Đội ngũ kỹ sư học máy cần cấu hình hệ số alpha trong khoảng 0.7 đến 0.8 khi trích xuất độ tin cậy từ đồ thị lattice giải mã, tuyệt đối tránh việc gộp chung trọng số 1:1 hoặc hạ alpha xuống dưới 0.6. Quy trình này cần được cập nhật vào quy trình tự động huấn luyện mô hình theo chu kỳ sprint 2 tuần.

Thứ ba, tối ưu hóa quy mô lô chọn mẫu (Batch-size Optimization). Luận văn khuyến nghị giới hạn quy mô chọn lọc ở mức 5.000 câu cho mỗi vòng lặp (chia đều 2.500 câu cho nhánh âm học và 2.500 câu cho nhánh ngôn ngữ). Cách phân bổ này giúp cân bằng giữa thời gian huấn luyện từ 3 đến 5 ngày trên hệ thống máy chủ GPU và việc giảm thiểu độ tương đồng giữa các mẫu được chọn.

Thứ tư, nâng cấp kiến trúc mô hình nhận dạng tiếng nói sang các nền tảng tiên tiến. Đội ngũ nghiên cứu và phát triển nên xây dựng lộ trình 6 tháng để chuyển đổi từ các mô hình lai truyền thống sang kiến trúc PyChain LF-MMI với 6 triệu tham số tinh gọn hoặc Conformer nhằm tận dụng cơ chế Self-Attention, giúp tăng tốc độ huấn luyện song song và cải thiện độ chính xác nhận dạng tiếng Việt.

Đối tượng nên tham khảo luận văn

Tài liệu luận văn mang lại giá trị tham khảo chuyên sâu và định hướng thực hành cho 4 nhóm đối tượng chính:

Nhóm 1: Kỹ sư AI và chuyên gia xử lý tiếng nói (Speech Recognition Engineers). Nghiên cứu cung cấp kiến thức nền tảng chi tiết về trích xuất đặc trưng 13 chiều MFCC, cách thức vận hành bộ công cụ Kaldi, cấu trúc đồ thị lattice và phương pháp tối ưu hóa hàm mất mát, giúp kỹ sư dễ dàng xây dựng hệ thống nhận dạng giọng nói tiếng Việt đạt chuẩn thương mại.

Nhóm 2: Quản lý dự án dữ liệu và giám đốc công nghệ (Data Annotation Managers & CTOs). Luận văn cung cấp giải pháp bài bản để giải quyết bài toán ngân sách khi gán nhãn hàng trăm giờ dữ liệu âm thanh, giúp doanh nghiệp tiết kiệm tới 50% ngân quỹ mà vẫn đảm bảo tập dữ liệu huấn luyện đạt chất lượng tối ưu.

Nhóm 3: Học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính. Đây là tài liệu tham khảo học thuật chuẩn mực với tổng quan tài liệu phong phú từ HMM-GMM, HMM-DNN đến Conformer, cùng phương pháp luận thực nghiệm chặt chẽ về học chủ động và thiết kế thực nghiệm tối ưu.

Nhóm 4: Các doanh nghiệp và trung tâm công nghệ phát triển trợ lý ảo, tổng đài thông minh (Voicebot). Tài liệu cung cấp case study thực tế từ sự phối hợp giữa viện nghiên cứu và doanh nghiệp viễn thông hàng đầu, giúp các đơn vị rút ngắn thời gian thử nghiệm sản phẩm từ 6 tháng xuống còn 2 tháng.

Câu hỏi thường gặp

1. Phương pháp học chủ động (Active Learning) khác biệt như thế nào so với chọn tập lõi (Core-Set Selection)? Phương pháp Core-Set Selection chủ yếu dựa vào thuật toán phân cụm không giám sát như k-means để tìm tập con xấp xỉ toàn bộ dữ liệu, gặp khó khăn lớn khi áp dụng trên chuỗi âm thanh thời gian như vector MFCC. Trong khi đó, Active Learning tương tác liên tục với mô hình đang huấn luyện, đánh giá trực tiếp độ tin cậy đầu ra để chọn các mẫu dữ liệu giàu thông tin nhất.

2. Tại sao cần phân tách trọng số âm học và trọng số ngôn ngữ khi tính điểm tin cậy? Điểm tin cậy mặc định thường gộp chung hai tiêu chí theo tỷ lệ 1:1, dễ dẫn đến đánh giá sai lệch nếu một trong hai mô hình hoạt động kém. Việc phân tách điểm cho phép bổ sung đúng 2.500 mẫu cần cải thiện ngữ âm khi mô hình âm học yếu, hoặc 2.500 mẫu giàu ngữ nghĩa khi mô hình ngôn ngữ chưa hoàn thiện.

3. Cơ sở khoa học của việc chọn ngưỡng độ tin cậy từ 0 đến 0.8 là gì? Ngưỡng độ tin cậy từ 0 đến 0.8 đảm bảo chọn được các mẫu âm thanh mà mô hình hiện tại còn dự đoán sai hoặc chưa chắc chắn. Việc kết hợp chọn ngẫu nhiên trong khoảng này thay vì chỉ lấy các mẫu có điểm số thấp nhất giúp tránh hiện tượng chọn phải các câu thoại trùng lặp có cùng kiểu lỗi.

4. Vì sao khi giảm hệ số alpha xuống mức 0.4 thì tỷ lệ lỗi từ lại tăng cao? Khi hệ số alpha giảm xuống 0.4, thang đo bị thiên lệch nghiêm trọng về một độ đo duy nhất, làm mất đi tính toàn diện của điểm tin cậy. Kết quả thực nghiệm cho thấy tỷ lệ lỗi WER tăng lên 22.45%, kém hơn cả phương pháp chọn ngẫu nhiên do hệ thống đã chọn sai các mẫu dữ liệu không đại diện.

5. Khung công việc Kaldi có ưu thế gì trong nghiên cứu so với các mô hình End-to-End? Kaldi cho phép can thiệp sâu vào cấu trúc đồ thị lattice, tách biệt rõ ràng điểm số âm học và điểm số ngôn ngữ để tính toán trọng số alpha. Với tập dữ liệu vài trăm giờ và hạ tầng CPU tiêu chuẩn, Kaldi mang lại tốc độ căn lề chính xác và tính ổn định cao trước khi tích hợp sang các mô hình học sâu.

Kết luận

Luận văn thạc sĩ của tác giả Nguyễn Minh Sơn đã giải quyết trọn vẹn bài toán tối ưu hóa chi phí gán nhãn cho hệ thống nhận dạng tiếng nói tiếng Việt với 5 đóng góp học thuật cốt lõi:

• Khảo sát hệ thống hóa quá trình phát triển của công nghệ ASR từ mô hình lai Kaldi đến các kiến trúc học sâu đầu-cuối như Conformer và PyChain.
• Chứng minh bằng thực nghiệm mối quan hệ giữa độ dư thừa dữ liệu và hiệu quả của Active Learning trên 200 giờ dữ liệu tiếng Việt.
• Đề xuất sáng tạo cơ chế phân tách trọng số âm học và ngôn ngữ với hệ số điều phối alpha = 0.8.
• Đạt tỷ lệ lỗi từ ấn tượng 20.95% WER, giúp cải thiện tới 5% so với phương pháp chọn mẫu ngẫu nhiên truyền thống.
• Xây dựng quy trình chọn lọc 5.000 mẫu chuẩn hóa giúp doanh nghiệp tiết kiệm hàng nghìn USD chi phí nhân công gán nhãn.

Trong lộ trình nghiên cứu từ 3 đến 6 tháng tiếp theo, nhóm tác giả định hướng nâng cao độ tương quan giữa điểm tin cậy (Confidence Score) và tỷ lệ lỗi thực tế (WER), đồng thời tích hợp Active Learning vào các kiến trúc mạng nơ-ron Conformer hiện đại. Đây là tài liệu chuyên khảo giá trị dành cho các nhà nghiên cứu và doanh nghiệp công nghệ đang trên hành trình xây dựng các giải pháp xử lý giọng nói thông minh.

Trích đoạn nội dung tài liệu

Chương 1. Giới thiệu bài toán 1. Tổng quan Sự phát triển của các mô hình học máy và trí tuệ nhân tạo ngày cảng trở nên rộng rãi, máy móc ngày càng thay thế cho sức lao động của con người nhiều hơn. Đặc biệt trong những năm gần đây, với sự phát triển của mô hình học sâu đã chứng minh tính hiệu quả trong nhiều bài toán thực tế như: Nhận dạng khuôn mặt, Xử lý tiếng nói, Dịch máy… Đây đều là những bài toán phổ biến, được nhiều tập đoàn công nghệ lớn đầu tư và phát triển.

Ảnh 1 Thị trường gán nhãn dữ liệu Để phát triển những công cụ học máy với độ chính xác cao, hầu hết các mô hình đều yêu cầu từ hàng trăm ngàn đến hàng triệu mẫu dữ liệu học. Ngành công nghiệp gán nhãn chưa bao giờ phổ biến như hiện nay, điều này phản ánh sự dịch chuyển về cơ cấu lao động. Thay vì làm công việc máy móc đang làm, công việc gán nhãn đã và đang tạo việc làm cho rất nhiều lao động. Hiện nay, rất nhiều công ty đã được mở ra để kinh doanh dịch vụ gán nhãn dữ liệu.

Theo như thống kê, thị trường gán nhãn dữ liệu thủ công năm 2019 là 547 triệu USD, và sẽ tăng gấp hơn 4 lần vào năm 2026. Tương tự với việc gán nhãn tự động, tuy nhiên thị trường gán nhãn tự động thấp hơn thủ công do yêu cầu chủ yếu của việc gán nhãn là độ chính xác, điều này phụ thuộc vào con người. 13 Chuyển đổi số được thực hiện cho tất cả các ngành nghê, do đó việc gán nhãn dữ liệu có thể đến từ tất cả lĩnh vực như: Tài chính, Kinh tế, Nông nghiệp, Y tế, Viễn thông, Tự động hóa… Các dữ liệu gán nhãn cũng rất đa dạng, phong phú và có thể được lấy từ nhiều nguồn:  Dữ liệu văn bản  Dữ liệu hình ảnh  Dữ liệu âm thanh  Dữ liệu video  Dữ liệu có cấu trúc (HTML, XML, Excel) Đối với dữ liệu văn bản, ta có nhiều bài toán cần gán nhãn như: Tóm tắt, trích rút thực thể, phân loại văn bản. Đối với dữ liệu về ảnh, ta có các lớp bài toán như phân loại đối tượng, phát hiện đối tượng, phân vùng ảnh.

Đối với dữ liệu tiếng nói, ta có bài toán về nhận dạng tiếng nói, tổng hợp tiếng nói. Ngoài việc cung cấp hệ thống gán nhãn dữ liệu, một số doanh nghiệp còn có thể cung cấp về nhân lực con người. Ảnh 2 Một số loại dữ liệu và các bài toán gán nhãn (Lionbridge AI) Một số nhà cung cấp các công cụ, dịch vụ gán nhãn phổ biến như:  Lionbridge AI 14  Amazon Mechanical Turk  Computer Vision Annotation Tool (CVAT)  SuperAnnotate  Dataturks 1. Quy trình gán nhãn dữ liệu Ảnh 3 Quy trình gán nhãn dữ liệu Để có một hệ thống gán nhãn dữ liệu hoàn chỉnh, ta cần các thành phần sau:  Tài liệu đặc tả sử dụng phần mềm  Tài liệu hướng dẫn nhân viên gán nhãn và đánh giá dữ liệu.

Đối với các loại dữ liệu yêu cầu chuyển môn, cần có tài liệu hướng dẫn cụ thể và chi tiết.  Bộ ngữ liệu: Tập dữ liệu cần để gán nhãn.  Người gán nhãn: Nhân viên thực hiện gán nhãn dữ liệu 15  Đánh giá kết quả gán nhãn dữ liệu: Bước tự động đánh giá kết quả sử dụng mô hình đã huấn luyện sẵn.  Người kiểm tra kết quả: Nhân viên đánh giá, xem xét lại kết quả gán nhãn cuối cùng  Đóng gói và chuyển giao dữ liệu: Đóng gói dữ liệu gán nhãn và chuyển cho khách hàng.

Đây là thành phần thiết yếu cần cho một hệ thống gán nhãn dữ liệu. Tuy nhiên, tùy vào mỗi hệ thống gán nhãn và yêu cầu của bài toán gán nhãn mà ta có thể mở rộng kiến trúc hệ thống gán nhãn này để phù hợp và chi tiết hơn với việc gán nhãn và kiểm soát chất lượng gán nhãn của bài toán. Vấn đề chính trong một hệ thống gán nhãn dữ liệu. Một hệ thống gán nhãn dữ liệu thường gặp 2 vấn đề chính sau đây:  Lựa chọn dữ liệu gán nhãn: bước quan trọng nhất trong hệ thống gán nhãn.

Lựa chọn dữ liệu không những giúp giảm thiểu số lượng mẫu cần gán nhãn, giảm chi phí ngân quỹ gán nhãn mà còn giúp cải thiện chất lượng, thời gian huấn luyện mô hình.  Kiểm tra, đánh giá các dữ liệu đã gán nhãn: Đây là bước quan trọng để đảm bảo lỗi dữ liệu gán nhãn ở mức thấp nhất, tránh ảnh hưởng đến tỉ lệ lỗi của mô hình. Các phương pháp lựa chọn dữ liệu gán nhãn Luận văn tập trung vào việc lựa chọn dữ liệu gán nhãn (cụ thể cho bài toán nhận dạng tiếng nói). Bước lựa chọn dữ liệu gán nhãn là bước quan trọng đối với hầu hết các hệ thống gán nhãn.

Trong doanh nghiệp, việc lựa chọn dữ liệu gán nhãn tốt giúp giảm số lượng thời gian, ngân quỹ đáng kể cho việc làm dữ liệu mà vẫn đảm bảo độ chính xác của hệ thống. Hiện nay, có hai phương pháp chính trong việc lựa chọn dữ liệu:  Phương pháp học chủ động (Active Learning) 16  Phương pháp lựa chọn tập lõi (Core-Set Selection) Phương pháp học chủ động lựa chọn mẫu dữ liệu để gán nhãn từ một hồ dữ liệu chưa được gán nhãn, và lặp đi lặp lại quá trình lựa chọn dữ liệu và huấn luyện mô hình để được tập dữ liệu cho việc gán nhãn. Khác với phương pháp học chủ động, phương pháp lựa chọn tập lõi có thể thực hiện cho cả tập dữ liệu đã gán nhãn và chưa gán nhãn. Mục đích của phương pháp chọn tập lõi là tìm tập con nhỏ nhất có độ chính xác xấp xỉ toàn bộ tập dữ liệu.

Thuật toán thường sử dụng cho phương pháp lựa chọn tập lõi là phương pháp phân cụm k-means hoặc k-median. Sau khi lựa chọn được các tập Core-Set, ta có thể lựa chọn các mẫu theo tỉ lệ nhất định từ mỗi tập Core-Set này. Phương pháp Core-Set là phương pháp đơn giản, chủ yếu dựa vào phân cụm và khó kết hợp đối với tập dữ liệu đã gán nhãn sẵn hoặc mẫu có đặc trưng phức tạp. Ví dụ trong trường hợp nhận dạng tiếng nói, ta có thể phân cụm các mẫu trong tập dữ liệu chưa gán nhãn bằng đặc trưng âm học (MFCC), tuy nhiên sẽ không hiệu quả vì đây là đặc trưng theo thời gian.

Ta có thể thay bằng tìm tập Core-Set cho nhãn các câu được giải mã bằng máy, nhưng phụ thuộc vào độ chính xác của mô hình học và không thể kiểm tra đối với các mẫu đã gán nhãn. Phương pháp học chủ động là phương pháp tốt nhất để lựa chọn các dữ liệu quan trọng cho một hệ thống gán nhãn (hay mô hình học máy), có thể hoạt động trên nhiều bài toán và kiểu dữ liệu. Do đó, trong luận văn này, luận văn sẽ tập trung vào bài toán nhận dạng tiếng nói và việc áp dụng phương pháp học chủ động cho bài toán nhận dạng tiếng nói. Đánh giá chất lượng gán nhãn Để đánh giá chất lượng gán nhãn, ta có thể sử dụng 2 phương pháp tự động hoặc thủ công.

 Phương pháp thủ công: Cần có các nhóm người với vai trò người đánh giá. Nhóm sẽ xem xét các mẫu dữ liệu nhân viên gán nhãn và thực hiện và thực hiện đánh giá, chỉnh sửa lại. 17  Phương pháp tự động: Có nhiều phương pháp đánh giá tự động, tuy nhiên việc đánh giá tự động không đảm bảo được tính chính xác tuyệt đối. o Phương pháp 1 - Sử dụng tập dữ liệu đã gán nhãn: Đưa các dữ liệu này vào tập dữ liệu cần gán nhãn.

Kiểm tra tính chính xác của nhân viên gán nhãn bằng cách đối chiếu với nhãn thực tế. o Phương pháp 2 – So sánh chéo: So sánh nhiều mẫu được thực hiện bởi các nhân viên gán nhãn. So sánh và đối chiếu độ chính xác dựa trên các mẫu dữ liệu này. Mô hình nhận dạng tiếng nói.

Giới thiệu Bài toán nhận dạng tiếng nói là bài toán khó và gần đây rất được chú ý và nghiên cứu bởi cộng đồng. Nhưng thực tế bài toán nhận dạng tiếng nói được các nhà khoa học nghiên cứu từ rất sớm, từ đầu những năm 1950. Bài toán nhận dạng tiếng nói đi từ các bài toán đơn giản như nhận dạng từng chữ số, phát triển đến nhận dạng 26 ký tự trong bảng từ điển Tiếng Anh, và hiện nay là có thể nhận dạng được theo cả từ và câu. Quá trình phát triển của các mô hình nhận dạng tiếng nói [1].

Ảnh 4 Lịch sử phát triển của hệ thống nhận dạng tiếng nói Các mô hình nhận dạng tiếng nói cũng đi từ phương pháp thô sơ đến các phương pháp phức tạp như phương pháp học sâu đầu cuối. Các phương pháp ban đầu của nhận dạng tiếng nói chủ yếu dựa vào phương pháp phân loại đặc trưng âm thanh của các ký tự chữ hoặc số tương ứng. Đến những năm 1980, với sự phát triển của mô hình Markov ẩn (Hidden Markov Model, viết tắt HMM) là mô hình học máy dựa vào thống kê có thể xử lý dữ liệu theo chuỗi thời gian, các hệ thống nhận dạng tiếng nói trở nên phổ biến, được nghiên cứu nhiều hơn và độ chính xác được cải tiến đáng kể. Sau này, với sự phát triển 19 của mạng học sâu và phần cứng GPU, mô hình nhận dạng tiếng nói chuyển dịch dần sang mô hình lai (kết hợp HMM và mạng học sâu) từ đầu những năm 2010.

Từ năm 2013 đến nay, các mô hình học sâu đầu cuối đã bước đầu thay thế các phương pháp lai vì sự tiện lợi và dễ dàng trong việc chuẩn bị dữ liệu, huấn luyện mô hình cũng như khi triển khai thực tế. Ảnh 5 Độ chính xác của Google Voice qua các thời kỳ [2] Độ chính xác của mô hình nhận dạng học máy tăng nhanh từ khoảng từ năm 2013 trở lại đây. Hình trên cho thấy từ năm 2013, google chỉ đạt độ chính xác gần 78%, nhưng đến nay đã đạt độ chính xác tương tự con người với mức 95%. Công nghệ nhận dạng tiếng nói cũng được tìm hiểu và nghiên cứu từ đầu những năm 2014, 2015 bởi các tập đoàn lớn như Viettel, FPT, Zalo, Vingroup, … Việc triển khai hệ thống nhận dạng tiếng nói cho Tiếng Việt gặp nhiều khó khăn hơn tiếng Anh do một số nguyên nhân sau: ● Tiếng Việt có ngữ pháp đa dạng phong phú ● Tiếng Việt là ngôn ngữ từ ghép.

● Tiếng Việt có nhiều phát âm vùng miền… 20 Để phát triển một hệ thống nhận dạng tiếng nói tốt thì yêu cầu từ vài trăm giờ đến vài chục nghìn giờ dữ liệu huấn luyện.