Nghiên cứu và phát triển giải pháp thu thập dữ liệu giao thông dựa trên kỹ thuật giọng nói

• Tác giả: Nguyễn Thị Ty
• Người hướng dẫn: Assoc. Trần Minh Quang
• Trường học: Vietnam National University Ho Chi Minh City
• Chuyên ngành: Computer Science
• Đề tài: Giải Pháp Thu Thập Dữ Liệu Giao Thông Bằng Kỹ Thuật Giọng Nói
• Loại tài liệu: master thesis
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

• ACKNOWLEDGMENTS
• ABSTRACT
• TÓM TẮT LUẬN VĂN
• DECLARATION
• 1. INTRODUCTION
• 1.1. General Introduction
• 1.2. Problem Description
• 3. RELATED WORK
• 4. APPROACH
• 4.1. Choosing ESPnet for ASR Model Development
• 4.2. Data Collection and Data Processing
• 4.3. Training and Decoding for End-to-End ASR
• 4.3.1. Attention-based Encoder Decoder
• 4.3.2. Hybrid CTC/Attention End-to-End ASR
• 5. EXPERIMENT AND EVALUATION
• 5.1. Data Processing Method Experiment
• 5.2. RNNLM Training Experiment
• 5.3. Experimental Result and Analysis
• 5.4. Architecture Comparison Experiment
• 5.5. Language Model Weight Variation Experiment
• 5.6. CTC Weight Variation Experiment
• 5.7. VOH Data Impact Assessment Experiment
• 5.8. bktraffic-analyxer and Training Server Environments
• 5.9. ASR Deployment Result
• 5.10. ASR Deployment Result Analysis
• List of Figures
• List of Tables

I. Giới thiệu về thu thập dữ liệu giao thông

Trong bối cảnh giao thông đô thị ngày càng phức tạp, việc thu thập dữ liệu giao thông chính xác và kịp thời trở thành một yếu tố quan trọng trong việc quản lý và tối ưu hóa hệ thống giao thông. Hệ thống Dự báo Tình trạng Giao thông Đô thị (UTraffic) sử dụng dữ liệu giao thông từ các nguồn khác nhau để đưa ra các dự đoán và phân tích chính xác. Việc dữ liệu giao thông được thu thập thông qua các ứng dụng web và di động cho phép người dùng gửi báo cáo tình hình giao thông bằng giọng nói, từ đó chuyển đổi thành văn bản thông qua công nghệ nhận dạng giọng nói tự động (ASR). Sự phát triển này không chỉ cải thiện tính tiện lợi cho người dùng mà còn nâng cao hiệu quả trong việc quản lý giao thông. Theo nghiên cứu, công nghệ nhận diện giọng nói có thể giúp giảm thiểu thời gian và công sức cần thiết để thu thập thông tin giao thông, từ đó tạo ra một hệ thống giao thông thông minh hơn.

II. Kỹ thuật giọng nói trong thu thập dữ liệu

Kỹ thuật giọng nói đóng vai trò cốt yếu trong việc thu thập dữ liệu giao thông. Các mô hình ASR hiện đại, như mô hình dựa trên Conformer và Transformer, đã được áp dụng để chuyển đổi giọng nói thành văn bản một cách chính xác. Việc này không chỉ giúp cải thiện độ chính xác của thông tin mà còn giảm thiểu độ thiên lệch trong việc nhận diện giọng nói từ các nguồn dữ liệu khác nhau. Nghiên cứu cho thấy rằng việc cải thiện chất lượng âm thanh qua các kỹ thuật như tăng cường giọng nói và xử lý âm thanh có thể nâng cao đáng kể hiệu suất của mô hình ASR. Sự phát triển này mở ra cơ hội mới cho việc ứng dụng giọng nói trong nhiều lĩnh vực khác nhau, từ quản lý giao thông đến dịch vụ khách hàng và hơn thế nữa.

III. Phân tích dữ liệu giao thông

Phân tích dữ liệu giao thông là một bước quan trọng trong quá trình tối ưu hóa hệ thống giao thông. Qua việc áp dụng các kỹ thuật phân tích dữ liệu tiên tiến, các nhà nghiên cứu có thể xác định các mẫu và xu hướng trong dữ liệu giao thông, từ đó đưa ra các giải pháp quản lý hiệu quả. Hệ thống UTraffic sử dụng dữ liệu từ các báo cáo giọng nói để phân tích tình trạng giao thông theo thời gian thực, giúp phát hiện sự cố và tối ưu hóa lộ trình cho người lái xe. Việc tích hợp dữ liệu từ nhiều nguồn khác nhau và xử lý chúng một cách hiệu quả là rất cần thiết để đảm bảo rằng thông tin được cung cấp là chính xác và kịp thời.

IV. Thách thức trong nhận diện giọng nói giao thông

Mặc dù công nghệ ASR đã đạt được nhiều thành tựu, vẫn tồn tại nhiều thách thức trong việc nhận diện giọng nói trong lĩnh vực giao thông. Một trong những vấn đề chính là sự thiếu hụt dữ liệu chất lượng cao để huấn luyện mô hình ASR. Dữ liệu hiện tại chủ yếu là dữ liệu tổng hợp, dẫn đến việc mô hình không thể nhận diện chính xác các báo cáo giao thông thực tế. Ngoài ra, sự khác biệt về giọng nói giữa các người dùng và điều kiện môi trường cũng có thể ảnh hưởng đến độ chính xác của mô hình. Để khắc phục những vấn đề này, việc thu thập dữ liệu từ các nguồn thay thế và áp dụng các kỹ thuật xử lý âm thanh tiên tiến là rất cần thiết.

V. Giải pháp công nghệ trong giao thông thông minh

Giải pháp công nghệ cho việc thu thập dữ liệu giao thông bằng kỹ thuật giọng nói không chỉ dừng lại ở việc phát triển mô hình ASR mà còn bao gồm việc cải thiện quy trình thu thập và xử lý dữ liệu. Việc áp dụng trí tuệ nhân tạo (AI) và học máy (machine learning) trong phân tích dữ liệu giao thông có thể giúp tối ưu hóa hiệu suất của hệ thống. Hơn nữa, việc phát triển các ứng dụng di động cho phép người dùng báo cáo tình hình giao thông một cách dễ dàng và nhanh chóng cũng là một yếu tố quan trọng. Những giải pháp này không chỉ giúp nâng cao hiệu quả trong quản lý giao thông mà còn tạo ra một hệ thống giao thông thông minh và bền vững hơn.

Tổng quan nghiên cứu

Trong bối cảnh đô thị hóa nhanh chóng, hệ thống giao thông thông minh đóng vai trò quan trọng trong việc quản lý và dự báo tình trạng giao thông nhằm giảm thiểu ùn tắc và tai nạn. Hệ thống Dự Báo Tình Trạng Giao Thông Đô Thị (UTraffic) tại TP. Hồ Chí Minh sử dụng công nghệ nhận dạng giọng nói tự động (ASR) để chuyển đổi các báo cáo giao thông bằng giọng nói thành văn bản, hỗ trợ phân tích và dự báo. Tuy nhiên, hệ thống hiện tại gặp phải hai thách thức chính: thiếu hụt dữ liệu thực tế chất lượng cao để huấn luyện mô hình ASR và độ chính xác của mô hình ASR trong việc nhận dạng các báo cáo giọng nói thực tế còn hạn chế. Bộ dữ liệu hiện tại chủ yếu dựa trên dữ liệu tổng hợp, dẫn đến thiên lệch và giảm hiệu quả khi áp dụng cho dữ liệu thực tế. Mục tiêu nghiên cứu là phát triển giải pháp thu thập dữ liệu giao thông dựa trên kỹ thuật giọng nói, xây dựng pipeline xử lý dữ liệu hiệu quả và thử nghiệm các kiến trúc mô hình ASR tiên tiến nhằm nâng cao độ chính xác nhận dạng. Nghiên cứu tập trung vào dữ liệu thu thập từ kênh phát thanh VOH 95.6 MHz, dữ liệu người dùng đóng góp và dữ liệu tổng hợp, trong khoảng thời gian từ cuối năm 2022 đến đầu năm 2023 tại TP. Hồ Chí Minh. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc cải thiện chất lượng dữ liệu và hiệu suất mô hình ASR, góp phần nâng cao hiệu quả quản lý giao thông đô thị thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình chính trong lĩnh vực nhận dạng giọng nói tự động (ASR), bao gồm:

• Mô hình âm học (Acoustic Modeling): Sử dụng các kiến trúc mạng nơ-ron sâu như Conformer, Transformer và Branchformer để mô hình hóa mối quan hệ giữa tín hiệu âm thanh và các đơn vị phát âm. Conformer kết hợp mạng tích chập và cơ chế tự chú ý để nắm bắt cả phụ thuộc cục bộ và toàn cục trong tín hiệu âm thanh. Branchformer cải tiến bằng cách sử dụng hai nhánh song song để xử lý các mối quan hệ ở các phạm vi khác nhau, tăng tính linh hoạt và hiệu quả.
• Mô hình ngôn ngữ (Language Modeling): Áp dụng các mô hình RNN và Transformer để dự đoán xác suất xuất hiện của các chuỗi từ, giúp cải thiện độ chính xác trong quá trình giải mã.
• Kiến trúc kết hợp CTC/Attention: Kết hợp ưu điểm của Connectionist Temporal Classification (CTC) và cơ chế attention trong mô hình end-to-end, giúp cải thiện khả năng căn chỉnh và nhận dạng chính xác hơn.

Các khái niệm chính bao gồm: sampling rate conversion (chuyển đổi tần số lấy mẫu), speech enhancement (tăng cường giọng nói), word error rate (WER - tỷ lệ lỗi từ), real-time factor (RTF - hệ số thời gian thực), và latency (độ trễ).

Phương pháp nghiên cứu

• Nguồn dữ liệu: Thu thập dữ liệu từ ba nguồn chính gồm: báo cáo giọng nói do người dùng đóng góp qua ứng dụng UTraffic (khoảng 3,251 giây), dữ liệu tổng hợp từ công cụ Vbee (khoảng 122,569 giây), và báo cáo giao thông thực tế từ kênh VOH 95.6 MHz (khoảng 25,628 giây). Dữ liệu VOH được thu thập trong giai đoạn từ 22/11/2022 đến 31/01/2023, tập trung vào chương trình "Đi an toàn, về hạnh phúc".
• Phương pháp phân tích: Xây dựng pipeline xử lý dữ liệu bao gồm chuyển đổi tần số lấy mẫu về 16 kHz, chuyển đổi âm thanh đa kênh sang đơn kênh, và áp dụng mô hình tăng cường giọng nói Conv-TasNet để giảm nhiễu. Dữ liệu VOH được phiên âm thủ công nhằm đảm bảo độ chính xác cao. Mô hình ASR được phát triển trên nền tảng ESPnet, thử nghiệm ba kiến trúc hybrid CTC/attention gồm Transformer, Conformer và Branchformer. Đánh giá hiệu suất dựa trên các chỉ số WER, latency và real-time factor.
• Timeline nghiên cứu: Nghiên cứu bắt đầu từ tháng 2/2023, hoàn thành thu thập và xử lý dữ liệu trong quý 1, thử nghiệm mô hình và đánh giá trong quý 2, hoàn thiện luận văn vào tháng 6/2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Phát triển bộ dữ liệu chất lượng cao: Bằng cách bổ sung dữ liệu thực tế từ kênh VOH 95.6 MHz (khoảng 7 giờ), bộ dữ liệu huấn luyện được mở rộng và giảm thiểu sự thiên lệch do dữ liệu tổng hợp. Tỷ lệ dữ liệu thực tế chiếm khoảng 15% tổng thời lượng, giúp mô hình học được đa dạng phong cách giọng nói và từ vựng đặc thù giao thông.
2. Cải thiện hiệu quả xử lý dữ liệu: Việc chuẩn hóa tần số lấy mẫu về 16 kHz và chuyển đổi âm thanh đa kênh sang đơn kênh giúp đồng nhất dữ liệu. Áp dụng Conv-TasNet giảm đáng kể nhiễu nền, làm giảm WER khoảng 1.5% so với dữ liệu chưa xử lý, từ mức 6.5% xuống còn khoảng 5%.
3. So sánh kiến trúc mô hình ASR: Kiến trúc Branchformer cho kết quả tốt nhất với WER thấp hơn 3-5% so với Conformer và Transformer trên cùng bộ dữ liệu thử nghiệm. Branchformer cũng thể hiện độ trễ thấp hơn và khả năng xử lý song song tốt hơn, phù hợp với yêu cầu thời gian thực.
4. Ảnh hưởng của mô hình ngôn ngữ: Kết hợp mô hình ngôn ngữ RNN-LM trong quá trình giải mã giúp giảm WER thêm khoảng 2%, nâng cao độ chính xác nhận dạng các thuật ngữ chuyên ngành và từ vựng địa phương.

Thảo luận kết quả

Nguyên nhân cải thiện hiệu suất mô hình ASR chủ yếu đến từ việc bổ sung dữ liệu thực tế đa dạng, giúp mô hình giảm thiểu hiện tượng overfitting vào dữ liệu tổng hợp. Việc xử lý dữ liệu âm thanh chuẩn hóa và tăng cường giọng nói làm tăng chất lượng đầu vào, giảm nhiễu và biến động âm thanh, từ đó nâng cao độ chính xác nhận dạng. So với các nghiên cứu trước đây chỉ sử dụng dữ liệu tổng hợp và kiến trúc Conformer, nghiên cứu này đã mở rộng phạm vi dữ liệu và thử nghiệm kiến trúc mới, đạt được bước tiến rõ rệt về độ chính xác và hiệu suất. Kết quả có thể được minh họa qua biểu đồ so sánh WER giữa các kiến trúc và các kịch bản xử lý dữ liệu, cũng như bảng tổng hợp các chỉ số latency và real-time factor, giúp đánh giá toàn diện hiệu quả mô hình.

Đề xuất và khuyến nghị

1. Tiếp tục mở rộng thu thập dữ liệu thực tế: Khuyến nghị duy trì và tăng cường thu thập báo cáo giao thông từ các kênh phát thanh địa phương và người dùng để đa dạng hóa dữ liệu, giảm thiểu thiên lệch và nâng cao khả năng tổng quát của mô hình. Mục tiêu tăng thêm ít nhất 20 giờ dữ liệu thực tế trong 12 tháng tới, do nhóm nghiên cứu và các đối tác truyền thông thực hiện.
2. Triển khai pipeline xử lý dữ liệu tự động: Xây dựng hệ thống tự động chuẩn hóa tần số lấy mẫu, chuyển đổi kênh và áp dụng tăng cường giọng nói để đảm bảo chất lượng dữ liệu đầu vào ổn định, giảm thiểu công sức thủ công. Thời gian hoàn thành dự kiến trong 6 tháng, do nhóm kỹ thuật phát triển.
3. Ưu tiên sử dụng kiến trúc Branchformer trong mô hình ASR: Do hiệu quả vượt trội về độ chính xác và tốc độ xử lý, kiến trúc Branchformer nên được triển khai chính thức trong hệ thống UTraffic, đồng thời tiếp tục nghiên cứu tối ưu tham số và mở rộng quy mô huấn luyện. Thời gian áp dụng trong vòng 3 tháng.
4. Tích hợp mô hình ngôn ngữ nâng cao: Phát triển và cập nhật mô hình ngôn ngữ RNN-LM hoặc Transformer-LM phù hợp với ngữ cảnh giao thông địa phương, giúp cải thiện khả năng nhận dạng từ vựng chuyên ngành và từ mới. Dự kiến hoàn thiện trong 9 tháng, phối hợp giữa nhóm nghiên cứu và chuyên gia ngôn ngữ.
5. Đào tạo và nâng cao nhận thức người dùng: Tổ chức các chương trình hướng dẫn người dùng ứng dụng UTraffic cách ghi âm báo cáo chính xác, giúp tăng chất lượng dữ liệu thu thập từ người dùng. Thời gian triển khai liên tục, do bộ phận truyền thông và hỗ trợ khách hàng đảm nhiệm.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và phát triển công nghệ ASR: Luận văn cung cấp kiến thức chuyên sâu về kiến trúc mô hình, xử lý dữ liệu và đánh giá hiệu suất, hỗ trợ phát triển các hệ thống nhận dạng giọng nói trong lĩnh vực giao thông và các lĩnh vực tương tự.
2. Chuyên gia quản lý giao thông đô thị: Các giải pháp và kết quả nghiên cứu giúp cải thiện hệ thống dự báo và quản lý giao thông thông minh, nâng cao hiệu quả vận hành và giảm thiểu ùn tắc.
3. Nhà phát triển phần mềm ứng dụng giao thông: Thông tin về pipeline xử lý dữ liệu và tích hợp mô hình ASR giúp xây dựng các ứng dụng thu thập và phân tích dữ liệu giao thông dựa trên giọng nói.
4. Cơ quan truyền thông và báo chí: Nguồn dữ liệu và phương pháp xử lý âm thanh từ kênh phát thanh VOH 95.6 MHz có thể được áp dụng để nâng cao chất lượng nội dung phát thanh và phân tích dữ liệu liên quan đến giao thông.

Câu hỏi thường gặp

1. Tại sao cần bổ sung dữ liệu thực tế thay vì chỉ dùng dữ liệu tổng hợp?
   Dữ liệu tổng hợp thường thiếu đa dạng về giọng nói, ngữ điệu và tiếng ồn nền, dẫn đến mô hình ASR không thể nhận dạng chính xác khi áp dụng thực tế. Dữ liệu thực tế giúp mô hình học được các biến thể tự nhiên, nâng cao khả năng tổng quát.

2. Làm thế nào để xử lý dữ liệu âm thanh có nhiều kênh và tần số lấy mẫu khác nhau?
   Dữ liệu được chuyển đổi về định dạng chuẩn gồm một kênh âm thanh và tần số lấy mẫu 16 kHz để đảm bảo tính đồng nhất, giúp mô hình ASR hoạt động hiệu quả và ổn định.

3. Conv-TasNet có vai trò gì trong pipeline xử lý dữ liệu?
   Conv-TasNet là mô hình tăng cường giọng nói giúp giảm nhiễu nền và cải thiện chất lượng âm thanh, từ đó giảm tỷ lệ lỗi nhận dạng (WER) của mô hình ASR.

4. Kiến trúc Branchformer có ưu điểm gì so với Conformer?
   Branchformer sử dụng hai nhánh song song để xử lý các mối quan hệ âm thanh ở phạm vi khác nhau, tăng tính linh hoạt, cải thiện hiệu suất nhận dạng và giảm độ trễ so với Conformer.

5. Làm thế nào để đánh giá hiệu quả của mô hình ASR?
   Hiệu quả được đánh giá qua các chỉ số như Word Error Rate (WER) đo độ chính xác nhận dạng, latency đo độ trễ xử lý, và real-time factor (RTF) đo khả năng xử lý thời gian thực của mô hình.

Kết luận

• Đã xây dựng thành công bộ dữ liệu giao thông thực tế chất lượng cao, bổ sung đáng kể cho dữ liệu tổng hợp hiện có.
• Thiết kế pipeline xử lý dữ liệu chuẩn hóa và tăng cường giọng nói giúp cải thiện hiệu suất mô hình ASR, giảm WER khoảng 1.5%.
• Kiến trúc Branchformer được xác định là lựa chọn tối ưu cho mô hình ASR trong hệ thống UTraffic, vượt trội về độ chính xác và hiệu suất so với các kiến trúc khác.
• Kết hợp mô hình ngôn ngữ RNN-LM nâng cao khả năng nhận dạng từ vựng chuyên ngành và từ mới trong báo cáo giao thông.
• Đề xuất các giải pháp mở rộng dữ liệu, tự động hóa xử lý, triển khai kiến trúc mới và đào tạo người dùng nhằm nâng cao hiệu quả hệ thống trong tương lai.

Next steps: Triển khai mô hình Branchformer trong hệ thống UTraffic, mở rộng thu thập dữ liệu thực tế, và phát triển pipeline xử lý tự động.

Call-to-action: Các nhà nghiên cứu và chuyên gia trong lĩnh vực ASR và giao thông đô thị được khuyến khích áp dụng và phát triển tiếp các giải pháp dựa trên kết quả nghiên cứu này để nâng cao hiệu quả quản lý giao thông thông minh.