Chương 1: Giới thiệu chung — Khái quát về lịch sử phát triển cũng như * “Ww các tiễn bộ trong lĩnh vực phân loại phương ngữ và nhận dạng giọng nói. Bên cạnh đó, nhóm cũng trình bày các thách thức phải đối mặt cũng như làm rõ, khang định tính cấp thiết và khả năng ứng dụng của đề tài. Chương 2: Các công trình liên quan - Giới thiệu và phân tích các bộ dữ liệu về phương ngữ đã được xây dựng trên toàn cầu và trong nước. Xem xét và nhận định các mặt hạn chế của những nghiên cứu ổi trước, rút ra kinh nghiệm quan trọng cho việc thiết lập và xây dựng bộ dữ liệu giọng nói phương ngữ tiếng Việt, cung cấp tiền đề vững chắc, chất lượng cho các công việc trong đề tài.
> + Chương 3: Ngữ âm Việt Nam - Tổng hợp các nội dung cơ bản, quan trọng về cấu trúc và các đặc trưng âm tiết tiếng Việt, bao gồm các thành phần như âm đầu, âm cuối và thanh điệu. Đồng thời, trình bày sự đặc trưng của các yếu tô này giữa các phương ngữ khác nhau, thông qua đó cung cấp cơ sở cho quá trình đánh giá kết quả và phân tích lỗi. Ww Chương 4: Bộ dữ liệu ViMD - Mô tả chỉ tiết về quy trình xây dựng bộ dữ liệu đa phương ngữ. Từ dữ liệu đó, chúng tôi trực quan các thống kê từ tông quan cho đến chi tiết về phương ngữ tỉnh, phương ngữ vùng, giới tính.
Ngoài ra, chúng tôi còn đề cập đến những mặt hạn chế mà bộ dit liệu gặp phải. s%* >, Chương 5: Cài đặt, thử nghiệm và đánh giá — Giới thiệu về các mô hình được sử dụng, cách thức thiết kế thử nghiệm cụ thé và phương pháp tiền xử lý dữ liệu trên hai tác vụ là Phân loại phương ngữ và Nhận dạng giọng nói. Bên cạnh đó, chúng tôi cũng trình bày chi tiết về độ đo, mô hình cụ thé cũng như phân tích các kết quả nồi bật và lỗi trong quá trình thử nghiệm nhằm chứng minh sự thách thức cũng như tầm quan trọng của bộ dữ liệu trong việc cải thiện các mô hình tiên tiến. Các siêu tham số của mô hình cũng sẽ được chúng tôi trình bày, nhằm bảo đảm tính minh bạch va kha năng tai tạo két qua.
* > Chương 6: Thao luận — Một s6 thao luan, suy đoán được tiến hành dựa trên kết quả thu được nhằm tìm hiểu kỹ hơn về các yếu tổ tác động đến phương ngữ. Đồng thời, hạn chế của cách tiếp cận hiện nay đối với tác vụ nhận dạng giọng nói đa phương ngữ cũng được chúng tôi trình bày. 2€ +, Chương 7: Kết luận và hướng phát triển - Tổng hợp, đánh giá các đóng góp của đề tài. Nêu ra hạn chế, từ đó đề xuất các hướng phát triển tiếp theo trong tương lai với mục tiêu tối ưu hiệu suất cho các tác vụ liên quan đến giọng nói tiếng Việt, đặc biệt là tác vụ nhận dạng giọng nói có yếu tố phương ngữ.
GIỚI THIEU CHUNG VE PHAN LOẠI PHƯƠNG NGỮ VÀ NHAN DẠNG GIỌNG NÓI 1. Tổng quan về phân loại phương ngữ Phương ngữ, hay còn gọi là tiếng địa phương, là một khái niệm quan trọng trong ngôn ngữ học và xử lý tín hiệu giọng nói. Khái niệm này đề cập đến sự khác biệt trong cách ngữ điệu, từ vựng và cách phát âm giữa các vùng địa lý khác nhau trong cùng một ngôn ngữ. Việc phân loại phương ngữ là quá trình xác định vùng địa lý hoặc nguồn gốc của một mẫu giọng nói dựa trên các đặc điểm ngôn ngữ và âm thanh đặc trưng.
Định nghĩa về phân loại phương ngữ có thé được hiểu là quá trình xác định và phân biệt các phương ngữ khác nhau trong cùng một ngôn ngữ dựa trên các đặc điểm ngôn ngữ và âm thanh đặc trưng. Điều này đóng vai trò quan trọng trong nhiều ứng dụng như nhận dạng giọng nói, dịch máy. Phương pháp truyền thống: Trong giai đoạn đầu, các phương pháp cô điền chủ yếu dựa trên việc trích xuất các đặc trưng âm thanh từ tín hiệu giọng nói. MFCCs là một trong những đặc trưng rất quan trọng, cho phép mô hình hóa các đặc điểm cơ bản của giọng nói như âm sắc, âm lượng va năng lượng âm thanh.
Chromagram cung cấp thông tin về sự xuất hiện của các thông tin nốt trong tín hiệu, trong khi Zero-crossing và FO liên quan đến tan số và chu kỳ của sóng âm thanh. Các đặc trưng như Spectral centroid và Spectral roll- off mô tả phân bố năng lượng trên miễn tần số. Những đặc trưng này được kết hợp với các mô hình học máy (Machine learning) truyền thống như mô hình Markov ân (HMM), mô hình hỗn hợp Gaussian (GMM) va máy véc-tơ hỗ trợ (SVM) dé xay dựng các hệ thống phân loại phương ngữ ban dau. Tiếp theo, với sự phát triển của các mạng nơ-ron nhân tạo (neural networks), một số nghiên cứu đã sử dụng các mô hình mạng nơ-ron như mạng nơ-ron sâu (Deep Neural Network - DNN), mạng nơ-ron tích chap (Convolutional Neural Network - CNN), mạng nơ-ron hồi quy (Recurrent Neural Network - RNN) hay bộ nhớ dài-ngắn hạn (Long-Short Term Memory - LSTM) với các đặc trưng âm thanh nêu trên, thậm chí là các đặc trưng thô (raw features) từ tín hiệu âm thanh.
Các mạng CNN thường được sử dụng dé trích xuất các đặc trưng tần số và thời gian từ tín hiệu âm thanh, RNN và LSTM giúp mô hình học được các mẫu dài hạn và phụ thuộc ngữ cảnh trong dữ liệu. Các mô hình DNN sâu hơn cũng được sử dụng dé học các biểu diễn phức tạp hơn từ đữ liệu đầu vào. Một kiến trúc đáng chú ý là mạng nơ-ron trễ thời gian (Time Delay Neural Network - TDNN), được ứng dụng thành công trong các hệ thống nhận dạng giọng nói và phân loại phương ngữ. TDNN kết hợp các lớp convolution và các lớp fully-connected, cho phép mô hình học được cả các đặc trưng tần số và thời gian từ tín hiệu âm thanh.
Phương pháp hiện đại Gần đây, với sự bùng nỗ của kỹ thuật Attention, rất nhiều mô hình mới đã ra đời trong lĩnh vực phân loại phương ngữ. Một trong những kiến trúc tiên tiễn là ECAPA-TDNN (Emphatic Channel-Attention, Propagation, and Aggregation in TDNN), kết hợp cơ chế Attention với TDNN dé tăng cường khả năng hoc các đặc trưng liên quan đến phương ngữ và giảm thiêu tác động của các đặc trưng không liên quan. Cơ chế Attention trong ECAPA-TDNN cho phép mô hình tập trung vào các đặc trưng quan trọng nhất trong tín hiệu đầu vào, và bỏ qua các đặc trưng ít liên quan đến phương ngữ như tiếng ồn nền hay biến thể giọng nói cá nhân. Ngoài ra, các mô hình sử dung Attentive Statistic Pooling (ASP) ban đầu được sử dụng dé nhận dang người nói, chúng có thé tinh chỉnh dé ứng dụng dé phân loại phương ngữ.
ASP áp dụng Attention trong việc trích xuất và tổng hợp các đặc trưng thống kê từ tín hiệu âm thanh. Các kiến trúc Multi-head Attention cho phép sử dụng nhiều đầu Attention có thể giúp mô hình ghi nhận thông tin từ nhiều khía cạnh của tín hiệu như ngữ điệu, ngữ âm, hay ngữ pháp. Tổng quan về nhận dạng giọng nói Ban đầu, lĩnh vực này chủ yếu dựa vào các kỹ thuật xử lý tín hiệu truyền thống, tập trung vào việc phân tích và xử lý các đặc tính thô của tín hiệu âm thanh. Tuy nhiên, cùng với sự phát triển của công nghệ, các phương pháp mới dựa trên học sâu đã được áp dụng phổ biến, mang lại hiệu quả đáng kể trong việc cải thiện độ chính xác và khả năng thích ứng của các hệ thống ASR hiện đại.
Phương pháp truyền thống Trong kiến trúc của các hệ thống nhận dạng giọng nói truyền thống, ba thành phần cốt lõi là mô hình âm thanh, mô hình phát âm, và mô hình ngôn ngữ. Mỗi mô hình này có vai trò và chức năng đặc biệt, được huấn luyện một cách độc lập dé đảm bảo răng chúng có thê xử lý và phân tích các yêu tô riêng biệt của giọng nói. Mô hình âm thanh: Trong lĩnh vực nhận dạng giọng nói tự động, mô hình âm thanh đã trải qua nhiều bước phát triển đột phá trong vài thập kỷ qua. Trong thời gian dài, HMM phối hợp cùng GMM đã trở thành nền tảng chủ đạo, với khả năng khai thác mối liên hệ thống kê giữa các đặc trưng âm thanh và âm vị một cách hiệu quả.
Tuy nhiên, sự bùng nỗ của học sâu đã mở ra một kỷ nguyên mới cho lĩnh vực này, với sự thống trị của các mạng nơ-ron sâu. Các mô hình DNN này có khả năng học những kiến thức phức tạp, trừu tượng từ lượng dữ liệu lớn, khiến chúng trở thành công cụ lý tưởng cho nhiệm vụ mô hình hóa âm thanh vô cùng phức tạp trong ASR. Ngoài ra, các phương pháp lai ghép giữa DNN với các mô hình truyền thống cũng đã chứng minh được khả năng nhận dạng ấn tượng của mình, đặc biệt trong việc xử lý các bộ từ vựng đa dạng. Các kiến trúc mạng nơ-ron sâu mới như CNN và RNN không ngừng được phát triển và cải tiến, từ đó làm phong phú thêm các kỹ thuật mô hình hóa âm thanh.
Mô hình ngôn ngữ: Đóng vai trò vô cùng quan trọng trong các hệ thống ASR, cung cấp khả năng dự đoán sự xuất hiện của chuỗi từ và liên kết các từ với nhau một cách có ý nghĩa. Từ lâu, mô hình n-gram đã là công cụ chủ đạo, dựa vào sự xuất hiện của các từ trước đó trong cùng một chuỗi và phân tích, ước lượng xác suất xuất hiện tiếp theo của một từ. Tuy nhiên, phương pháp này chỉ hiệu quả với ngữ liệu hạn chế và cú pháp đơn giản. Với những âm thanh có mối quan hệ phức tạp, nó thường không bắt kịp các đặc thù ngôn ngữ, cụ thể như ngữ pháp và ngữ nghĩa.
Cùng với sự phát triển của công nghệ và những tiến bộ trong kiến trúc mạng nơ-ron, Transformer, RNN và các biến thé của chúng như LSTM và GRU đã cung cấp khả năng xử lý tốt hơn các phụ thuộc dài hạn trong ngữ liệu. Không chỉ vậy, các mô hình này còn khai thác sức mạnh của học sâu, cho phép chúng nắm bắt được các mối quan hệ phức tạp giữa các từ vượt ra ngoài ngữ cảnh trực tiếp. Những ưu điểm này đã gia tăng đáng kể khả năng của mô hình ngôn ngữ trong việc tích hợp liên tục thông tin ngữ cảnh dài hạn và cung cấp khả năng dự đoán chuỗi từ với độ chính xác cao hơn, đặc biệt là trong các ngữ cảnh phức tạp.