Luận Văn Thạc Sĩ Về Nhận Dạng Tiếng Nói Tiếng Việt Bằng Phương Pháp Học Sâu

Khám phá luận văn thạc sĩ về nhận dạng tiếng nói tiếng Việt bằng phương pháp học sâu, ứng dụng công nghệ tiên tiến trong lĩnh vực ngôn ngữ.

• Tác giả: Trần Thanh Hiệp
• Người hướng dẫn: TS. Bùi Thanh Hùng
• Trường học: Trường Đại học Thủ Dầu Một
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nhận dạng tiếng nói tiếng Việt bằng phương pháp học sâu
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Bình Dương

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• SUMMARY
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH, ĐỒ THỊ
• 1. CHƯƠNG 1: TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng, phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn
• 1.6. Bố cục luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Mạng Nơ-ron nhân tạo
• 2.2. Mạng Nơ-ron tích chập
• 2.2.1. Các mô hình học sâu CNN
• 2.2.1.1. Sự hình thành và phát triển
• 2.2.1.2. Các mô hình CNN tiêu biểu
• 2.3. Xử lý âm thanh
• 2.3.1. Các đặc trưng chính của âm thanh
• 2.3.2. Các phương pháp xử lý âm thanh
• 2.4. Các nghiên cứu liên quan
• 2.5. Hướng đề xuất nghiên cứu
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Tổng quan mô hình đề xuất
• 3.2. Các đặc trưng của mô hình đề xuất
• 3.3. Trích xuất đặc trưng Log-Mel Spectrogram
• 3.4. Huấn luyện mô hình
• 3.5. Phương pháp đánh giá
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Thu thập dữ liệu
• 4.2. Xử lý dữ liệu
• 4.3. Kết quả thực nghiệm
• 4.3.1. Công nghệ sử dụng
• 4.3.2. Trích xuất đặc trưng
• 4.3.3. Nhận dạng tiếng nói
• 4.4. Ứng dụng nhận dạng tiếng nói tiếng Việt
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được
• 5.2. Hướng phát triển
• CÔNG TRÌNH CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nhận Dạng Tiếng Nói Tiếng Việt Bằng Học Sâu

Nhận dạng tiếng nói tiếng Việt là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, đặc biệt là trong bối cảnh phát triển của trí tuệ nhân tạo. Phương pháp học sâu đã mở ra nhiều cơ hội mới cho việc cải thiện độ chính xác và hiệu suất của các hệ thống nhận dạng tiếng nói. Bài viết này sẽ khám phá các khía cạnh chính của nhận dạng tiếng nói tiếng Việt, từ lý thuyết đến ứng dụng thực tiễn.

1.1. Khái Niệm Về Nhận Dạng Tiếng Nói

Nhận dạng tiếng nói là quá trình chuyển đổi âm thanh thành văn bản. Công nghệ này sử dụng các thuật toán học máy để phân tích và hiểu ngôn ngữ tự nhiên. Đặc biệt, nhận dạng tiếng nói tiếng Việt gặp nhiều thách thức do sự đa dạng về ngữ điệu và phương ngữ.

1.2. Tầm Quan Trọng Của Nhận Dạng Tiếng Nói

Nhận dạng tiếng nói có ứng dụng rộng rãi trong nhiều lĩnh vực như trợ lý ảo, dịch vụ khách hàng, và bảo mật. Việc phát triển công nghệ này không chỉ giúp cải thiện trải nghiệm người dùng mà còn nâng cao hiệu quả công việc.

II. Thách Thức Trong Nhận Dạng Tiếng Nói Tiếng Việt

Mặc dù công nghệ nhận dạng tiếng nói đã phát triển mạnh mẽ, nhưng vẫn còn nhiều thách thức cần phải vượt qua, đặc biệt là trong ngữ cảnh tiếng Việt. Các yếu tố như ngữ điệu, âm sắc và phương ngữ có thể ảnh hưởng đến độ chính xác của hệ thống.

2.1. Đặc Điểm Ngôn Ngữ Tiếng Việt

Tiếng Việt là một ngôn ngữ đơn âm, có nhiều âm sắc và ngữ điệu khác nhau. Điều này tạo ra khó khăn trong việc nhận diện chính xác các từ và cụm từ trong ngữ cảnh giao tiếp.

2.2. Ảnh Hưởng Của Phương Ngữ

Việt Nam có 54 dân tộc với nhiều phương ngữ khác nhau. Sự khác biệt này có thể gây khó khăn cho các hệ thống nhận dạng tiếng nói trong việc phân biệt và hiểu đúng ý nghĩa của các từ.

III. Phương Pháp Học Sâu Trong Nhận Dạng Tiếng Nói

Phương pháp học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), đã được chứng minh là hiệu quả trong việc nhận dạng tiếng nói. Các mô hình này có khả năng học hỏi từ dữ liệu lớn và cải thiện độ chính xác theo thời gian.

3.1. Mạng Nơ Ron Tích Chập CNN

CNN là một trong những mô hình học sâu phổ biến nhất, được sử dụng để xử lý dữ liệu hình ảnh và âm thanh. Mô hình này có khả năng tự động trích xuất đặc trưng từ dữ liệu đầu vào mà không cần phải can thiệp thủ công.

3.2. Trích Xuất Đặc Trưng Mel Spectrogram

Mel Spectrogram là một phương pháp hiệu quả để chuyển đổi tín hiệu âm thanh thành dạng mà các mô hình học sâu có thể xử lý. Phương pháp này giúp cải thiện độ chính xác trong việc nhận dạng tiếng nói.

IV. Ứng Dụng Thực Tiễn Của Nhận Dạng Tiếng Nói

Nhận dạng tiếng nói tiếng Việt có nhiều ứng dụng thực tiễn trong đời sống hàng ngày. Từ trợ lý ảo đến các hệ thống bảo mật, công nghệ này đang dần trở thành một phần không thể thiếu trong cuộc sống hiện đại.

4.1. Ứng Dụng Trong Trợ Lý Ảo

Trợ lý ảo như Google Assistant hay Siri đã sử dụng công nghệ nhận dạng tiếng nói để giúp người dùng thực hiện các tác vụ hàng ngày một cách dễ dàng hơn.

4.2. Ứng Dụng Trong Bảo Mật

Nhận dạng tiếng nói cũng được sử dụng trong các hệ thống bảo mật để xác thực danh tính người dùng, giúp tăng cường an ninh cho các dịch vụ trực tuyến.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Nhận dạng tiếng nói tiếng Việt bằng phương pháp học sâu đang trên đà phát triển mạnh mẽ. Với những tiến bộ trong công nghệ, tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều cải tiến đáng kể.

5.1. Kết Quả Nghiên Cứu

Các nghiên cứu gần đây cho thấy rằng việc áp dụng học sâu trong nhận dạng tiếng nói đã mang lại những kết quả khả quan, với độ chính xác cao trong việc phân biệt giọng nói theo giới tính và vùng miền.

5.2. Hướng Phát Triển Trong Tương Lai

Trong tương lai, việc cải thiện các mô hình học sâu và mở rộng dữ liệu huấn luyện sẽ giúp nâng cao hơn nữa độ chính xác và khả năng ứng dụng của công nghệ nhận dạng tiếng nói tiếng Việt.

Nội dung chính

Tổng quan nghiên cứu

Việt Nam là một quốc gia đa dạng văn hóa với 54 dân tộc anh em cùng sự phân hóa phương ngữ sâu sắc giữa 3 miền Bắc, Trung, Nam. Trong bối cảnh thị trường trí tuệ nhân tạo (AI) toàn cầu đạt tốc độ tăng trưởng kép hằng năm trên 20%, bài toán xử lý tiếng nói tiếng Việt đang đối mặt với thách thức lớn về sự sai biệt ngữ âm theo giới tính và vùng miền. Các hệ thống nhận dạng truyền thống thường suy giảm độ chính xác rõ rệt khi tiếp nhận các biến thể âm sắc địa phương hoặc giọng nói có tần số dao động phức tạp giữa nam và nữ.

Đề tài luận văn thạc sĩ chuyên ngành Hệ thống thông tin (mã số 8480104) tại Trường Đại học Thủ Dầu Một tập trung giải quyết triệt để vấn đề này. Mục tiêu nghiên cứu cốt lõi là thiết kế, hiện thực hóa mô hình học sâu dựa trên mạng nơ-ron tích chập (Convolutional Neural Network - CNN) kết hợp kỹ thuật trích xuất phổ âm Log-Mel Spectrogram để tự động nhận dạng giới tính (2 nhóm: Nam, Nữ) và phân loại phương ngữ vùng miền (3 nhóm: Bắc, Trung, Nam).

Phạm vi thực nghiệm của công trình sử dụng các nguồn dữ liệu âm thanh tiếng Việt tiêu chuẩn gồm tập dữ liệu VIVOS Corpus và bộ dữ liệu thử nghiệm từ cuộc thi Zalo AI Challenge. Toàn bộ các mẫu âm thanh đầu vào được tiền xử lý đưa về tần số lấy mẫu chuẩn 16 kHz với thời lượng cố định 3 giây cho mỗi phân đoạn. Công trình mang ý nghĩa khoa học và thực tiễn vững chắc khi tối ưu hóa thành công quy trình xử lý tín hiệu âm thanh 2D, đạt độ chính xác dự đoán vượt trội trên 90% và tích hợp trực tiếp vào hệ thống ứng dụng web tương tác thời gian thực, mở ra tiềm năng ứng dụng rộng rãi trong các hệ sinh thái trợ lý ảo, an ninh sinh trắc học và tổng đài tự động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết mạng nơ-ron nhân tạo (ANN) và các bước tiến hóa của mạng nơ-ron tích chập (CNN). Mạng nơ-ron nhân tạo xuất phát từ mô hình xử lý sinh học với các khái niệm cốt lõi: lớp đầu vào, lớp ẩn và lớp đầu ra liên kết qua ma trận trọng số. Để giải quyết tính phi tuyến phức tạp trong tín hiệu giọng nói, các hàm kích hoạt tiên tiến như ReLU (Rectified Linear Unit), Sigmoid và Softmax được triển khai nhằm tối ưu hóa quá trình lan truyền ngược (Backpropagation) và thuật toán hạ gradient ngẫu nhiên.

Kiến trúc CNN kế thừa các cột mốc lịch sử từ LeNet-5 (1998) với 60 nghìn tham số, AlexNet (2012) với 60 triệu tham số, VGG-16 với 138 triệu tham số và ResNet-50 với 26 triệu tham số. Trong xử lý âm thanh hiện đại, tín hiệu sóng âm 1 chiều được chuyển đổi thành biểu diễn không gian 2 chiều thông qua phổ âm Log-Mel Spectrogram. Các lớp tích chập đóng vai trò quét qua ma trận năng lượng tần số để nhận diện các đặc trưng cục bộ (formant, cao độ), kết hợp với các lớp gộp cực đại (Max Pooling) để giảm chiều dữ liệu mà vẫn giữ trọn vẹn đặc trưng âm học quan trọng. Hướng tiếp cận này vượt trội so với các công bố của Hua Zhang năm 2020 (đạt UAR 87,86% trên tập EMO-DB) hay nghiên cứu của Fatih Demir năm 2020 (đạt 96,23% trên DCASE-2017), khẳng định tính ưu việt của CNN trong phân tích phổ âm học.

Phương pháp nghiên cứu

Nghiên cứu sử dụng kết hợp phương pháp phân tích tổng hợp lý thuyết và phương pháp thực nghiệm khoa học. Nguồn dữ liệu huấn luyện và kiểm thử được thu thập từ tập âm thanh VIVOS Corpus cùng cơ sở dữ liệu phân biệt giọng nói Zalo AI Challenge với quy mô hàng nghìn tệp âm thanh thực tế.

Cỡ mẫu nghiên cứu được thiết kế đồng bộ và phân chia thành 6 lớp phân loại đặc thù (Nam miền Bắc, Nữ miền Bắc, Nam miền Trung, Nữ miền Trung, Nam miền Nam, Nữ miền Nam). Phương pháp chọn mẫu phân tầng có chủ đích (Stratified Sampling) được áp dụng để đảm bảo sự cân bằng tuyệt đối giữa các nhóm giới tính và phương ngữ địa phương, hạn chế tối đa hiện tượng mất cân bằng dữ liệu (Class Imbalance).

Lý do lựa chọn phương pháp phân tích phổ Log-Mel kết hợp CNN thay vì các phương pháp truyền thống như mô hình Markov ẩn (HMM) hay mô hình hỗn hợp Gaussian (GMM) là vì phương pháp truyền thống dễ bị suy giảm chất lượng khi môi trường thu âm biến đổi. Việc chuyển đổi tín hiệu từ tần số 44,1 kHz sang tần số lấy mẫu 16 kHz (16.000 mẫu/giây) và cắt chuẩn hóa 3 giây giúp Log-Mel Spectrogram bảo toàn trọn vẹn tính liên tục của các dải tần số âm thanh. Mô hình được huấn luyện bằng ngôn ngữ lập trình Python và tối ưu hóa thông qua các chỉ số hàm mất mát (Loss) và độ chính xác (Accuracy). Toàn bộ quá trình thực nghiệm, tinh chỉnh và kiểm thử được hoàn thành đồng bộ trong giai đoạn nghiên cứu năm 2021.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và kiểm thử thực nghiệm trên 3 kiến trúc mô hình gồm CNN 3 lớp phức hợp, VGG-16 chuyển giao học sâu và mạng CNN 5 tầng tùy biến đã mang lại những kết quả ấn tượng:

Thứ nhất, mô hình học sâu trên phổ Log-Mel Spectrogram đạt độ chính xác phân loại giới tính vượt mốc 95% trên toàn bộ tập dữ liệu kiểm thử. Sự khác biệt về tần số cơ bản giữa giọng nam (trung bình 85 Hz đến 180 Hz) và giọng nữ (trung bình 165 Hz đến 255 Hz) được các bộ lọc tích chập tách biệt rõ nét ngay từ những lớp chập đầu tiên.

Thứ hai, độ chính xác nhận dạng phương ngữ 3 miền Bắc, Trung, Nam đạt tỷ lệ bình quân trên 88%. Trong đó, độ chính xác phân biệt giữa giọng Bắc và giọng Nam đạt mức cao nhất (trên 91%), trong khi phương ngữ miền Trung có sự giao thoa ngữ điệu nên tỷ lệ nhận dạng đạt khoảng 85%, thấp hơn khoảng 6% so với hai vùng còn lại.

Thứ ba, mô hình CNN 5 tầng tự thiết kế thể hiện hiệu năng vượt trội khi giảm hơn 70% số lượng tham số so với kiến trúc VGG-16 chuẩn (138 triệu tham số), giúp tốc độ huấn luyện nhanh hơn 25% và giá trị hàm mất mát giảm đều tiệm cận mức 0,15 mà không xảy ra hiện tượng quá khớp (overfitting).

Thứ tư, kỹ thuật tiền xử lý đưa tần số lấy mẫu về 16 kHz và độ dài cố định 3 giây đã giúp tối ưu hóa hơn 40% dung lượng bộ nhớ tính toán trong quá trình trích xuất đặc trưng ma trận 2D mà vẫn đảm bảo độ tin cậy của mô hình phân lớp.

Thảo luận kết quả

Hiệu quả vượt bậc của mô hình bắt nguồn từ khả năng trích xuất thông tin đa chiều của thang đo tần số Mel. Thang đo này mô phỏng sát sao cơ chế tiếp nhận âm thanh phi tuyến của ốc tai người, nơi các dải tần thấp được phân giải chi tiết hơn dải tần cao. Khi đưa phổ Log-Mel vào mạng CNN, các cửa sổ trượt (sliding window) kích thước nhỏ 3x3 đã phát hiện chính xác các đường bao phổ (spectral envelope) và độ dịch chuyển formant đại diện cho từng vùng địa lý.

So sánh với công trình của Anvarjon Tursunov năm 2021 (đạt 96% nhận dạng giới tính tiếng Hàn) và nghiên cứu của Shashidhar năm 2021 (đạt 90,10% trên bộ dữ liệu tiếng Anh), kết quả của luận văn khẳng định tính tương thích cao của mô hình CNN đối với các ngôn ngữ đơn lập, thanh điệu phức tạp như tiếng Việt.

Để trực quan hóa dữ liệu, kết quả nghiên cứu được thể hiện rõ ràng qua ma trận nhầm lẫn (Confusion Matrix) 6x6, biểu đồ đường cong hội tụ Accuracy/Loss qua từng chu kỳ huấn luyện (Epoch) và bảng so sánh thông số giữa các cấu trúc mạng. Hệ thống còn được tích hợp trực quan vào ứng dụng web xây dựng bằng Flask Framework, cho phép người dùng theo dõi biểu đồ xác suất dự đoán thời gian thực cùng bảng thống kê định lượng chi tiết cho từng mẫu âm thanh đầu vào.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm của luận văn, 4 nhóm giải pháp kỹ thuật và ứng dụng thực tiễn được đề xuất với lộ trình thực hiện cụ thể:

Thứ nhất, tối ưu hóa kiến trúc mô hình học sâu cho thiết bị biên. Nhóm kỹ sư phần mềm và các viện nghiên cứu công nghệ cần áp dụng kỹ thuật tỉa thưa trọng số (Weight Pruning) và lượng tử hóa mô hình xuống chuẩn 8-bit (Quantization). Giải pháp này giúp giảm ít nhất 50% kích thước mô hình và tiết kiệm 35% tài nguyên phần cứng, cho phép nhúng thuật toán trực tiếp vào chip xử lý của điện thoại di động và thiết bị IoT trong vòng 6 tháng tới.

Thứ hai, mở rộng quy mô cơ sở dữ liệu âm thanh đa vùng miền. Các đơn vị nghiên cứu học thuật cùng doanh nghiệp công nghệ cần phối hợp thu thập thêm hơn 500 giờ ghi âm chuẩn, bao phủ chi tiết hơn 10 tiểu vùng phương ngữ đặc thù (như phương ngữ Nghệ Tĩnh, Quảng Nam, Tây Nam Bộ). Mục tiêu nhằm nâng độ chính xác nhận dạng vùng miền lên trên 92% trong lộ trình 12 tháng.

Thứ ba, tích hợp thuật toán vào hệ thống phân luồng tổng đài tự động. Các doanh nghiệp viễn thông, ngân hàng và thương mại điện tử nên ứng dụng ngay API phân loại giọng nói từ luận văn vào hệ thống Call Center. Giải pháp này giúp tự động chuyển hướng cuộc gọi đến điện thoại viên có cùng phương ngữ bản địa, dự kiến rút ngắn 30% thời gian xử lý yêu cầu và nâng cao trải nghiệm khách hàng trong quý 1 năm tiếp theo.

Thứ tư, phát triển mô-đun lọc nhiễu môi trường thích nghi. Đội ngũ phát triển hệ thống cần tích hợp các thuật toán khử ồn nền thích ứng (Adaptive Denoising) kết hợp kỹ thuật tăng cường dữ liệu âm thanh (Data Augmentation) mô phỏng tiếng ồn đường phố và văn phòng. Mục tiêu đảm bảo duy trì độ chính xác của hệ thống trên 85% ngay cả trong môi trường có cường độ tạp âm từ 40 dB đến 60 dB trong vòng 9 tháng.

Đối tượng nên tham khảo luận văn

Công trình luận văn thạc sĩ này mang lại giá trị học thuật và giải pháp ứng dụng thiết thực cho 4 nhóm đối tượng trọng tâm:

Thứ nhất, học viên cao học, nghiên cứu sinh và giảng viên chuyên ngành Hệ thống thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo. Luận văn cung cấp tài liệu tham khảo chuẩn mực về phương pháp luận xử lý tín hiệu âm thanh, quy trình chuyển đổi phổ Log-Mel Spectrogram 16 kHz và cách xây dựng kiến trúc mạng nơ-ron tích chập từ lý thuyết đến thực nghiệm.

Thứ hai, kỹ sư phát triển phần mềm và chuyên viên xử lý ngôn ngữ tự nhiên (NLP/Speech AI). Nhóm đối tượng này có thể tái sử dụng trực tiếp mô hình xử lý, mã nguồn huấn luyện và phương pháp đóng gói hệ thống với Flask Web Framework để xây dựng các microservices nhận dạng giọng nói, xác thực bảo mật sinh trắc học và kiểm soát chất lượng dữ liệu âm thanh.

Thứ ba, doanh nghiệp phát triển Trợ lý ảo thông minh và Thiết bị nhà thông minh (Smart Home). Tài liệu cung cấp cơ sở kỹ thuật vững chắc để doanh nghiệp tối ưu hóa khả năng phản hồi ngôn ngữ theo ngữ điệu địa phương, giúp hệ thống tương tác tự nhiên, thân thiện và chính xác hơn với người dùng ở cả 3 miền đất nước.

Thứ tư, các nhà quản lý trung tâm chăm sóc khách hàng và tổng đài đa kênh. Luận văn gợi mở phương pháp tự động hóa nhận diện nhân khẩu học (giới tính, vùng miền) của khách hàng để phân bổ cuộc gọi thông minh tới hơn 100 nhân viên tư vấn phù hợp, hỗ trợ gia tăng chỉ số hài lòng khách hàng (CSAT) thêm ít nhất 15%.

Câu hỏi thường gặp

Tại sao luận văn lại lựa chọn đặc trưng Log-Mel Spectrogram thay vì hệ số MFCC truyền thống? Biến đổi cosin rời rạc trong trích xuất MFCC thường làm mất đi tính tương quan cục bộ trên miền tần số. Trong khi đó, Log-Mel Spectrogram giữ nguyên cấu trúc ma trận 2D với các đặc trưng năng lượng phân bố theo thời gian và tần số, giúp mạng tích chập CNN dễ dàng học các đường nét đặc trưng âm thanh tương tự như xử lý ảnh kỹ thuật số với độ chính xác cao hơn rõ rệt.

Tập dữ liệu âm thanh trong nghiên cứu được chuẩn hóa theo các thông số kỹ thuật nào? Toàn bộ các tệp âm thanh thô thu thập từ bộ dữ liệu VIVOS và Zalo AI Challenge đều được đồng bộ hóa định dạng WAV, hạ tần số lấy mẫu từ 44,1 kHz xuống chuẩn 16 kHz (16.000 mẫu/giây) và cắt chuẩn thời lượng chính xác 3 giây cho mỗi mẫu, đảm bảo sự đồng nhất tuyệt đối cho đầu vào của mạng CNN.

Kiến trúc mạng CNN 5 tầng tự thiết kế có điểm gì nổi bật so với mô hình VGG-16? Mạng CNN 5 tầng tùy biến được thiết kế tinh gọn, giảm thiểu đáng kể số lượng tham số so với con số 138 triệu tham số của VGG-16. Nhờ đó, mô hình giảm tải hơn 40% áp lực tính toán phần cứng, rút ngắn thời gian huấn luyện tới 25% mà vẫn duy trì giá trị sai số Loss ở mức thấp 0,15 và độ chính xác phân loại trên 90%.

Hệ thống ứng dụng Web xây dựng bằng Flask Framework đảm nhận những vai trò gì? Ứng dụng Web Flask đóng vai trò giao diện tương tác trực quan cho phép người dùng tải tệp âm thanh hoặc thu âm trực tiếp qua micro. Hệ thống tự động thực hiện tiền xử lý, trích xuất phổ âm Log-Mel Spectrogram 2D, gọi mô hình học sâu đã lưu để dự đoán và hiển thị kết quả phân loại giới tính, vùng miền cùng xác suất thống kê tức thì.

Giải pháp nào giúp nâng cao độ chính xác khi nhận dạng phương ngữ miền Trung? Phương ngữ miền Trung có dải cao độ và biến thiên thanh điệu rất phức tạp. Luận văn đã áp dụng phương pháp chọn mẫu phân tầng cân bằng, kết hợp tinh chỉnh các bộ lọc tích chập đa tầng trên phổ Log-Mel để bắt trọn các formant âm sắc đặc thù, giúp độ chính xác nhận dạng phương ngữ này đạt mức khả quan trên 85%.

Kết luận

• Công trình đã hoàn thành xuất sắc mục tiêu nghiên cứu, hệ thống hóa toàn diện cơ sở lý thuyết về mạng nơ-ron tích chập (CNN) và kỹ thuật chuyển đổi tín hiệu âm thanh sang ảnh phổ Log-Mel Spectrogram 2D trong bài toán xử lý giọng nói tiếng Việt.
• Thiết kế, huấn luyện và đánh giá thành công 3 kiến trúc mô hình học sâu trên tập dữ liệu chuẩn VIVOS Corpus và Zalo AI Challenge, xác lập độ chính xác nhận dạng giới tính đạt trên 95% và phân loại phương ngữ 3 miền đạt trên 88%.
• Đề xuất thành công kiến trúc CNN 5 tầng tùy biến có hiệu năng tối ưu, giảm hơn 70% số lượng tham số so với VGG-16 tiêu chuẩn, mang lại tốc độ hội tụ nhanh hơn 25% trên mẫu âm thanh 3 giây tần số 16 kHz.
• Xây dựng hoàn chỉnh ứng dụng web thực nghiệm dựa trên Flask Framework, cung cấp giao diện trực quan cho phép thu âm, xử lý đặc trưng và phân loại kết quả thời gian thực với độ trễ thấp.
• Xác lập lộ trình phát triển rõ ràng trong giai đoạn 12 đến 24 tháng tới nhằm mở rộng dữ liệu lên 500 giờ thu âm đa phương ngữ và lượng tử hóa mô hình 8-bit phục vụ triển khai trên thiết bị di động biên.

Luận văn thạc sĩ "Nhận dạng tiếng nói tiếng Việt bằng phương pháp học sâu" là công trình nghiên cứu công phu, chuẩn mực và có tính ứng dụng cao. Quý độc giả, các nhà nghiên cứu và doanh nghiệp công nghệ quan tâm đến giải pháp nhận dạng giọng nói tiếng Việt hãy khai thác ngay nguồn tài liệu giá trị này để phát triển và tối ưu hóa các sản phẩm AI tiên tiến phục vụ cộng đồng.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan về lĩnh vực nghiên cứu Trình bày khái quát về bài toán nhận dạng âm thanh, tiếng nói và những ứng dụng cũng như mục tiêu của đề tài. Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan Trình bày cơ sở lý thuyết và các nghiên cứu liên quan đến các thuật toán phát hiện, nhận dạng và phân loại được phát triển trong luận văn. Chương 3: Mô hình đề xuất Trình bày phương pháp phát hiện, phân loại giới tính, phương pháp nhận dạng tiếng nói vùng miền nước Việt Nam, sơ đồ liên kết giữa mô hình và ứng dụng web. Chương 4: Thực nghiệm 15 Trình bày quá trình thực nghiệm, kết quả đạt được, phân tích và đánh giá các kết quả đạt được.

Chương 5: Kết luận và hướng phát triển Tổng quát kết quả thực hiện, đưa ra các hướng phát triển cho mô hình trong tương lai. 16 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN Trong chương này, luận văn giới thiệu cơ sở lý thuyết và các nghiên cứu liên quan đến các mô hình mạng nơ-ron, các nghiên cứu liên quan, các thuật toán phát hiện, nhận dạng và phân loại được phát triển trong luận văn. Mạng Nơ-ron tích chập 2. Mạng Nơ-ron nhân tạo Mạng Nơ-ron nhân tạo (Artificial Neural Network – ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật hay còn gọi là mạng Nơ-ron sinh học (hình 2.

Cấu tạo từ số lượng lớn các nơ-ron được kết nối với nhau để xử lý thông tin. ANN giống như bộ não con người, được học bởi kinh nghiệm thông qua huấn luyện, có khả năng lưu giữ những kinh nghiệm tri thức và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết. ANN được giới thiệu năm 1943 bởi nhà thần kinh học Warren McCulloch và nhà logic học Walter Pits.1 Mạng Nơ-ron sinh học Các ứng dụng của Mạng neuron được sử dụng trong rất nhiều lĩnh vực như điện, điện tử, kinh tế, quân sự,… để giải quyết các bài toán có độ phức tạp và đòi hỏi có độ chính xác cao như điều khiển tự động, khai phá dữ liệu, nhận dạng,… Kiến trúc chung của một mạng nơ ron nhân tạo (ANN) gồm ba tầng: lớp đầu vào (input layer), các lớp ẩn (hidden layers) và cuối cùng là lớp đầu ra (output layer) được mô tả trong hình 2.2, trong đó, lớp ẩn gồm nhiều nơ-ron nhận dữ liệu đầu vào từ 17 các lớp trước đó để xử lý và chuyển đổi các dữ liệu này cho các lớp tiếp theo. Một ANN có thể có nhiều lớp ẩn hoặc không có lớp ẩn.2 Cấu trúc của mạng nơ-ron nhân tạo Mỗi node trong mạng gọi là một nơ-ron.

Mỗi nơ-ron nhận các dữ liệu đầu vào xử lý chúng và trả ra một kết quả duy nhất. Kết quả đầu ra của nơ-ron này có thể làm dữ liệu đầu vào của các nơ-ron khác.3 mô tả quá trình xử lý của một nơ-ron trong ANN. Trong đó input là dữ liệu đầu vào, output là kết quả đầu ra. Trọng số liên kết hay trọng số (connection weights hay gọi tắt là weights) là thành phần rất quan trọng, thể hiện mức độ quan trọng đối với quá trình xử lý dữ liệu từ lớp này sang lớp khác.

Quá trình học của ANN thực ra là quá trình điều chỉnh trọng số của các dữ liệu đầu vào.3 Quá trình xử lý của một nơ-ron trong ANN 18 Hàm tổng Σ tính tổng của tích trọng số và dữ liệu vào. Hàm tính tổng một nơ- ron của k dữ liệu đầu vào của lớp thứ i 𝑌 = ∑𝑘𝑚=1 𝑋𝑚 𝑊𝑚 (2.1) Hàm kích hoạt hay hàm chuyển đổi 𝑓 tính toán đầu ra của một nơ-ron để chuyển đến lớp tiếp theo trong mạng nơ-ron. Hàm kích hoạt phi tuyến được sử dụng vì mạng chỉ sử dụng các hàm kích hoạt tuyến tính có thể lược giản thông qua các biến đổi đại số thành mô hình perceptron một lớp (là mô hình ANN đơn giản nhất, không có lớp ẩn). Một số hàm kích hoạt phi tuyến thường dùng là ReLU (Rectified Linear Unit), sigmoid, logistic, Gaussian, tanh, softmax.4 Đồ thị hàm ReLU Hàm Sigmoid: 1 𝑓 (𝑥 ) = (2.5 Đồ thị hàm Sigmoid Hàm Tanh: 1 𝑓 (𝑥 ) = −1 (2.6 Đồ thị hàm Tanh Kết quả xử lý đầu ra hàm tổng của nơ-ron đôi khi quá lớn, hàm kích hoạt thường dùng để xử lý đầu ra này trước khi chuyển đến lớp tiếp theo.

Đôi khi thay vì sử dụng hàm kích hoạt, ta thường sử dụng giá trị ngưỡng để kiểm soát đầu ra của nơ- ron. Nếu đầu ra của một nơ-ron nhỏ hơn ngưỡng thì sẽ không được chuyển đến lớp tiếp theo. Một số dạng mạng nơ-ron nhân tạo: 20 Mạng liên kết đầy đủ (fully connected-FC) nếu mọi đầu ra của một lớp liên kết với mọi nơ-ron của lớp tiếp theo. Mạng lan truyền thẳng (feedforward network) nếu không tồn tại liên kết giữa các nơ-ron thuộc cùng một lớp.

Mạng phản hồi (feedback network) nếu tồn tại đầu ra của một nơ-ron liên kết ngược lại làm đầu vào của một nơ-ron cùng lớp. Mạng hồi quy (recurrent network) nếu các mạng phản hồi có các vòng lặp kín. Quá trình học của mạng nơron là quá trình lan truyền thông tin để làm thay đổi các trọng số tốt nhất có thể. Mạng nơ-ron được huấn luyện hay được học theo ba phương pháp học có giám sát, học không giám sát và học tăng cường: Học có giám sát (supervised learning): là phương pháp học từ một tập dữ liệu huấn luyện ta đã biết trước nhãn của dữ liệu cần học và số lớp cần phân loại của bộ dữ liệu được đem đi huấn luyện.

Đây là phương pháp học phổ biến nhất trong các phương pháp học của mạng nơ-ron. Mục đích của phương pháp này là từ tập dữ liệu đã gán nhãn qua quá trình học tạo ra một hàm số thật tốt để khi có dữ liệu mới ta có thể tính hay dự đoán được nhãn tương ứng của dữ liệu đó. Phương pháp học có giám sát chia ra thành hai loại chính là: - Phân loại (classification): Nếu nhãn của các dữ liệu đầu vào được chia thành một số hữu hạn nhóm. Như các bài toán nhận dạng chữ số viết tay, dò tìm khuôn mặt người, … - Hồi quy (regression): Nếu nhãn của các dữ liệu đầu vào không được chia thành các nhóm mà là một giá trị thực cụ thể.

Ví dụ như bài toán dự đoán giá của một căn nhà, giá trị dinh dưỡng của một món ăn,… Học không giám sát (Unsupervised Learning): là phương pháp học từ một tập dữ liệu cần học ta không biết trước nhãn của dữ liệu, cũng như số lớp đầu ra. Thuật toán sẽ dựa vào cấu trúc của dữ liệu để phân nhóm hay giảm chiều của dữ liệu,… Học không giám sát có liên quan chặt chẽ đến việc ước lượng mật độ trong thống kê. Cách học này không sử dụng tri thức từ bên ngoài trong quá trình học nên còn được gọi là tự tổ chức. 21 Mạng nơ-ron điển hình cho cách học này là Self – Organizing Map (SOM).

Một số thuật toán học không giám sát khác như k-means, Hierarchical Agglomerative Clustering (HAC), Fuzzy Cognitive Map (FCM),…. Phần lớn ứng dụng học không giám sát vào các bài toán ước lượng như mô hình hóa thống kê, nén, lọc, phân nhóm,… Học tăng cường (Reinforcement Learning): là phương pháp học giúp cho một hệ thống tự động xác định hành động dựa trên hoàn cảnh để đạt lợi ích cao nhất. Học tăng cường bằng cách thử nghiệm dữ liệu để khám phá ra hành động nào là tốt nhất. Hành động đó không chỉ có lợi ích tốt cho bước hiện tại mà còn cho các bước tiếp theo.

Hai đặc điểm quan trọng để phân biệt học tăng cường là tìm kiếm thử - sai (trialand-error search) và bồi dưỡng chậm (delayed reward). Hiện tại, học tăng cường chủ yếu được áp dụng vào Lý thuyết trò chơi, thuật toán cần xác định hành động tiếp theo để đạt số điểm tốt nhất. Ví dụ, AlphaGo của Google đánh cờ vây thắng con người, trong khi cờ vây có độ phức tạp cao xấp xỉ 10761. AlphaGo kết hợp cả học có giám sát và học tăng cường, Hình 2.7 AlphaGo của Google1 Huấn luyện mạng nơ ron nhân tạo Phương pháp phổ biến để huấn luyện mạng nơ ron nhân tạo vẫn là Gradient Descent.

Để áp dụng Gradient Descent, cần tính được gradient của hàm mất mát theo từng ma trận trọng số W(l) và vector bias b(l). Trước hết, chúng ta cần dự đoán kết quả y ̂ với một input x lần lượt theo các công thức như sau: 1 popularmechanics.9) Với 𝑙 = 1, … , 𝐿 là số thứ tự của lớp, a là kết quả của hàm kích hoạt tại mỗi node của một lớp. Bước này được gọi là truyền thẳng vì cách tính toán được thực hiện từ lớp đầu tiên đến lớp cuối của mạng nơ-ron. Giả sử J(W,b,X,Y) là một hàm mất mát của bài toán, trong đó W,b là tập hợp tất cả các ma trận trọng số giữa các layer và biases của mỗi layer.

X,Y là cặp dữ liệu huấn luyện với mỗi cột tương ứng với một điểm dữ liệu. Để có thể áp dụng được Gradient Descent, chúng ta cần tính được công thức: 𝜕𝐽 𝜕𝐽 ; ⁡, 𝑙 = 1,2, … , 𝐿⁡ (2.12) 𝑁 Với N là số cặp dữ liệu (X,Y) trong tập huấn luyện. Theo công thức (2.12) thì việc tính đạo hàm của hàm lỗi theo trọng số và hướng một cách trực tiếp là cực kỳ phức tạp, vì hàm lỗi không phụ thuộc trực tiếp vào các hệ số. Phương pháp phổ biến nhất để tính đạo hàm của hàm lỗi có tên là lan truyền ngược.

Lan truyền ngược giúp tính đạo hàm ngược từ lớp cuối cùng đến lớp đầu tiên. Lớp cuối cùng được tính trước vì nó gần hơn với đầu ra dự đoán và hàm lỗi. Việc tính toán đạo hàm của các lớp trước được thực hiện dựa trên nguyên tắc xích, tức là đạo hàm của hàm hợp.13) 𝜕𝑥 𝜕𝑦 𝜕𝑥 Với z = f(y) và y = g(x) Stochatic Gradient Descent có thể được sử dụng để tính gradient cho các ma trận trọng số biases dựa trên một cặp điểm training x,y. Chúng ta coi J là hàm mất mát nếu chỉ xét cặp điểm này, ở đây J là hàm mất mát bất kỳ, không chỉ hàm MSE (𝐿) 𝜕𝐽 𝜕𝐽 𝜕𝑧𝑗 (𝐿) = (𝐿) .8 mô phỏng cách tính lan truyền ngược, với đạo hàm theo hệ số ở các lớp 𝑙 thấp hơn, lớp cuối có thể là lớp đầu ra, 𝑑 (𝑙) là số node trong lớp ẩn thứ 𝑙.8 Mô phỏng cách tính lan truyền ngược Dựa vào hình 2.8, ta có thể tính được: 24 (𝑙) 𝜕𝐽 𝜕𝐽 𝜕𝑧𝑗 (𝑙) = (𝑙) .