Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh của cuộc Cách mạng công nghiệp lần thứ tư, nhu cầu tự động hóa và tối ưu hóa thời gian thao tác của con người ngày càng trở nên cấp thiết. Theo khảo sát được tác giả trích dẫn, một người bình thường trong một phút có thể viết khoảng 30 từ, gõ bàn phím khoảng 60 từ, nhưng có khả năng phát âm lên tới 150 từ. Do đó, tương tác bằng giọng nói là phương thức tự nhiên và tiết kiệm thời gian nhất trong giao tiếp người - máy. Mặc dù các hệ thống trợ lý ảo trên thế giới như Google Assistant, Apple Siri, hay Amazon Alexa đã phát triển mạnh mẽ, hầu hết các hệ thống xử lý ngôn ngữ tiếng Việt tại thời điểm nghiên cứu vẫn gặp nhiều thách thức do cấu trúc tiếng Việt phức tạp, tài nguyên ngôn ngữ mở còn hạn chế và phần lớn các giải pháp chỉ vận hành ở chế độ trực tuyến (online) thông qua máy chủ đám mây, thiếu các nền tảng hoạt động ngoại tuyến (offline) trên thiết bị biên.

Nhằm giải quyết bài toán giao tiếp tự động trong một phạm vi ứng dụng cụ thể mà không phụ thuộc vào kết nối mạng Internet, đề tài tập trung giải quyết các mục tiêu và nhiệm vụ nghiên cứu sau:

  1. Nghiên cứu tổng quan cấu trúc và các thành phần cốt lõi của một hệ thống trợ lý ảo, bao gồm: Nhận dạng giọng nói tự động (Automatic Speech Recognition - ASR), Xử lý ngôn ngữ tự nhiên và Hiểu ngôn ngữ tự nhiên (Natural Language Processing/Understanding - NLP/NLU), và Tổng hợp chuyển văn bản sang giọng nói (Text to Speech - TTS).
  2. Nghiên cứu, khảo sát các mô hình học máy và mạng nơ-ron sâu trong bài toán trợ lý ảo ứng dụng cho miền đóng (closed domain) theo mô hình truy vấn thông tin (retrieval-based models).
  3. Thiết kế, xây dựng và tích hợp hoàn chỉnh hệ thống trợ lý ảo tiếng Việt hoạt động offline phục vụ công tác tư vấn tuyển sinh tại Trường Đại học Công nghệ Thông tin (Đại học Quốc gia TP. Hồ Chí Minh).
  4. Thử nghiệm và đánh giá hiệu năng thực tế của các mô hình thành phần và toàn bộ hệ thống trên nền tảng phần cứng nhúng.

Đối tượng nghiên cứu của khóa luận là các giải pháp xử lý tiếng nói và văn bản tiếng Việt tích hợp trong hệ thống trợ lý ảo offline gồm 3 mô-đun chính: Nhận dạng giọng nói (ASR), Phản hồi yêu cầu (Chatbot) và Chuyển văn bản sang giọng nói (TTS). Phạm vi ứng dụng của đề tài được giới hạn trong miền đóng phục vụ công tác tư vấn tuyển sinh, giải đáp thắc mắc về chương trình đào tạo, điểm chuẩn, phương thức xét tuyển và hướng dẫn phòng ốc tại khuôn viên Trường Đại học Công nghệ Thông tin. Đề tài được thực hiện bởi sinh viên ngành Kỹ thuật Máy tính và hoàn thành nghiệm thu vào tháng 03 năm 2021.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống dựa trên sự kết hợp giữa lý thuyết xử lý tín hiệu âm thanh, ngôn ngữ học tiếng Việt và các kiến trúc mạng nơ-ron sâu hiện đại:

  • Cơ sở âm học và xử lý tín hiệu số (Digital Signal Processing - DSP): Giọng nói người được tạo ra từ thanh quản với tần số cơ bản dao động trung bình khoảng 125 Hz ở nam giới và 210 Hz ở nữ giới. Hệ thống khai thác phép biến đổi Fourier (Fourier Transform - FT) và biến đổi Fourier rời rạc (Discrete Fourier Transform - DFT) để chuyển đổi tín hiệu từ miền thời gian sang miền tần số, bóc tách các vùng tần số đặc trưng (formant F1, F2, F3) và loại bỏ tần số gốc F0 không mang đặc trưng âm vị. Hệ thống khảo sát kỹ thuật trích xuất đặc trưng hệ số tần số quang phổ Mel (Mel Frequency Cepstral Coefficient - MFCC) gồm 39 đặc trưng và trích xuất phổ Mel-Spectrogram (32 đến 64 hệ số).
  • Lý thuyết nhận dạng giọng nói (ASR): So sánh giữa mô hình truyền thống hỗn hợp Gaussian - Markov ẩn (GMM-HMM) đòi hỏi xây dựng độc lập mô hình âm học, mô hình phát âm (lexicon) và mô hình ngôn ngữ với kiến trúc học sâu đầu-cuối (End-to-End). Khóa luận áp dụng kiến trúc End-to-End tương tự Deep Speech 2 kết hợp hàm mất mát phân loại thời gian kết nối (Connectionist Temporal Classification - CTC Loss).
  • Lý thuyết xử lý ngôn ngữ tự nhiên và Chatbot: Phân loại chatbot theo mô hình truy vấn (Retrieval-based) trong miền đóng (Closed domain). Quy trình tiền xử lý văn bản tiếng Việt gồm: làm sạch dữ liệu bằng biểu thức chính quy (Regex), tách từ (Tokenization/Word segmentation) bằng thuật toán so khớp chuỗi (longest matching, maximum matching), loại bỏ từ dừng (Stopwords), và kỹ thuật vector hóa văn bản bằng mô hình túi từ (Bag of Words - BOW) và TF-IDF.
  • Lý thuyết tổng hợp tiếng nói (TTS): Khảo sát mô hình mạng tuần hoàn Seq2seq Tacotron dựa trên khối trích xuất đặc trưng CBHG (1-D Convolutional Bank + Highway Network + Bidirectional GRU) và mô hình kiến trúc Transformer TTS kết hợp mạng tạo sóng nơ-ron MelGAN (Neural Vocoder).

Phương pháp nghiên cứu thực nghiệm được triển khai thông qua các giai đoạn:

  • Xử lý và chuẩn hóa dữ liệu: Tiền xử lý dữ liệu âm thanh qua cửa sổ trượt (sliding window) kích thước 25 ms, bước nhảy (stride/overlap) từ 5 ms đến 10 ms để trích xuất Mel-Spectrogram; chuyển đổi toàn bộ nhãn văn bản tiếng Việt Unicode sang bảng mã ký tự Telex nhằm tối giản không gian lớp dự đoán.
  • Huấn luyện mô hình: Sử dụng thuật toán tối ưu hóa AdamW kết hợp bộ lập lịch tốc độ học theo chu kỳ (One Cycle Learning Rate Scheduler) để tối ưu hóa tốc độ hội tụ và tránh hiện tượng quá khớp (overfitting).
  • Đo lường định lượng: Đánh giá mô-đun ASR bằng tỉ lệ lỗi từ (Word Error Rate - WER) và tỉ lệ lỗi ký tự (Character Error Rate - CER); đánh giá mô-đun Chatbot bằng độ chính xác phân loại (Accuracy); đánh giá chất lượng giọng nói tổng hợp của mô-đun TTS bằng điểm đánh giá ý kiến trung bình (Mean Opinion Score - MOS).

Nguồn dữ liệu sử dụng trong nghiên cứu bao gồm:

  • Bộ dữ liệu tiếng nói: Khảo sát bộ 500 giờ nói từ câu lạc bộ Xử lý Ngôn ngữ và Tiếng nói Tiếng Việt (VLSP); thu thập và sử dụng bộ dữ liệu huấn luyện 54 giờ tiếng nói người thật trong phòng thu kín, gồm 15 giờ từ tập dữ liệu Vivos (Trường Đại học Khoa học Tự nhiên - ĐHQG-HCM) và 39 giờ chọn lọc từ nguồn dữ liệu của VinBigData.
  • Bộ dữ liệu hội thoại: Tập hợp 100 mẫu câu hỏi - đáp chuyên biệt về các ngành học, điểm chuẩn, học phí và thủ tục tuyển sinh của Trường Đại học Công nghệ Thông tin, được cấu trúc dưới định dạng JSON.

Thiết kế và triển khai

Hệ thống trợ lý ảo tư vấn tuyển sinh được thiết kế theo cấu trúc liên hoàn khép kín gồm 3 mô-đun chính, vận hành độc lập trên phần cứng nhúng:

Kiến trúc phân hệ nhận dạng giọng nói (ASR)

Mô-đun ASR được xây dựng theo mô hình mạng học sâu End-to-End tương tự Deep Speech 2:

  • Đầu vào: Tín hiệu âm thanh được tiền xử lý và trích xuất thành Mel-Spectrogram. Tác giả chọn Mel-Spectrogram thay vì MFCC do Mel-Spectrogram giữ lại từ 32 đến 64 hệ số, cung cấp lượng thông tin dồi dào phù hợp với khả năng trích xuất đặc trưng của mạng nơ-ron tích chập.
  • Trích xuất đặc trưng âm học: Sử dụng $N$ lớp mạng nơ-ron tích chập dư (Residual Convolutional Neural Networks - ResCNN). Kết nối tắt (residual connections) giúp làm phẳng bề mặt hàm mất mát, hỗ trợ mô hình học nhanh và tăng khả năng tổng quát hóa.
  • Mô hình hóa chuỗi thời gian: Sử dụng các lớp mạng nơ-ron hồi quy hai chiều (Bidirectional Recurrent Neural Networks - BiRNN) với các đơn vị cổng hồi quy (Gated Recurrent Units - GRU). Bi-GRU được lựa chọn thay thế cho LSTM nhằm tiết kiệm tài nguyên tính toán và bộ nhớ trên phần cứng nhúng, trong khi vẫn nắm bắt được bối cảnh ngữ âm của cả các khung tín hiệu phía trước và phía sau.
  • Bộ phân loại và hàm mất mát: Đầu ra của Bi-GRU kết nối với một lớp Fully-Connected để phân loại ký tự tại mỗi bước thời gian. Mô hình được huấn luyện bằng hàm mất mát CTC Loss. Cơ chế nhãn rỗng (blank label) trong CTC cho phép mạng tự động căn chỉnh (alignment) giữa chuỗi âm thanh và văn bản mà không cần gán nhãn thời gian thủ công từng âm vị.
  • Quy đổi nhãn văn bản: Toàn bộ nhãn tiếng Việt Unicode được chuyển đổi sang kiểu gõ Telex (ví dụ: "TRUONG HỌC" chuyển thành "TRUWOWNG HOJC"), giúp giảm tổng số lớp cần phân loại xuống còn 26 ký tự chữ cái tương đương bảng chữ cái tiếng Anh, tối ưu hóa kích thước mô hình.

Kiến trúc phân hệ phản hồi yêu cầu (Chatbot)

Mô-đun Chatbot vận hành theo mô hình truy vấn thông tin trong miền đóng:

  • Dữ liệu đầu vào dạng văn bản từ mô-đun ASR được xử lý qua biểu thức chính quy (Regex) để loại bỏ ký tự rác, tách từ bằng bộ từ điển tri-grams (từ ghép 3 chữ cái), chuẩn hóa font chữ và loại bỏ từ dừng tiếng Việt.
  • Chuỗi văn bản sau làm sạch được chuyển thành vector đặc trưng bằng mô hình túi từ (Bag of Words - BOW).
  • Thuật toán phân loại/hồi quy được xây dựng bằng framework Tflearn trong môi trường Python, thực hiện khớp vector đầu vào với các nhãn ý định (intent) được định nghĩa sẵn trong cơ sở dữ liệu JSON để trích xuất câu trả lời tuyển sinh tương ứng.

Kiến trúc phân hệ chuyển văn bản sang giọng nói (TTS)

Mô-đun TTS được thiết kế dựa trên sự kết hợp giữa mô hình Transformer TTS và mạng tạo sóng MelGAN:

  • Chuyển đổi ký tự sang âm vị (Text-to-Phoneme): Văn bản đầu vào được chuyển thành chuỗi âm vị thông qua hệ thống quy tắc phát âm.
  • Bộ mã hóa (Encoder Pre-Net): Sử dụng mạng CNN 3 lớp với 512 kênh, chuẩn hóa hàng loạt (Batch Normalization) và hàm kích hoạt ReLU kết hợp phép chiếu tuyến tính để nhúng chuỗi âm vị 512 chiều.
  • Bộ giải mã (Decoder Pre-Net) & Self-Attention: Tận dụng cơ chế Multi-head Self-Attention của mạng Transformer để mô hình hóa mối quan hệ phụ thuộc dài trong toàn bộ câu và hỗ trợ tính toán song song, khắc phục nhược điểm huấn luyện tuần hoàn chậm của các mạng RNN/Tacotron truyền thống. Decoder Pre-Net gồm 2 lớp Fully-Connected với 256 đơn vị ẩn.
  • Post-Net & Stop Linear: Sử dụng 5 lớp CNN để tinh chỉnh và dự đoán phổ Mel. Đầu ra Stop Linear được áp dụng trọng số dương (positive weight từ 5.0 đến 8.0) đối với hàm mất mát Binary Cross Entropy nhằm khắc phục hiện tượng mất cân bằng mẫu, ngăn ngừa mô hình dự đoán vòng lặp vô tận ở cuối chuỗi âm thanh.
  • Mạng tạo sóng (Vocoder): Bộ nơ-ron MelGAN tiếp nhận phổ Mel đầu ra từ Transformer TTS để tổng hợp dạng sóng âm thanh hoàn chỉnh.

Môi trường triển khai

Hệ thống được phát triển bằng ngôn ngữ lập trình Python, sử dụng trình soạn thảo Visual Studio Code trên hệ điều hành Ubuntu, và được nhúng hoàn chỉnh trên board mạch phần cứng nhúng Nvidia Jetson TX1 để kiểm thử khả năng chạy offline thời gian thực.

Nội dung chính theo từng chương

Chương 1: TỔNG QUAN HỆ THỐNG TRỢ LÝ ẢO

Chương 1 giới thiệu khái niệm, lịch sử phát triển và vai trò của trợ lý ảo trong đời sống hiện đại, chỉ ra sự chuyển dịch từ các giao diện vật lý truyền thống (chuột, bàn phím, màn hình cảm ứng) sang giao diện giọng nói tự nhiên. Tác giả phân tích cấu trúc luồng dữ liệu của một hệ thống trợ lý ảo cơ bản gồm 3 thành phần chính: Nhận dạng giọng nói (ASR), Phản hồi yêu cầu (Chatbot) và Chuyển văn bản sang giọng nói (TTS).

Nội dung chương đi sâu vào phân loại các dạng chatbot dựa trên trải nghiệm người dùng (Rule-based, Retrieval-based, Generative) và phạm vi ứng dụng (Open domain, Closed domain). Tác giả làm rõ thực trạng nghiên cứu trợ lý ảo tiếng Việt tại Việt Nam, đặc biệt là các nỗ lực của cộng đồng VLSP, đồng thời nhấn mạnh hạn chế của hầu hết các sản phẩm hiện hành khi chủ yếu phụ thuộc vào dịch vụ máy chủ trực tuyến, từ đó khẳng định tính cấp thiết của việc xây dựng hệ thống trợ lý ảo tiếng Việt chạy offline trên nền tảng nhúng.

Chương 2: CƠ SỞ LÝ THUYẾT

Chương 2 trình bày toàn diện các nền tảng toán học, âm học và cấu trúc mô hình học máy:

  • Cơ chế phát âm và âm học: Phân tích giải phẫu học cơ quan phát âm người (dây thanh đới, thanh quản, khoang miệng, khoang mũi), sự hình thành âm hữu thanh, âm vô thanh, nguyên âm, phụ âm và âm vị. Chương phân tích bản chất của sóng âm thanh trong miền thời gian và kỹ thuật biến đổi Fourier (FT, DFT) sang miền tần số để trích xuất các đỉnh tần số cộng hưởng F1, F2, F3.
  • Kỹ thuật trích xuất đặc trưng: Trình bày chi tiết quy trình tính toán MFCC qua các bước: chuyển đổi tương tự - số (A/D sampling ở 8 kHz hoặc 16 kHz), tiền nhấn (Pre-emphasis), phân khung cửa sổ trượt 25 ms gối đầu 5-10 ms, biến đổi DFT, lọc qua ngân hàng bộ lọc Mel (Mel filterbank), biến đổi Fourier nghịch (IDFT) để tách tần số cơ bản F0, và tính toán 39 hệ số đặc trưng động (Delta và Delta-Delta). So sánh ưu thế của Mel-Spectrogram khi kết hợp cùng mạng học sâu.
  • Các mô hình nhận dạng giọng nói: Phân tích mô hình Markov ẩn (GMM-HMM) với ma trận xác suất chuyển tiếp và xác suất phát xạ; phân tích các hạn chế của HMM khi phải huấn luyện rời rạc mô hình âm học, mô hình phát âm và mô hình ngôn ngữ. Từ đó giới thiệu chi tiết kiến trúc End-to-End phân loại theo cơ chế căn chỉnh: CTC-based, RNN-transducer, và Attention-based.
  • Mô hình tổng hợp tiếng nói: Trình bày chi tiết kiến trúc mô hình Tacotron (mô hình Seq2seq với khối trích xuất đặc trưng CBHG gồm tích chập 1-D, mạng Highway, Bi-GRU, Pre-net, Attention Decoder và thuật toán tái tạo dạng sóng Griffin-Lim). Tiếp đó, chương phân tích mô hình Transformer TTS, làm rõ lợi thế huấn luyện song song và khả năng liên kết ngữ cảnh phạm vi dài thông qua cơ chế Self-Attention so với Tacotron.

Chương 3: XÂY DỰNG TRỢ LÝ ẢO TƯ VẤN TUYỂN SINH

Chương 3 mô tả chi tiết quá trình thiết kế và triển khai thực nghiệm 3 khối chức năng của hệ thống trợ lý ảo:

  • Chuẩn bị và tiền xử lý dữ liệu ASR: Tác giả phân tích lý do loại bỏ bộ dữ liệu 500 giờ của VLSP do chất lượng giọng đọc máy tổng hợp ngắt quãng, không phù hợp cho nhận dạng tiếng nói tự nhiên. Thay vào đó, nhóm nghiên cứu xây dựng tập dữ liệu 54 giờ giọng đọc phòng kín chất lượng cao (15 giờ Vivos + 39 giờ VinBigData). Triển khai kỹ thuật ánh xạ nhãn tiếng Việt Unicode sang bảng ký tự Telex để quy về 26 lớp đầu ra.
  • Xây dựng mô hình ASR: Hiện thực hóa mô hình mạng nơ-ron tích hợp $N$ lớp ResCNN kết hợp Bi-GRU và hàm mất mát CTC Loss. Sử dụng bộ tối ưu hóa AdamW và bộ lập lịch One Cycle Learning Rate Scheduler để kiểm soát quá trình hội tụ.
  • Xây dựng Chatbot tư vấn tuyển sinh: Thiết kế cơ sở dữ liệu gồm 100 mẫu câu hỏi - đáp tuyển sinh Trường Đại học Công nghệ Thông tin dưới cấu trúc JSON; triển khai pipeline xử lý ngôn ngữ tự nhiên bằng Regex, tách từ qua bộ từ điển tri-grams, lọc từ dừng, vector hóa BOW và huấn luyện mạng phân loại bằng framework Tflearn.
  • Xây dựng mô hình TTS: Triển khai mạng Transformer TTS kết hợp bộ Vocoder MelGAN, thiết lập các siêu tham số mạng tiền mã hóa (CNN 3 lớp 512 kênh), mạng tiền giải mã (2 lớp FC 256 đơn vị) và tinh chỉnh trọng số dừng (positive weight 5.0 - 8.0) trên Stop Linear.

Chương 4: KẾT QUẢ - ĐÁNH GIÁ THỰC NGHIỆM

Chương 4 công bố toàn bộ dữ liệu kiểm thử thực nghiệm của từng mô-đun và hệ thống tổng thể:

  • Đánh giá mô-đun ASR: Thử nghiệm trên tập dữ liệu Vivos 15 giờ ghi nhận tỉ lệ lỗi từ (WER) đạt mức 45%. Khi mở rộng sang tập dữ liệu 54 giờ tổng hợp (Vivos + VinBigData), hiệu năng nhận dạng cải thiện rõ rệt với WER giảm xuống còn 34% và tỉ lệ lỗi ký tự (CER) đạt 12%.
  • Đánh giá mô-đun Chatbot: Kiểm thử trên tập 100 câu hỏi tuyển sinh nội bộ của Trường Đại học Công nghệ Thông tin ghi nhận độ chính xác dự đoán câu trả lời đạt 97%.
  • Đánh giá mô-đun TTS: Sau 20 ngày huấn luyện liên tục mô hình Transformer TTS kết hợp MelGAN, chất lượng âm thanh được đánh giá qua thang đo MOS đạt mức 2 điểm.
  • Thực nghiệm tổng thể trên phần cứng nhúng: Tích hợp thành công toàn bộ hệ thống lên board mạch nhúng Nvidia Jetson TX1, hoàn thành quy trình tiếp nhận giọng nói, nhận dạng văn bản, truy vấn câu trả lời và phát âm phản hồi ngoại tuyến.

Kết quả và đóng góp

Kết quả định lượng của các phân hệ

Dưới đây là bảng tổng hợp các kết quả thực nghiệm định lượng chính được ghi nhận trong khóa luận:

Phân hệ chức năng Mô hình / Kỹ thuật sử dụng Tập dữ liệu kiểm thử / Huấn luyện Kết quả đo lường định lượng
Nhận dạng giọng nói (ASR) ResCNN + Bi-GRU + CTC Loss Bộ dữ liệu Vivos (15 giờ) WER: 45%
Nhận dạng giọng nói (ASR) ResCNN + Bi-GRU + CTC Loss Bộ dữ liệu tổng hợp Vivos + VinBigData (54 giờ) WER: 34%
CER: 12%
Phản hồi yêu cầu (Chatbot) Túi từ (BOW) + Regression/Classification (Tflearn) Bộ dữ liệu tuyển sinh UIT (100 mẫu hỏi - đáp) Độ chính xác (Accuracy): 97%
Chuyển văn bản sang giọng nói (TTS) Transformer TTS + Neural Vocoder MelGAN Huấn luyện liên tục trong 20 ngày Điểm chất lượng giọng nói (MOS): 2.0
Triển khai hệ thống Tích hợp hoàn chỉnh 3 mô-đun chạy offline Board nhúng Nvidia Jetson TX1 (Ubuntu) Vận hành thành công toàn bộ quy trình ngoại tuyến

Đóng góp kỹ thuật của đề tài

  • Hiện thực hóa giải pháp trợ lý ảo tiếng Việt offline: Xây dựng thành công hệ thống trợ lý ảo hoạt động hoàn toàn ngoại tuyến trên board mạch nhúng Jetson TX1, không phụ thuộc vào kết nối mạng hay dịch vụ đám mây của bên thứ ba.
  • Đơn giản hóa không gian bài toán ASR tiếng Việt: Đề xuất và ứng dụng giải pháp chuyển đổi nhãn âm thanh tiếng Việt Unicode sang định dạng gõ Telex, giúp tinh giảm số lượng lớp đầu ra của mô hình End-to-End xuống còn 26 ký tự cơ bản, hỗ trợ mô hình học sâu hội tụ nhanh hơn trong điều kiện dữ liệu giới hạn.
  • Tích hợp kiến trúc học sâu tiên tiến: Ứng dụng thành công sự kết hợp giữa kiến trúc mạng tích chập dư (ResCNN) và mạng nơ-ron hồi quy hai chiều (Bi-GRU) cho phân hệ ASR, cũng như mô hình Transformer TTS kết hợp MelGAN cho phân hệ tổng hợp giọng nói tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ các hạn chế kỹ thuật hiện tại dựa trên kết quả thực nghiệm:

  • Quy mô tập dữ liệu tiếng nói: Bộ dữ liệu âm thanh 54 giờ vẫn còn tương đối nhỏ so với yêu cầu tiêu chuẩn của các mô hình ASR End-to-End (thường đòi hỏi từ vài trăm đến hàng nghìn giờ nói), dẫn đến tỉ lệ lỗi từ WER (34%) còn ở mức khá cao trong môi trường thực tế.
  • Chất lượng giọng nói tổng hợp (TTS): Sau 20 ngày huấn luyện liên tục, mô hình Transformer TTS kết hợp MelGAN chỉ đạt điểm MOS ở mức 2.0; âm thanh phát ra còn mang tính chất kim loại, thiếu độ tự nhiên và cảm xúc.
  • Phạm vi phản hồi của Chatbot: Cơ sở dữ liệu của chatbot mới chỉ dừng lại ở 100 câu hỏi đơn lẻ trong miền đóng tư vấn tuyển sinh, chưa có khả năng xử lý các ngữ cảnh hội thoại phức tạp, mở rộng nhiều lượt (multi-turn dialogue) hoặc tự sinh ngôn ngữ mới.

Các định hướng nghiên cứu tiếp theo được tác giả đề xuất:

  • Mở rộng quy mô và nâng cao độ đa dạng của tập dữ liệu giọng nói tiếng Việt, thu thập thêm dữ liệu thực tế từ nhiều vùng miền và người nói khác nhau.
  • Tối ưu hóa kiến trúc mô hình và tăng thời gian huấn luyện mô-đun TTS để nâng cao điểm MOS và độ mượt mà của giọng đọc.
  • Bổ sung dữ liệu, nâng cấp mô-đun quản lý hội thoại (Dialogue Management - DM) và hiểu ngôn ngữ tự nhiên (NLU) để chatbot có thể xử lý các kịch bản tư vấn tuyển sinh đa dạng hơn.
  • Tối ưu hóa hiệu năng tính toán trên board mạch nhúng nhằm giảm thiểu độ trễ xử lý của toàn bộ chu trình tương tác giọng nói.

Giá trị tham khảo

Công trình khóa luận là tài liệu tham khảo hữu ích cho:

  • Sinh viên và học viên ngành Kỹ thuật Máy tính, Công nghệ Thông tin, Kỹ thuật Điều khiển và Tự động hóa: Cung cấp tài liệu tham khảo thực tế về quy trình tích hợp các mô hình trí tuệ nhân tạo (AI/Deep Learning) lên các nền tảng phần cứng nhúng biên (Edge AI).
  • Người nghiên cứu về xử lý tiếng nói và ngôn ngữ tự nhiên tiếng Việt: Cung cấp phương pháp luận chi tiết về việc xây dựng pipeline ASR End-to-End (ResCNN + Bi-GRU + CTC), phương pháp chuẩn hóa nhãn Telex, và quy trình huấn luyện Transformer TTS kết hợp Vocoder MelGAN.
  • Các dự án phát triển thiết bị thông minh ngoại tuyến: Cung cấp kiến trúc tham chiếu cho các sản phẩm kiosk tra cứu thông tin tự động, thiết bị hỗ trợ khuôn viên trường học, bệnh viện, nhà ga hoặc hệ thống điều khiển nhà thông minh không phụ thuộc kết nối Internet.

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lại chuyển đổi nhãn văn bản tiếng Việt sang kiểu gõ Telex trong mô hình ASR?
Tiếng Việt dạng Unicode có số lượng nguyên âm ghép và thanh điệu rất lớn, gây khó khăn cho việc phân lớp của mạng nơ-ron khi tập dữ liệu huấn luyện có quy mô nhỏ. Việc chuyển đổi nhãn sang chuẩn gõ Telex (ví dụ: "TRUONG HỌC" thành "TRUWOWNG HOJC") cho phép đưa số lượng lớp phân loại ký tự đầu ra về đúng 26 chữ cái cơ bản tương đương bảng chữ cái tiếng Anh, giúp mô hình tối ưu hóa không gian dự đoán và tăng tốc độ huấn luyện.

2. Tại sao nhóm nghiên cứu không sử dụng bộ dữ liệu 500 giờ nói nhận được từ VLSP?
Bộ dữ liệu 500 giờ nói từ VLSP được tạo ra từ mô hình máy học tổng hợp, có đặc điểm giọng nói ngắt quãng, rời rạc và không tự nhiên. Khi đưa vào huấn luyện mô hình ASR End-to-End phục vụ tương tác người - máy, tập dữ liệu này không phản ánh đúng đặc trưng giọng nói của con người trong thực tế nên đã bị loại bỏ.

3. Kiến trúc cụ thể của mô hình nhận dạng giọng nói (ASR) trong khóa luận gồm những thành phần nào?
Mô hình ASR sử dụng kiến trúc End-to-End tương tự Deep Speech 2, bao gồm: các lớp tích chập dư (ResCNN) để trích xuất đặc trưng âm học không gian từ Mel-Spectrogram; các lớp mạng nơ-ron hồi quy hai chiều sử dụng đơn vị cổng hồi quy (Bi-GRU) để trích xuất đặc trưng chuỗi thời gian hai chiều; một lớp Fully-Connected để phân loại ký tự; và hàm mất mát CTC Loss để tự động căn chỉnh thời gian giữa âm thanh và văn bản. Quá trình huấn luyện sử dụng bộ tối ưu hóa AdamW cùng bộ lập lịch One Cycle Learning Rate Scheduler.

4. Giải pháp nào được áp dụng trong Transformer TTS để xử lý hiện tượng dự đoán lặp vô tận?
Trong Transformer TTS, mã dừng (linear stop) chỉ có một mẫu trùng khớp ở cuối chuỗi âm thanh trong khi có hàng trăm mẫu âm cho các khung khác, dẫn đến sự mất cân bằng dữ liệu nghiêm trọng. Tác giả đã thiết lập áp đặt một trọng số dương (positive weight) trong khoảng từ 5.0 đến 8.0 cho mã dừng khi tính toán hàm mất mát Binary Cross Entropy Loss, giúp mô hình nhận diện điểm kết thúc câu chính xác và chấm dứt dự đoán lặp vô tận.

5. Hiệu năng thực nghiệm của toàn bộ hệ thống đạt được như thế nào?
Mô-đun ASR đạt tỉ lệ lỗi từ (WER) 34% và tỉ lệ lỗi ký tự (CER) 12% trên tập dữ liệu 54 giờ; mô-đun Chatbot đạt độ chính xác 97% trên tập 100 câu hỏi tuyển sinh của Trường Đại học Công nghệ Thông tin; mô-đun tổng hợp giọng nói TTS đạt điểm đánh giá chất lượng MOS 2.0 sau 20 ngày huấn luyện liên tục; và toàn bộ 3 phân hệ được tích hợp, vận hành thành công ở chế độ offline trên board mạch nhúng Nvidia Jetson TX1.

Kết luận

Khóa luận tốt nghiệp của tác giả Phạm Tấn Khoa và Nguyễn Trung Nghĩa đã nghiên cứu, thiết kế và triển khai thành công một hệ thống trợ lý ảo tiếng Việt hoàn chỉnh hoạt động độc lập trên nền tảng phần cứng nhúng Nvidia Jetson TX1. Bằng việc tích hợp các mô hình học sâu hiện đại gồm ResCNN kết hợp Bi-GRU và CTC Loss cho nhận dạng giọng nói, Tflearn cho phản hồi truy vấn tư vấn tuyển sinh và Transformer TTS kết hợp MelGAN cho tổng hợp giọng nói, công trình đã giải quyết trọn vẹn chu trình tương tác người - máy ngoại tuyến. Mặc dù còn những hạn chế nhất định về quy mô dữ liệu và chất lượng âm thanh tổng hợp, đề tài đã đặt nền móng kỹ thuật vững chắc và cung cấp một mô hình tham chiếu có giá trị cao cho các nghiên cứu phát triển thiết bị nhúng thông minh điều khiển bằng giọng nói tiếng Việt.