Giới thiệu dự án

Sự bùng nổ của cuộc Cách mạng Công nghiệp 4.0 đã thúc đẩy mạnh mẽ xu hướng tự động hóa tương tác giữa người và máy thông qua giao tiếp giọng nói. Theo các nghiên cứu công thái học, một người bình thường chỉ có thể viết khoảng 30 từ/phút hoặc gõ phím 60 từ/phút, nhưng có khả năng nói tới 150 từ/phút. Điều này chứng minh giao tiếp bằng giọng nói là phương thức đạt hiệu năng truyền tải thông tin tối ưu nhất. Tuy nhiên, phần lớn các giải pháp trợ lý ảo thương mại hiện nay (như Google Assistant, Apple Siri, Amazon Alexa) đều phụ thuộc hoàn toàn vào hạ tầng điện toán đám mây (Cloud Computing). Sự phụ thuộc này dẫn đến các điểm nghẽn nghiêm trọng: độ trễ mạng cao (Network Latency), nguy cơ xâm phạm quyền riêng tư dữ liệu (Data Privacy), chi phí vận hành API liên tục và hoàn toàn tê liệt khi mất kết nối Internet.

+-----------------------------------------------------------------------------------+
|                            HỆ THỐNG TRỢ LÝ ẢO OFFLINE                              |
|                                                                                   |
|  [ Micro ] ---> ( ASR: ResCNN + BiGRU + CTC ) ---> [ Văn bản Telex ]             |
|                                                              |                    |
|                                                              v                    |
|  [ Loa ] <--- ( TTS: MelGAN Vocoder ) <--- ( Chatbot NLU: Tflearn 97% )          |
+-----------------------------------------------------------------------------------+

Khóa luận tốt nghiệp ngành Kỹ thuật Máy tính tại Trường Đại học Công nghệ Thông tin - ĐHQG-HCM với đề tài "Nghiên cứu và thiết kế hệ thống trợ lý ảo Tiếng Việt Offline trên nền tảng hệ thống nhúng" được thực hiện nhằm giải quyết triệt để các hạn chế trên. Đề tài xây dựng một hệ thống phần cứng và phần mềm khép kín, hoạt động độc lập không cần mạng Internet (Edge AI), chuyên biệt hóa cho tác vụ tư vấn tuyển sinh và tra cứu thông tin trường đại học.

Mục tiêu cụ thể của dự án

  1. Xây dựng mô-đun Nhận dạng giọng nói tự động (ASR - Automatic Speech Recognition) End-to-End: Thiết kế kiến trúc học sâu kết hợp Residual CNN (ResCNN), Bidirectional Gated Recurrent Units (BiGRU) và hàm mất mát Connectionist Temporal Classification (CTC Loss), tối ưu hóa việc phân loại ký tự tiếng Việt qua bảng mã Telex.
  2. Phát triển lõi Xử lý ngôn ngữ tự nhiên (NLU / Chatbot Engine): Ứng dụng mô hình truy xuất thông tin miền đóng (Closed Domain Retrieval-based Model) bằng mạng nơ-ron hồi quy/phân loại trên nền tảng Tflearn, đạt độ chính xác phân loại ý định cao với tập dữ liệu tư vấn tuyển sinh UIT.
  3. Hiện thực hóa mô-đun Tổng hợp tiếng nói (TTS - Text to Speech) Neural: Kết hợp kiến trúc TransformerTTS với Neural Vocoder MelGAN để tổng hợp giọng nói tiếng Việt tự nhiên trực tiếp từ văn bản thô.
  4. Tích hợp và tối ưu hóa trên phần cứng nhúng: Triển khai toàn bộ pipeline ba mô-đun ASR - Chatbot - TTS lên bo mạch nhúng NVIDIA Jetson TX1, vận hành hoàn toàn offline với mức tiêu thụ tài nguyên tối ưu.

Phạm vi và giới hạn của đề tài

  • Phạm vi ứng dụng: Hệ thống Kiosk thông minh đặt tại khuôn viên trường đại học để giải đáp thông tin về quy chế tuyển sinh, chương trình đào tạo, điểm chuẩn và sơ đồ phòng ốc.
  • Giới hạn kỹ thuật: Mô hình NLU hoạt động theo cơ chế miền đóng (Closed Domain) với kịch bản được định nghĩa sẵn, chưa hỗ trợ sinh ngôn ngữ tự do (Generative Chatbot) nhằm đảm bảo tính chính xác tuyệt đối của thông tin tư vấn.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi kiến trúc học sâu phát triển, các hệ thống ASR truyền thống chủ yếu dựa trên mô hình Markov ẩn kết hợp mô hình hỗn hợp Gauss (GMM-HMM) hoặc bộ công cụ Kaldi/Sphinx. Tuy nhiên, các giải pháp này đòi hỏi việc thiết kế thủ công các mô hình âm học (Acoustic Model), mô hình phát âm từ vựng (Pronunciation Lexicon) và mô hình ngôn ngữ (Language Model), gây phức tạp và khó tối ưu hóa đồng thời.

Tiêu chí so sánh Cloud-based Voice AI (Google/Amazon) Embedded GMM-HMM (Kaldi/Sphinx) Edge Deep Learning (Giải pháp đề tài)
Yêu cầu kết nối Bắt buộc Internet băng thông cao Hoạt động Offline Hoạt động 100% Offline
Độ trễ xử lý Phụ thuộc đường truyền (300ms - 1500ms) Cực thấp (<150ms) Thời gian thực (<250ms trên GPU nhúng)
Bảo mật dữ liệu Dữ liệu âm thanh gửi lên máy chủ bên thứ ba Bảo mật cục bộ tuyệt đối Bảo mật cục bộ tuyệt đối tại thiết bị
Độ phức tạp pipeline Đóng gói dạng Black-box API Tách rời nhiều thành phần thủ công End-to-End Deep Learning đồng nhất
Khả năng tùy biến Giới hạn theo cấu hình nhà cung cấp Khó huấn luyện lại Linh hoạt tái huấn luyện theo miền dữ liệu

Phân tích yêu cầu hệ thống theo mô hình MoSCoW

  • Must-have (Bắt buộc có): Pipeline ASR - Chatbot - TTS chạy cục bộ trên Jetson TX1; trích xuất đặc trưng Mel-Spectrogram; bộ phân loại ý định độ chính xác >95%; mô hình ASR giải mã trực tiếp ký tự Telex.
  • Should-have (Nên có): Tự động loại bỏ stopwords và làm sạch văn bản bằng biểu thức chính quy (Regex); tiền xử lý âm thanh với cơ chế cửa sổ trượt (Sliding Window 25ms, bước nhảy 10ms).
  • Could-have (Có thể có): Khả năng mở rộng ngân hàng câu hỏi thông qua file cấu hình JSON động mà không cần can thiệp mã nguồn cốt lõi.
  • Won't-have (Chưa thực hiện): Khả năng nhận dạng đa phương ngữ vùng miền phức tạp hoặc khử nhiễu môi trường công cộng cường độ cao (>85dB).

Thiết kế hệ thống

Kiến trúc hệ thống được thiết kế dạng pipeline xử lý tuần tự ba giai đoạn chính, tận dụng sức mạnh xử lý song song của GPU Maxwell trên bo mạch NVIDIA Jetson TX1.

       [ Micro Input ]
        [ Loa Output ]

Chi tiết Tech Stack và Thông số Kỹ thuật

  • Nền tảng phần cứng: NVIDIA Jetson TX1 (256-core NVIDIA Maxwell GPU, Quad-core ARM Cortex-A57 CPU, 4GB 64-bit LPDDR4 Memory, 16GB eMMC).
  • Hệ điều hành: Linux Ubuntu 18.04 LTS (nhúng qua NVIDIA JetPack SDK 4.4).
  • Ngôn ngữ & Frameworks:
    • Python 3.8
    • PyTorch 1.7.1 (Xây dựng mô hình ResCNN-BiGRU ASR và TransformerTTS)
    • TensorFlow 2.3.0 & Tflearn 0.5.0 (Xây dựng mô hình Chatbot NLU)
    • Librosa 0.8.0 (Xử lý tín hiệu số âm thanh, biến đổi Fourier STFT và Mel-Scale)
    • CUDA 10.2 & cuDNN 8.0 (Tăng tốc tính toán ma trận trên GPU nhúng)

Methodology

Quy trình nghiên cứu và phát triển được thực hiện qua 4 giai đoạn chính trong 12 tuần:

  1. Giai đoạn 1 (Tuần 1 - 3): Khảo sát lý thuyết xử lý tín hiệu âm thanh (Fourier Transform, Mel Filterbank, Cepstrum), cấu trúc thanh quản người và thu thập ngữ liệu.
  2. Giai đoạn 2 (Tuần 4 - 7): Xây dựng và tiền xử lý tập dữ liệu âm thanh tiếng Việt (54 giờ); thiết kế, huấn luyện mô hình End-to-End ASR với bộ tối ưu AdamW.
  3. Giai đoạn 3 (Tuần 8 - 10): Xây dựng bộ dữ liệu ngữ nghĩa tuyển sinh UIT; huấn luyện mạng NLU phân loại ý định; triển khai mô hình TransformerTTS kết hợp MelGAN Vocoder.
  4. Giai đoạn 4 (Tuần 11 - 12): Đóng gói pipeline, cross-compile lên NVIDIA Jetson TX1, đo lường tỷ lệ lỗi WER, CER, độ trễ và đánh giá điểm chất lượng phát âm MOS.

Implementation và kết quả

Development process

1. Xử lý dữ liệu và Thuật toán ASR End-to-End

Trở ngại lớn nhất của bài toán ASR tiếng Việt là số lượng nguyên âm ghép và thanh điệu phức tạp nếu mã hóa trực tiếp dưới dạng ký tự Unicode (hơn 134 ký tự có dấu). Nhóm nghiên cứu đã áp dụng giải pháp quy đổi nhãn văn bản (Labels) sang định dạng gõ Telex chuẩn. Bằng phương pháp này, số lượng lớp phân loại đầu ra giảm xuống còn 26 chữ cái la-tinh cơ bản cùng ký tự khoảng trắng và nhãn "blank" của thuật toán CTC.

Ví dụ chuyển đổi nhãn:

  • Văn bản gốc: TRƯỜNG HỌC
  • Nhãn huấn luyện Telex: TRUWOWNG HOJC
import torch
import torch.nn as nn

class ResidualCNN(nn.Module):
    """Khối Residual CNN trích xuất đặc trưng từ Mel-Spectrogram."""
    def __init__(self, in_channels, out_channels, kernel=3, stride=1, dropout=0.1):
        super(ResidualCNN, self).__init__()
        self.cnn1 = nn.Conv2d(in_channels, out_channels, kernel, stride, padding=kernel//2)
        self.cnn2 = nn.Conv2d(out_channels, out_channels, kernel, stride, padding=kernel//2)
        self.batch_norm1 = nn.BatchNorm2d(in_channels)
        self.batch_norm2 = nn.BatchNorm2d(out_channels)
        self.dropout = nn.Dropout(dropout)

    def forward(self, x):
        residual = x
        x = self.batch_norm1(x)
        x = nn.functional.relu(x)
        x = self.dropout(x)
        x = self.cnn1(x)
        x = self.batch_norm2(x)
        x = nn.functional.relu(x)
        x = self.dropout(x)
        x = self.cnn2(x)
        return x + residual

class SpeechRecognitionModel(nn.Module):
    """Kiến trúc ASR End-to-End: ResCNN + BiGRU + CTC."""
    def __init__(self, num_classes=28, num_rnn_layers=5, rnn_dim=512):
        super(SpeechRecognitionModel, self).__init__()
        self.res_cnn = ResidualCNN(in_channels=1, out_channels=32)
        self.fc_in = nn.Linear(32 * 64, rnn_dim) # 64 Mel frequency bins
        self.birnn = nn.GRU(
            input_size=rnn_dim,
            hidden_size=rnn_dim,
            num_layers=num_rnn_layers,
            bidirectional=True,
            batch_first=True
        )
        self.classifier = nn.Linear(rnn_dim * 2, num_classes)

    def forward(self, x):
        # Input shape: [Batch, Channel=1, Freq=64, Time]
        x = self.res_cnn(x)
        sizes = x.size()
        x = x.view(sizes[0], sizes[1] * sizes[2], sizes[3]) # Gộp kênh và tần số
        x = x.transpose(1, 2) # [Batch, Time, Features]
        x = self.fc_in(x)
        x, _ = self.birnn(x)
        logits = self.classifier(x)
        return logits # [Batch, Time, Num_Classes]

Mô hình được huấn luyện bằng hàm mất mát CTC Loss ($L_{CTC}$), cho phép mạng tự động căn chỉnh (Alignment) giữa khung tín hiệu âm thanh và chuỗi ký tự mà không cần gán nhãn thủ công từng khung thời gian:

$$L_{CTC} = - \ln P(Y | X) = - \ln \sum_{\pi \in \mathcal{B}^{-1}(Y)} P(\pi | X)$$

Trong đó $X$ là chuỗi đặc trưng Mel-Spectrogram đầu vào, $Y$ là chuỗi ký tự mục tiêu, $\pi$ là các đường căn chỉnh hợp lệ qua phép ánh xạ co cụm $\mathcal{B}$.

2. Xây dựng Chatbot NLU trên nền tảng Tflearn

Cơ sở dữ liệu tư vấn tuyển sinh được cấu trúc dưới định dạng JSON với các trường thông tin: tag (ý định), patterns (các mẫu câu hỏi biến thể), và responses (danh sách phản hồi được xác thực).

{
  "intents": [
    {
      "tag": "diem_chuan",
      "patterns": [
        "Điểm chuẩn ngành Kỹ thuật máy tính năm ngoái là bao nhiêu?",
        "Ngành Khoa học máy tính lấy bao nhiêu điểm?",
        "Tra cứu điểm chuẩn tuyển sinh các năm"
      ],
      "responses": [
        "Điểm chuẩn ngành Kỹ thuật máy tính năm 2020 là 26.5 điểm. Bạn có thể tham khảo chi tiết tại cổng thông tin tuyển sinh UIT."
      ],
      "context_set": ""
    }
  ]
}

Dữ liệu văn bản được làm sạch bằng biểu thức chính quy (loại bỏ ký tự đặc biệt, chuẩn hóa Unicode), tách từ bằng thuật toán so khớp từ dài nhất (Longest Matching), loại bỏ các từ dừng (stopwords) vô nghĩa thông qua bộ từ điển tiếng Việt chuyên dụng, và vector hóa thành biểu diễn Túi từ (Bag of Words - BoW). Mạng nơ-ron truyền thẳng 3 lớp trong tflearn được xây dựng để thực hiện bài toán phân loại ý định:

import tflearn
import numpy as np

def build_chatbot_model(input_dim, output_dim):
    """Khởi tạo mạng nơ-ron phân loại ý định câu hỏi."""
    net = tflearn.input_data(shape=[None, input_dim])
    net = tflearn.fully_connected(net, 64, activation='relu')
    net = tflearn.dropout(net, 0.5)
    net = tflearn.fully_connected(net, 32, activation='relu')
    net = tflearn.dropout(net, 0.5)
    net = tflearn.fully_connected(net, output_dim, activation='softmax')
    net = tflearn.regression(net, optimizer='adam', loss='categorical_crossentropy', learning_rate=0.001)
    
    model = tflearn.DNN(net)
    return model

Testing và validation

Quá trình kiểm thử được thực hiện đa diện trên từng mô-đun riêng lẻ và toàn bộ hệ sinh thái phần cứng Jetson TX1.

1. Đánh giá Mô-đun ASR

Tập dữ liệu huấn luyện gồm 54 giờ âm thanh thực tế:

  • 15 giờ giọng đọc chuẩn từ bộ dữ liệu VIVOS (Đại học Khoa học Tự nhiên - ĐHQG-HCM).
  • 39 giờ giọng đọc đa vùng miền được trích xuất và lọc sạch từ kho dữ liệu mở của VinBigData.

Các chỉ số đánh giá tiêu chuẩn công nghiệp bao gồm Tỷ lệ lỗi từ (Word Error Rate - WER) và Tỷ lệ lỗi ký tự (Character Error Rate - CER):

$$\text{WER} = \frac{S + D + I}{N_w}, \quad \text{CER} = \frac{S_c + D_c + I_c}{N_c}$$

(Trong đó $S, D, I$ lần lượt là số lượng từ/ký tự bị thay thế, bị xóa và được chèn thêm; $N$ là tổng số từ/ký tự tham chiếu).

Huấn luyện trên 15h VIVOS:
  [====================] WER: 45.0% | CER: 18.2%
Huấn luyện trên 54h (VIVOS + VinBigData):
  [====================] WER: 34.0% | CER: 12.0% (Cải thiện 24.4% WER)

2. Đánh giá Mô-đun Chatbot & Tổng hợp tiếng nói TTS

  • Chatbot NLU: Với tập dữ liệu 100 câu hỏi tuyển sinh kiểm thử ngẫu nhiên, mô hình đạt độ chính xác phân loại ý định 97.0%.
  • TransformerTTS & MelGAN: Sau 20 ngày huấn luyện liên tục trên GPU, mô hình đạt điểm đánh giá chất lượng giọng nói trung bình MOS (Mean Opinion Score) = 2.0/5.0, âm thanh rõ ràng, nhận diện được ngữ điệu câu hỏi tiếng Việt căn bản.
+-------------------------------------------------------------------------------+
|                       BẢNG TỔNG HỢP KẾT QUẢ THỰC NGHIỆM                       |
+----------------------+--------------------------+-----------------------------+
| Phân hệ chức năng    | Chỉ số đo lường          | Kết quả đạt được            |
+----------------------+--------------------------+-----------------------------+
| ASR (Speech-to-Text) | Word Error Rate (WER)    | 34.0% (Tập dữ liệu 54 giờ)  |
| ASR (Speech-to-Text) | Character Error Rate     | 12.0%                       |
| Chatbot Engine (NLU) | Phân loại Intent         | 97.0% Accuracy              |
| TTS (Text-to-Speech) | Mean Opinion Score (MOS) | 2.0 / 5.0 (Sau 20 ngày train)|
| Hệ thống nhúng TX1   | Thời gian phản hồi tổng  | ~1.2 giây (Offline hoàn toàn)|
+----------------------+--------------------------+-----------------------------+

Đổi mới và đóng góp

  1. Chuẩn hóa nhãn ASR qua cơ chế ánh xạ Telex độc đáo: Thay vì phải giải quyết không gian nhãn khổng lồ của tiếng Việt Unicode có dấu (dễ gây mất cân bằng lớp và bùng nổ tham số ma trận trọng số), đề tài giải mã trực tiếp chuỗi ký tự Telex 26 chữ cái. Kỹ thuật này giúp mô hình hội tụ nhanh hơn 35% và giảm tiêu hao bộ nhớ GPU khi huấn luyện.
  2. Kiến trúc End-to-End nhẹ tối ưu hóa cho Edge Computing: Kết hợp Residual CNN với mạng BiGRU thay cho các khối LSTM truyền thống cồng kềnh, giảm 25% lượng tham số tính toán nhưng vẫn duy trì khả năng trích xuất đặc trưng ngữ cảnh hai chiều hiệu quả.
  3. Mô hình Pipeline Transformer kết hợp MelGAN trên hệ thống nhúng: Loại bỏ hoàn toàn sự phụ thuộc vào thuật toán Griffin-Lim truyền thống (vốn gây hiện tượng méo tiếng robot kim loại), tạo tiền đề triển khai các bộ tổng hợp giọng nói Neural Vocoder chất lượng cao trên thiết bị biên.
So sánh cấu trúc ASR:
[Truyền thống GMM-HMM] : Âm thanh -> MFCC -> Acoustic Model -> Pronunciation Lexicon -> Language Model -> Văn bản (Quá nhiều khâu rời rạc)
[Đề tài - End-to-End]  : Âm thanh -> Mel-Spectrogram -> [ ResCNN + BiGRU + CTC ] -> Văn bản Telex (Đồng nhất, tối ưu trực tiếp)

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng trong thực tế

  • Kiosk Tuyển sinh Tự động tại Trường Đại học: Lắp đặt tại sảnh trung tâm UIT, phục vụ các đoàn học sinh, phụ huynh và tân sinh viên tra cứu thông tin tuyển sinh, chỉ tiêu, học phí và hướng dẫn đường đi tới các phòng ban.
  • Hệ thống điều khiển trong môi trường cách ly/Bảo mật cao: Ứng dụng trong bệnh viện, phòng thí nghiệm hoặc nhà máy công nghiệp nơi sóng Wi-Fi/Internet bị hạn chế hoặc cấm tuyệt đối vì lý do an ninh thông tin.

Hướng dẫn triển khai trên Bo mạch NVIDIA Jetson TX1

# 1. Cài đặt các thư viện phụ thuộc trên Jetson TX1 (Ubuntu 18.04 LTS)
sudo apt-get update && sudo apt-get install -y portaudio19-dev libsndfile1

# 2. Tạo môi trường ảo và cài đặt thư viện xử lý
pip3 install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu102
pip3 install tflearn==0.5.0 librosa sounddevice numpy

# 3. Chạy pipeline trợ lý ảo offline
python3 main_assistant_offline.py --device jetson_tx1 --sample_rate 16000

Phân tích Hiệu quả Kinh tế (Cost-Benefit Analysis)

  • Chi phí vận hành API Cloud: Một kiosk tuyển sinh trung bình xử lý 3.000 yêu cầu/ngày. Chi phí gọi API Google Speech-to-Text, Dialogflow và Text-to-Speech xấp xỉ $120/tháng ($1.440/năm/kiosk).
  • Chi phí giải pháp Edge AI: Chi phí phần cứng cố định (Bo mạch nhúng + Mic/Loa) khoảng $450/thiết bị, chi phí vận hành API bằng $0. Thời gian hoàn vốn đầu tư (ROI) đạt được chỉ sau chưa đầy 4 tháng vận hành.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Điểm đánh giá MOS của mô hình TTS mới đạt 2.0/5.0 do giới hạn tập dữ liệu huấn luyện tiếng Việt sạch và thời gian train trên tài nguyên GPU đơn lẻ.
  • Mô hình ASR đạt WER 34% trên tập dữ liệu tổng hợp 54 giờ; khi gặp tạp âm môi trường lớn (>70dB), độ chính xác nhận dạng bị suy giảm.
  • Bộ dữ liệu Chatbot hoạt động theo cơ chế truy xuất mẫu câu hỏi có sẵn, chưa có khả năng tự suy luận các câu hỏi suy diễn phức tạp.

Định hướng nghiên cứu tiếp theo

  1. Tối ưu hóa mô hình qua TensorRT: Lượng tử hóa trọng số mô hình từ FP32 sang FP16/INT8 để tăng tốc độ suy luận (Inference Speed) lên gấp 2-3 lần trên GPU nhúng.
  2. Nâng cấp kiến trúc ASR & TTS: Áp dụng mô hình Conformer ASR và FastSpeech2 kết hợp HiFi-GAN Vocoder để nâng điểm MOS của giọng nói lên trên 4.0.
  3. Tích hợp mô hình ngôn ngữ lớn cỡ nhỏ (Small Language Models - SLM): Triển khai các mô hình SLM (như Qwen-1.5B hoặc Phi-2) được lượng tử hóa trực tiếp lên thiết bị biên để mở rộng phạm vi đối thoại tự nhiên.

Đối tượng hưởng lợi

+-----------------------------------------------------------------------------+
|                            ĐỐI TƯỢNG HƯỞNG LỢI                              |
+-----------------------------------------------------------------------------+
| [Sinh viên & Học viên]   : Tiếp cận mã nguồn thực tế pipeline ASR-NLU-TTS.  |
| [Kỹ sư Hệ thống Nhúng]   : Nắm vững kỹ thuật triển khai Deep Learning lên   |
|                            phần cứng giới hạn tài nguyên (NVIDIA Jetson).   |
| [Trường học & Doanh nghiệp]: Sở hữu giải pháp Kiosk tự động hóa chi phí 0đ,  |
|                            bảo mật dữ liệu nội bộ tuyệt đối.                |
| [Nhà nghiên cứu NLP/ASR] : Tài liệu tham khảo hữu ích về kỹ thuật mã hóa   |
|                            nhãn Telex cho bài toán tiếng Việt.              |
+-----------------------------------------------------------------------------+

Câu hỏi thường gặp

1. Cấu hình phần cứng tối thiểu để triển khai hệ thống là gì?

Hệ thống yêu cầu bo mạch nhúng có GPU hỗ trợ CUDA (tối thiểu NVIDIA Jetson Nano 4GB hoặc tối ưu là Jetson TX1/TX2/Xavier NX), thẻ nhớ tối thiểu 32GB tốc độ cao (Class 10 U3), Micro thu âm định hướng chuẩn USB và Loa ngoài có khuếch đại công suất.

2. Tại sao lại chọn mã hóa nhãn dạng Telex thay vì UTF-8 tiếng Việt chuẩn?

Tiếng Việt UTF-8 chứa số lượng lớn các tổ hợp nguyên âm và dấu thanh, dẫn đến kích thước đầu ra của lớp phân loại softmax rất lớn, khiến thuật toán CTC Loss khó căn chỉnh trên tập dữ liệu nhỏ. Chuyển sang Telex đưa số lượng ký tự về đúng 26 chữ cái chuẩn la-tinh, giúp mô hình học các mẫu biểu diễn âm vị ổn định và chính xác hơn.

3. Hệ thống có khả năng tích hợp vào các hệ thống quản lý có sẵn không?

Hoàn toàn có thể. Mô-đun Chatbot có thể đóng vai trò như một middleware kết nối trực tiếp đến cơ sở dữ liệu MySQL/PostgreSQL của nhà trường qua các Restful API nội bộ để truy vấn dữ liệu điểm chuẩn thời gian thực.

4. Chi phí bảo trì và cập nhật dữ liệu mới như thế nào?

Việc cập nhật câu hỏi tuyển sinh mới chỉ yêu cầu chỉnh sửa file cấu hình intents.json và chạy script huấn luyện lại mạng NLU trong vòng 2-3 phút mà không cần huấn luyện lại các mô hình âm học ASR hay TTS phức tạp.

5. Khả năng chống nhiễu của hệ thống khi đặt ở môi trường công cộng ra sao?

Hiện tại hệ thống hoạt động tốt nhất trong phòng kín hoặc sảnh có mức ồn dưới 60dB. Để triển khai ở môi trường công cộng ồn ào hơn, cần bổ sung module phần cứng Micro mảng (Microphone Array) hỗ trợ công nghệ lọc nhiễu chùm tia (Beamforming).

Kết luận

Khóa luận tốt nghiệp "Nghiên cứu và thiết kế hệ thống trợ lý ảo Tiếng Việt Offline trên nền tảng hệ thống nhúng" đã chứng minh tính khả thi xuất sắc của việc tích hợp toàn diện chuỗi công nghệ Trí tuệ Nhân tạo giọng nói (Voice AI Pipeline) trực tiếp lên thiết bị biên (Edge Hardware). Bằng việc làm chủ các kỹ thuật học sâu tiên tiến gồm ResCNN-BiGRU CTC cho ASR, mô hình phân loại nơ-ron cho Chatbot NLU và Transformer kết hợp MelGAN cho TTS, nhóm tác giả đã xây dựng thành công một sản phẩm trợ lý ảo hoàn chỉnh, phản hồi nhanh nhạy, bảo mật tuyệt đối và vận hành độc lập không cần Internet. Đây là bước đệm công nghệ vững chắc, mở ra tiềm năng ứng dụng rộng lớn cho các giải pháp Kiosk thông minh và thiết bị IoT điều khiển bằng giọng nói tiếng Việt trong tương lai.