Xây dựng website đọc truyện điều khiển bằng giọng nói

Đồ án tốt nghiệp ngành CNTT: Xây dựng website đọc truyện điều khiển bằng giọng nói tại ĐH SPKT TP.HCM

• Tác giả: Nguyễn Quỳnh Nhi
• Người hướng dẫn: TS. Nguyễn Thành Sơn
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xây dựng website đọc truyện điều khiển bằng giọng nói
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan đồ án website đọc truyện điều khiển giọng nói

Đồ án tốt nghiệp ngành Công nghệ Thông tin tại Trường Đại học Sư phạm Kỹ thuật TP.HCM hướng đến việc nâng cấp trải nghiệm tiếp cận văn học mạng. Nghiên cứu do sinh viên Nguyễn Quỳnh Nhi và Trần Ngọc Nhựt Thanh thực hiện dưới sự hướng dẫn của TS. Nguyễn Thành Sơn. Đề tài tập trung phát triển nền tảng đọc truyện tương tác cao. Hệ thống kết hợp công nghệ nhận dạng giọng nói tự động và tổng hợp tiếng nói. Giải pháp cho phép người dùng ra lệnh điều hướng mà không cần chạm vào màn hình thiết bị. Nền tảng còn tích hợp hệ thống gợi ý thông minh nhằm cá nhân hóa danh mục nội dung. Người đọc có thể tìm kiếm tác phẩm phù hợp với sở thích cá nhân nhanh chóng. Dự án giải quyết rào cản thao tác tay khi độc giả bận rộn hoặc gặp khó khăn vận động. Đây là bước tiến quan trọng trong việc ứng dụng xử lý ngôn ngữ tự nhiên vào sản phẩm phần mềm thực tế. Toàn bộ kiến trúc hệ thống xây dựng trên nền tảng web hiện đại. Mô hình đảm bảo tính phản hồi nhanh và độ chính xác cao khi tiếp nhận lệnh thoại tiếng Việt.

1.1. Bối cảnh nghiên cứu tại ĐH Sư phạm Kỹ thuật TP.HCM

Khoa Công nghệ Thông tin tại Đại học Sư phạm Kỹ thuật TP.HCM luôn thúc đẩy các nghiên cứu có tính ứng dụng cao. Đồ án khóa 2021–2025 này bắt nguồn từ nhu cầu thực tiễn của người đọc truyện số. Nhiều người dùng muốn thưởng thức truyện tranh và tiểu thuyết trong khi làm việc nhà hoặc di chuyển. Phương thức tương tác bằng chuột và bàn phím truyền thống bộc lộ nhiều hạn chế về tính linh hoạt. Sinh viên thực hiện đồ án đã nắm bắt xu thế công nghệ giọng nói để xây dựng hệ thống mới. Công trình nhận được sự hướng dẫn khoa học sát sao từ giảng viên bộ môn Hệ thống Thông tin. Đề tài mở ra hướng tiếp cận giàu tính nhân văn cho người khuyết tật thị giác và vận động.

1.2. Mục tiêu phát triển website đọc truyện bằng giọng nói

Mục tiêu cốt lõi của đề tài là xây dựng hoàn chỉnh ứng dụng web đọc truyện rảnh tay. Hệ thống phải nhận diện chính xác các câu lệnh thoại bằng tiếng Việt theo thời gian thực. Nền tảng hỗ trợ chuyển đổi văn bản truyện thành âm thanh đọc tự nhiên qua công nghệ tổng hợp giọng nói. Bên cạnh đó, đồ án hướng tới việc triển khai thuật toán gợi ý truyện tự động dựa trên hành vi độc giả. Giao diện người dùng được thiết kế trực quan, tối ưu tốc độ phản hồi trên nhiều kích thước màn hình. Dự án kỳ vọng tạo ra môi trường đọc sách số thân thiện, giảm thiểu tối đa thao tác cơ học và nâng cao sự tiện lợi.

II. Thách thức đối với website đọc truyện điều khiển giọng nói

Các trang web đọc truyện trực tuyến hiện nay phụ thuộc hoàn toàn vào thao tác thủ công. Người đọc phải liên tục cuộn trang, nhấp chuột hoặc chạm tay để chuyển chương. Điều này gây bất tiện lớn cho người dùng khi đang làm việc khác. Ngoài ra, người khiếm thị hoặc người suy giảm chức năng vận động gần như không thể tự tiếp cận nội dung số. Quá trình tích hợp công nghệ giọng nói tiếng Việt vào trình duyệt cũng đối mặt nhiều trở ngại kỹ thuật. Độ chính xác nhận dạng âm thanh thường bị ảnh hưởng nghiêm trọng bởi tiếng ồn môi trường và phương ngữ địa phương. Độ trễ xử lý âm thanh trên nền tảng web có thể làm gián đoạn dòng cảm xúc của độc giả. Mặt khác, lượng dữ liệu truyện tranh và tiểu thuyết khổng lồ khiến việc tìm kiếm nội dung thích hợp trở nên khó khăn. Nếu không có thuật toán lọc thông minh, độc giả dễ bị quá tải thông tin. Nhóm nghiên cứu tại ĐH Sư phạm Kỹ thuật TP.HCM đã phân tích kỹ lưỡng những nút thắt này để định hình kiến trúc hệ thống phù hợp.

2.1. Hạn chế về khả năng tương tác rảnh tay của người đọc

Phương thức tương tác vật lý truyền thống tạo ra ranh giới cứng nhắc giữa thiết bị và độc giả. Việc giữ điện thoại hoặc dùng chuột liên tục gây mỏi cơ và hạn chế không gian sinh hoạt. Nhiều người có thói quen nghe truyện trước khi ngủ hoặc trong lúc nấu ăn, dọn dẹp. Trong các tình huống này, nhu cầu điều khiển rảnh tay trở nên vô cùng cấp thiết. Việc thiếu tính năng phản hồi âm thanh khiến người dùng buộc phải nhìn chằm chằm vào màn hình. Tình trạng này làm tăng nguy cơ mỏi mắt và giảm chất lượng trải nghiệm đọc truyện trực tuyến trong thời gian dài.

2.2. Khó khăn khi xử lý giọng nói tiếng Việt trên trình duyệt

Tiếng Việt có hệ thống thanh điệu phong phú và nhiều từ đồng âm phức tạp. Trình duyệt web thường gặp khó khăn khi phân biệt các âm tiết có dấu thanh tương tự nhau. Tiếng ồn xung quanh dễ làm sai lệch tín hiệu đầu vào của micro, dẫn đến thực thi nhầm lệnh. Thêm vào đó, việc đồng bộ giữa trạng thái lắng nghe và giao diện web đòi hỏi cơ chế quản lý dữ liệu chặt chẽ. Nếu không tối ưu luồng xử lý, hệ thống sẽ gây tiêu hao bộ nhớ máy khách và làm chậm tốc độ phản hồi lệnh âm thanh của người đọc.

III. Kỹ thuật xây dựng website đọc truyện điều khiển giọng nói

Nhóm tác giả áp dụng kiến trúc phần mềm phân tầng hiện đại để giải quyết bài toán tương tác thoại. Ứng dụng web xây dựng bằng thư viện React.js với hook tùy biến useVoiceControl quản lý toàn bộ chu trình âm thanh. Công nghệ Web Speech API được tích hợp để thực hiện nhận diện giọng nói và tổng hợp âm thanh trực tiếp trên trình duyệt. Người dùng kích hoạt micro nhanh chóng bằng phím tắt chuyên dụng trên bàn phím. Hệ thống ánh xạ từng câu lệnh tiếng Việt thành các hành vi điều hướng cụ thể như chuyển chương, tạm dừng hoặc đọc nội dung. Song song đó, đồ án phát triển hệ thống gợi ý đa phương pháp nhằm nâng cao trải nghiệm cá nhân hóa. Thuật toán kết hợp giữa lọc dựa trên nội dung tác phẩm và lọc cộng tác từ cộng đồng. Mô hình tự động phân tích lịch sử đọc để đề xuất các bộ truyện tương đồng nhất. Cơ chế quản lý trạng thái bằng hook React đảm bảo tính nhất quán giữa lệnh thoại, giao diện trực quan và phản hồi âm thanh xác nhận hành động.

3.1. Thiết kế hook useVoiceControl và Web Speech API

Trọng tâm kỹ thuật của đồ án là việc hiện thực hóa custom hook useVoiceControl trong React. Hook này bao bọc hai đối tượng SpeechRecognition và SpeechSynthesis để xử lý vào-ra âm thanh liền mạch. Hệ thống cho phép kích hoạt micro bằng phím tắt Ctrl, đồng thời cập nhật tức thì trạng thái lắng nghe lên giao diện. Các hàm callback kết nối trực tiếp với thanh điều hướng và bộ chọn gợi ý truyện. Khi người đọc chuyển trang, hàm useEffect phát hiện thay đổi đường dẫn URL và tự động gọi hàm thông báo tên trang bằng giọng nói nhân tạo, giúp định vị không gian web dễ dàng.

3.2. Tích hợp thuật toán gợi ý truyện thông minh đa phương pháp

Hệ sinh thái đề xuất truyện vận hành nhờ sự kết hợp giữa mô hình lọc dựa trên nội dung và lọc cộng tác. Thuật toán phân tích thể loại, tác giả và tóm tắt truyện để tìm các tác phẩm có đặc trưng tương đồng. Đồng thời, hệ thống thu thập hành vi đánh giá và lịch sử duyệt truyện của người dùng tương tự để tính toán điểm số ưu tiên. Người đọc có thể dùng lệnh thoại để yêu cầu chuyển đổi phương thức gợi ý kết hợp ngay trên giao diện. Sự kết hợp này giảm thiểu tối đa hiện tượng khởi đầu lạnh cho tác phẩm mới, duy trì danh sách gợi ý phong phú và hấp dẫn.

IV. Hiệu quả của đồ án website đọc truyện điều khiển giọng nói

Đồ án tốt nghiệp tại Đại học Sư phạm Kỹ thuật TP.HCM đã hoàn thành xuất sắc các mục tiêu nghiên cứu và phát triển đề ra. Sản phẩm website chứng minh tính khả thi cao của mô hình đọc truyện kết hợp công nghệ điều khiển bằng âm thanh. Người dùng trải nghiệm môi trường giải trí liền mạch mà không cần thao tác bấm chạm liên tục. Độ chính xác nhận dạng câu lệnh tiếng Việt đạt mức tin cậy cao trong điều kiện sử dụng thông thường. Phản hồi âm thanh tự động giúp độc giả luôn nắm rõ trạng thái hệ thống và vị trí trang hiện tại. Không dừng lại ở việc đọc truyện, kiến trúc này có tiềm năng ứng dụng rộng rãi vào các nền tảng thương mại điện tử và cổng dịch vụ công cộng. Đề tài đóng góp tài liệu kỹ thuật giá trị cho sinh viên và lập trình viên quan tâm đến giao diện người dùng tương tác giọng nói. Nhóm nghiên cứu mở ra hướng mở rộng tích hợp mô hình ngôn ngữ lớn để xử lý ngữ cảnh thoại tự nhiên hơn trong tương lai.

4.1. Đóng góp thực tiễn cho cộng đồng và người khiếm thị

Website mang lại giá trị xã hội sâu sắc thông qua việc mở rộng khả năng tiếp cận tri thức cho người khuyết tật. Độc giả khiếm thị hoặc người suy giảm vận động tay có thể thưởng thức tác phẩm văn học số độc lập mà không cần trợ giúp. Cơ chế phản hồi âm thanh từng thao tác xóa bỏ rào cản thị giác khi duyệt web. Đây là giải pháp công nghệ nhân văn, thúc đẩy bình đẳng trong việc thụ hưởng văn hóa giải trí kỹ thuật số. Đồng thời, sản phẩm khẳng định chất lượng đào tạo gắn liền với thực tiễn của Đại học Sư phạm Kỹ thuật TP.HCM.

4.2. Định hướng phát triển và nâng cấp hệ thống trong tương lai

Hệ thống có nhiều triển vọng mở rộng trong các giai đoạn phát triển tiếp theo. Nhóm nghiên cứu có thể tích hợp mô hình trí tuệ nhân tạo tạo sinh để tổng hợp giọng đọc truyền cảm và biến hóa theo từng nhân vật truyện. Việc bổ sung khả năng xử lý phương ngữ ba miền Bắc, Trung, Nam sẽ gia tăng độ chính xác nhận diện. Ngoài ra, việc đóng gói giải pháp thành ứng dụng di động đa nền tảng sẽ mở rộng tệp người dùng tiềm năng. Nền tảng hứa hẹn trở thành mô hình mẫu cho các dự án số hóa sách và nội dung âm thanh tương tác.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh trí tuệ nhân tạo (AI) và xử lý ngôn ngữ tự nhiên (NLP) phát triển nhanh chóng, việc đưa các công nghệ tương tác người - máy vào ứng dụng thực tế đang trở thành xu hướng tất yếu. Công nghệ điều khiển bằng giọng nói đem lại phương thức tương tác rảnh tay, hỗ trợ trực tiếp cho người dùng gặp rào cản trong việc thao tác với chuột và bàn phím truyền thống, điển hình là người cao tuổi và người khiếm thị. Đồ án tốt nghiệp kỹ sư Công nghệ thông tin (chuyên ngành Hệ thống thông tin) của sinh viên Nguyễn Quỳnh Nhi và Trần Ngọc Nhựt Thanh, dưới sự hướng dẫn của TS. Nguyễn Thành Sơn tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh (khóa 2021 – 2025), tập trung giải quyết bài toán xây dựng nền tảng đọc truyện trực tuyến có thể điều hướng, chọn truyện, đọc nội dung và tương tác hoàn toàn bằng khẩu lệnh tiếng Việt.

Mục tiêu chính của đề tài là ứng dụng công nghệ nhận dạng giọng nói (Speech-to-Text) và chuyển đổi văn bản thành giọng nói (Text-to-Speech) để xây dựng website đọc truyện trực quan, tích hợp thuật toán gợi ý cá nhân hóa và trợ lý ảo giải đáp thắc mắc. Đề cương luận văn xác định cụ thể 6 nhiệm vụ nghiên cứu:

1. Tìm hiểu các khái niệm nhận dạng giọng nói và tổng hợp giọng nói thành văn bản.
2. Nghiên cứu cơ sở lý thuyết về hệ thống gợi ý (Recommender System).
3. Tích hợp công nghệ nhận dạng giọng nói và chuyển đổi văn bản thành giọng nói vào trang web thông qua Web Speech API.
4. Xây dựng hệ thống gợi ý truyện dựa trên sở thích và hành vi của người dùng.
5. Tích hợp chatbot hỗ trợ người dùng giải đáp thắc mắc liên quan đến truyện.
6. Thực hiện kiểm thử toàn bộ hệ thống phần mềm.

Đối tượng nghiên cứu của đồ án bao gồm: công nghệ nhận dạng và tổng hợp tiếng nói; các thuật toán hệ thống gợi ý (Lọc dựa trên nội dung, Lọc cộng tác, Mô hình lai); mô hình chatbot xử lý ngôn ngữ tự nhiên; và độc giả đọc truyện trực tuyến có nhu cầu tương tác bằng giọng nói. Phạm vi nghiên cứu về mặt công nghệ giới hạn ở ứng dụng nền tảng web chạy trên trình duyệt máy tính, nhận diện và phát âm tiếng Việt (vi-VN). Về mặt nội dung, hệ thống cung cấp thư viện truyện trực tuyến phân loại theo thể loại, hỗ trợ thao tác tìm kiếm, chuyển chương, lật trang bằng lệnh thoại. Về mặt kiểm thử, đồ án thực hiện đánh giá chức năng và đo lường hiệu năng gợi ý trên trình duyệt Google Chrome trong khoảng thời gian từ ngày 06/01/2025 đến ngày 10/05/2025.

Cơ sở lý thuyết và phương pháp

Đồ án tổng hợp cơ sở lý thuyết chuyên sâu trên ba mảng công nghệ cốt lõi: xử lý tiếng nói, hệ thống gợi ý và trợ lý ảo tương tác.

Về xử lý tiếng nói, hệ thống nhận dạng giọng nói (Speech-to-Text) được phân tích qua cấu trúc 4 khối chuẩn:

• Khối tiền xử lý và trích xuất đặc trưng âm học (Acoustic Front-end): Trích xuất vector đặc trưng bằng phương pháp MFCC (Mel-Frequency Cepstrum Coefficients) qua các bước Pre-emphasis, Frame blocking và Windowing, Biến đổi Fourier nhanh (FFT), Lọc dải tần Mel (Mel Filter Bank), lấy Logarit và Biến đổi Cosine rời rạc (DCT) tạo vector 13 chiều kết hợp các đạo hàm động bậc 1 và bậc 2.
• Mô hình âm học (Acoustic Model): Mô hình hóa xác suất âm vị dựa trên mô hình Markov ẩn (HMM), mạng nơ-ron hoặc trường ngẫu nhiên có điều kiện (CRF).
• Mô hình ngôn ngữ (Language Model): Xác định ràng buộc chuỗi từ ngữ bằng mô hình thống kê N-gram (bigram, trigram) nhằm tối ưu hóa độ rối (perplexity).
• Bộ giải mã (Decoder): Sử dụng thuật toán Viterbi kết hợp kỹ thuật tìm kiếm chùm (Beam Search) để xác định chuỗi từ có xác suất cao nhất.

Đối với tổng hợp tiếng nói (Text-to-Speech), tác giả hệ thống hóa các kỹ thuật tổng hợp mô phỏng hệ thống phát âm, tổng hợp formant, tổng hợp ghép nối (gồm chọn đơn vị Unit Selection, âm kép Diphone, chuyên biệt ngữ cảnh Domain-Specific), tổng hợp dựa trên học sâu (DNN vocoder) và mô hình học sâu toàn diện End-to-End (Seq2Seq Tacotron). Hiệu năng tổng hợp được đo lường bằng phương pháp khách quan (ảnh phổ, đường bao cao độ pitch contour, sai số RMSE của logF0) và phương pháp chủ quan thông qua thang điểm đánh giá trung bình MOS (Mean Opinion Score).

Về hệ thống gợi ý (Recommender System), đề tài xem xét ba phương pháp toán học:

• Lọc dựa trên nội dung (Content-Based Filtering): Xây dựng hồ sơ truyện và người dùng qua vector hóa văn bản bằng kỹ thuật TF-IDF (Term Frequency - Inverse Document Frequency) và đo khoảng cách bằng độ tương đồng Cosine (Cosine Similarity).
• Lọc cộng tác (Collaborative Filtering): Phân tích ma trận đánh giá người dùng - sản phẩm (User-Item Matrix), xác định người dùng lân cận thông qua hệ số tương quan Pearson hoặc Cosine Similarity, dự đoán điểm đánh giá dựa trên kỹ thuật K-Nearest Neighbors (KNN) hoặc phân rã ma trận (SVD, FunkSVD). Tác giả cũng chỉ rõ các thách thức kỹ thuật như vấn đề khởi tạo lạnh (cold start), ma trận thưa dữ liệu (data sparsity), năng lực mở rộng tính toán (scalability) và dữ liệu nhiễu.
• Lọc lai (Hybrid Filtering): Kết hợp có trọng số (weighted sum) giữa lọc nội dung và lọc cộng tác theo các cơ chế tuần tự (sequential), song song (parallel) hoặc kết hợp mô hình (model-based) nhằm triệt tiêu nhược điểm của từng phương pháp đơn lẻ.

Phương pháp nghiên cứu thực nghiệm được áp dụng để giải quyết bài toán: tác giả thu thập dữ liệu lưu trữ trên cơ sở dữ liệu phi quan hệ MongoDB, thiết kế pipeline huấn luyện và đánh giá trên tập kiểm tra thực tế bằng ba chỉ số chuẩn: Độ chính xác (Precision), Độ bao phủ (Recall) và Điểm F1-score.

Thiết kế và triển khai

Hệ thống được thiết kế theo kiến trúc phân tách Client - Server rõ ràng, kết nối qua giao thức HTTP RESTful API. Hệ thống áp dụng ngăn xếp công nghệ (tech stack) chi tiết như sau:

• Phía máy khách (Frontend): Xây dựng trên nền tảng React (phiên bản ~18.x) theo cấu trúc component tái sử dụng (App.jsx, StoryCard, VoiceControlButton); sử dụng react-router-dom (phiên bản ~6.x) để điều hướng các trang chức năng (trang chủ, tìm kiếm, chi tiết truyện); sử dụng thư viện axios (phiên bản ~1.x) để giao tiếp dữ liệu với máy chủ.
• Phía máy chủ (Backend): Xây dựng bằng framework Express (phiên bản ~4.x) trên nền tảng Node.js; sử dụng thư viện Mongoose (phiên bản ~8.x) để ánh xạ đối tượng dữ liệu (ODM) với cơ sở dữ liệu MongoDB; sử dụng multer (phiên bản ~1.x) xử lý tải tệp hình ảnh; sử dụng node-cache (phiên bản ~5.x) tối ưu bộ nhớ đệm cho danh mục và kết quả gợi ý.
• Xử lý ngôn ngữ tự nhiên và AI: Sử dụng mô hình nhúng câu đa năng Universal Sentence Encoder (USE) thông qua thư viện @tensorflow-models/universal-sentence-encoder (phiên bản ~1.x) và @tensorflow/tfjs của Google, kết hợp thư viện Natural để trích xuất đặc trưng TF-IDF.
• Tương tác giọng nói: Tận dụng trực tiếp Web Speech API có sẵn trên trình duyệt (hỗ trợ tối ưu trên Google Chrome và Microsoft Edge), bao gồm giao diện SpeechRecognition để giải mã âm thanh tiếng Việt (vi-VN) thành văn bản và giao diện SpeechSynthesis để đọc nội dung truyện hoặc thông báo trạng thái.

Quy trình tích hợp điều khiển giọng nói vào trang web được đóng gói chặt chẽ trong custom hook useVoiceControl.js:

• Kích hoạt phần cứng micro: Lắng nghe sự kiện bàn phím khi người dùng nhấn phím Ctrl, giao diện lập tức chuyển trạng thái sang "Đang lắng nghe" và bắt đầu thu nhận luồng âm thanh.
• Chuẩn hóa đầu vào (normalizeInput): Xử lý văn bản nhận dạng về chữ thường, chuyển đổi các từ đồng âm sai lệch trong ngữ cảnh tiếng Việt (ví dụ thay "chuyện" bằng "truyện"), đồng thời kiểm tra danh sách từ khóa hợp lệ (storyRelatedKeywords) để loại bỏ các khẩu lệnh không liên quan.
• Nhận diện ý định (Intent Classification): Lệnh sau chuẩn hóa được mô hình USE mã hóa thành vector nhúng ngữ nghĩa 512 chiều. Hệ thống tính độ tương đồng Cosine (cosineSimilarity) giữa vector lệnh với hơn 70 mẫu lệnh định sẵn (commandTemplates). Nếu độ tương đồng vượt ngưỡng 0.8, ý định tương ứng sẽ được kích hoạt; nếu dưới ngưỡng, hệ thống kích hoạt cơ chế dự phòng so khớp từ khóa chính - phụ (keywordMatch).
• Trích xuất tham số (extractParameters): Phân tích cú pháp văn bản để lấy các trường thông tin cụ thể như tên truyện (storyName), họ tên (fullname), danh mục (preferred_categories), điểm đánh giá số (rating), tên chương (chapterName) và nội dung bình luận (comment).
• Quản lý ngữ cảnh (sessionContext): Lưu trữ phiên tương tác với tham số lastIntent và lastParameters. Kỹ thuật contextBoost cộng thêm 0.15 điểm trọng số tương đồng cho các hành động logic tiếp theo (như mở chương, đọc tiếp sau lệnh mở thư viện). Trường hợp người dùng đặt câu hỏi mở không có trong kịch bản điều hướng, hàm isQuestion sẽ gắn nhãn story_related_unknown, lưu câu hỏi vào phiên để quản trị viên phản hồi qua thư điện tử.
• Phản hồi âm thanh (speak): Hook liên tục theo dõi vị trí trang (location.pathname), kích hoạt hàm getPageName() và phát âm thanh thông báo trạng thái hệ thống tới người dùng qua bộ tổng hợp giọng nói.

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết xử lý tiếng nói

Chương 1 trình bày hệ thống lý thuyết toàn diện về hai bài toán nhận dạng giọng nói (STT) và tổng hợp giọng nói từ văn bản (TTS). Tác giả phân tích cấu tạo âm học, toán học đằng sau quá trình trích xuất đặc trưng MFCC 13 chiều, vai trò của mô hình âm học HMM và mô hình ngôn ngữ thống kê n-gram trong việc giải mã tín hiệu giọng nói. Đối với nhánh TTS, chương này phân loại chi tiết các thế hệ công nghệ từ mô phỏng tuyến âm, bộ lọc formant, kỹ thuật ghép nối âm thanh mẫu (chọn đơn vị, diphone) cho đến các kiến trúc hiện đại sử dụng mạng nơ-ron sâu (DNN) và học sâu End-to-End Seq2Seq (tiêu biểu là mô hình Tacotron). Tác giả cũng thiết lập các tiêu chuẩn kiểm chuẩn âm thanh bằng cả phương pháp định lượng kỹ thuật (phổ âm tần, RMSE logF0) lẫn đánh giá định tính cảm nhận MOS từ con người.

Chương 2: Hệ thống gợi ý

Chương 2 tập trung vào các phương pháp xây dựng hệ thống gợi ý truyện trực tuyến. Tác giả phân tích sâu cơ chế hoạt động của thuật toán lọc dựa trên nội dung sử dụng không gian vector TF-IDF và thuật toán lọc cộng tác ma trận người dùng - truyện thông qua hệ số tương quan Cosine và Pearson. Đồng thời, chương trình bày chi tiết công thức kết hợp tuyến tính có trọng số trong mô hình Hybrid Filtering nhằm giải quyết tình trạng thiếu hụt dữ liệu ban đầu. Chương này cũng phân tích cụ thể cấu trúc cơ sở dữ liệu MongoDB phục vụ gợi ý, quy trình tiền xử lý vector văn bản bằng thư viện Natural, thiết kế kịch bản thử nghiệm đánh giá qua ba chỉ số Precision, Recall và F1-score trên tập dữ liệu người dùng thật.

Chương 3: Tổng quan về chatbot

Chương 3 trình bày giải pháp xây dựng trợ lý ảo hỗ trợ tìm kiếm và giải đáp câu hỏi của người đọc. Tác giả phân loại ba nhóm chatbot (theo quy tắc, theo AI và dạng lai), từ đó đề xuất mô hình chatbot nhúng ngữ nghĩa chuyên biệt cho website đọc truyện. Nội dung trọng tâm đi sâu vào quy trình xử lý tín hiệu ngôn ngữ tự nhiên: hàm chuẩn hóa văn bản đầu vào, phương pháp vector hóa câu bằng mô hình Universal Sentence Encoder của Google tạo biểu diễn không gian 512 chiều, thuật toán so khớp độ tương đồng Cosine kết hợp bộ quy tắc từ khóa dự phòng với hơn 70 mẫu câu lệnh. Chương này cũng làm rõ cơ chế phát hiện câu hỏi mở (isQuestion), logic trích xuất tham số nghiệp vụ và cơ chế tăng trọng số ngữ cảnh phiên làm việc (contextBoost).

Chương 4: Tích hợp các thành phần vào website

Chương 4 mô tả chi tiết quá trình ghép nối các module công nghệ vào hệ thống website hoàn chỉnh. Tác giả cung cấp danh mục các thư viện giao diện frontend (React 18, react-router-dom 6, axios 1), các thư viện backend (Express 4, Mongoose 8, TensorFlow.js, node-cache 5) và giao diện lập trình Web Speech API. Điểm nhấn của chương là quy trình triển khai custom hook useVoiceControl.js, kỹ thuật lắng nghe sự kiện phím tắt Ctrl để bật tắt micro, giải pháp liên kết callback cập nhật trạng thái gợi ý truyện trên giao diện (setSelectedRecommendation), cùng cơ chế phản hồi giọng nói tự động thông báo vị trí trang và trạng thái xử lý tác vụ của người dùng.

Chương 5: Giao diện hệ thống

Chương 5 giới thiệu chi tiết sơ đồ thiết kế và bố cục giao diện thực tế của hệ thống sau khi hoàn thiện, phân chia theo hai phân hệ người dùng độc lập:

• Giao diện người dùng (User): Bao gồm trang chủ hiển thị danh sách truyện mới và truyện nổi bật, thanh công cụ tìm kiếm tích hợp nút kích hoạt giọng nói, trang chi tiết truyện hiển thị thông tin tác giả và thể loại, giao diện đọc truyện hỗ trợ tự động cuộn trang và đọc thành tiếng, khu vực hiển thị danh sách truyện gợi ý cá nhân hóa và khung bình luận tương tác.
• Giao diện quản trị viên (Admin): Cung cấp bảng điều khiển quản lý toàn diện cơ sở dữ liệu hệ thống, cho phép thực hiện các thao tác thêm, sửa, xóa danh mục truyện, quản lý danh sách tác giả, kiểm duyệt bình luận của độc giả, theo dõi thông tin tài khoản người dùng và xem báo cáo thống kê số lượt xem, đánh giá.

Chương 6: Xác định các yêu cầu kiểm thử và thực hiện kiểm thử phần mềm

Chương 6 thiết lập kế hoạch và báo cáo kết quả kiểm thử chức năng cho toàn bộ hệ thống phần mềm. Các kịch bản kiểm thử bằng giọng nói được xây dựng bao quát mọi luồng tương tác:

• Phân hệ người dùng: Kiểm thử đăng nhập và đăng ký bằng giọng nói, tìm kiếm truyện theo tên, ra lệnh đọc truyện/chuyển chương, thêm truyện vào danh sách yêu thích, thêm truyện vào danh sách đang đọc, nhập nội dung bình luận và yêu cầu thay đổi chế độ gợi ý truyện bằng khẩu lệnh.
• Phân hệ quản trị: Kiểm thử quản lý truyện, kiểm duyệt bình luận, quản lý thể loại, quản lý tác giả, quản lý tài khoản người dùng bằng lệnh thoại và kiểm tra tính chính xác của màn hình thống kê dữ liệu. Toàn bộ các ca kiểm thử đều được thực hiện thực tế trên môi trường trình duyệt Chrome máy tính để xác nhận độ ổn định của hệ thống.

Kết quả và đóng góp

Đồ án đã thiết lập thực nghiệm đánh giá hiệu năng thuật toán gợi ý trên tập dữ liệu thực tế lưu trữ tại MongoDB, bao gồm 55 tài liệu người dùng (vai trò user), 20 tài liệu truyện, 111 tài liệu đánh giá điểm và hệ thống danh mục thể loại. Thử nghiệm tiến hành trên các nhóm người dùng với tập danh mục ưa thích khác nhau, thiết lập số lượng gợi ý tối đa topN = 5 (riêng Content-based thử nghiệm mở rộng topN = 10) và số láng giềng k = 5 cho lọc cộng tác. Kết quả đo lường trung bình được tổng hợp trong bảng số liệu sau:

Phương pháp gợi ý	Độ chính xác (Precision)	Độ bao phủ (Recall)	Điểm F1-score
Lọc dựa trên nội dung (Content-based)	0.687	0.854	0.761
Lọc cộng tác (Collaborative Filtering)	Thấp	Thấp	Thấp (do thưa dữ liệu)
Lọc lai kết hợp (Hybrid Filtering)	0.688	0.854	0.763

Dữ liệu thực nghiệm chứng minh rằng phương pháp lọc lai (Hybrid Filtering) mang lại hiệu quả cao nhất với F1-score đạt 0.763, nhỉnh hơn phương pháp Content-based đơn lẻ (0.761). Phương pháp Content-based chứng minh tính ổn định cao và độ bao phủ tốt trong điều kiện dữ liệu thưa thớt, trong khi phương pháp Collaborative Filtering gặp hạn chế lớn do quy mô số lượng đánh giá còn nhỏ (111 đánh giá trên 55 người dùng).

Về mặt sản phẩm phần mềm, đồ án đã xây dựng thành công website đọc truyện hoàn chỉnh có khả năng điều khiển toàn diện bằng giọng nói tiếng Việt. Người dùng có thể tìm kiếm, chọn truyện, lật trang, nghe đọc truyện tự động bằng Web Speech API mà không cần dùng đến thiết bị chuột hay bàn phím. Hệ thống tích hợp thành công mô hình chatbot sử dụng Universal Sentence Encoder chạy trực tiếp trên nền Node.js, nhận diện chính xác các khẩu lệnh điều hướng phức tạp dựa trên vector ngữ nghĩa 512 chiều. Đóng góp nổi bật của đề tài là việc ứng dụng công nghệ hỗ trợ tiếp cận tri thức số cho đối tượng người khiếm thị và người khuyết tật vận động, kết hợp hài hòa giữa xử lý ngôn ngữ tự nhiên, gợi ý nội dung và điều khiển rảnh tay trong một hệ thống web duy nhất.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các kết quả và thử nghiệm được trình bày trong văn bản khóa luận, hệ thống còn tồn tại một số hạn chế kỹ thuật:

• Quy mô dữ liệu thử nghiệm còn khiêm tốn với 55 người dùng, 20 đầu truyện và 111 lượt đánh giá, khiến phương pháp lọc cộng tác (Collaborative Filtering) chưa phát huy được thế mạnh do vấn đề ma trận thưa.
• Tập kiểm tra thực nghiệm trong một số kịch bản chỉ bao gồm từ 1 đến 3 truyện chưa đọc của người dùng, chưa phản ánh toàn diện các tình huống tương tác thực tế ở quy mô lớn.
• Mô hình chatbot hiện tại chỉ xử lý tự động đối với các lệnh điều hướng và câu hỏi khớp với kịch bản; các câu hỏi mở chuyên sâu chưa được giải đáp tức thì mà phải chuyển hướng lưu vào ngữ cảnh phiên để quản trị viên trả lời thủ công qua email.
• Khả năng nhận diện giọng nói của Web Speech API phụ thuộc nhiều vào trình duyệt (hoạt động tối ưu trên Chrome) và chất lượng đường truyền mạng, chưa hỗ trợ hoàn toàn cơ chế xử lý ngoại tuyến độc lập.

Các hướng mở rộng và nghiên cứu tiếp theo được tác giả xác định bao gồm:

• Mở rộng quy mô cơ sở dữ liệu truyện và thu thập thêm lượng tương tác đánh giá từ người dùng để tối ưu hóa giải thuật lọc cộng tác.
• Tích hợp thêm các chỉ số đánh giá xếp hạng nâng cao như Mean Average Precision (MAP) và Normalized Discounted Cumulative Gain (NDCG) nhằm tối ưu thứ tự ưu tiên của danh sách truyện gợi ý.
• Nâng cấp mô hình chatbot để có khả năng tự động truy vấn cơ sở tri thức và trả lời trực tiếp các câu hỏi mở của độc giả.
• Tối ưu hóa giao diện và mở rộng khả năng tương thích của hệ thống điều khiển giọng nói trên nhiều nền tảng trình duyệt và thiết bị di động khác nhau.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo có giá trị học thuật và ứng dụng thực tiễn cao cho sinh viên ngành Công nghệ thông tin, Kỹ thuật phần mềm và Hệ thống thông tin đang thực hiện các đề tài về xử lý ngôn ngữ tự nhiên và hệ thống gợi ý. Tài liệu cung cấp quy trình triển khai chi tiết cho các lập trình viên muốn tích hợp Web Speech API vào các ứng dụng web hiện đại xây dựng trên React.

Đặc biệt, phần phân tích kiến trúc chatbot sử dụng mô hình Universal Sentence Encoder (@tensorflow-models/universal-sentence-encoder) kết hợp với cơ chế quản lý ngữ cảnh phiên (sessionContext) và thuật toán so khớp độ tương đồng Cosine trong môi trường Node.js/Express là tài liệu tham khảo mẫu mực cho các bài toán nhận diện ý định khẩu lệnh tiếng Việt mà không cần phụ thuộc vào các dịch vụ đám mây trả phí. Ngoài ra, phần thực nghiệm so sánh ba phương pháp gợi ý (Content-based, Collaborative Filtering, Hybrid) trên cơ sở dữ liệu MongoDB cung cấp phương pháp luận rõ ràng cho các bài toán phân tích hành vi người dùng trong các hệ thống thương mại điện tử hoặc xuất bản nội dung số.

Câu hỏi thường gặp

Hệ thống sử dụng công nghệ nào để thực hiện nhận dạng giọng nói và chuyển đổi văn bản thành giọng nói?
Hệ thống sử dụng trực tiếp Web Speech API tích hợp sẵn trong trình duyệt web (hoạt động tối ưu trên Google Chrome và Microsoft Edge). Giao diện SpeechRecognition được cấu hình với mã ngôn ngữ vi-VN để chuyển đổi lời nói tiếng Việt thành văn bản, và giao diện SpeechSynthesis kết hợp với giọng đọc tiếng Việt của trình duyệt được sử dụng để phát âm thanh đọc truyện tự động và thông báo phản hồi trạng thái.

Mô hình trí tuệ nhân tạo nào được áp dụng cho chatbot và cơ chế nhận diện ý định lệnh thoại hoạt động ra sao?
Chatbot sử dụng mô hình Universal Sentence Encoder (USE) thông qua thư viện @tensorflow-models/universal-sentence-encoder và @tensorflow/tfjs trên nền Node.js. Lệnh thoại sau khi chuẩn hóa được mô hình USE mã hóa thành vector nhúng ngữ nghĩa 512 chiều, sau đó tính toán độ tương đồng Cosine với hơn 70 mẫu câu lệnh định sẵn. Nếu độ tương đồng vượt ngưỡng 0.8, ý định điều hướng sẽ được xác lập; trường hợp điểm số thấp hơn, hệ thống áp dụng cơ chế so khớp từ khóa chính - phụ làm phương án dự phòng.

Hiệu suất của các phương pháp gợi ý truyện trong đồ án đạt kết quả như thế nào?
Thực nghiệm trên tập dữ liệu MongoDB (55 người dùng, 20 truyện, 111 đánh giá) cho thấy phương pháp lọc lai (Hybrid Filtering) đạt kết quả tổng thể cao nhất với điểm F1-score là 0.763 và độ chính xác Precision là 0.688. Phương pháp lọc dựa trên nội dung (Content-based) đạt F1-score 0.761 và Precision 0.687 với độ bao phủ Recall tốt. Phương pháp lọc cộng tác (Collaborative Filtering) đạt hiệu suất thấp nhất do ảnh hưởng của hiện tượng thưa thớt dữ liệu đánh giá.

Hệ thống xử lý thế nào đối với các câu hỏi mở không nằm trong kịch bản điều hướng của chatbot?
Khi người dùng phát âm lệnh chứa các từ để hỏi (như "ai", "thế nào", "tại sao", "cái gì") hoặc có dấu chấm hỏi mà không khớp với các mẫu lệnh điều hướng, hàm isQuestion sẽ phân loại yêu cầu vào ý định story_related_unknown. Hệ thống sẽ phản hồi bằng giọng nói thông báo ghi nhận câu hỏi, đồng thời lưu nội dung vào biến ngữ cảnh phiên (sessionContext) để quản trị viên có thể truy xuất và gửi câu trả lời phản hồi sau qua thư điện tử của người dùng.

Người dùng kích hoạt tính năng điều khiển bằng giọng nói trên giao diện web bằng cách nào?
Người dùng kích hoạt micro thu âm bằng cách nhấn phím Ctrl trên bàn phím máy tính. Khi phím được nhấn, custom hook useVoiceControl sẽ kích hoạt giao diện trình duyệt chuyển sang trạng thái hiển thị "Đang lắng nghe" và bắt đầu tiếp nhận khẩu lệnh tiếng Việt từ người dùng.

Kết luận

Đồ án tốt nghiệp "Xây dựng website đọc truyện điều khiển bằng giọng nói" của nhóm tác giả Nguyễn Quỳnh Nhi và Trần Ngọc Nhựt Thanh đã giải quyết trọn vẹn bài toán xây dựng nền tảng giải trí trực tuyến rảnh tay, hỗ trợ tích cực cho người khiếm thị và người hạn chế khả năng thao tác vận động. Nghiên cứu đã tích hợp thành công Web Speech API cho tương tác âm thanh tiếng Việt hai chiều, ứng dụng mô hình nhúng câu Universal Sentence Encoder để nhận diện khẩu lệnh chính xác và xây dựng hệ thống gợi ý lai kết hợp giữa TF-IDF với lọc cộng tác đạt F1-score 0.763. Kết quả thực nghiệm và sản phẩm phần mềm hoàn thiện trên nền tảng React và Node.js khẳng định tính khả thi cao, mở ra hướng ứng dụng thiết thực của trí tuệ nhân tạo trong việc nâng cao khả năng tiếp cận công nghệ số cho cộng đồng.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT XỬ LÝ TIẾNG NÓI 1. NHẬN DẠNG GIỌNG NÓI (SPEECH TO TEXT) 1. Giới thiệu Nhận dạng giọng nói là công nghệ cho phép máy móc và phần mềm máy tính tiếp nhận, phân tích và chuyển đổi lời nói của con người thành văn bản. [1] Trước đây, các hệ thống nhận dạng giọng nói có vốn từ vựng hạn chế và chỉ hoạt động hiệu quả khi người dùng phát âm rõ ràng.

Tuy nhiên, với sự phát triển của công nghệ, các phần mềm hiện đại có thể xử lý ngôn ngữ tự nhiên, nhận diện nhiều giọng nói và hỗ trợ nhiều ngôn ngữ khác nhau. [1] Công nghệ nhận dạng giọng nói có ứng dụng rộng rãi trong khoa học máy tính, ngôn ngữ học và kỹ thuật phần mềm. Nó bao gồm hai khái niệm quan trọng cần phân biệt: - Speech recognition: Tập trung vào việc nhận diện và chuyển đổi từ ngữ trong lời nói thành dạng văn bản mà máy có thể xử lý. - Voice recognition: Một dạng công nghệ sinh trắc học, được sử dụng để nhận diện cá nhân dựa trên đặc điểm giọng nói.

Kiến trúc mô hình nhận dạng tiếng nói Kiến trúc của một mô hình nhận dạng tiếng nói cơ bản bao gồm 4 thành phần chính: - Acoustic Front-end - Acoustic Model - Search Algorithm (Decoder) - Language Model 4 Hình 1. Kiến trúc mô hình nhận dạng giọng nói Một hệ thống nhận dạng giọng nói điển hình được phát triển với các thành phần chính bao gồm: tiền xử lý âm thanh (acoustic front-end), mô hình âm học (acoustic model), từ điển phát âm (lexicon), mô hình ngôn ngữ (language model) và bộ giải mã (decoder) như được minh họa trong Hình 1. Tiền xử lý âm thanh chịu trách nhiệm chuyển đổi tín hiệu giọng nói thành các đặc trưng phù hợp, cung cấp thông tin hữu ích cho quá trình nhận dạng. Sóng âm đầu vào từ micro được chuyển đổi thành một chuỗi các vector âm học có kích thước cố định, quá trình này được gọi là trích xuất đặc trưng (feature extraction).

Các tham số của mô hình từ hoặc âm vị (phone) được ước lượng từ các vector âm học trong dữ liệu huấn luyện. Bộ giải mã hoạt động bằng cách tìm kiếm trong tất cả các chuỗi từ có thể để tìm ra chuỗi từ có khả năng tạo ra cao nhất. Xác suất này được xác định bởi mô hình âm học P(O|W) và P(W) được xác định bởi mô hình ngôn ngữ. Chức năng của hệ thống nhận dạng giọng nói tự động có thể được mô tả là quá trình trích xuất một số tham số giọng nói từ tín hiệu âm thanh đối với mỗi từ hoặc đơn vị con của từ.

Các tham số giọng nói này mô tả từ hoặc đơn vị con của từ thông qua sự biến thiên theo thời gian và cùng nhau tạo thành một mẫu đặc trưng cho từ hoặc đơn vị đó. Trong giai đoạn huấn luyện, người vận hành sẽ đọc tất cả các từ trong từ vựng của ứng dụng hiện tại. Các mẫu từ này được lưu trữ và sau đó khi cần nhận dạng một từ, mẫu của từ đó sẽ được so sánh với các mẫu đã lưu, từ nào khớp tốt nhất sẽ được chọn. Kỹ thuật này thường được gọi là nhận dạng theo mẫu (pattern recognition).

Acoustic Front-end Hình 2. Các bước trích rút đặc trưng MFCC 5 Acoustic front-end liên quan đến việc xử lý tín hiệu và trích xuất đặc trưng. Trong nhận dạng tiếng nói, mục tiêu chính của bước trích xuất đặc trưng là tính toán một chuỗi các vector đặc trưng cho một biểu diễn dạng số của tín hiệu đầu vào đã cho. Việc trích rút đặc trưng thường bao gồm 3 giai đoạn.

- Giai đoạn đầu tiên được gọi là phân tích tiếng nói. Nó thực hiện phân tích phổ của tín hiệu âm thanh và tạo ra các đặc trưng thô mô tả phổ của các khoảng tiếng nói trong một thời gian ngắn. - Giai đoạn thứ hai tổng hợp mở rộng đặc trưng của vector bao gồm kết hợp các đặc trưng hoặc đưa thêm các thông tin tĩnh và động. - Giai đoạn cuối cùng là biến đổi những vector đặc trưng thành các vector nhỏ gọn như nén, phân tích thành phần chính, sau đó được đưa vào huấn luyện mô hình nhận dạng.

Trích rút đặc trưng âm thanh có rất nhiều loại, và cho nhiều biểu diễn khác nhau. Để tìm được phương pháp trích rút đặc trưng tốt thì chúng phải cho phép hệ thống tự động phân biệt giữa các âm thanh khác nhau thông qua âm thanh tiếng nói tương tự, chúng phải cho phép tạo tự động các mô hình âm thanh cho các âm thanh mà không cần quá nhiều dữ liệu huấn luyện và chúng phải thể hiện số liệu thống kê phần lớn bất biến đối với người nói và môi trường nói. Có rất nhiều phương pháp để mô tả tín hiệu tiếng nói dưới dạng số. Một số phương pháp trích xuất đặc trưng như: Principle Component Analysis (PCA), Linear Discriminant Analysis (LDA), Independent Component Analysis (ICA), Linear Predictive Coding (LPC), Cepstral Analysis, Mel-Frequency Scale Analysis, Filter- Bank Analysis, MelFrequency Cepstrum Co-efficients (MFCC), Kernal Based Feature Extraction, Dynamic Feature Extraction, Wavelet based features, Spectral Subtraction and Cepstral Mean Subtraction (CMS).

Đối với nhận dạng tiếng nói trong môi trường có tiếng ồn, nhiều phương pháp trích xuất đặc trưng như: biên độ đỉnh giao nhau bằng không (ZCPA), phát hiện đồng bộ cục bộ trung bình (ALSD), đáp ứng không méo phương sai tối thiểu theo cảm nhận (PMVDR), hệ số song song chuẩn hóa công suất (PNCC), Các tính năng tích hợp bất biến (IIF), hạt nhân tái tạo thính giác thưa thớt (SPARK), và các đặc trưng FilterBank Gabor được áp dụng hiệu quả. 6 Có nhiều biểu diễn đặc trưng được sử dụng, nhưng phổ biến nhất trong nhận dạng tiếng nói là phương pháp trích rút đặc trưng MFCC. Phương pháp MFCC bao gồm các bước sau: - Pre-emphasis: Tăng mức năng lượng cho các âm có tần số cao. - Frame blocking và Windowing: Chia tín hiệu đầu vào thành các đoạn có khoảng thời gian đủ nhỏ.

Điều này được thực hiện bằng cách tạo ra cửa sổ với độ rộng N miliseconds và bước dịch chuyển là M miliseconds. Cửa sổ sẽ trượt theo bước dịch chuyển để lấy ra các đoạn tín hiệu âm thanh liên tục. - Discrete Fourier Transform (FFT - Fast Fourier Transform): Sử dụng phép biến đổi Fourier nhanh (FFT) cho mỗi đoạn tín hiệu để biến đổi âm thanh từ miền thời gian, biên độ sang miền tần số. - Mel Filter Bank: Tai người cảm nhận âm có tần số thấp tốt, kém nhạy cảm với các âm có tần số cao.

Do đó, ta cần chuẩn hóa lại các vector tần số này sao cho thích hợp nhất với đặc trưng của tai người. - Log: Lấy logarit thập phân của các tín hiệu phổ Mel để giảm độ chênh lệch tần số. - DCT: sử dụng phép biến đổi cosine rời rạc dựa trên đặc trưng vừa thu được. Đầu ra của DCT là vector 13 chiều.

- MFCCs: Bổ sung các chiều đặc trưng thể hiện sự biến đổi của tín hiệu bằng các đạo hàm cấp 1 và đạo hàm cấp 2 trên đặc trưng vừa thu được. Acoustic Model Mô hình âm học là một trong những nguồn tri thức quan trọng nhất trong hệ thống nhận dạng giọng nói tự động. Nó đại diện cho các đặc trưng âm học của các đơn vị âm vị cần được nhận dạng. Khi xây dựng mô hình âm học, một trong những vấn đề cơ bản và quan trọng là lựa chọn đơn vị mô hình hóa cơ bản.

Nói chung, khi đã xác định ngôn ngữ đích của giọng nói, có thể sử dụng nhiều loại đơn vị nhỏ hơn từ (sub-word units) cho việc mô hình hóa âm học. Việc chọn loại đơn vị mô hình hóa âm học phù hợp có thể ảnh hưởng đáng kể đến hiệu suất của hệ thống nhận dạng giọng nói. Mô hình hóa âm học thường đề cập đến quá trình xây dựng các biểu diễn thống kê cho chuỗi vector đặc trưng được tính toán từ tín hiệu giọng nói. Mô hình Markov ẩn 7 (HMM) là một trong những mô hình thống kê phổ biến nhất để xây dựng mô hình âm học.

Ngoài HMM, còn có các mô hình khác như mô hình đoạn (segmental models), mô hình siêu đoạn (supersegmental models – bao gồm mô hình động ẩn), mạng nơ-ron (neural networks), mô hình entropy cực đại (maximum entropy models), và mô hình trường ngẫu nhiên có điều kiện (conditional random fields – CRF), v. Một mô hình âm học là một tệp chứa các biểu diễn thống kê của từng âm thanh riêng biệt tạo nên một từ. Mỗi biểu diễn thống kê này được gán một nhãn gọi là âm vị (phoneme). Mô hình âm học được tạo ra bằng cách sử dụng một cơ sở dữ liệu lớn về giọng nói gọi là corpus giọng nói, kết hợp với các thuật toán huấn luyện đặc biệt để tạo ra các biểu diễn thống kê cho từng âm vị trong một ngôn ngữ.

Mỗi âm vị sẽ có một mô hình HMM riêng. Bộ giải mã giọng nói sẽ "lắng nghe" các âm thanh riêng biệt mà người dùng phát ra, sau đó tìm mô hình HMM tương ứng trong mô hình âm học. Mỗi từ được nói ra, ký hiệu là w, sẽ được phân tách thành một chuỗi các âm cơ bản gọi là base phone. Mô hình âm học mô tả xác suất của một quan sát cụ thể dựa trên một base phone nhất định.

Language Model Mô hình ngôn ngữ là một tập hợp các ràng buộc về trình tự các từ có thể chấp nhận được trong một ngôn ngữ nhất định. Những ràng buộc này có thể được biểu diễn, ví dụ, bằng các quy tắc của ngữ pháp sinh (generative grammar) hoặc đơn giản hơn là bằng thống kê về từng cặp từ, được ước lượng từ một tập dữ liệu huấn luyện. Mặc dù có những từ có cách phát âm gần giống nhau, con người thường không gặp khó khăn trong việc nhận ra từ nào đang được nói. Điều này chủ yếu là do họ hiểu ngữ cảnh, và có sự dự đoán khá tốt về những từ hoặc cụm từ có thể xuất hiện trong ngữ cảnh đó.

Việc cung cấp thông tin ngữ cảnh cho hệ thống nhận dạng giọng nói chính là mục đích của mô hình ngôn ngữ. Mô hình ngôn ngữ xác định những từ nào là hợp lệ trong ngôn ngữ, và những trình tự từ nào có thể xuất hiện. Mô hình ngôn ngữ thường được huấn luyện, nghĩa là xác suất của các n-gram (các chuỗi gồm n từ liên tiếp) được ước lượng bằng cách quan sát các chuỗi từ trong các tập văn bản có hàng triệu từ. Mục tiêu là giảm độ rối (perplexity) trên dữ liệu huấn 8 luyện.

Tuy nhiên, người ta đã nhận thấy rằng việc giảm perplexity không nhất thiết dẫn đến kết quả nhận dạng giọng nói tốt hơn.