Tổng quan về giáo trình

Bài giảng Xử lý tiếng nói (Mã học phần: 17412) là tài liệu học tập chính thức do Bộ môn Hệ thống Thông tin, Khoa Công nghệ Thông tin – Trường Đại học Hàng hải Việt Nam biên soạn và ban hành năm 2011. Học phần được thiết kế dành riêng cho sinh viên bậc đại học chính quy thuộc ngành Công nghệ Thông tin, thuộc nhóm học phần loại 2 với tổng thời lượng 4 tín chỉ (tương đương 75 tiết định mức).

Về mặt vị trí trong chương trình đào tạo, học phần giữ vai trò cung cấp khối kiến thức kỹ thuật chuyên sâu về mô hình hóa âm thanh, biểu diễn tín hiệu số và giao tiếp người - máy bằng ngôn ngữ tự nhiên.

                               CẤU TRÚC HỌC PHẦN (75 TIẾT)
  Chương I (15t)      Chương II (15t)       Chương III (21t)    Chương IV (24t)
  Cơ sở ngữ âm &      Xử lý tín hiệu số &   Nhận dạng tiếng nói Chuyển văn bản
  ngôn ngữ nói        mô hình âm học        (ASR & HMM)         thành giọng nói (TTS)

Mục tiêu học tập của bài giảng tập trung vào ba trụ cột:

  • Cung cấp các kiến thức cơ bản về lĩnh vực xử lý tiếng nói và ngữ âm học.
  • Giúp người học hiểu rõ nguyên lý hoạt động, cấu trúc thuật toán của các hệ thống nhận dạng tiếng nói tự động (Automatic Speech Recognition - ASR).
  • Giúp người học làm chủ các kỹ thuật phân tích văn bản và thuật toán tổng hợp âm thanh trong hệ thống chuyển văn bản thành tiếng nói (Text-to-Speech - TTS).

Cấu trúc giáo trình tiếp cận theo mô hình tuyến tính từ mức vật lý - tín hiệu đến mức mô hình hóa thống kê và ứng dụng xử lý ngôn ngữ. Nội dung bắt đầu từ giải phẫu cơ quan phát âm, phân tích đặc trưng âm học tiếng Việt, kế tiếp là cơ sở xử lý tín hiệu số rời rạc, sau đó đào sâu vào hai bài toán cốt lõi: nhận dạng tiếng nói (với mô hình Markov ẩn) và tổng hợp tiếng nói (với kỹ thuật ghép nối diphone và thuật toán PSOLA).

Nội dung kiến thức cốt lõi

                                TIẾN TRÌNH NỘI DUNG BÀI GIẢNG

Các chương và chủ đề chính

Chương I: Các kiến thức cơ bản (15 tiết: 9 LT, 6 TH)

Chương này trang bị nền tảng giải phẫu học và ngôn ngữ học cấu âm:

  • Tổng quan xử lý tiếng nói: Bản chất của giao tiếp người - máy bằng giọng nói, 3 nguyên tắc nhận dạng cơ bản (biểu diễn phổ biên độ ngắn hạn, chuỗi ký hiệu ngữ âm bảo toàn ý nghĩa, và xử lý ngữ nghĩa/suy đoán thực dụng).
  • Cấu trúc ngôn ngữ nói: Cấu tạo bộ máy phát âm (phổi, khí quản, thanh quản, thanh môn chứa hai dây thanh, tuyến âm dài khoảng 12 cm ở người lớn, khoang mũi, vòm miệng, thực quản); cơ chế tạo âm thanh (nguồn kích thích từ thanh môn kết hợp dao động cộng hưởng của tuyến âm).
  • Ngữ âm học và âm vị học: Đối chiếu giữa ngữ âm học (nghiên cứu phổ quát âm thanh, số lượng âm tố vô hạn) và âm vị học (nghiên cứu các đơn vị âm thanh có chức năng khu biệt nghĩa, số lượng âm vị hữu hạn).
  • Âm tiết và từ ngữ tiếng Việt: Phân loại 4 kiểu kết thúc âm tiết (âm tiết khép kết thúc bằng phụ âm không vang /p, t, k/, âm tiết nửa khép bằng phụ âm vang /m, n, ŋ/, âm tiết nửa mở bằng bán nguyên âm /w, j/, âm tiết mở giữ nguyên âm sắc). Đặc điểm cấu trúc âm tiết tiếng Việt gồm mô hình 2 bậc với 5 thành tố, có tính độc lập cao, mang thanh điệu và biểu hiện ý nghĩa từ vựng.

Chương II: Xử lý tín hiệu số trong xử lý tiếng nói (15 tiết: 9 LT, 6 TH)

Chương này xây dựng công cụ toán học và mô hình vật lý của tín hiệu tiếng nói:

  • Xử lý tín hiệu số: Biến đổi Fourier ($FT$), Biến đổi Fourier rời rạc ($DFT$), Biến đổi $Z$ ($ZT$), miền hội tụ của chuỗi lũy thừa, hệ thống tuyến tính bất biến dịch chuyển thời gian rời rạc với biểu thức tích chập và hàm hệ thống: $$Y(z) = H(z)X(z)$$
  • Biểu diễn tín hiệu tiếng nói & Mô hình âm học: Mô hình hóa bộ máy phát âm thành hai khối: nguồn âm (âm hữu thanh là sóng tuần hoàn qua bộ lọc thông thấp với 2 cực thực và tần số cắt khoảng $100\text{ Hz}$; âm vô thanh là nhiễu trắng) và hệ thống đáp ứng (thanh môn, tuyến âm, mũi, môi). Tuyến âm được mô hình hóa bằng chuỗi $M$ đoạn ống âm học lý tưởng và biểu diễn qua hàm truyền đạt: $$T(z) = G(z)R(z)$$ Trong đó sự tán xạ ở môi là: $$R(z) = C(1 - z^{-1})$$ Hệ thống toàn điểm cực được xác định các tham số Formant qua bộ lọc đảo $A(z)$. Tín hiệu tiếng nói được phân tích trên các khung thời gian giả định dừng ngắn hạn ($20\text{ ms}$).
  • Mã hóa và nhận dạng người nói: Nhận dạng ngữ nghĩa và nhận dạng người nói dựa trên đường bao phổ, tần số cơ bản ($F_0$), các formant, hệ số tiên đoán tuyến tính ($LPC$) và hệ số Cepstrum.

Chương III: Nhận dạng tiếng nói (21 tiết: 12 LT, 9 TH)

Chương này phân tích các bài toán nhận dạng thực nghiệm:

  • Nhận dạng từ riêng lẻ và 6 thanh điệu tiếng Việt: Khảo sát sự dịch chuyển tần số cơ bản $F_0$:
    • Thanh không dấu ($F_0$ không đổi).
    • Thanh huyền ($F_0, F_0-10, F_0-20, F_0-30, F_0-50, F_0-60$).
    • Thanh sắc ($F_0-20, \dots, F_0+80$).
    • Thanh nặng ($F_0, F_0, F_0-35, \dots, F_0-140$).
    • Thanh hỏi ($F_0-30, \dots, F_0-95, \dots, F_0-30$).
    • Thanh ngã ($F_0, F_0-40, F_0+20, F_0+50, F_0+60$).
  • Nhận dạng từ liên tục: So sánh định lượng giữa câu không ngữ điệu, câu trần thuật (biên độ và $F_0$ giảm dần về cuối câu) và câu hỏi (từ để hỏi phát âm dài hơn, biên độ lớn hơn, $F_0$ tăng dần).
  • Mô hình Markov ẩn (Hidden Markov Model - HMM): Khái niệm xích Markov thời gian rời rạc, tính chất không nhớ Markov, ôtômat hữu hạn, không gian trạng thái $S$, ma trận xác suất chuyển trạng thái, đồ thị có hướng và sự tiến hóa của mô hình theo thời gian.
                         SƠ ĐỒ CHUYỂN DỊCH HỆ THỐNG TTS

Chương IV: Các hệ thống chuyển văn bản thành giọng nói (24 tiết: 15 LT, 9 TH)

Chương này đi sâu vào kiến trúc kỹ thuật của hệ thống Text-to-Speech:

  • Phân tích ngữ âm và văn bản: Phân loại 3 kiểu câu theo dấu ngắt (Loại 1: trần thuật . ; ) ] }; Loại 2: hỏi ?; Loại 3: lên giọng cuối câu , !); chuẩn hóa văn bản mã 8-bit TCVN3-ABC sang Telex (ví dụ: trường $\rightarrow$ truwowngf).
  • Chuyển đổi ký tự sang âm thanh: Tách từ thành hai diphone (diphone bắt đầu _truw và diphone kết thúc uwowng_) thông qua thuật toán dò tìm vị trí nguyên âm đầu tiên (aa, aw, ee, oo, ow, uw) kết hợp xử lý dấu thanh (như phân biệt acs_ và acj_).
  • Kỹ thuật tổng hợp tiếng nói:
    • Tổng hợp Formant: Cấu trúc bộ tổng hợp nối tiếp và song song (yêu cầu tối thiểu 3 Formant để nhận biết và 5 Formant để đạt chất lượng cao).
    • Tổng hợp ghép nối: Ghép các đơn vị âm vị/diphone từ mẫu thu tự nhiên.
    • Phương pháp PSOLA (Pitch Synchronous Overlap Add): Phân tích tín hiệu thành các thành phần xếp chồng - cộng để khôi phục sóng âm, cho phép điều khiển độc lập $F_0$, chu kỳ cơ bản và formant mà không làm mất thông tin đường bao phổ. So sánh 3 biến thể: TD-PSOLA (miền thời gian), FD-PSOLA (miền tần số), LP-PSOLA / WLP (tiên đoán tuyến tính).
    • Đánh giá hệ thống: So sánh tương quan giữa 3 phương pháp tổng hợp dựa trên tiêu chí chất lượng âm thanh, chi phí tính toán và dung lượng bộ nhớ lưu trữ mẫu.

Phương pháp giảng dạy và học tập

Phân bổ thời lượng học phần gồm 45 tiết lý thuyết và 30 tiết thực hành/semina.

                               CƠ CẤU ĐÁNH GIÁ ĐIỂM
                       ĐIỂM TỔNG KẾT HỌC PHẦN: Z = 0.3X + 0.7Y
                       Thang điểm chữ quy đổi: A, B, C, D, F

Quy trình tổ chức dạy học và đánh giá kết quả được quy định cụ thể:

  • Hình thức tổ chức dạy học: Giảng viên truyền thụ kiến thức giải tích tín hiệu và giải thuật trên lớp lý thuyết; các buổi thực hành/semina tập trung vào việc mô phỏng thuật toán xử lý âm thanh, phân tích phổ Spectrogram, thực nghiệm phân tách diphone và mô hình hóa Markov.
  • Nhiệm vụ của sinh viên: Tham dự đầy đủ các buổi học lý thuyết và thực hành, hoàn thành toàn bộ bài tập được giao, tham gia bài kiểm tra giữa học phần và thi kết thúc học phần.
  • Hình thức và tiêu chuẩn đánh giá:
    • Hình thức thi: Thi viết tự luận (thời gian làm bài 60 phút).
    • Công thức tính điểm đánh giá học phần: $$Z = 0{,}3X + 0{,}7Y$$ (Trong đó $X$ là điểm đánh giá quá trình và giữa kỳ; $Y$ là điểm thi kết thúc học phần).
    • Quy đổi kết quả theo thang điểm chữ: $A, B, C, D, F$.

Điểm nổi bật và tính đặc thù của bài giảng

Giáo trình sở hữu các đặc điểm chuyên môn phản ánh sát bài toán xử lý tín hiệu ngôn ngữ tại Việt Nam:

  1. Mô hình hóa định lượng ngữ âm tiếng Việt: Khác với các tài liệu thuần lý thuyết tổng quát, bài giảng đưa ra bảng giá trị dịch chuyển tần số cơ bản ($F_0$) cụ thể cho 6 thanh điệu tiếng Việt và sự phân hóa tham số âm học giữa câu hỏi với câu trần thuật.
  2. Quy trình xử lý thực nghiệm trên bảng mã nội địa: Đưa ra giải pháp chuẩn hóa dữ liệu văn bản từ bảng mã 8-bit TCVN3-ABC sang ký hiệu Telex, xây dựng lưu đồ thuật toán phân tách từ thành 2 diphone dựa trên việc quét nguyên âm và dấu thanh thực tế.
  3. Tổng hợp có hệ thống các thuật toán kinh điển: Phân tích đối chiếu chi tiết giữa các trường phái tổng hợp âm thanh (mô phỏng bộ máy phát âm, tổng hợp formant nối tiếp/song song, tổng hợp ghép nối diphone) cùng các thuật toán dòng PSOLA (TD-PSOLA, FD-PSOLA, LP-PSOLA).

Đối tượng sử dụng giáo trình

  • Đối tượng chính: Sinh viên năm thứ 3 hoặc năm thứ 4 chuyên ngành Công nghệ Thông tin, Hệ thống Thông tin (bậc đại học chính quy).
  • Điều kiện tiên quyết: Đề cương không đưa ra môn học tiên quyết bắt buộc. Tuy nhiên, người học cần nắm vững kiến thức toán giải tích, đại số tuyến tính, lý thuyết xác suất thống kê và cơ sở lập trình.
  • Mục đích tham khảo: Giảng viên sử dụng làm đề cương và bài giảng quy chuẩn; sinh viên sử dụng để học tập, thực hiện bài tập giải tích biến đổi Fourier/DFT/ZT và ôn luyện thi kết thúc học phần.

Câu hỏi thường gặp

1. Giáo trình này phù hợp với những ai?

Tài liệu được biên soạn chính thức cho sinh viên đại học ngành Công nghệ Thông tin và ngành Hệ thống Thông tin, đồng thời phù hợp làm tài liệu tham khảo cho người nghiên cứu về nhận dạng tiếng nói (ASR) và tổng hợp tiếng nói (TTS).

2. Cần chuẩn bị những kiến thức nền tảng nào trước khi học?

Người học cần có kiến thức nền tảng về toán kỹ thuật (chuỗi Fourier, tích phân, ma trận), xác suất thống kê (chuỗi ngẫu nhiên, phân phối xác suất), cấu trúc dữ liệu và xử lý tín hiệu số cơ bản.

3. Cấu trúc đề thi kết thúc học phần của môn này như thế nào?

Căn cứ 10 đề thi mẫu đính kèm bài giảng, đề thi kết thúc học phần có thời lượng 60 phút (hình thức thi viết), gồm 3 đến 4 câu hỏi bao quát: lý thuyết tổng quan ASR/TTS, câu hỏi giải phẫu/ngữ âm học, câu hỏi lý thuyết về mô hình Markov/HMM và bài tập tính toán cụ thể biến đổi Fourier $X(e^{j\omega})$, biến đổi Fourier rời rạc $N$ điểm $X(k)$.

4. Bảng mã tiếng Việt nào được dùng trong thuật toán chuẩn hóa văn bản của giáo trình?

Hệ thống sử dụng bảng mã 8-bit TCVN3-ABC để nhập văn bản, sau đó chuyển đổi sang định dạng Telex (ví dụ: trường $\rightarrow$ truwowngf) trước khi phân tách thành các cặp diphone bắt đầu và kết thúc.

5. Giáo trình sử dụng những tài liệu tham khảo chính thức nào?

Hai tài liệu tham khảo quốc tế cốt lõi được trích dẫn trong đề cương gồm:

  • Xuedong Huang, Alex Acero, Hsiao Wuen Hon, Spoken Language Processing - A Guide to Theory, Algorithm and System Development, Prentice Hall, 2001.
  • Schafer, Digital Processing of Speech Signals, Prentice-Hall, Inc. Englewood Cliffs, New Jersey, 1978.

Kết luận

Bài giảng Xử lý tiếng nói (Khoa CNTT – Trường Đại học Hàng hải Việt Nam) là tài liệu học thuật có cấu trúc hoàn chỉnh, kết hợp chặt chẽ giữa cơ sở lý thuyết xử lý tín hiệu số, mô hình xác suất Markov và các đặc trưng ngôn ngữ học thực nghiệm của tiếng Việt. Với định mức 75 tiết và hệ thống đề thi mẫu rõ ràng, bài giảng cung cấp đầy đủ chuẩn mực kiến thức để sinh viên làm chủ các kỹ thuật phân tích, nhận dạng và tổng hợp tiếng nói trong các hệ thống thông tin hiện đại.