đặt vấn đề tại sao lại tự xây dựng một hệ thống ASR, những kiến thức cần có đề có thé hiểu được một hệ thống ASR, phương pháp thực hiện. Chương 2: đi sâu vảo giải thích và tìm hiểu các thành phần của ASR, những thuật toán áp dụng và bộ công cụ Kaldi. Chương 3: trình bày cách thức xây dựng dataset, huấn luyện mô hình dé nhận diện một vài khẩu lệnh tiếng Việt cơ bản. Các độ đo sử dung dé đánh giá mô hình DNN- HMM và GMM-HMM, cách cải thiện độ chính xác của mô hình va dé cập một vải cải tiến làm tăng độ chính xác.
So sánh hiệu quả giữa hai mô hình được tạo ra theo hai hướng tiếp cận trên. Chương 4: mô tả ứng dụng demo và đánh giá kết quả, kết luận. CHUONG 2: NEN TANG VE ASR VÀ BỘ CÔNG CỤ KALDI 2.1 Các thành phan ngôn ngữ hoc trong tiếng Việt: 2.1 Language Model (LM) dựa trên âm tiết: Trong nhận diện tiếng nói việc quan trọng dau tiên là cách phân chia từ trong một câu dé sao cho có nghĩa, ở đây ta sẽ sử dụng tiếng Anh làm ngôn ngữ chuẩn dé so sánh với tiếng Việt Một từ trong tiếng Anh có thể gồm nhiều âm tiết nhưng trong tiếng Việt ta sử dụng khoảng trăng đê chia âm tiét của các từ. Tiêng Việt Tiêng Anh Tôi I hoc learn tiéng_Anh English Tất nhiên vẫn có trường hợp một âm tiết là một từ, đứng một mình có một nghĩa khác khi ghép với từ khác là một nghĩa khác.
Vi dụ: “tiêu” chỉ gia vi, “tiêu tan” có nghĩa là biên mat. LM dựa trên âm tiết giúp tránh nhiều lỗi xảy ra trong bước phân chia từ và giảm độ phức tạp khi số âm tiết quá ít. Chúng ta sẽ có được một trigram language model khi train model với bộ dữ liệu. Chúng ta không cần quan tâm định dạng của chữ trong file text là ASCII hay Unicode,.
vì công cụ Kaldi sẽ ánh xa từ và âm vi từng cái một vào một con sô.2 Tir điên phat âm dựa trên grapheme: Một grapheme là một ky tự hay nhiều ký tự đại diện cho một âm vỊ. Không dễ dé mô hình hóa những đặc trưng độc nhất trong ngôn ngữ của một quốc gia. Cách được dùng phổ biến hơn cả là sử dụng grapheme như là âm vị với mỗi kí tự được xem như là một âm vị. Phụ âm có thé gồm từ một tới ba kí tự.
Nguyên âm gồm từng kí tự một cùng với dâu(săc, ngang, huyén, hỏi, ngã, nặng). Phụ âm e 3kýtự e ngh e 2kytu e chgh gikhng nh ph qu tr th e lIkýtự e bcdđghklmnprstv Nguyên âm e Thanh ngang e addeéiodouuy e Thanh sac e áäãéêí¡óôớúứý e Thanh huyén e Adacéiddouty e Thanh hỏi e ảäâ¿êiöôởủửỷ e Thanh ngã e ããääẽêlðôỡũữÿỹ e Thanh nang ® addetiodguuy Bang 2. 1: tap âm vị dựa trên grapheme Thanh th a nh Mèo mèo Nguyên nguy én Chuyên chuyên Bảng 2. 2: ví dụ vê từ dién phát âm dựa trên grapheme 2.
Lexicon và âm CD: 2.1 Lexicon: Lexicon là một thành phan quan trọng trong ASR, dùng dé mô hình hóa những âm của một từ bằng cách sử dụng chuỗi Markov. Chúng ta dựa vào lexicon va AM dé chuyền đổi tín hiệu (được biéu diễn bằng đặc trưng) thành một từ. 1: lexicon của từ ‘six’ (Nguồn: “Speech Recognition— Acoustic, Lexicon & Language Model, Jonathan Hui medium website”) Những âm vi không đồng nhất. Biên độ của tần số thay đổi từ khi bắt đầu cho đến khi kết thúc.
Đề thé hiện điều đó, ta chia một âm thành ba trạng thái con : đầu, giữa, kết thúc.48152 ay Time (s) Hình 2. 2: ba trạng thái của một âm (Nguồn: “Speech Recognition — Acoustic, Lexicon & Language Model, Jonathan Hui medium website”) Mô hình truyền thong HMM thường dùng ba trạng thái con dé mô hình mỗi âm. Mô hình này thực hiện alignment giữa những trang thai và những observation. ' EN hy? ANG fis me SE my BE xxx ' Xị 3o yy = Hình 2.
3: từ ‘rat’ khi sử dung ba trang thái con dé mô tả trong HMM (Nguén: nam trong những slide về ASR cua dai hoc Edinburghg [3]) Dé cho đơn giản cho việc biéu diễn HMM topology, dau ra của phân phối sẽ được vẽ bang một đường cong và tham số quan sát sẽ được đánh nhãn trên đường cong đó và con số sau đó là kết quả của AM. Dưới đây là một ví dụ minh họa cho thay đôi trên, từ ‘two’ sẽ chứa 2 âm mỗi âm có ba trang thái. 4: cách thé hiện ngắn gọn của HMM topology (Nguôn: “Speech Recognition — Acoustic, Lexicon & Language Model, Jonathan Hui medium website”) Dé xử lý những tap âm trong audio. Ta sé mô hình chúng như là SIL và xem nó như là một âm.
Vì khó đề bắt được tạp âm nên ta phải sử dụng 5 trạng thái con thay vì ba.2 Am CD: Âm thanh thay đổi phụ thuộc vào ngữ cảnh của từ, tức là những âm xung quanh nó. Ví dụ khi phát âm chữ “pin” va “spin”, tuy phiên âm của hai chữ ‘p’ đều là /p/, nhưng khi đưa tay lên miệng ta sẽ thấy có sự khác biệt khi nói. Đề xây dựng một AM phức tạp, ta không thể bỏ qua ngữ cảnh của âm được. Như hình bên dưới, tuy âm vị là /eh/ nhưng âm phổ của nó khác nhau bởi /eh/ nằm trong những ngữ cảnh 10 khác nhau, hình đầu tiên /eh/ nằm giữa hai âm /w/ và /d/, hình thứ hai /eh/ nằm giữa hai âm /y/ và /l/, hình thứ ba /eh/ nằm giữa hai âm /b/ và /n/.
wkeh d y eh 1l b eh n 500+ (FrHeqzu)ncy Hình 2. 5: /eh/ nằm trong ngữ cảnh khác nhau (Nguồn: “Speech Recognition — Acoustic, Lexicon & Language Model, Jonathan Hui medium website”) Do vậy ta phải xét ngữ cảnh của âm vị. Những âm đó được gọi là triphone hay âm CD, những âm ngược lại được gọi là monophone hay âm context-independency (CI). Như ví dụ bên dưới nếu ngữ cảnh bị bỏ qua âm /eh/ của ba khung audio chỉ được coi như một âm vi, ngược lại âm vị của ba khung sẽ được xem như ba âm vị khác nhau.
11 Context-independent phone Context-dependent phone wend wehd label as —>_— weeh td y eh 1 as label as —> ch/ —> y-eh+l b eh n TT ty label as | —> b-eh+n Hình 2. 6: âm CD và âm Cl (Nguồn: “Speech Recognition — Acoustic, Lexicon & Language Model, Jonathan Hui medium website”) Trong thực tế, số triphone rat nhiều và không đủ dữ liệu dé huấn luyện hết chúng, triphone có thể xảy ra luôn lớn hơn triphone có trong dữ liệu của chúng ta. Do vậy một vài state có thé dùng chung một mô hình GMM. Việc đó gọi là nối trạng thái (State Tying).
t-iy+n bì si C) Dé thực hiện việc trên ta sẽ tao ra một cây quyết định để gom nhóm những triphone, các triphone sẽ sử dụng chung GMM. Với mỗi âm, ta sẽ tạo ra một cây quyết định dựa trên ngữ 12 cảnh trái và ngữ cảnh phải của từ. Not lá của cây gom các triphone, những triphone sử dụng chung mô hình GMM. Mục đích của việc huấn luyện là tối đa hóa xác suất của tập dữ liệu huấn luyện bằng mô hình GMM cuối cùng.
Từ ý tưởng đó chúng ta phát triển lên một bậc, sử dụng nói trạng thái cho các triphone. Ta sử dụng GMM dé mô hình triphone thay vì phân phối chuẩn thông thường. (1) Train monophone 68-6 single Gaussian models IÑ II IN (2) Clone monophones _— eee a i to triphones t-iy+n~ t-iy+ng f-iy+l *s-iy+l °öÖÕs sÔ@ØssÕöÔso9GÖs Ne NY |A VAL (3) Cluster and tie | tiy+n | t-iy+ng | f-iy+l | s-iy+l triphones 806228 bả ^^ ®a®n- DOW Y OW WeWwW a (4) Expand to | | | | tiy+ n tiy+ng f-iy+l s-iy+l GMMs “<2 Co 222222 xà Hình 2. 8:sử dung GMM dé huan luyện triphone (Nguồn: “Speech Recognition — Acoustic, Lexicon & Language Model, Jonathan Hui medium website”) 2.3 Rut trich đặc trưng: Muc dich cua viéc nhan dién tiéng nói là dựa vào LM và Acoustic Model (AM) dé tim những từ tương thích nhất khi người nói khi nói vào bộ phận thu hoặc được nhận diện từ một đoạn video.
Đặc trưng được rút trích được dùng dé biéu diễn dang sóng của audio, đặc 13 trưng bao gôm thông tin của formant trong việc xác định âm và hiệu ngữ cảnh của âm, cách Hình 2. 9: biểu diễn dạng sóng của một audio (Nguồn: https.org/interview-dude-transitions/) Chúng ta sé chia tín hiệu cua audio thành những khung (frame) kéo dai trong 25ms, khung sau sẽ chồng lên 10ms của khung trước đề lấy đặc trưng. Bề rộng của một khung là 25ms đủ dé bắt đầy đủ thông tin. Làm một con tính cơ bản, néu một người nói 3 từ mỗi giây, ba từ đó được biểu diễn bang 4 âm (phone), mỗi âm có 3 giai đoạn con, suy ra sẽ có 36 trạng thái mỗi giây do đó bề rộng là 25ms là vừa phải.
Dé tạo một acoustic model, observation X được đại diện bởi các vector đặc trưng (x1, x2, x3,. Có nhiều cách đề lây đặc trưng nhưng được dùng nhiều và rộng rãi nhất trong lĩnh vực này là phương pháp Mel-frequency cepstral coefficients (MFCCs), mỗi khung của một MFCC sẽ chứa 39 đặc trưng. 14 Frames of acoustic feature vectors mm xX x2 MFCC [| | each fame contains 39 MFCC features 39 features. 11: hình dạng của đặc trưng MFCC (Nguồn: “Feature Extraction MFCC & PLP, Jonathan Hui medium website”) Các bước thực hiện của phương pháp Mel-frequency-cepstral-coefficients (MFCC): 15 e Pre-emphasis: do câu trúc thanh quản nên năng lượng của âm thanh ở tân sô cao suy giảm hơn âm thanhở tan số thấp, ma tần số cao vẫn có nhiều thông tin có giá trị.
Do đó, ta cân tăng năng lượng tại tân sô cao đê có thê lây được nhiêu thông tin cho AM. Điêu này sẽ giúp cải thiện độ chính xác của việc phát hiện âm.99 zol dpr/elSsMcBvaunz /(u7epAnHrvBds)! 2. b Frequency (Hz Frequency (Hz) Jurafsky & Martin, fig. 12: tin hiệu trước và sau khi được pre-emphasis (Nguôn: “Feature Extraction MFCC & PLP, Jonathan Hui medium website”) e Windowing: o Bước nay sẽ chia tin hiệu thành các khung (frame) có bề rộng 25ms do tin hiệu thay đổi liên tục theo thời gian nên thông tin cũng biến đổi theo, nếu chỉ xét trên một dãy tín hiệu thì thông tin thu được sẽ không tốt.
13: chia window cho tín hiệu (Nguồn: “Feature Extraction MFCC & PLP, Jonathan Hui medium website”) o Thông thường loại window được sử dụng là Hamming, sử dung cửa sô nay trượt trên toàn bộ tín hiệu đê trích ra một loạt các frame, trong mỗi frame các thông tin đặc trưng được coi là tinh.5) window w[n] = (1—œ) — œcos (5) L: window width Hình 2. 14: phương trình cho Hamming window (Nguồn: “Feature Extraction MFCC & PLP, Jonathan Hui medium website”) e Biên đôi Fourier: o Ta áp công thức dé lay thông tin từ miền tan số.