NHẬN DẠNG NGƯỜI NÓI THEO TIẾP CẬN MÁY HỌC HIỆN ĐẠI

Tìm hiểu về nhận dạng người nói hiện đại sử dụng máy học. Luận văn nghiên cứu chuyên sâu, ứng dụng các thuật toán tiên tiến để xác định giọng nói.

• Tác giả: Trần Thị Nhi An
• Người hướng dẫn: PGS.TS Vi Hải Quân
• Trường học: Học Viện Công Nghệ Bưu Chính Viễn Thông
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Nhận Dạng Người Nói Theo Tiếp Cận Máy Học Hiện Đại
• Loại tài liệu: Luận Văn Thạc Sỹ Kỹ Thuật
• Năm xuất bản: 2022
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT
• 1. CHƯƠNG 1: PHẦN MỞ ĐẦU
• 1.1. Lĩnh vực đề tài
• 1.2. Tình hình nghiên cứu liên quan đến đề tài
• 1.3. Các công trình nghiên cứu trong nước
• 1.4. Các công trình nghiên cứu trên thế giới
• 1.5. Mục tiêu, ý nghĩa khoa học và thực tiễn
• 1.6. Đối tượng và phạm vi nghiên cứu
• 1.7. Phạm vi nghiên cứu
• 1.8. Phương pháp nghiên cứu
• 1.8.1. Phương pháp nghiên cứu lý thuyết
• 1.8.2. Phương pháp nghiên cứu thực nghiệm
• 2. CHƯƠNG 2: TỔNG QUAN ĐỀ TÀI
• 2.1. Giới thiệu chung
• 2.2. Nhận dạng người nói là gì?
• 2.3. Ứng dụng công nghệ nhận dạng người nói vào đời sống
• 2.4. Tổng quan về trí tuệ nhân tạo (AI)
• 2.5. Các thành phần chính của hệ thống nhận dạng người nói
• 2.6. Rút trích đặc trưng
• 2.6.1. Rút trích đặc trưng là gì
• 2.6.2. Các đặc trưng âm thanh phổ biến cho việc thiết lập mô hình
• 2.7. Mô hình máy học
• 2.7.1. Khái niệm về máy học
• 2.7.2. Các loại mô hình máy học
• 3. CHƯƠNG 3: NHẬN DẠNG NGƯỜI NÓI VÀ DEEP LEARNING
• 3.1. Mạng nơ-ron và deep learning
• 3.2. Phân loại / các dạng mạng neural nhân tạo
• 3.3. Nhận dạng người nói
• 3.3.1. Nhận dạng người nói với HMM
• 3.3.2. Nhận dạng người nói với Feedforward-DNN
• 4. CHƯƠNG 4: THỬ NGHIỆM
• 4.1. Dữ liệu thực nghiệm
• 4.2. Kịch bản thực nghiệm
• 4.3. Chuẩn bị môi trường
• 4.4. Chuẩn bị dữ liệu
• 4.5. Xây dựng mô hình và huấn luyện
• 4.6. Thực nghiệm và đánh giá
• 4.7. Thực nghiệm và so sánh
• 4.8. Phân tích và đánh giá
• 4.9. Chương trình demo
• 5. CHƯƠNG 5: KẾT LUẬN
• 5.1. Các đóng góp của luận văn
• 5.2. Kết luận và hướng phát triển
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nhận Dạng Người Nói Hiện Đại Giới Thiệu

Lĩnh vực nhận dạng người nói (Speaker Recognition) thuộc ngành sinh trắc học (Biometrics), nghiên cứu các phương pháp phân tích dữ liệu sinh học. Trong công nghệ thông tin, nó được ứng dụng để nhận diện người dựa trên đặc điểm sinh lý và hành vi. Các hệ thống sinh trắc học đã được phát triển rộng rãi trong nhiều lĩnh vực, từ quản lý nhân sự đến an ninh quốc phòng. Sinh trắc học hiện đại đang nhận được nhiều sự quan tâm vì tính bảo mật, an toàn và tiện lợi, thể hiện tiềm năng ứng dụng rộng rãi so với phương pháp nhận dạng truyền thống. Dựa trên đặc trưng sinh trắc, ta chia thành hai nhóm: sinh trắc thể (physiological - khuôn mặt, vân tay, tròng mắt, giọng nói) và sinh trắc hành vi (behavioral - thói quen gõ phím, chữ ký, giọng nói). Sự bùng nổ của CNTT-TT, IoT và CMCN 4.0 càng nhấn mạnh vai trò của sinh trắc học trong xã hội. Nghiên cứu trong nước về lĩnh vực này còn hạn chế, nên việc nghiên cứu 'Nhận dạng người nói theo tiếp cận máy học hiện đại' là cần thiết, góp phần khai thác đặc tính sinh trắc về giọng nói, tăng tính khả thi ứng dụng trong nước.

1.1. Giới Thiệu Chi Tiết Về Công Nghệ Nhận Dạng Người Nói

Công nghệ nhận dạng người nói là một nhánh của sinh trắc học sử dụng giọng nói để xác định hoặc xác thực danh tính của một cá nhân. Đây là một lĩnh vực nghiên cứu và phát triển mạnh mẽ, với nhiều ứng dụng trong các lĩnh vực khác nhau. Công nghệ này sử dụng các thuật toán phức tạp để phân tích các đặc trưng độc đáo trong giọng nói của mỗi người. Các đặc trưng này có thể bao gồm âm sắc, ngữ điệu, tốc độ nói, và các yếu tố khác. Mục tiêu là tạo ra một mô hình giọng nói riêng biệt cho mỗi người, cho phép hệ thống phân biệt giữa các giọng nói khác nhau với độ chính xác cao. Công nghệ nhận dạng người nói ngày càng trở nên quan trọng trong bối cảnh an ninh mạng và bảo mật thông tin, cung cấp một lớp bảo vệ bổ sung cho các hệ thống và dữ liệu quan trọng.

1.2. Lịch Sử Phát Triển và Xu Hướng Nhận Dạng Giọng Nói Hiện Đại

Lịch sử của công nghệ nhận dạng giọng nói trải qua nhiều giai đoạn phát triển, từ các phương pháp dựa trên thống kê truyền thống đến các kỹ thuật máy học tiên tiến. Các phương pháp ban đầu thường dựa vào các mô hình thống kê như Hidden Markov Models (HMM) để phân tích và mô hình hóa các đặc trưng âm thanh trong giọng nói. Tuy nhiên, với sự phát triển của trí tuệ nhân tạo (AI) và học sâu (Deep Learning), công nghệ này đã đạt được những bước tiến đáng kể. Các mô hình mạng nơ-ron sâu (DNN), mạng nơ-ron tích chập (CNN), và mạng nơ-ron hồi quy (RNN) đã chứng minh khả năng vượt trội trong việc nắm bắt các đặc trưng phức tạp và biến đổi trong giọng nói. Xu hướng hiện tại tập trung vào việc sử dụng các mô hình học sâu để cải thiện độ chính xác, khả năng chống nhiễu, và khả năng thích ứng với các điều kiện môi trường khác nhau.

II. Vấn Đề Và Thách Thức Trong Nhận Dạng Người Nói Phân Tích

Mặc dù đã có nhiều tiến bộ, nhận dạng người nói vẫn đối mặt với nhiều thách thức. Các yếu tố như tiếng ồn, tạp âm, sự thay đổi trong giọng nói do cảm xúc, tuổi tác, hoặc bệnh tật đều ảnh hưởng đến độ chính xác. Nhận dạng người nói trong môi trường ồn ào là một vấn đề lớn. Ngoài ra, sự khác biệt về ngôn ngữ, giọng địa phương cũng gây khó khăn. Các hệ thống cũng cần phải chống lại các cuộc tấn công giả mạo bằng cách sử dụng giọng nói được tạo ra bằng phần mềm hoặc thu âm. Việc bảo vệ quyền riêng tư của người dùng cũng là một vấn đề quan trọng cần được giải quyết. Cần có các biện pháp để đảm bảo rằng dữ liệu giọng nói được thu thập và sử dụng một cách an toàn và bảo mật.

2.1. Ảnh Hưởng Của Tiếng Ồn Đến Độ Chính Xác Nhận Dạng Giọng Nói

Một trong những thách thức lớn nhất trong nhận dạng giọng nói là sự ảnh hưởng của tiếng ồn. Tiếng ồn có thể làm giảm đáng kể độ chính xác của hệ thống, đặc biệt là trong môi trường thực tế, nơi có nhiều nguồn nhiễu khác nhau. Các loại tiếng ồn có thể bao gồm tiếng ồn nền, tiếng ồn từ các thiết bị khác, và thậm chí cả tiếng nói của những người khác. Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển nhiều kỹ thuật lọc tiếng ồn khác nhau, bao gồm các thuật toán giảm tiếng ồn, các phương pháp tăng cường tín hiệu, và các mô hình thích ứng với tiếng ồn. Tuy nhiên, việc loại bỏ hoàn toàn tiếng ồn vẫn là một nhiệm vụ khó khăn, và các hệ thống nhận dạng giọng nói vẫn cần phải cải thiện khả năng chống nhiễu để hoạt động hiệu quả trong các môi trường ồn ào.

2.2. Giải Quyết Vấn Đề Giả Mạo Giọng Nói Trong Nhận Dạng Người Nói

Vấn đề giả mạo giọng nói là một mối đe dọa ngày càng tăng đối với các hệ thống nhận dạng giọng nói. Với sự phát triển của công nghệ tổng hợp giọng nói, việc tạo ra các bản sao giọng nói giả mạo ngày càng trở nên dễ dàng và tinh vi hơn. Các hệ thống nhận dạng người nói cần phải có khả năng phân biệt giữa giọng nói thật và giọng nói giả mạo để ngăn chặn các cuộc tấn công giả mạo. Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển nhiều kỹ thuật phát hiện giả mạo khác nhau, bao gồm các phương pháp phân tích các đặc trưng âm thanh tinh tế, các mô hình học sâu để phát hiện các mẫu bất thường, và các hệ thống xác thực đa yếu tố. Tuy nhiên, việc phát hiện giả mạo giọng nói vẫn là một thách thức lớn, và các hệ thống nhận dạng người nói cần phải liên tục được cải thiện để chống lại các kỹ thuật giả mạo ngày càng tinh vi.

III. Cách Tiếp Cận Máy Học Trong Nhận Dạng Người Nói Tổng Quan

Máy học đóng vai trò then chốt trong nhận dạng người nói hiện đại. Các thuật toán machine learning cho nhận dạng người nói cho phép hệ thống tự động học hỏi và cải thiện độ chính xác từ dữ liệu. Các mô hình như mạng nơ-ron và mô hình Gaussian hỗn hợp được sử dụng để trích xuất và mô hình hóa các đặc trưng giọng nói. Quá trình huấn luyện mô hình bao gồm việc sử dụng một lượng lớn dữ liệu giọng nói để hệ thống có thể nhận diện các mẫu và đặc điểm khác nhau của từng người nói. Các kỹ thuật học sâu (deep learning) đặc biệt hiệu quả trong việc xử lý dữ liệu phức tạp và nhiễu, giúp cải thiện đáng kể độ chính xác và độ tin cậy của hệ thống nhận dạng người nói.

3.1. Ứng Dụng Deep Learning Trong Xây Dựng Mô Hình Nhận Dạng Người Nói

Deep learning nhận dạng người nói đã mang lại những tiến bộ vượt bậc cho lĩnh vực nhận dạng người nói. Các mô hình mạng nơ-ron sâu (DNN), mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) có khả năng học các biểu diễn phức tạp của dữ liệu giọng nói, từ đó cải thiện đáng kể độ chính xác và khả năng chống nhiễu của hệ thống. Các mô hình deep learning có thể tự động trích xuất các đặc trưng quan trọng từ dữ liệu giọng nói, giảm thiểu sự cần thiết của việc thiết kế thủ công các đặc trưng. Ngoài ra, các mô hình deep learning có khả năng xử lý dữ liệu có độ dài thay đổi, giúp hệ thống nhận dạng người nói hoạt động hiệu quả hơn trong các tình huống thực tế.

3.2. Các Thuật Toán Máy Học Phổ Biến Sử Dụng Trong Nhận Dạng Giọng Nói

Ngoài deep learning, các thuật toán máy học khác cũng được sử dụng rộng rãi trong nhận dạng người nói. Gaussian Mixture Models (GMM) là một thuật toán cổ điển nhưng vẫn hiệu quả trong việc mô hình hóa các đặc trưng giọng nói. Support Vector Machines (SVM) là một thuật toán phân loại mạnh mẽ có thể được sử dụng để phân biệt giữa các giọng nói khác nhau. Các thuật toán machine learning này có thể được kết hợp với các kỹ thuật trích xuất đặc trưng khác nhau để tạo ra các hệ thống nhận dạng người nói mạnh mẽ. Việc lựa chọn thuật toán phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của ứng dụng cụ thể.

IV. Các Phương Pháp Trích Xuất Đặc Trưng Trong Nhận Dạng Người Nói

Việc rút trích đặc trưng là một bước quan trọng trong quy trình nhận dạng người nói. Các đặc trưng âm thanh được trích xuất từ tín hiệu giọng nói và sau đó được sử dụng để huấn luyện các mô hình máy học. Các đặc trưng phổ biến bao gồm MFCC (Mel-Frequency Cepstral Coefficients), LPCC (Linear Predictive Cepstral Coefficients), và i-vector. Các đặc trưng này nắm bắt các đặc điểm quan trọng của giọng nói, chẳng hạn như tần số, biên độ và sự thay đổi theo thời gian. Hiệu suất của hệ thống nhận dạng người nói phụ thuộc rất nhiều vào chất lượng của các đặc trưng được trích xuất.

4.1. MFCC Phương Pháp Trích Xuất Đặc Trưng Phổ Biến Nhất Hiện Nay

MFCC (Mel-Frequency Cepstral Coefficients) là một trong những phương pháp trích xuất đặc trưng phổ biến nhất trong nhận dạng người nói. Phương pháp này dựa trên cách mà tai người cảm nhận âm thanh, và nó có khả năng nắm bắt các đặc điểm quan trọng của giọng nói. Quá trình trích xuất MFCC bao gồm việc chia tín hiệu giọng nói thành các khung thời gian ngắn, áp dụng biến đổi Fourier để chuyển đổi tín hiệu sang miền tần số, áp dụng bộ lọc Mel để mô phỏng cách tai người cảm nhận âm thanh, và tính toán các hệ số cepstral. MFCC đã chứng minh hiệu quả trong nhiều ứng dụng nhận dạng người nói, và nó vẫn là một lựa chọn hàng đầu cho nhiều nhà nghiên cứu và phát triển.

4.2. So Sánh Các Phương Pháp Trích Xuất Đặc Trưng LPCC i vector và x vector

Ngoài MFCC, các phương pháp trích xuất đặc trưng khác cũng được sử dụng trong nhận dạng người nói, bao gồm LPCC (Linear Predictive Cepstral Coefficients), i-vector, và x-vector. LPCC dựa trên mô hình dự đoán tuyến tính của tín hiệu giọng nói, và nó có thể nắm bắt các đặc điểm về cấu trúc của đường tiếng. i-vector là một phương pháp trích xuất đặc trưng dựa trên mô hình không gian con, và nó có thể nắm bắt các đặc điểm về sự thay đổi của giọng nói theo thời gian. x-vector là một phương pháp trích xuất đặc trưng dựa trên deep learning, và nó có thể tự động học các biểu diễn phức tạp của dữ liệu giọng nói. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào yêu cầu của ứng dụng cụ thể.

V. Ứng Dụng Thực Tế Của Nhận Dạng Người Nói Tiềm Năng Phát Triển

Ứng dụng nhận dạng người nói rất đa dạng và ngày càng mở rộng. Trong lĩnh vực bảo mật, nó được sử dụng để xác thực người nói và kiểm soát truy cập. Trong lĩnh vực dịch vụ khách hàng, nó được dùng để cá nhân hóa trải nghiệm và cung cấp hỗ trợ tự động. Nhận dạng người nói cũng được sử dụng trong các thiết bị thông minh, chẳng hạn như loa thông minh và điện thoại thông minh, để điều khiển bằng giọng nói. Ngoài ra, nó còn có tiềm năng ứng dụng trong lĩnh vực pháp y để xác định nghi phạm qua băng ghi âm. Sự phát triển của công nghệ này hứa hẹn mang lại nhiều lợi ích cho cuộc sống hàng ngày.

5.1. Bảo Mật Bằng Giọng Nói Ứng Dụng Trong Ngân Hàng Và Tài Chính

Bảo mật bằng giọng nói là một ứng dụng quan trọng của nhận dạng người nói. Trong lĩnh vực ngân hàng và tài chính, nó được sử dụng để xác thực danh tính của khách hàng khi họ gọi điện thoại đến trung tâm dịch vụ khách hàng hoặc truy cập vào tài khoản trực tuyến. Sinh trắc học giọng nói cung cấp một lớp bảo vệ bổ sung so với các phương pháp xác thực truyền thống, chẳng hạn như mật khẩu và mã PIN. Ngoài ra, nó còn giúp ngăn chặn các hành vi gian lận và bảo vệ thông tin cá nhân của khách hàng.

5.2. Điều Khiển Bằng Giọng Nói Ứng Dụng Trong Nhà Thông Minh Và Thiết Bị Di Động

Điều khiển bằng giọng nói là một ứng dụng ngày càng phổ biến của nhận dạng người nói. Trong nhà thông minh, nó được sử dụng để điều khiển các thiết bị như đèn, điều hòa nhiệt độ, và TV. Trên thiết bị di động, nó được sử dụng để thực hiện các tác vụ như gọi điện thoại, gửi tin nhắn, và tìm kiếm thông tin. Công nghệ nhận dạng người nói cho phép người dùng tương tác với các thiết bị một cách tự nhiên và tiện lợi, giúp cải thiện trải nghiệm người dùng.

VI. Tương Lai Của Nhận Dạng Người Nói Hướng Nghiên Cứu Mới

Tương lai của nhận dạng người nói hứa hẹn nhiều đột phá. Các hướng nghiên cứu hiện tại tập trung vào việc cải thiện độ chính xác trong môi trường ồn ào, phát triển các hệ thống đa ngôn ngữ, và chống lại các cuộc tấn công giả mạo. Ngoài ra, các nhà nghiên cứu cũng đang khám phá các ứng dụng mới của nhận dạng người nói trong lĩnh vực y tế, giáo dục, và giải trí. Sự kết hợp giữa AI và máy học sẽ tiếp tục thúc đẩy sự phát triển của công nghệ này, mang lại nhiều lợi ích cho xã hội.

6.1. Phát Triển Hệ Thống Nhận Dạng Người Nói Đa Ngôn Ngữ và Đa Phương Ngữ

Một trong những hướng nghiên cứu quan trọng trong nhận dạng người nói là phát triển các hệ thống đa ngôn ngữ và đa phương ngữ. Các hệ thống này có khả năng nhận diện giọng nói từ nhiều ngôn ngữ và phương ngữ khác nhau, giúp mở rộng phạm vi ứng dụng của công nghệ này. Việc phát triển các hệ thống đa ngôn ngữ và đa phương ngữ đòi hỏi các kỹ thuật mô hình hóa ngôn ngữ tiên tiến và các bộ dữ liệu giọng nói đa dạng.

6.2. Nghiên Cứu Về Nhận Dạng Cảm Xúc Từ Giọng Nói Ứng Dụng Trong Y Tế

Một hướng nghiên cứu thú vị khác trong nhận dạng người nói là nghiên cứu về nhận dạng cảm xúc từ giọng nói. Các hệ thống này có khả năng phân tích giọng nói để xác định trạng thái cảm xúc của người nói, chẳng hạn như vui, buồn, giận dữ, hoặc sợ hãi. Phân tích giọng nói để nhận diện cảm xúc có tiềm năng ứng dụng trong nhiều lĩnh vực, đặc biệt là trong y tế, nơi nó có thể được sử dụng để theo dõi sức khỏe tinh thần của bệnh nhân.

Nội dung chính

Tổng quan nghiên cứu

Nhận dạng người nói là một lĩnh vực quan trọng trong sinh trắc học, với ứng dụng rộng rãi trong bảo mật, giám sát và pháp y. Theo ước tính, các hệ thống nhận dạng giọng nói đã và đang được áp dụng trong nhiều ngành như tài chính, an ninh, và công nghệ thông tin, đặc biệt trong bối cảnh cách mạng công nghiệp 4.0. Đề tài tập trung nghiên cứu nhận dạng người nói tiếng Việt theo tiếp cận máy học hiện đại, nhằm nâng cao độ chính xác và hiệu quả so với các phương pháp truyền thống. Phạm vi nghiên cứu bao gồm xây dựng và đánh giá các mô hình học máy như Hidden Markov Model (HMM) và Deep Neural Network (DNN) trên bộ dữ liệu thực nghiệm gồm khoảng 40 người nói khác nhau tại Việt Nam trong năm 2022. Mục tiêu cụ thể là khảo sát tính khả thi của các mô hình máy học hiện đại trong nhận dạng người nói tiếng Việt độc lập văn bản, đồng thời xây dựng chương trình demo minh họa. Nghiên cứu có ý nghĩa khoa học trong việc phát triển các giải pháp nhận dạng giọng nói phù hợp với đặc thù ngôn ngữ và môi trường Việt Nam, đồng thời góp phần thúc đẩy ứng dụng công nghệ sinh trắc học trong thực tiễn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: sinh trắc học và học máy. Sinh trắc học (biometrics) nghiên cứu các đặc điểm sinh lý và hành vi của con người để nhận dạng, trong đó giọng nói là một đặc điểm sinh trắc thể hiện cả yếu tố sinh lý và hành vi. Các khái niệm chính bao gồm:

• Nhận dạng người nói (Speaker Recognition): Bao gồm nhận dạng độc lập văn bản (text-independent) và nhận dạng phụ thuộc văn bản (text-dependent).
• Mô hình Markov ẩn (Hidden Markov Model - HMM): Mô hình thống kê dùng để mô phỏng chuỗi trạng thái ẩn dựa trên chuỗi quan sát, phù hợp với đặc tính chuỗi thời gian của tín hiệu giọng nói.
• Mạng nơ-ron sâu (Deep Neural Network - DNN): Mạng học sâu với nhiều lớp ẩn, có khả năng tự động trích xuất đặc trưng và học biểu diễn phức tạp từ dữ liệu giọng nói.
• Đặc trưng âm thanh phổ biến: Mel-Frequency Cepstral Coefficients (MFCC), Perceptual Linear Prediction Coefficients (PLPC), và các đặc trưng dựa trên miền thời gian và tần số.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp kết hợp lý thuyết và thực nghiệm:

• Nguồn dữ liệu: Bộ dữ liệu thực nghiệm gồm khoảng 40 người nói tiếng Việt, thu âm trong điều kiện kiểm soát, với tần số lấy mẫu 16 kHz.
• Phương pháp phân tích: Xây dựng và huấn luyện hai mô hình chính là HMM và Feedforward-DNN. Mô hình HMM được thiết kế dựa trên chuỗi Markov ẩn với các trạng thái biểu diễn các âm vị, trong khi DNN sử dụng kiến trúc mạng nơ-ron nhiều lớp để học biểu diễn đặc trưng từ dữ liệu đầu vào.
• Timeline nghiên cứu: Quá trình thu thập dữ liệu và xây dựng mô hình diễn ra trong năm 2022, bao gồm các bước chuẩn bị môi trường, xử lý dữ liệu, huấn luyện mô hình, đánh giá và xây dựng chương trình demo.
• Cỡ mẫu và chọn mẫu: Bộ dữ liệu gồm 40 người nói được chọn ngẫu nhiên từ các vùng miền khác nhau tại Việt Nam nhằm đảm bảo tính đại diện và đa dạng về giọng nói.
• Đánh giá hiệu quả: Sử dụng các chỉ số như độ chính xác nhận dạng, tỷ lệ lỗi từ (Word Error Rate - WER) và so sánh hiệu suất giữa mô hình HMM truyền thống và mô hình DNN hiện đại.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình DNN vượt trội so với HMM: Mô hình Feedforward-DNN đạt độ chính xác trung bình khoảng 89,5%, cao hơn khoảng 9% so với mô hình HMM truyền thống (khoảng 80,5%) trên cùng bộ dữ liệu thử nghiệm.
2. Tác động của đặc trưng MFCC: Việc sử dụng đặc trưng MFCC làm đầu vào cho cả hai mô hình giúp cải thiện đáng kể hiệu suất nhận dạng, với tỷ lệ lỗi từ (WER) giảm xuống còn khoảng 4% khi áp dụng DNN.
3. Độ ổn định của mô hình trên các lần chạy: Mô hình DNN cho thấy sự biến thiên độ chính xác nhỏ hơn (khoảng 2%) qua sáu lần chạy huấn luyện, trong khi HMM có biến thiên lớn hơn (khoảng 5%), cho thấy tính ổn định cao hơn của DNN.
4. Khả năng xử lý giọng nói độc lập văn bản: Mô hình DNN thể hiện khả năng nhận dạng người nói không phụ thuộc vào nội dung câu nói, phù hợp với các ứng dụng thực tế đa dạng.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của mô hình DNN là khả năng học biểu diễn đặc trưng phức tạp và tự động từ dữ liệu giọng nói, trong khi HMM dựa nhiều vào giả định thống kê và mô hình hóa chuỗi trạng thái ẩn. Kết quả này phù hợp với các nghiên cứu quốc tế đã công bố, trong đó các mô hình học sâu như CNN, LSTM thường cho hiệu quả cao hơn trong nhận dạng người nói. Việc sử dụng đặc trưng MFCC cũng được khẳng định là phương pháp phổ biến và hiệu quả trong trích xuất đặc trưng âm thanh. Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác và WER giữa hai mô hình, cũng như bảng thống kê biến thiên độ chính xác qua các lần chạy. Kết quả nghiên cứu góp phần khẳng định tính khả thi và ưu thế của các mô hình học sâu trong nhận dạng người nói tiếng Việt, đồng thời mở ra hướng phát triển các hệ thống nhận dạng giọng nói ứng dụng trong thực tế.

Đề xuất và khuyến nghị

1. Phát triển hệ thống nhận dạng người nói dựa trên DNN: Khuyến nghị các tổ chức, doanh nghiệp ưu tiên áp dụng mô hình học sâu để nâng cao độ chính xác và tính ổn định của hệ thống nhận dạng giọng nói trong vòng 12 tháng tới.
2. Mở rộng bộ dữ liệu huấn luyện: Đề xuất thu thập thêm dữ liệu giọng nói đa dạng về vùng miền, độ tuổi và giới tính để cải thiện khả năng tổng quát hóa của mô hình, thực hiện trong 18 tháng với sự phối hợp của các viện nghiên cứu và trường đại học.
3. Tích hợp công nghệ nhận dạng giọng nói vào các ứng dụng thực tế: Khuyến khích phát triển các ứng dụng bảo mật, xác thực người dùng và trợ lý ảo dựa trên công nghệ nhận dạng người nói, nhằm tăng cường trải nghiệm người dùng và bảo vệ thông tin cá nhân.
4. Nâng cao khả năng xử lý trong môi trường nhiễu: Đề xuất nghiên cứu và áp dụng các kỹ thuật bù kênh, lọc nhiễu để duy trì hiệu suất nhận dạng trong các điều kiện môi trường thực tế phức tạp, với mục tiêu hoàn thiện trong 24 tháng.
5. Đào tạo và nâng cao năng lực chuyên môn: Khuyến nghị các cơ sở đào tạo và nghiên cứu tăng cường chương trình đào tạo về học máy và học sâu trong lĩnh vực nhận dạng giọng nói, nhằm phát triển nguồn nhân lực chất lượng cao.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành công nghệ thông tin, trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về mô hình học máy và ứng dụng trong nhận dạng người nói tiếng Việt, hỗ trợ nghiên cứu và phát triển đề tài liên quan.
2. Doanh nghiệp phát triển phần mềm và ứng dụng bảo mật: Các công ty có nhu cầu xây dựng hệ thống xác thực người dùng bằng giọng nói có thể áp dụng các giải pháp và mô hình được đề xuất để nâng cao hiệu quả sản phẩm.
3. Cơ quan an ninh và pháp y: Luận văn cung cấp cơ sở khoa học cho việc ứng dụng nhận dạng giọng nói trong giám sát, điều tra và xác minh danh tính trong các tình huống pháp lý.
4. Các tổ chức đào tạo và phát triển nhân lực: Tài liệu giúp xây dựng chương trình đào tạo về học máy, học sâu và sinh trắc học giọng nói, nâng cao năng lực chuyên môn cho học viên và cán bộ nghiên cứu.

Câu hỏi thường gặp

1. Nhận dạng người nói khác gì so với nhận dạng giọng nói?
   Nhận dạng người nói tập trung vào xác định danh tính người phát âm dựa trên đặc điểm giọng nói, trong khi nhận dạng giọng nói chuyển đổi lời nói thành văn bản. Ví dụ, hệ thống xác thực bằng giọng nói sử dụng nhận dạng người nói để bảo mật.

2. Tại sao sử dụng mô hình Deep Neural Network thay vì HMM truyền thống?
   DNN có khả năng học biểu diễn phức tạp và tự động từ dữ liệu lớn, giúp cải thiện độ chính xác và ổn định hơn so với HMM dựa trên giả định thống kê. Nghiên cứu cho thấy DNN đạt độ chính xác cao hơn khoảng 9%.

3. MFCC là gì và tại sao quan trọng trong nhận dạng giọng nói?
   MFCC là đặc trưng âm thanh phổ biến, mô phỏng cách con người nghe âm thanh, giúp trích xuất các đặc điểm quan trọng của giọng nói. MFCC được sử dụng làm đầu vào cho các mô hình học máy để nâng cao hiệu quả nhận dạng.

4. Phạm vi áp dụng của nghiên cứu này là gì?
   Nghiên cứu tập trung vào nhận dạng người nói tiếng Việt độc lập văn bản, với bộ dữ liệu khoảng 40 người nói, phù hợp cho các ứng dụng bảo mật, trợ lý ảo và giám sát trong môi trường Việt Nam.

5. Làm thế nào để nâng cao hiệu quả nhận dạng trong môi trường có nhiều tiếng ồn?
   Cần áp dụng các kỹ thuật bù kênh, lọc nhiễu và tăng cường dữ liệu để mô hình có thể xử lý tốt các tín hiệu giọng nói bị ảnh hưởng bởi tiếng ồn nền, từ đó duy trì độ chính xác trong thực tế.

Kết luận

• Luận văn đã khảo sát và xây dựng thành công các mô hình HMM và Feedforward-DNN cho nhận dạng người nói tiếng Việt, với DNN cho hiệu quả vượt trội.
• Việc sử dụng đặc trưng MFCC giúp cải thiện đáng kể độ chính xác và giảm tỷ lệ lỗi từ.
• Mô hình DNN thể hiện tính ổn định và khả năng nhận dạng độc lập văn bản phù hợp với ứng dụng thực tế.
• Đề xuất mở rộng bộ dữ liệu và tích hợp công nghệ vào các ứng dụng bảo mật, giám sát và trợ lý ảo.
• Các bước tiếp theo bao gồm phát triển hệ thống hoàn chỉnh, nâng cao khả năng xử lý môi trường nhiễu và đào tạo nguồn nhân lực chuyên môn.

Hành động ngay: Các tổ chức và doanh nghiệp quan tâm có thể bắt đầu thử nghiệm áp dụng mô hình DNN trong hệ thống nhận dạng giọng nói để nâng cao bảo mật và trải nghiệm người dùng.

Trích đoạn nội dung tài liệu

HâC VIâN CÔNG NGHâ B¯U CHÍNH VIàN THÔNG ----------------------------------- TRÀN THà NHI AN NHÂN D¾NG NG¯âI NÓI THEO TI¾P CÂN MÁY HâC HIâN Đ¾I LUÂN VN TH¾C S) KỸ THUÂT (Theo đánh h°áng ứng dāng) TP. Hâ CHÍ MINH – NM 2022 HâC VIâN CÔNG NGHâ B¯U CHÍNH VIàN THÔNG -------------------------------------- TRÀN THà NHI AN NHÂN D¾NG NG¯âI NÓI THEO TI¾P CÂN MÁY HâC HIâN Đ¾I Chuyên ngành: Hà THàNG THÔNG TIN Mã sá: 8.04 LUÂN VN TH¾C S) KỸ THUÂT (Theo đánh h°áng ứng dāng) NG¯âI H¯àNG DÀN KHOA HâC: PGS.TS Vi HÀI QUÂN TP. Hâ CHÍ MINH – NM 2022 i LâI CAM ĐOAN Tôi cam đoan rằng lu¿n vn: <Nhận dạng người nói theo tiếp cận máy học hiện đại= là công trình nghiên cāu cÿa chính tôi dưßi sự hưßng dẫn cÿa PGS.TS Vj HÁi Quân. Tôi cam đoan các sá liáu, kÁt quÁ nêu trong lu¿n vn là trung thực và chưa từng đưÿc ai công bá trong bất kỳ công trình nào khác.

Không có sÁn phẩm/nghiên cāu nào cÿa ngưái khác đưÿc sÿ dāng trong lu¿n vn này mà không đưÿc trích dẫn theo đúng quy định. Hồ Chí Minh, ngày 04 tháng 05 năm 2022 Hãc viên thăc hiãn luÃn vn TrÁn Thá Nhi An ii LâI CÀM ¡N Trưßc hÁt, em xin bày tß lòng biÁt ¢n chân thành và sâu sÁc tßi Thầy PGS.TS Vj HÁi Quân ngưái Thầy kính yêu đã hÁt lòng giúp đỡ, hưßng dẫn, động viên, t¿o điều kián cho tôi trong suát quá trình thực hián và hoàn thành lu¿n vn. Tôi xin chân thành cÁm ¢n Ban Giám Đác, Phòng đào t¿o sau đ¿i học và quý Thầy Cô cÿa Học vián Công Nghá Bưu Chính Vißn thông c¢ sã t¿i TP.HCM đã giÁng d¿y và t¿o điều kián học t¿p thu¿n lÿi trong suát khóa học. Tôi xin chân thành cÁm ¢n gia đình, b¿n bè, đãng nghiáp trong c¢ quan đã động viên, hỗ trÿ tôi trong lúc khó khn để tôi có thể học t¿p và hoàn thành lu¿n vn.

Mặc dù đã có nhiều cá gÁng, nỗ lực, nhưng do thái gian và kinh nghiám nghiên cāu khoa học còn h¿n chÁ nên không thể tránh khßi nhāng thiÁu sót. Tôi rất mong nh¿n đưÿc sự góp ý cÿa quý Thầy Cô cùng b¿n bè đãng nghiáp để kiÁn thāc cÿa tôi ngày một hoàn thián h¢n. Một lần nāa tôi xin chân thành cÁm ¢n! TP. Hồ Chí Minh, ngày 04 tháng 05 năm 2022 Hãc viên thăc hiãn luÃn vn TrÁn Thá Nhi An iii DANH SÁCH HÌNH VẼ Hình 1.1: Các đặc tính sinh trÁc .1: Phân biát xác minh và định danh .2: Trí tuá nhân t¿o – AI .3: Lấy mẫu và sá hóa tín hiáu analog, sau đó tái t¿o l¿i tín hiáu này .4: Cấu trúc cÿa há tháng nh¿n d¿ng ngưái nói .5: Các bưßc trích xuất MFCC từ tín hiáu âm thanh .6: Các lĩnh vực āng dāng cÿa Machine Learning .7: Ba mô hình học t¿p cho các thu¿t toán .1: Các lßp cÿa một m¿ng n¢-ron điển hình .2: Mái liên há giāa AI, ML và DL .4: Feed Forward Neural Networks .6: Convolutional Neural Network .7: Radial Basis Function Neural Networks .8: Recurrent Neural Networks .9: Long Short-Term Memory .10: Modular Neural Network .11: Ví dā về dự đoán thái tiÁt .12: Một mô hình Markov ẩn .13: Các giai đo¿n xÿ lý trong HTK .14: Huấn luyán từ phā trong HMM .15: M¿ng truyền thẳng một lßp ẩn .16: Cấu trúc m¿ng feedforward-DNN .1: Biểu đã hiển thị tỉ lá gißi tính trong bộ dā liáu.2: Biểu đã hiển thị tỉ lá vùng miền trong bộ dā liáu .3: Biểu đã tháng kê độ tuổi cÿa bộ dā liáu .4: KÁt quÁ tháng kê trên t¿p huấn luyán .5: KÁt quÁ tháng kê trên t¿p kiểm thÿ .6: BiÁn thiên độ chính xác theo sá lần ch¿y mô hình .7: Giao dián chư¢ng trình demo .8: Chọn file âm thanh để tiÁn hành nh¿n d¿ng .9: Trưáng hÿp nh¿n d¿ng vßi HMM.10: Trưáng hÿp nh¿n d¿ng vßi Feedforward-DNN .68 v DANH SÁCH BÀNG BÁng 4.1: Thông tin ngưái tham gia ghi âm .2: Thông tin chi tiÁt cÿa một bÁn ghi âm .4: Độ chính xác cÿa mô hình qua sá lần ch¿y training .65 vi DANH MĀC CÁC THUÂT NGĀ, CHĀ VI¾T TÄT Vi¿t tÅt Ngh*a Ti¿ng Anh Ngh*a Ti¿ng Viãt SVM Support vector machine HTK Hidden Markov Model Toolkit Bộ công cā mô hình Markov ẩn HMM Hidden Markov Model Mô hình Markov ẩn CNN Convolutional neural network Mô hình tích hÿp DNN Deep Neural Network Mô hình học sâu WER Word Error Rate Tỉ lá lỗi từ LPCC Linear Predictive Cepstral Coefficients PLPC Perceptual Linear Prediction Coefficients MFCC Mel-Frequency Cepstral Coefficients ADC Analog-to-Digital Converter Bộ chuyển đổi analog sang kỹ thu¿t sá DAC Digital-to-Analog Converter Bộ chuyển đổi tín hiáu digital thành analog vii MĀC LĀC LàI CAM ĐOAN.

ii DANH MĀC HÌNH ÀNH. iii DANH MĀC BÀNG .v DANH MĀC CHĀ VIÀT TÀT. vii CH¯¡NG 1: PHÀN Mä ĐÀU. Lĩnh vực đề tài.

Tình hình nghiên cāu liên quan đÁn đề tài. Các công trình nghiên cāu trong nưßc. Các công trình nghiên cāu trên thÁ gißi. Māc tiêu, ý nghĩa khoa học và thực tißn.

Đái tưÿng và ph¿m vi nghiên cāu. Ph¿m vi nghiên cāu. Phư¢ng pháp nghiên cāu. Phư¢ng pháp nghiên cāu lý thuyÁt.

Phư¢ng pháp nghiên cāu thực nghiám. 11 CH¯¡NG 2: TàNG QUAN ĐÀ TÀI. Gißi thiáu chung. Nh¿n d¿ng ngưái nói là gì?.

Āng dāng công nghá nh¿n d¿ng ngưái nói vào đái sáng. Tổng quan về trí tuá nhân t¿o (AI). Các thành phần chính cÿa há tháng nh¿n d¿ng ngưái nói. Rút trích đặc trưng.

Rút trích đặc trưng là gì. Các đặc trưng âm thanh phổ biÁn cho viác thiÁt l¿p mô hình. Mô hình máy học. Khái niám về máy học.

Các lo¿i mô hình máy học .28 CH¯¡NG 3: NHÂN D¾NG NG¯âI NÓI VàI DEEP LEARNING. M¿ng n¢-ron và deep learning. Phân lo¿i / các d¿ng m¿ng neural nhân t¿o. Nh¿n d¿ng ngưái nói.

Nh¿n d¿ng ngưái nói vßi HMM. Nh¿n d¿ng ngưái nói vßi Feedforward-DNN.48 CH¯¡NG 4: THĂC NGHIâM. Dā liáu thực nghiám. Kịch bÁn thực nghiám.

Chuẩn bị môi trưáng. Chuẩn bị dā liáu. Xây dựng mô hình và huấn luyán. Thực nghiám và đánh giá.

Thực nghiám và so sánh. Phân tích và đánh giá. Chư¢ng trình demo. 66 CH¯¡NG 5: K¾T LUÂN.

Các đóng góp cÿa lu¿n vn. KÁt lu¿n và hưßng phát triển .70 DANH MĀC TÀI LIâU THAM KHÀO .72 1 CH¯¡NG 1: PHÀN Mä ĐÀU 1. L*nh văc đÁ tài Đề tài thuộc lĩnh vực Sinh trÁc học (Biometrics). Sinh trÁc học là khoa học nghiên cāu các phư¢ng pháp phân tích và tháng kê trên các dā liáu sinh học.

Cām từ <biometrics= xuất phát từ chā <bio= (life) và <metrics= (measure) trong tiÁng Hy L¿p. Trong lĩnh vực công nghá thông tin, sinh trÁc học đưÿc áp dāng trong viác nh¿n d¿ng ngưái dựa trên nhāng đặc điểm sinh lý học (physiological) và các mẫu hành vi (behavioral). Các há tháng sinh trÁc đã và đang đưÿc phát triển trong các āng dāng thực tÁ như: các ho¿t động cÿa chính phÿ, các công ty, tổ chāc thư¢ng m¿i - tài chính, bao gãm viác quÁn lý nhân công, quÁn lý khách hàng, quÁn lý kiểm soát vào ra, đÁn quÁn lý xuất nh¿p cÁnh, quÁn lý tội ph¿m, há tháng bầu cÿ, v. Nh¿n d¿ng sinh trÁc hián đ¿i đang nh¿n đưÿc nhiều sự quan tâm trong các lĩnh vực cần māc độ bÁo m¿t và an toàn cao, cũng như do tính thu¿n tián và nng động mà nó mang l¿i.

Từ đó nó đã ngày càng chāng minh đưÿc tiềm nng āng dāng rộng rãi so vßi các phư¢ng pháp nh¿n d¿ng truyền tháng.1: Các đặc tính sinh trÅc (nguồn [2]) 2 Dựa trên nhāng đặc trưng sinh trÁc (Hình 1.1), ta có thể phân chia thành hai nhóm chính là sinh trÁc thể (physiological) và sinh trÁc hành vi (behavioral): • Sinh trÁc thể (Physiological): là nhāng đặc trưng liên quan đÁn hình d¿ng, cấu t¿o cÿa c¢ thể bao gãm các đặc trưng sinh học như khuôn mặt (face), DNA, vân tay (fingerprint), hình d¿ng bàn tay (hand geometry), tròng mÁt (iris), giọng nói (voice),. Trong đó, vân tay là đặc trưng đã đưÿc nghiên cāu và sÿ dāng tư¢ng đái rộng rãi trong các há tháng nh¿n d¿ng như há tháng đng nh¿p há điều hành máy tính, há tháng khóa cÿa vân tay, v. • Sinh trÁc hành vi (Behavioral): là các đặc điểm về hành vi cÿa con ngưái như thói quen gõ phím (keystroke), chā ký (signature), giọng nói (voice). â thái điểm bùng nổ về CNTT-TT, IoT và CMCN 4.0 thì vai trò cÿa Sinh trÁc học càng đưÿc nhấn m¿nh h¢n trong nhiều lĩnh vực xã hội và đái sáng.

Ngày càng có nhiều công trình trên thÁ gißi khai thác các đặc tính sinh trÁc để làm cầu nái giāa āng dāng thực tißn và xác thực chÿ thể. Tuy nhiên, nghiên cāu trong nưßc về lĩnh vực này l¿i chưa nhiều, chưa có nhāng giÁi pháp thực sự thuyÁt phāc đưÿc cộng đãng và doanh nghiáp. Do đó, tôi chọn đề tài <NhÃn d¿ng ng°ãi nói theo ti¿p cÃn máy hãc hiãn đ¿i=, vßi mong muán góp một phần nhß vào khÁo sát học thu¿t mà cā thể là đặc tính sinh trÁc về giọng nói, nhằm làm tng tính khÁ thi h¢n cho āng dāng trong nưßc. Tình hình nghiên cứu liên quan đ¿n đÁ tài Hián nay, các công trình liên quan đÁn đề tài nh¿n d¿ng giọng nói ngày càng phát triển và đa d¿ng, nghiên cāu các công trình này s¿ góp phần giúp cÿng cá h¢n phần c¢ sã lý thuyÁt và định hưßng nghiên cāu, phát triển cho đề tài cÿa lu¿n vn.

Các công trình nghiên cāu trong nước Tác giÁ Cao Truong Tran và cộng sự đã công bá bài nghiên cāu <Deep Representation Learning for Vietnamese Speaker Recognition= [1]. Bài báo này đã đề xuất một phư¢ng pháp học t¿p chuyển giao sâu tích hÿp cÁ học t¿p chuyển giao và học t¿p sâu để xây dựng mô hình nh¿n d¿ng ngưái nói tiÁng Viát. Họ đã t¿o cấu 3 hình theo mô hình nh¿n d¿ng ngưái nói cÿa SOTA. Đưáng c¢ sã này đã đưÿc cá định cho tất cÁ các thÿ nghiám đào t¿o.

Cấu hình đưáng c¢ sã này sÿ dāng một đo¿n thái gian 2 giây có độ dài cá định đưÿc trích xuất ngẫu nhiên từ mỗi câu nói. Nhấn m¿nh trưßc đưÿc áp dāng cho tín hiáu đầu vào sÿ dāng há sá 0,97. H¢n nāa, các biểu đã quang phổ đưÿc trích xuất từ một cÿa sổ hamming có chiều rộng 25ms và bưßc là 10ms và kích thưßc FFT là 512. Mel-filterbanks 64 chiều đưÿc sÿ dāng làm đầu vào cho m¿ng.

Sau đó, kÁt hÿp tổn thất Nguyên mẫu vßi tổn thất softmax để chāng minh sự cÁi thián liên tāc trong viác sÿ dāng từng hàm tổn thất. H¢n nāa, đề c¿p đÁn mô hình đưÿc tái ưu hóa hiáu suất, Attentive Statistics Pooling (ASP) đưÿc sÿ dāng để tổng hÿp các khung thái gian, trong đó độ lách chuẩn có trọng sá theo kênh đưÿc tính toán ngoài giá trị trung bình có trọng sá.