Luận Văn Thạc Sĩ: Ứng Dụng Học Sâu trong Nhận Dạng Tiếng Việt

Luận văn học sâu nhận dạng tiếng Việt: Nghiên cứu chuyên sâu về ứng dụng học sâu (Deep Learning) trong bài toán nhận dạng tiếng Việt, phân tích mô hình và kết quả.

• Tác giả: Lê Trọng Thịnh
• Người hướng dẫn: PGS. Trịnh Văn Loan
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Học Sâu Nhận Dạng Tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Giới thiệu chung về đề tài
• 1.2. Các hướng tiếp cận và giải quyết
• 1.2.1. Tiếp cận âm thanh ngữ âm
• 1.2.2. Tiếp cận nhận dạng MẪU
• 1.2.3. Tiếp cận trí mệ nhân tạo
• 1.3. Nhiệm vụ của luận văn
• 2. CƠ SỞ LÝ THUYẾT XỬ LÝ TIẾNG NÓI
• 2.1. Lý thuyết âm thanh và tiếng nói
• 2.2. Giới thiệu về xử lý tiếng nói
• 2.3. Nhận dạng tiếng nói
• 2.4. Nhận dạng tiếng Việt
• 3. MẠNG NO-RON VÀ MẠNG NO-RON LẤY CHẬP
• 3.1. Tổng quan mô hình mạng nơ-ron
• 3.2. Mạng nơ-rơn lấy chập (Convolutional Neural Network CNN)
• 4. ỨNG DỤNG MẠNG CNN CHO BÀI TOÁN NHẬN DẠNG CÁC SỐ ĐẾM TIẾNG VIỆT
• 4.1. Phân tích bài toán
• 4.2. Tiêu chí đánh giá
• 4.3. Tiền xử lý tín hiệu tiếng nói
• 4.4. Xây dựng mô hình huấn luyện
• 4.5. Kết quả thử nghiệm và đánh giá
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng mở rộng của đề tài
• TÀI LIỆU THAM KHẢO
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH VẼ

Tóm tắt

I. Tổng Quan Về Bài Toán Học Sâu Nhận Dạng Tiếng Việt 55 ký tự

Nhận dạng tiếng Việt bằng học sâu đã trải qua một quá trình phát triển dài, bắt đầu từ những năm 1940 với sự ra đời của các hệ thống phân tích phổ âm thanh. Lý thuyết tạo âm thanh tiếng nói con người cũng đóng vai trò quan trọng. Sự phát triển mạnh mẽ của máy tính đã thúc đẩy công nghệ này. Các hệ thống ban đầu sử dụng đặc tính miền thời gian và bộ lọc tương tự. Chúng có khả năng nhận dạng từ rời rạc và phụ thuộc người nói. Phương pháp âm học cũng được sử dụng để thiết kế hệ thống nhận dạng âm vị. Tuy nhiên, kết quả còn hạn chế. Đến thập kỷ 70, thuật toán phân tích tín hiệu như mô hình dự đoán tuyến tính được sử dụng. Điều này cho phép nhận dạng số lượng từ vựng lớn hơn. Trong những năm 80, nhiều hãng lớn đầu tư vào nghiên cứu. Sự bùng nổ của trí tuệ nhân tạo đã giúp nhận dạng tiếng nói phát triển nhanh chóng. Tại Việt Nam, đây là lĩnh vực được chú trọng. Các ứng dụng của hệ thống nhận dạng tiếng nói rất đa dạng. Bao gồm điều khiển, cải thiện hiệu quả nhập thông tin, hỗ trợ người khiếm thị và chuyển đổi tín hiệu. Nhận dạng giọng nói cũng là một ứng dụng quan trọng. Hệ thống này có thể sử dụng trong y tế, quản sự,... Luận văn này tập trung vào việc xây dựng hệ thống nhận dạng tiếng Việt nói dựa trên mạng nơ-ron tích chập CNN. Mục tiêu là xây dựng ứng dụng phân loại, nhận dạng các số đếm tiếng Việt từ 0 đến 9 bởi một người nói. Luận văn phân tích các hướng tiếp cận và giải quyết bài toán nhận dạng và phân loại tiếng nói.

1.1. Giới Thiệu Các Hướng Tiếp Cận Nhận Dạng Tiếng Việt

Có ba hướng tiếp cận chính trong nhận dạng tiếng nói: tiếp cận âm thanh-ngữ âm, tiếp cận nhận dạng mẫu và tiếp cận trí tuệ nhân tạo. Tiếp cận âm thanh-ngữ âm dựa trên lý thuyết âm học-ngữ âm học. Lý thuyết này cho rằng có sự lặp lại của các đơn vị ngữ âm. Các đơn vị ngữ âm được biểu diễn bằng thuộc tính trong tín hiệu âm thanh hoặc biểu diễn phổ theo thời gian. Cách tiếp cận này có hai bước: phân đoạn và gán nhãn ngữ âm dựa trên thuộc tính âm học, sau đó nhận dạng tiếng nói dựa trên các ràng buộc về từ vựng và cú pháp. Tiếp cận nhận dạng mẫu sử dụng trực tiếp các mẫu tiếng nói mà không cần xác định rõ đặc trưng hoặc phân đoạn tín hiệu. Phương pháp này cũng có hai bước: tích lũy mẫu tiếng nói và so sánh mẫu tiếng nói từ ngoài với mẫu đặc trưng để đưa ra quyết định.

1.2. Tóm Tắt Mục Tiêu Nghiên Cứu Về Học Sâu Tiếng Việt

Luận văn này tập trung vào ứng dụng học sâu để giải quyết bài toán nhận dạng tiếng Việt, cụ thể là nhận dạng các số đếm từ 0 đến 9. Nghiên cứu sử dụng mạng CNN để xây dựng mô hình. Quá trình bao gồm tiền xử lý tín hiệu tiếng nói, trích chọn đặc trưng, xây dựng mô hình huấn luyện và đánh giá kết quả thử nghiệm. Mục tiêu cuối cùng là tạo ra một hệ thống có khả năng nhận dạng chính xác các số đếm tiếng Việt do một người nói phát âm. Hướng phát triển trong tương lai là xây dựng bộ dữ liệu huấn luyện lớn hơn, xây dựng phần mềm nhận dạng dựa trên kết quả nghiên cứu và nâng cao mức độ của nhận dạng tiếng nói.

II. Tổng Quan Lý Thuyết Xử Lý Ngôn Ngữ Tự Nhiên Tiếng Việt 59 ký tự

Chương này trình bày cơ sở lý thuyết cho việc xử lý tiếng nói. Đầu tiên, giới thiệu về lý thuyết âm thanh và tiếng nói, bao gồm nguồn gốc, quá trình tạo và phân loại tiếng nói. Các đặc tính vật lý cơ bản của tiếng nói cũng được đề cập. Tiếp theo, chương này giới thiệu về các dạng biểu diễn tín hiệu tiếng nói. Phần xử lý tiếng nói bao gồm các bước cơ bản như tiền xử lý, trích chọn đặc trưng và phân tích tín hiệu. Các phương pháp phổ biến như MFCC (Mel-frequency cepstral coefficient) cũng được giới thiệu. Luận văn cũng đề cập đến tổng quan về bài toán nhận dạng tiếng nói, bao gồm các hệ thống nhận dạng và quy trình nhận dạng. Cuối cùng, chương này tập trung vào nhận dạng tiếng Việt, bao gồm các đặc điểm ngữ âm, thuận lợi và khó khăn. Điều này giúp hiểu rõ hơn về những thách thức cụ thể khi xử lý ngôn ngữ tự nhiên tiếng Việt. Các đặc điểm ngữ âm tiếng Việt khác biệt so với các ngôn ngữ khác cần được xem xét khi xây dựng mô hình.

2.1. Tìm Hiểu Về Âm Thanh Quá Trình Tạo Tiếng Nói Tiếng Việt

Âm thanh có nguồn gốc từ sự rung động của các vật thể. Sự rung động này tạo ra sóng âm lan truyền trong môi trường. Quá trình tạo tiếng nói ở người bắt đầu từ phổi. Không khí từ phổi đi qua thanh quản, nơi có dây thanh. Dây thanh rung động tạo ra âm thanh gốc. Âm thanh này sau đó được điều chỉnh bởi các bộ phận khác của bộ máy phát âm như lưỡi, răng và môi. Việc phân loại tiếng nói có thể dựa trên nhiều tiêu chí. Ví dụ như nguyên âm và phụ âm. Tiếng nói cũng có các đặc tính vật lý cơ bản như tần số, biên độ và cường độ. Các yếu tố này ảnh hưởng đến cách chúng ta cảm nhận âm thanh.

2.2. Các Bước Căn Bản Trong Quy Trình Nhận Dạng Tiếng Việt

Quy trình nhận dạng tiếng nói thường bao gồm các bước sau: thu thập tín hiệu tiếng nói, tiền xử lý tín hiệu, trích chọn đặc trưng, phân loại và đưa ra kết quả. Tiền xử lý nhằm loại bỏ nhiễu và chuẩn hóa tín hiệu. Trích chọn đặc trưng giúp biểu diễn tín hiệu bằng các thông số quan trọng. Phân loại sử dụng các mô hình học máy để xác định nội dung của tiếng nói. Kết quả được đưa ra dựa trên độ tin cậy của mô hình. Các bước này cần được tối ưu hóa để đạt được độ chính xác cao trong nhận dạng tiếng Việt. Việc lựa chọn thuật toán và mô hình phù hợp là rất quan trọng.

2.3. Thách Thức Cơ Hội Trong Nhận Dạng Tiếng Việt

Nhận dạng tiếng Việt có những thuận lợi và khó khăn riêng. Thuận lợi là tiếng Việt có cấu trúc âm tiết rõ ràng, dễ phân biệt. Khó khăn là tiếng Việt có thanh điệu, ảnh hưởng lớn đến ý nghĩa của từ. Các phương ngữ khác nhau cũng tạo ra thách thức. Sự khác biệt về phát âm giữa các vùng miền có thể làm giảm độ chính xác của mô hình. Cần có bộ dữ liệu lớn và đa dạng để huấn luyện mô hình hiệu quả. Nghiên cứu cần tập trung vào việc xử lý thanh điệu và phương ngữ để cải thiện nhận dạng tiếng Việt. Ứng dụng học sâu có thể giúp giải quyết những thách thức này.

III. Mạng Nơ Ron CNN Cho Bài Toán Nhận Dạng Tiếng Việt 58 ký tự

Chương này giới thiệu về mạng nơ-ron và mạng nơ-ron tích chập (CNN). Mạng nơ-ron là một mô hình học máy lấy cảm hứng từ cấu trúc của não bộ con người. Mạng nơ-ron có thể được sử dụng để giải quyết nhiều bài toán khác nhau. Trong đó có nhận dạng tiếng nói. Mạng CNN là một loại mạng nơ-ron đặc biệt hiệu quả trong việc xử lý dữ liệu có cấu trúc lưới như ảnh và âm thanh. CNN sử dụng các lớp tích chập để trích chọn đặc trưng từ dữ liệu đầu vào. Điều này giúp mô hình có thể học được các đặc trưng quan trọng. Luận văn trình bày tổng quan về mô hình mạng nơ-ron, kiến trúc mạng nơ-ron và mạng nơ-ron lan truyền ngược (MLP). Ngoài ra, chương này cũng giới thiệu chi tiết về mạng nơ-ron tích chập (CNN), bao gồm cách thức hoạt động và ứng dụng của CNN trong nhận dạng tiếng Việt.

3.1. Tổng Quan Về Cấu Trúc Của Mạng Nơ Ron Hiện Đại

Mạng nơ-ron nhân tạo bao gồm các nơ-ron kết nối với nhau. Mỗi nơ-ron nhận đầu vào từ các nơ-ron khác, thực hiện một phép tính và đưa ra kết quả. Các kết nối giữa các nơ-ron có trọng số, thể hiện mức độ ảnh hưởng của đầu vào. Kiến trúc mạng nơ-ron có thể khác nhau tùy thuộc vào bài toán. Mạng nơ-ron lan truyền ngược (MLP) là một loại mạng nơ-ron phổ biến. Nó sử dụng thuật toán lan truyền ngược để huấn luyện mô hình. Mạng nơ-ron có khả năng học các mối quan hệ phức tạp giữa dữ liệu đầu vào và đầu ra.

3.2. Tìm Hiểu Mạng CNN Cách Hoạt Động Hiệu Quả Của Nó

Mạng CNN (Convolutional Neural Network) là một loại mạng nơ-ron đặc biệt hiệu quả trong việc xử lý ảnh và âm thanh. CNN sử dụng các lớp tích chập (convolutional layers) để tự động trích chọn đặc trưng từ dữ liệu đầu vào. Lớp tích chập sử dụng các bộ lọc (filters) để quét qua dữ liệu và tạo ra các bản đồ đặc trưng (feature maps). Các lớp gộp (pooling layers) giúp giảm kích thước của bản đồ đặc trưng. CNN thường có nhiều lớp tích chập và lớp gộp xen kẽ nhau. Điều này giúp mô hình có thể học được các đặc trưng phức tạp. Các lớp kết nối đầy đủ (fully connected layers) được sử dụng để phân loại.

IV. Ứng Dụng Học Sâu CNN Nhận Dạng Số Đếm Tiếng Việt 59 ký tự

Chương này trình bày ứng dụng của mạng CNN trong bài toán nhận dạng các số đếm tiếng Việt. Nghiên cứu sử dụng CNN để phân loại các đoạn âm thanh chứa số đếm từ 0 đến 9. Quá trình bao gồm phân tích bài toán, đưa ra các tiêu chí đánh giá, tiền xử lý tín hiệu tiếng nói, xây dựng mô hình huấn luyện và đánh giá kết quả thử nghiệm. Các bước tiền xử lý bao gồm phân tích bộ dữ liệu, trích chọn đặc trưng MFCC và tính tần số cơ bản F0. Mô hình huấn luyện được xây dựng dựa trên kiến trúc CNN. Kết quả thử nghiệm cho thấy mô hình có khả năng nhận dạng chính xác các số đếm tiếng Việt.

4.1. Phân Tích Bài Toán Tiêu Chí Đánh Giá Hiệu Suất

Bài toán nhận dạng số đếm tiếng Việt là một bài toán phân loại nhiều lớp. Mục tiêu là xây dựng mô hình có khả năng phân loại chính xác các đoạn âm thanh chứa số đếm từ 0 đến 9. Các tiêu chí đánh giá hiệu suất bao gồm độ chính xác (accuracy), độ thu hồi (recall), độ đo F1 (F1-score) và ma trận nhầm lẫn (confusion matrix). Độ chính xác đo lường tỷ lệ các mẫu được phân loại đúng. Độ thu hồi đo lường khả năng của mô hình trong việc tìm ra tất cả các mẫu thuộc một lớp. Độ đo F1 là trung bình điều hòa của độ chính xác và độ thu hồi. Ma trận nhầm lẫn cho thấy các lỗi phân loại mà mô hình mắc phải. Các tiêu chí này giúp đánh giá khách quan hiệu suất của mô hình.

4.2. Tiền Xử Lý Tín Hiệu Tiếng Nói Để Tăng Độ Chính Xác

Tiền xử lý tín hiệu tiếng nói là một bước quan trọng để cải thiện độ chính xác của mô hình. Các bước tiền xử lý bao gồm lọc nhiễu, chuẩn hóa biên độ, phân khung và áp dụng cửa sổ. Lọc nhiễu giúp loại bỏ các thành phần không mong muốn trong tín hiệu. Chuẩn hóa biên độ giúp đảm bảo rằng tất cả các tín hiệu có mức độ tương đương. Phân khung chia tín hiệu thành các khung nhỏ hơn để phân tích. Cửa sổ được áp dụng để giảm thiểu các hiện tượng không liên tục ở biên của khung. Các bước tiền xử lý này giúp tạo ra các đặc trưng tốt hơn cho mô hình.

4.3. Xây Dựng Mô Hình CNN Đánh Giá Kết Quả Huấn Luyện

Việc xây dựng mô hình CNN là một quá trình lặp đi lặp lại. Nó bao gồm lựa chọn kiến trúc mô hình, thiết lập các tham số huấn luyện và đánh giá hiệu suất. Kiến trúc mô hình có thể được lấy cảm hứng từ các mô hình đã được chứng minh hiệu quả trên các bài toán tương tự. Các tham số huấn luyện như tốc độ học, kích thước batch và số lượng epoch cần được điều chỉnh để đạt được hiệu suất tối ưu. Kết quả huấn luyện được đánh giá dựa trên các tiêu chí như độ chính xác, độ thu hồi và độ đo F1 trên tập kiểm tra. Việc phân tích ma trận nhầm lẫn giúp xác định các lỗi phân loại phổ biến và cải thiện mô hình.

V. Kết Luận Hướng Phát Triển Cho Học Sâu Tiếng Việt 59 ký tự

Luận văn đã trình bày ứng dụng học sâu, cụ thể là mạng CNN, trong bài toán nhận dạng tiếng Việt, tập trung vào nhận dạng các số đếm. Kết quả cho thấy CNN có khả năng nhận dạng chính xác các số đếm tiếng Việt. Tuy nhiên, vẫn còn nhiều hướng phát triển cho học sâu tiếng Việt. Cần xây dựng bộ dữ liệu lớn hơn và đa dạng hơn để huấn luyện mô hình. Nghiên cứu có thể mở rộng sang các bài toán khác. Ví dụ như nhận dạng giọng nói, phân tích cảm xúc và dịch máy. Việc tích hợp các mô hình pre-trained tiếng Việt như BERT tiếng Việt và RoBERTa tiếng Việt cũng là một hướng đi tiềm năng.

5.1. Xây Dựng Bộ Dữ Liệu Huấn Luyện Lớn Đa Dạng Hơn

Bộ dữ liệu huấn luyện đóng vai trò quan trọng trong hiệu suất của mô hình. Cần thu thập dữ liệu từ nhiều nguồn khác nhau. Đảm bảo rằng dữ liệu đại diện cho sự đa dạng của tiếng Việt. Dữ liệu nên bao gồm các giọng nói khác nhau, các phương ngữ khác nhau và các điều kiện môi trường khác nhau. Việc sử dụng các kỹ thuật tăng cường dữ liệu cũng có thể giúp cải thiện hiệu suất của mô hình. Các kỹ thuật này tạo ra các biến thể của dữ liệu hiện có. Ví dụ như thêm nhiễu, thay đổi tốc độ và thay đổi âm lượng.

5.2. Ứng Dụng Học Sâu Cho Các Bài Toán NLP Tiếng Việt Khác

Học sâu có tiềm năng lớn trong việc giải quyết nhiều bài toán NLP tiếng Việt. Có thể áp dụng học sâu cho các bài toán như nhận dạng thực thể có tên, gán nhãn từ loại, phân tích cú pháp phụ thuộc, tóm tắt văn bản và hỏi đáp. Các mô hình pre-trained tiếng Việt như BERT tiếng Việt và RoBERTa tiếng Việt có thể được sử dụng để cải thiện hiệu suất của các mô hình. Việc nghiên cứu và phát triển các kiến trúc mô hình mới cũng là một hướng đi quan trọng.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. TÔNG QUAN DI 1.1 Giới thiệu chung về đề tải hận đạng tự động tiếng nói đã phát triển từ khả lâu. Nhờ sự phát triển của hệ thông phân tích phổ âm thanh (năm 1946), lý thuyết tạo âm thanh tiếng nói con người (năm 1948), sự xuất hiện và phat triển mạnh mẽ của các hệ thống máy tính. số thương mại đầu tiên trên thế giới (năm 1958) là những nhân tả quan trọng, giúp cho sự phát triển của công nghệ nhận đạng tiếng nói Các hệ thống nhận dạng đầu tiên sử đụng đặc tính trong miễn thời gian và các bang lọc tương tự có khả năng nhận dạng từ rời rạc và phụ thuộc người nỏi.

Tương bự như vậy, với phương pháp âm học, hệ thống nhận dang âm vị phụ thuộc người nỏi cũng được thiết kế. Tuy nhiên hé théng nay mdi cho được kết quả rất khiêm tốn. Trong thập kỷ 70, với sự phát triển của các thuật toán phân tích tín hiệu như mé "hình dự đoán tuyến tính, so sảnh mẫu thời gian. công nghệ nhận dạng tiếng nói đã có thể nhận dạng được số lưỡng từ vựng khả lớn.

Trong những nắn 60 của thể kỹ 20, nhiều hãng lớn đã đầu Lư nghiên cứu phái triển các hệ thẳng nhận dạng tiếng nói với các ngôn ngữ khác nhau. những năm 80, các hệ thống nhận đạng đã có thé nhận dạng được hàng trăm từ roi rac Va gan dây, sự bùng nỗ của tri tuệ nhân tạo dã thức dây công nghệ nhận dạng tiếng nói dến những bước phát triển vỗ cùng nhanh chóng. Ở Việt Nam, nhận dạng tiếng nói là một lĩnh vực đã và đang, được tập trưng chú ý nghiên cứu, phát triển. Hệ thông nhận đạng tiếng nói có được những ứng dựng tuyệt vời trong nhiều lĩnh vực đời sông, nhất là lĩnh vực giao tiếp người máy nếu được áp dụng thành công, « Lĩnh vực điểu khiến ©_ Cải thiện biệu quả nhập thông từn.

¿ Những ứng dụng íL sử dụng đến thao lác lay e_ Hỗ trợ người khiêm thị giao tiếp với các thiết bị điện tử. «- Tânh vực chuyển đối tín hiệu © Chuyén déi loi noi thanh vin ban. © Linh vue nhin dang, c Héthéng mat mA giong ndi. «_ Các lĩnh vực khác trong y tế, quản sự, L2 Các hưởng tiếp cận và giải quyết + bản có ba hướng tiếp uận nhận đạng tiếng nói « Tiếp cận âm thanh-ngữ âm « Tiếp cận nhận dạng mẫu.

« Tiếp cận trí mê nhân tạo MỤC CIIVONG 1. TONG QUAN DE TAL.1 Giới thiện chung vé đề tài - - 1 1.2 _ Các hướng tiếp cận và giải quyết - 1 121 — Tiếp cậnâm thanh ngữ âm - - 2 1.22 Liếp cận nhận dang MAU.23) Tiếp cận trí mệ nhân tạo.3 Nhiệm vụ của luậnvăn. CO SO LY THUYET XU LY TIENG NOT.1 Lý thuyếtâm thanh và tiếng nói.1 Nguồn gốc âm thanh và tiếng nội 6 2.12 Quá trình tạo tiếng nói 6 2.13 — Phân loại tiếng nói. 7 214 Cáo đặc tính vật lý cơ bản của tiếng nói 7 3.

Diễu điển tinhiệu tiếng nói.2 Giỏi thiệu về xử lý tiếng nói.3 Nhận dạng tiếng nói. Tổng quan vẻ bài toán nhận dạng tiếng nn. Một số hệ thống nhận dạng tiếng nói.3 Cae qua winh nhan dang tiếng nói.4 Nhận dạng liêng Việt 241 Một số đặc điểm ngữ âm tiếng Việt.42 Những thuận lợi và khó khăn đổi với nhận đang tiếng Viêt. MẠNG NO-RON VÀ MẠNG NO-RON LAY CHAP 31 'Tổng quan m6 hinh mạng nơ-ron.1 Giới thiệu mạng nơ-ron nhân tạo 3.1⁄2 _ Kiến trúc mạng nơTon.

Mạng nơron lantruyền ngược MLP. 22 Mạng nơ-rơn lấy chập (Convolutional Neural Network CNXN). Tổng quan về mạng nơxon lấy chập CNN.243 —_ Cách thúc hoạt động của mưng CNN. UNG DUNG MA CAC SO DEM TIENG VIET.

TONG QUAN DE TAL.1 Giới thiện chung vé đề tài - - 1 1.2 _ Các hướng tiếp cận và giải quyết - 1 121 — Tiếp cậnâm thanh ngữ âm - - 2 1.22 Liếp cận nhận dang MAU.23) Tiếp cận trí mệ nhân tạo.3 Nhiệm vụ của luậnvăn. CO SO LY THUYET XU LY TIENG NOT.1 Lý thuyếtâm thanh và tiếng nói.1 Nguồn gốc âm thanh và tiếng nội 6 2.12 Quá trình tạo tiếng nói 6 2.13 — Phân loại tiếng nói. 7 214 Cáo đặc tính vật lý cơ bản của tiếng nói 7 3. Diễu điển tinhiệu tiếng nói.2 Giỏi thiệu về xử lý tiếng nói.3 Nhận dạng tiếng nói.

Tổng quan vẻ bài toán nhận dạng tiếng nn. Một số hệ thống nhận dạng tiếng nói.3 Cae qua winh nhan dang tiếng nói.4 Nhận dạng liêng Việt 241 Một số đặc điểm ngữ âm tiếng Việt.42 Những thuận lợi và khó khăn đổi với nhận đang tiếng Viêt. MẠNG NO-RON VÀ MẠNG NO-RON LAY CHAP 31 'Tổng quan m6 hinh mạng nơ-ron.1 Giới thiệu mạng nơ-ron nhân tạo 3.1⁄2 _ Kiến trúc mạng nơTon. Mạng nơron lantruyền ngược MLP.

22 Mạng nơ-rơn lấy chập (Convolutional Neural Network CNXN). Tổng quan về mạng nơxon lấy chập CNN.243 —_ Cách thúc hoạt động của mưng CNN. UNG DUNG MA CAC SO DEM TIENG VIET. 41 Phân tích bải toản.

à nemre 30 42 Tiêu chỉ đảnh giá. 30 43 Tiền xử lý tin hiểu tiếng nói. Phân tích các lập dữ liệu.2 Trich chon dic tumg MFCC. - - -31 433 Tinh tansé co ban FO - - -35 Xây đựng mỏ hình huận luyện.

- - 35 Kết quả thử nghiệm và đánh giá. Kết quả huấn luyện và đảnh giả.2 Kat qua idm tht. cece ssssessesceesseesssseeeeeessssnvasnssnnies 41 CHUONG 5. 31 Kết luận 4d 52 Hướng mổ rồng ctia dé ta secs seestsesseseeesnivstuseteese 4d 5.1 Xây dụng bộ dữ liệu huấu luyện lớn hơn.22 Xây dựng phần mềm nhận đạng đựa trên kết quả nghiên cứu.

44 Nang cao mức độ của nhận đạng tiếng nói - _ 45 ta tạ " TẢI LIỆU THAM KHÁO = 41 Phân tích bải toản. à nemre 30 42 Tiêu chỉ đảnh giá. 30 43 Tiền xử lý tin hiểu tiếng nói. Phân tích các lập dữ liệu.2 Trich chon dic tumg MFCC.

- - -31 433 Tinh tansé co ban FO - - -35 Xây đựng mỏ hình huận luyện. - - 35 Kết quả thử nghiệm và đánh giá. Kết quả huấn luyện và đảnh giả.2 Kat qua idm tht. cece ssssessesceesseesssseeeeeessssnvasnssnnies 41 CHUONG 5.

31 Kết luận 4d 52 Hướng mổ rồng ctia dé ta secs seestsesseseeesnivstuseteese 4d 5.1 Xây dụng bộ dữ liệu huấu luyện lớn hơn.22 Xây dựng phần mềm nhận đạng đựa trên kết quả nghiên cứu. 44 Nang cao mức độ của nhận đạng tiếng nói - _ 45 ta tạ " TẢI LIỆU THAM KHÁO = DANH MUC HiNH VE Hinh 1.1 So dé nhận đạng tiếng nói theo âm học-ngữ âm học [1] Hinh 1.2 Sơ dé khôi của một hệ thông nhận dạng mẫu [2] "`.3 Sơ đồ khối ủa mội. hệ thông tiếp cận ri Luệ nhân tạo [2] Hình 2.1 Bộ máy phát âm của con người [3] Tình 3.2 Biểu diễn tín hiệu Hếng nói đưới dạng sông theo thời gian (âm sắu).3 Biểu diễn tín hiệu tiếng nói đười dạng phố tin hiệu (âm sáu).4 Biểu điển tín liệu Hồng nói bằng ảnh phố - Speclrogram (âm bến). 10 Hình 2 Sng dụng của xử lý tiếng nói.6 Các hệ thống nhận dạng tiếng nói Tình 2.7 Các bước trong quá trình nhận dạng tếng nói [1J.8 Các băng lọc tam giác theo thang tấn số Mel [1 |.9 Mô hình tuột âm tết tiếng Việt - 16 Hinh 2.10 Biểu dỏ thanh diệu tiếng Việt [4|.1 Cấu tạo một nơ-ron.2 Kiến trúc mạng nơ-ron truyền.3 kién trie mang no-ron phán hẻi [2].4 Mạng nơ-ron lan truyền ngược MLP [2] TRình 3.5 Kiến trúc một mạng CNN [7]„ .6 Ví dự biểu diễn ảnh màu kích thước 2828 pixel Bl.7 Một số bộ lọc thông dụng.8 Ví dụ lấy chập với bộ lọc kich thước 33.9 Vi du stride=1 va stridk _.10 Ví dụ về bai loại cửa số gộp: max pooling vavi average pooling BỊ .1 Bidu dé phan bé cdc idp tap ‘Train, Validation, Test .2 Ví đu mô hình CNN đơn giản - Tình 4.3 Kiến trúc mồ hình VGGNet 16 [16].4 Mô hình huấn huyện MiniVGGNet 38 Tĩnh 4.5 Biểu dé Accuracy va Loss trén tap Train va Validation MFCC.6 Biéu 46 Accuracy va Loss trên tập Train vả Validation MECC I E0.

TÔNG QUAN DI 1.1 Giới thiệu chung về đề tải hận đạng tự động tiếng nói đã phát triển từ khả lâu. Nhờ sự phát triển của hệ thông phân tích phổ âm thanh (năm 1946), lý thuyết tạo âm thanh tiếng nói con người (năm 1948), sự xuất hiện và phat triển mạnh mẽ của các hệ thống máy tính. số thương mại đầu tiên trên thế giới (năm 1958) là những nhân tả quan trọng, giúp cho sự phát triển của công nghệ nhận đạng tiếng nói Các hệ thống nhận dạng đầu tiên sử đụng đặc tính trong miễn thời gian và các bang lọc tương tự có khả năng nhận dạng từ rời rạc và phụ thuộc người nỏi. Tương bự như vậy, với phương pháp âm học, hệ thống nhận dang âm vị phụ thuộc người nỏi cũng được thiết kế.

Tuy nhiên hé théng nay mdi cho được kết quả rất khiêm tốn. Trong thập kỷ 70, với sự phát triển của các thuật toán phân tích tín hiệu như mé "hình dự đoán tuyến tính, so sảnh mẫu thời gian. công nghệ nhận dạng tiếng nói đã có thể nhận dạng được số lưỡng từ vựng khả lớn. Trong những nắn 60 của thể kỹ 20, nhiều hãng lớn đã đầu Lư nghiên cứu phái triển các hệ thẳng nhận dạng tiếng nói với các ngôn ngữ khác nhau.

những năm 80, các hệ thống nhận đạng đã có thé nhận dạng được hàng trăm từ roi rac Va gan dây, sự bùng nỗ của tri tuệ nhân tạo dã thức dây công nghệ nhận dạng tiếng nói dến những bước phát triển vỗ cùng nhanh chóng. Ở Việt Nam, nhận dạng tiếng nói là một lĩnh vực đã và đang, được tập trưng chú ý nghiên cứu, phát triển. Hệ thông nhận đạng tiếng nói có được những ứng dựng tuyệt vời trong nhiều lĩnh vực đời sông, nhất là lĩnh vực giao tiếp người máy nếu được áp dụng thành công, « Lĩnh vực điểu khiến ©_ Cải thiện biệu quả nhập thông từn. ¿ Những ứng dụng íL sử dụng đến thao lác lay e_ Hỗ trợ người khiêm thị giao tiếp với các thiết bị điện tử.

«- Tânh vực chuyển đối tín hiệu © Chuyén déi loi noi thanh vin ban. © Linh vue nhin dang, c Héthéng mat mA giong ndi. «_ Các lĩnh vực khác trong y tế, quản sự, L2 Các hưởng tiếp cận và giải quyết + bản có ba hướng tiếp uận nhận đạng tiếng nói « Tiếp cận âm thanh-ngữ âm « Tiếp cận nhận dạng mẫu. « Tiếp cận trí mê nhân tạo 1.4 Tiếp cận âm thanh-ngữ âm Phương pháp này dựa trên lý thuyết về âm học-ngữ âm học.

Lý thuyết đỏ cho Điết có sự lỗn lại của các đơn vị ngữ âm Irong riyôn ngữ tiếng nói. ác đơn vị ngữ âm này được biểu diễn đặc trưng bởi một tập hợp những thuộc tính thể hiện.