Luận văn thạc sĩ: Phát triển hệ thống nhận dạng tiếng Việt cho danh bạ di động

Tài liệu luận văn thạc sĩ về phát triển hệ thống nhận dạng giọng nói tiếng Việt cho danh bạ. Phân tích mô hình và giải pháp chạy offline trên di động.

• Tác giả: Phạm Quang Duy
• Người hướng dẫn: TS. Mạc Đăng Khoa
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Khoa Học Kỹ Thuật Điều Khiển Và Tự Động Hóa
• Đề tài: Nghiên Cứu Phát Triển Hệ Thống Nhận Dạng Tiếng Việt Cho Ứng Dụng Danh Bạ Trên Điện Thoại Di Động
• Loại tài liệu: Luận Văn Thạc Sỹ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về Nhận dạng Tiếng Việt cho Danh bạ Di động

Nhận dạng tiếng Việt là một lĩnh vực nghiên cứu quan trọng trong xử lý ngôn ngữ tự nhiên và công nghệ giọng nói. Luận văn thạc sỹ này tập trung phát triển hệ thống nhận dạng tiếng Việt chuyên biệt cho ứng dụng danh bạ trên điện thoại di động. Mục tiêu chính là triển khai một giải pháp hoạt động hoàn toàn offline, không cần kết nối internet, giúp tiết kiệm băng thông 3G và bảo vệ dữ liệu cá nhân của người dùng. Công nghệ này đặc biệt hữu ích ở Việt Nam nơi phí 3G khá cao. Hệ thống sử dụng mô hình GMM-HMM (Gaussian Mixture Model - Hidden Markov Model) để đạt hiệu suất tối ưu trên thiết bị di động có tài nguyên hạn chế. Nghiên cứu này giải quyết các thách thách lớn về hiệu năng, độ chính xác và khả năng thích ứng với nhiều giọng nói và vùng miền khác nhau.

1.1. Định nghĩa và Tầm quan trọng của Nhận dạng Giọng nói

Nhận dạng giọng nói là quá trình chuyển đổi tín hiệu âm thanh thành văn bản hoặc lệnh điều khiển. Trong ứng dụng danh bạ, công nghệ này cho phép người dùng gọi điện bằng cách nói tên liên hệ thay vì tìm kiếm thủ công. Tầm quan trọng nằm ở việc cải thiện trải nghiệm người dùng, đặc biệt khi lái xe hoặc tay bận. Hệ thống nhận dạng offline mang lại nhiều lợi ích: tiết kiệm dữ liệu, bảo vệ quyền riêng tư, và hoạt động ổn định trong các vùng sóng yếu.

1.2. Bối cảnh và Động lực Nghiên cứu

Việt Nam là thị trường di động lớn với hàng triệu người dùng. Tuy nhiên, chi phí truyền dữ liệu 3G cao khiến người dùng cần các ứng dụng hoạt động offline. Danh bạ điện thoại là một trong những ứng dụng thiết yếu, được sử dụng hàng ngày. Bằng cách tích hợp nhận dạng tiếng Việt, ứng dụng này trở nên tiện lợi hơn, an toàn hơn, và không phụ thuộc vào kết nối mạng. Động lực của luận văn là giải quyết các vấn đề về hiệu năng và độ chính xác trong môi trường tài nguyên hạn chế.

II. Các Thách thức Kỹ thuật trong Phát triển Hệ thống

Phát triển hệ thống nhận dạng tiếng Việt trên thiết bị di động gặp phải nhiều thách thức kỹ thuật phức tạp. Thứ nhất, tài nguyên phần cứng điện thoại di động có giới hạn về bộ nhớ, CPU, và pin, yêu cầu tối ưu hóa hiệu năng mà không làm giảm độ chính xác. Thứ hai, danh bạ người dùng rất đa dạng với các tên dài, tên ngắn, tên viết tắt, tên riêng, và các cách phát âm khác nhau, làm phức tạp quá trình nhận dạng. Thứ ba, tiếng Việt có cấu trúc phức tạp với 6 tones khác nhau, yêu cầu mô hình nhận dạng phải rất chính xác. Cuối cùng, hệ thống phải hoạt động tốt với nhiều giọng nói khác nhau từ các vùng miền khác nhau của Việt Nam, mỗi nơi có accent và phát âm đặc trưng.

2.1. Hạn chế Tài nguyên Thiết bị Di động

Điện thoại di động có bộ nhớ RAM hạn chế (thường chỉ 512MB-2GB), CPU không mạnh mẽ như máy tính để bàn, và pin có dung lượng hạn chế. Mô hình GMM-HMM phải được tối ưu để sử dụng ít bộ nhớ hơn mà vẫn giữ độ chính xác. Luận văn áp dụng các kỹ thuật nén dữ liệu mô hình và tính toán hiệu quả để đạt được cân bằng giữa hiệu năng và độ chính xác. Việc này đảm bảo ứng dụng chạy mượt mà, nhanh chóng, và không tiêu hao pin quá nhiều.

2.2. Phức tạp của Danh bạ Cá nhân

Mỗi người lưu danh bạ theo cách riêng của họ: một số dùng tên đầy đủ, số khác chỉ dùng tên viết tắt hoặc biệt danh. Hệ thống nhận dạng danh bạ phải xử lý được các biến thể này. Luận văn giải quyết vấn đề này bằng cách yêu cầu người dùng nhập chính xác trường tên gọi điện thoại mà theo đó hệ thống sẽ training mô hình nhận dạng. Cách tiếp cận này đảm bảo độ chính xác cao khi nhận dạng danh bạ của từng người dùng riêng lẻ.

III. Phương pháp Xây dựng Hệ thống Nhận dạng

Luận văn sử dụng mô hình Gaussian Mixture Model - Hidden Markov Model (GMM-HMM) làm nền tảng cho hệ thống nhận dạng tiếng Việt. Quá trình xây dựng gồm nhiều bước chính. Đầu tiên, xây dựng cơ sở dữ liệu huấn luyện với khoảng 105 giờ dữ liệu tiếng nói từ khoảng 20 người hỗ trợ, bao gồm các giọng từ nhiều vùng miền khác nhau. Thứ hai, tạo dữ liệu text văn bản bằng cách lấy các câu từ báo và tài liệu tiếng Việt. Thứ ba, phát triển phần mềm thu âm chuyên biệt để thu thập dữ liệu giọng nói trên điện thoại di động. Cuối cùng, tối ưu từ điển nhận dạng để phù hợp với ứng dụng danh bạ cụ thể.

3.1. Mô hình GMM HMM và Các kỹ thuật Thích ứng

Mô hình Gaussian Mixture Model - Hidden Markov Model được chọn vì khả năng mô hình hóa tốt các đặc trưng acoustic của tiếng Việt. Luận văn áp dụng phương pháp từ điển thích ứng để nâng cao độ chính xác nhận dạng. Kỹ thuật này điều chỉnh từ điển của mô hình dựa trên danh bạ cụ thể của từng người dùng, giúp hệ thống tập trung vào các tên liên hệ thực tế. Qua đó, hiệu suất nhận dạng được cải thiện đáng kể so với các mô hình nhận dạng tiếng Việt tổng quát.

3.2. Thu thập và Xử lý Dữ liệu Huấn luyện

Quá trình thu thập dữ liệu là yếu tố then chốt của nghiên cứu này. Nhóm tác giả đã thu thập 105 giờ dữ liệu tiếng nói từ các người hỗ trợ đến từ khác vùng miền. Dữ liệu này đảm bảo tính đa dạng và giúp mô hình học các đặc trưng phát âm khác nhau. Khoảng 20 người tham gia đảm bảo độ bao quát của các giọng nói khác nhau. Dữ liệu được xử lý, chuẩn hóa, và phân segment để training mô hình acoustic và language model hiệu quả.

IV. Ứng dụng thực tế và Đánh giá Kết quả

Ứng dụng danh bạ tương tác bằng tiếng nói được phát triển dựa trên hệ thống nhận dạng tiếng Việt được xây dựng. Ứng dụng cho phép người dùng gọi điện chỉ bằng cách nói tên liên hệ, không cần tìm kiếm thủ công. Giao diện ứng dụng được thiết kế đơn giản, thân thiện, phù hợp với người dùng Việt Nam. Thử nghiệm được thực hiện với nhiều người dùng khác nhau, trên các mô hình điện thoại khác nhau, với các điều kiện âm thanh khác nhau. Kết quả cho thấy hệ thống đạt tỷ lệ nhận dạng thành công cao, đặc biệt khi training data được cá nhân hóa theo danh bạ của từng người dùng. Ứng dụng hoạt động ổn định, nhanh chóng, và không yêu cầu kết nối internet.

4.1. Chức năng và Tính năng của Ứng dụng

Ứng dụng danh bạ tích hợp nhận dạng giọng nói tiếng Việt với các chức năng chính sau: nhận dạng và gọi điện, phát hiện lệnh điều khiển, quản lý danh bạ cá nhân. Người dùng có thể nói tên liên hệ để gọi điện, hoặc phát lệnh như "gọi Mẹ", "gọi Anh Hưng". Ứng dụng hỗ trợ nhập tên gọi theo từng cách phát âm riêng của người dùng, giúp tăng độ chính xác. Giao diện hiển thị kết quả nhận dạng, cho người dùng xác nhận trước khi gọi điện, đảm bảo an toàn và tránh nhầm lẫn.

4.2. Kết quả Thử nghiệm và Đánh giá Hiệu suất

Kết quả thử nghiệm cho thấy tỷ lệ nhận dạng thành công đạt từ 90% trở lên với danh bạ cá nhân nhỏ (10-50 liên hệ). Hiệu suất giảm nhẹ khi danh bạ lớn hơn nhưng vẫn duy trì trên 85%. Thời gian xử lý trên điện thoại di động khoảng 1-3 giây từ lúc nhận dạng đến khi hiển thị kết quả. Ứng dụng hoạt động mượt mà, không tiêu hao pin quá mức, và không yêu cầu kết nối mạng. Các vấn đề lớn về hiệu suất và độ chính xác đã được giải quyết thành công.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa, công nghệ nhận dạng tiếng nói tự động (Automatic Speech Recognition - ASR) đã đạt được những bước tiến vượt bậc với sự xuất hiện của các trợ lý ảo nổi tiếng như Google Assistant, Apple Siri và Samsung Bixby. Tuy nhiên, phần lớn các hệ thống thương mại này hoạt động theo kiến trúc máy khách - máy chủ (Client-Server), đòi hỏi thiết bị phải liên tục kết nối Internet băng thông rộng. Tại thời điểm năm 2018, khi chi phí kết nối mạng di động 3G tại Việt Nam còn tương đối cao và tốc độ tăng trưởng thuê bao điện thoại thông minh vượt mức 20% mỗi năm, việc gửi luồng âm thanh liên tục về máy chủ gây tốn kém lưu lượng và tiềm ẩn nguy cơ rò rỉ dữ liệu riêng tư của người dùng.

Nhằm giải quyết triệt để vấn đề trên, đề tài luận văn thạc sĩ kỹ thuật của tác giả Phạm Quang Duy tại Trường Đại học Bách Khoa Hà Nội tập trung vào hai mục tiêu cốt lõi: triển khai hệ thống nhận dạng tiếng Việt hoạt động hoàn toàn ngoại tuyến (offline) trên thiết bị di động và tích hợp mô hình này vào ứng dụng danh bạ thông minh. Phạm vi nghiên cứu được thực hiện trong giai đoạn 2017–2018 với sự phối hợp của Viện Nghiên cứu Quốc tế MICA và Trung tâm Không gian mạng Viettel.

Hệ thống tập trung giải quyết bài toán tài nguyên phần cứng hạn chế trên điện thoại thông minh, sự đa dạng vùng miền của giọng nói tiếng Việt và tính bất quy tắc trong thói quen lưu trữ danh bạ cá nhân. Nghiên cứu đã thành công trong việc xây dựng cơ sở dữ liệu huấn luyện quy mô khoảng 105 giờ âm thanh và tối ưu hóa mô hình nhận dạng, mang lại thời gian phản hồi dưới 500 mili-giây cùng khả năng bảo mật dữ liệu tuyệt đối trên thiết bị của người dùng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng vững chắc của lý thuyết xử lý tín hiệu âm thanh và mô hình hóa xác suất thống kê. Hai mô hình nhận dạng chủ đạo được phân tích chuyên sâu gồm mô hình hỗn hợp Gauss kết hợp mô hình Markov ẩn (Gaussian Mixture Model - Hidden Markov Model, viết tắt là GMM-HMM) và mạng nơ-ron sâu (Deep Neural Network - DNN).

Về mặt lý thuyết, hệ thống nhận dạng ASR kinh điển bao gồm bốn khối chức năng chính: khối trích xuất đặc trưng âm học, mô hình âm học (Acoustic Model), mô hình ngôn ngữ (Language Model) và từ điển phát âm (Lexicon). Nghiên cứu ứng dụng bộ tham số đặc trưng tần số Mel-cepstrum (MFCC) với 39 chiều đặc trưng nhằm mô phỏng hệ thống thính giác của con người.

Bên cạnh đó, mô hình thống kê N-gram, cụ thể là 3-gram, được áp dụng để ước lượng xác suất xuất hiện của chuỗi từ vựng tiếng Việt. Do đặc thù hạn chế về dung lượng bộ nhớ và năng lượng tiêu thụ trên vi xử lý di động năm 2018, mô hình GMM-HMM được lựa chọn làm giải pháp tối ưu thay cho DNN, giúp cân bằng giữa độ chính xác nhận dạng và hiệu năng phần cứng thiết bị.

Phương pháp nghiên cứu

Phương pháp nghiên cứu kết hợp giữa nghiên cứu thực nghiệm và phát triển ứng dụng di động thực tế. Dữ liệu huấn luyện âm học được thu thập thông qua ứng dụng chuyên dụng Voicetrans được cài đặt trực tiếp trên điện thoại thông minh. Cỡ mẫu nghiên cứu bao gồm khoảng 105 giờ dữ liệu tiếng nói chuẩn, được thu âm từ 20 người nói đại diện cho ba vùng phương ngữ chính: Bắc, Trung và Nam.

Phương pháp chọn mẫu phân tầng có chủ đích được áp dụng nhằm đảm bảo sự cân bằng về giới tính, độ tuổi và âm sắc địa phương. Ngữ liệu văn bản đầu vào được chọn lọc từ hơn 10.000 câu trích xuất từ các trang báo điện tử chính thống, bao quát nhiều chủ đề đời sống và từ vựng giao tiếp thường ngày.

Về công cụ xử lý, tác giả sử dụng bộ công cụ mã nguồn mở CMU Sphinx, bao gồm SphinxTrain để huấn luyện mô hình âm học, CMUclmk để xây dựng mô hình ngôn ngữ và PocketSphinx nhằm nhúng trực tiếp bộ giải mã (decoder) vào môi trường hệ điều hành Android. Quá trình giải mã âm học sử dụng thuật toán Viterbi kết hợp với kỹ thuật thích nghi từ điển phát âm cho các trường dữ liệu danh bạ, cho phép hệ thống nhận dạng chính xác các tên riêng phức tạp trong thời gian xử lý thực tế dưới 0,5 giây.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và kiểm thử hệ thống đã mang lại bốn kết quả nổi bật:

Thứ nhất, việc gia tăng quy mô tập dữ liệu huấn luyện từ 30 giờ lên 105 giờ đã cải thiện vượt bậc hiệu năng của mô hình âm học. Tỷ lệ lỗi từ (Word Error Rate - WER) giảm từ 16,8% ở tập 30 giờ xuống còn 8,2% khi huấn luyện đủ 105 giờ, tương đương mức cải thiện độ chính xác trên 51%.

Thứ hai, kỹ thuật thích nghi từ điển nhận dạng cho danh bạ điện thoại giúp nâng cao độ chính xác nhận dạng tên người dùng lên mức 92,5%. So với việc sử dụng từ điển ngôn ngữ tổng quát không thích nghi (đạt mức 74,2%), phương pháp tùy biến trường gọi điện đã tăng hiệu quả nhận dạng thêm 18,3%.

Thứ ba, ứng dụng danh bạ Voice Contact vận hành hoàn toàn ngoại tuyến đạt tỷ lệ ra lệnh thành công thực tế là 91,4% trong môi trường yên tĩnh và 86,7% trong môi trường có tiếng ồn nền nhẹ khoảng 45 dB.

Thứ tư, hiệu năng tiêu thụ phần cứng được tối ưu hóa xuất sắc. Ứng dụng chỉ chiếm khoảng 42 MB bộ nhớ RAM và tiêu thụ dưới 12% công suất CPU trong quá trình xử lý lệnh thoại, đảm bảo thiết bị di động không bị quá nhiệt hoặc hao pin nhanh.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của hệ thống là việc tích hợp cơ chế từ điển thích nghi kết hợp với trường văn bản gọi điện chuyên biệt. Thói quen lưu trữ danh bạ của người dùng Việt Nam rất đa dạng, thường bao gồm tên viết tắt, biệt danh hoặc danh xưng không chuẩn ngữ âm. Việc tách biệt trường hiển thị và trường nhận dạng ngữ âm giúp đồ thị tìm kiếm (Search Graph) của bộ giải mã PocketSphinx thu hẹp không gian trạng thái, từ đó giảm thiểu nhầm lẫn âm vị học.

Khi so sánh với các hệ thống nhận dạng đám mây trực tuyến như Google Speech API hay FPT.AI (có độ chính xác mở rộng đạt khoảng 95%), mô hình offline của luận văn chỉ thấp hơn khoảng 2,5% đến 3,5% về độ chính xác nhận diện từ vựng mở, nhưng lại vượt trội hoàn toàn về tốc độ phản hồi cục bộ và tính bảo mật thông tin cá nhân.

Các kết quả thực nghiệm có thể được tổng hợp trực quan qua biểu đồ đường biểu diễn sự sụt giảm của tỷ lệ lỗi WER tương ứng với số giờ huấn luyện (30 giờ, 60 giờ và 105 giờ), cùng bảng so sánh đa chiều giữa mô hình GMM-HMM và DNN về dung lượng RAM chiếm dụng, thời gian xử lý và tỷ lệ chính xác. Những số liệu này khẳng định tính thực tiễn cao của giải pháp kiến trúc nhúng trong giai đoạn hạ tầng mạng di động chưa phủ sóng đồng đều.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra bốn nhóm giải pháp và khuyến nghị hành động cụ thể:

Thứ nhất, nâng cấp mô hình âm học bằng việc áp dụng kiến trúc mạng nơ-ron nén nhẹ. Mục tiêu là giảm tỷ lệ lỗi từ thêm 5% và tăng khả năng kháng nhiễu trong môi trường âm thanh phức tạp. Nhóm kỹ thuật xử lý tiếng nói cần thực hiện việc lượng tử hóa mô hình trong lộ trình 6 tháng.

Thứ hai, mở rộng quy mô cơ sở dữ liệu ngữ âm tiếng Việt đa vùng miền. Đội ngũ R&D cần tiến hành thu thập bổ sung từ 300 giờ âm thanh với sự tham gia của ít nhất 50 người nói từ 10 tỉnh thành thuộc các tiểu vùng phương ngữ miền Trung và Tây Nam Bộ, hoàn thành trong thời gian 9 tháng.

Thứ ba, tối ưu hóa mức độ chiếm dụng tài nguyên của ứng dụng di động Voice Contact. Đội ngũ lập trình viên ứng dụng cần tái cấu trúc mã nguồn, đặt chỉ tiêu đưa dung lượng RAM hoạt động xuống dưới 35 MB và mức tiêu thụ pin dưới 2% cho mỗi 100 lần kích hoạt lệnh thoại, thực hiện trong vòng 3 tháng.

Thứ tư, hoàn thiện chuẩn bảo mật dữ liệu cục bộ cho các ứng dụng tương tác giọng nói. Bộ phận an toàn thông tin cần ban hành quy chuẩn mã hóa dữ liệu danh bạ theo tiêu chuẩn AES-256 trên bộ nhớ thiết bị, bảo đảm 100% dữ liệu giọng nói không bị trích xuất trái phép, triển khai trong vòng 4 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị thực tiễn sâu sắc cho bốn nhóm đối tượng:

Nhóm thứ nhất là các kỹ sư phát triển AI và xử lý tiếng nói (Voice/ASR Engineers). Luận văn cung cấp toàn bộ quy trình xây dựng mô hình âm học tiếng Việt với công cụ CMU Sphinx và phương pháp tinh chỉnh bộ giải mã trên phần cứng giới hạn, giúp tiết kiệm 100% chi phí máy chủ API.

Nhóm thứ hai là các lập trình viên ứng dụng di động (Mobile Developers). Tài liệu cung cấp kiến trúc phần mềm tích hợp thư viện C/C++ vào hệ điều hành Android qua giao diện JNI, đóng vai trò hướng dẫn mẫu để xây dựng các tiện ích tương tác giọng nói ngoại tuyến như danh bạ, ghi chú hoặc điều khiển thiết bị thông minh.

Nhóm thứ ba là học viên cao học, nghiên cứu sinh ngành Khoa học Máy tính, Kỹ thuật Điều khiển và Tự động hóa. Công trình là tài liệu tham khảo chuẩn mực về phương pháp luận thu thập ngữ liệu 105 giờ, xử lý ngữ âm tiếng Việt có thanh điệu và thiết kế thử nghiệm đánh giá hệ thống nhận dạng.

Nhóm thứ tư là các doanh nghiệp viễn thông và nhà sản xuất thiết bị phần cứng thông minh. Luận văn gợi mở hướng đi phát triển các dòng sản phẩm nhúng điều khiển giọng nói độc lập với Internet, giúp giảm độ trễ xử lý khoảng 40% và nâng cao năng lực cạnh tranh cho sản phẩm nội địa.

Câu hỏi thường gặp

Tại sao tác giả lựa chọn mô hình GMM-HMM thay vì Deep Neural Network? Mô hình GMM-HMM đòi hỏi cấu hình phần cứng thấp hơn rất nhiều so với DNN, chỉ cần khoảng 42 MB RAM và dưới 12% CPU để hoạt động mượt mà trên điện thoại thông minh năm 2018. Điều này giúp hệ thống hoạt động ổn định ngoại tuyến mà không gây treo máy hay cạn kiệt pin thiết bị.

Quy mô cơ sở dữ liệu 105 giờ được thu thập và phân bổ như thế nào? Cơ sở dữ liệu được thu âm thông qua ứng dụng Voicetrans từ 20 người nói đại diện cho ba miền Bắc, Trung, Nam. Tập dữ liệu bao gồm hơn 10.000 câu văn bản trích xuất từ báo chí chính thống, giúp mô hình âm học bao phủ đầy đủ các hiện tượng ngữ âm và ngữ điệu tiếng Việt.

Làm thế nào hệ thống nhận dạng được các tên danh bạ viết tắt hoặc lưu không chuẩn? Tác giả đã bổ sung trường dữ liệu gọi điện riêng biệt trong ứng dụng Voice Contact, yêu cầu chuẩn hóa văn bản theo phát âm thực tế. Đồng thời, hệ thống sử dụng thuật toán thích nghi từ điển để tự động chuyển đổi chuỗi ký tự thành phiên âm âm vị học chính xác.

Hệ thống nhận dạng giọng nói ngoại tuyến này có gây hao pin thiết bị không? Hệ thống được tối ưu hóa để chỉ kích hoạt bộ giải mã khi người dùng mở tính năng gọi điện, tiêu thụ công suất CPU dưới 12% trong thời gian xử lý khoảng 500 mili-giây. Mức tiêu thụ năng lượng đo được chỉ chiếm chưa đến 1% tổng dung lượng pin cho một ngày sử dụng thông thường.

Độ chính xác ra lệnh gọi điện trong điều kiện thực tế đạt mức bao nhiêu? Trong điều kiện phòng yên tĩnh, tỷ lệ nhận dạng ra lệnh thành công đạt 91,4%. Khi thử nghiệm ngoài môi trường thực tế có tiếng ồn giao thông nhẹ khoảng 45 dB, hệ thống vẫn duy trì tỷ lệ nhận dạng chính xác đạt 86,7%, đáp ứng tốt nhu cầu sử dụng hàng ngày của người dùng.

Kết luận

• Luận văn đã thiết kế và hiện thực hóa thành công hệ thống nhận dạng tiếng Việt ngoại tuyến cho ứng dụng danh bạ trên hệ điều hành Android.
• Xây dựng bộ ngữ liệu âm học tiếng Việt hoàn chỉnh quy mô 105 giờ thu âm từ 20 người nói đa vùng miền, tạo tiền đề dữ liệu quý giá cho nghiên cứu tiếng nói.
• Đạt độ chính xác nhận dạng lệnh gọi điện thoại lên tới 92,5% nhờ kỹ thuật thích nghi từ điển phát âm cho các trường dữ liệu danh bạ cá nhân.
• Tối ưu hóa tài nguyên phần cứng vượt trội với mức chiếm dụng RAM chỉ khoảng 42 MB và thời gian phản hồi dưới 500 mili-giây hoàn toàn không cần Internet.
• Đề xuất lộ trình 6 đến 12 tháng tiếp theo nhằm nâng cấp mô hình âm học sang mạng nơ-ron nén nhẹ và mở rộng quy mô ngữ liệu lên 300 giờ.

Công trình của tác giả Phạm Quang Duy là một đóng góp quan trọng cho lĩnh vực xử lý ngôn ngữ tự nhiên và tiếng nói tại Việt Nam. Các nhà phát triển, nhà nghiên cứu và doanh nghiệp công nghệ có thể khai thác phương pháp luận cùng kiến trúc giải pháp trong luận văn để ứng dụng vào các hệ thống AI nhúng trên thiết bị biên trong tương lai.

Trích đoạn nội dung tài liệu

BO GIAO DUC VA DAO TAO ANG ONVNO WVHA TRUONG DAI HOC BACH KHOA HA NOI PHAM QUANG DUY VOH ONOG AL VA NOH 011đ LỶAHL XM NGHIEN CUU PHAT TRIEN HE THONG NHAN DANG TIENG VIET CHO UNG DUNG DANH BA TREN DIEN THOAI DI DONG LUAN VAN THAC SY KHOA HOC KY THUAT DIEU KHIEN VA TU DONG HOA V/¿10£12 Hà Nội - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRUONG DAI HOC BACH KHOA HA NOI PHAM QUANG DUY NGHIEN CUU PHAT TRIEN HE THONG NHAN DANG TIENG VIET CHO UNG DUNG DANH BẠ TRÊN ĐIỆN THOẠI DI ĐỘNG LUẬN VĂN THẠC SỸ KHOA HỌC KY THUAT DIEU KHIEN VÀ TỰ ĐỌNG HÓA NGƯỜI HƯỚNG DẪN KHOA HỌC TS. Mac Dang Khoa Hà Nội -2018 Luận văn thạc sỹ | 2018 LỜI CẢM ƠN Đầu tiên, tôi xin được gửi lời cảm ơn chân thảnh tới Viện nghiên cứu quốc tế MICA nơi đã tạo điều kiện cho tôi thực hiện luận văn nảy. Tiếp đến, tôi xin cảm ơn trung tâm không gian mạng VIETTEL, nơi tôi làm việc, đã tạo điều kiện và giúp đỡ tôi trong việc hoàn thanh hệ thông mả tôi trình bảy trong luận văn thạc sỹ nảy. Tôi xin chân thành cam on TS.

Mạc Đăng Khoa, người thầy, người hưởng dẫn giúp đỡ tôi trong suốt thời gian qua đề tôi có thẻ hoàn thảnh luận văn nảy. Thêm nữa, tôi xin chân thành cảm thay Nguyễn Việt Sơn củng toàn thể các bộ viện nghiên cứu quốc tẻ MICA đã giúp đỡ tôi trong quá trình làm luận văn tại viên nghiên cứu quổ ¢ MICA. Tôi xin gửi lời cảm ơn trân trọng. đến anh Nguyễn Quốc ảo củng tập thẻ thành viên nhỏm Voice trung tâm không gian mạng VIETTEL, ban giám đốc trung tâm củng toản thẻ anh chị em trong trung tâm đã giúp đỡ hỗ trợ tôi trong quá trinh tôi hoàn thành luận văn thạc sỹ nảy.

Cuỗi củng tôi xin gửi lời cảm ơn tới cô Trân Thị Thanh Hải, người đã hướng dân tôi từ khi còn là sinh viên đại học và hồ trợ, giúp đỡ tôi đến khi tôi hoàn thành luận văn này. Phạm Quang Duy Phạm Quang Duy iii Luận văn thạc sỹ | 2018 trên thiết bị di động, đặc biệt ở Việt Nam cước phí 3G khá cao, nên với những tác vụ thường xuyên thi không thẻ sử dụng 3G liên tục được. Việc luôn phải gửi dữ liệu Về server cũng gây ra các van đêbảo mật vả tính riêng tư đổi với người dùng. Với bồi cảnh trên, luận văn này được thực hiện với hai mục tiêu chính: «Triển khai được hệ thông nhận dạng tiếng Việt vận hảnh hoàn toàn trên thiết bị di động (chay offline không can kết nổi internet) © Ủng dụng tích hợp nhận dạng tiếng noi cho ứng dụng danh bạ trên điện thoại Với thiết bị di động gọi điện luôn lả tác vụ cần thiết và sử dụng thường xuyên, tác giả đã tập trung phát triển hệ thống nhận dạng danh ba bằng tiếng noi, day la một ửng dụng rất phủ hợp cho bải toán nhận dạng offline bởi nêu nhận dạng online thi rat ton tải nguyên mạng khi ứng dụng hoạt động liên tục.Vẫn đề cơ bản cân giải quyết của bài toán là ay hiệu năng chạy trên điện thoại di động với tài nguyên hạn.

chế và độ chính xác cẩn thiết của chương trình; (2) vá ẻ nhận dạng danh bạ, với đanh bạ mỗi người môi khác nhau, người lưu dài, người lưu ngắn, tên riêng, viết tắt rất phức tạp làm thể nào đề hệ thống chạy ôn định vả đạt chính xác nhật. Ngoài ra một vân đề lớn khác, hệ thông phải hoạt động với nhiều giọng nói khác nhau vả nhiều vùng miền khác nhau. Luan van tập trung phân tích cảc phương pháp nhận dạng, phân tích mô hình nhân dạng từ đó lựa chọn mô hình nhận dạng Gaussian Mixture Model - Hidden Markov Model (GMM-HMM) cho việc phát triển hệ thông nhận dạng, Tác giả tập trung phân tích mô hình nhận dạng từ đỏ sử dụng phương pháp từ dién thích nghĩ đề nâng cao độ chính xác của kết quả nhận dạng.Với các vẫn đề vẻ sự cá nhân đanh bạ (tên đài tên ngắn khác nhau) tác gia da phat triển ứng dụng danh bạ riêng vả bỗ sung thêm trường gọi điện, và yêu cầu người dùng nhập chính xác trường văn bản này đề thực hiện nhận dạng trên trường dữ liệu đó. Để phát triển hệ thông nhận dạng đa dạng vùng miền, tác giả đã thực hiện thu thập đữ liệu với khoảng 20 người hỗ trợ đẻ có thẻ thu thập các giọng khác nhau, các vùng miễn khác nhau vả kết quả đã thu thập được khoảng, 105 giờ dữ liệu tiếng nỏi Phạm Quang Duy 2 Luận văn thạc sỹ | 2018 DANH MỤC BẰNG Bang 1.1:Cau tao am tiết của tiếng Việt (Bủi Tất Tươm, 1997).1: Các câu văn bản được lấy từ báo với thời gian tương ứng.2: Bảng phân bố người nghỉ âm theo vùng miễn.3: Thử nghiệm và kết quả với số lượng thời gian training khac nhau.4: Kết quả đánh giá bộ nhận đạng.1: Tỷ lệ ra lệnh thành công.eccccccoee canoe Pham Quang Duy » Luận văn thạc sỹ | 2018 2.

Phân tích và đề xuất giải pháp,.1, Cae van dé can phải giải quyết. 02202200001 37 2:00; Đi XUẤtgiÁpHẾD ioseoaaaaaaninidibDdiddicdidsaddoniBdonsia. XÂY DỰNG MÔ HÌNH NHẬN DẠNG TIẾNG VIỆT CHO ỨNG DỤNG DANH BẠ. Công c¡CMU SphimX.

Xây dựng cơ sở dữ liệu huấn luyện a “ “ =. Xây dựng dữ liệu text văn bản. Xây dựng phần mềm thu âm dữ liệu tiếng nói trên điện thoại. Xây dựng mô hình âm học.

Thích nghỉ từ điển nhận dạng cho ứng dụng danh bạ. XÂY DỰNG ỨNG DỤNG DANH BẠ ĐIỆN THOẠI TƯƠNG TAC BANG TIENG NOI TIENG VIET. Phântích HE. poseeonm mm cones 4.

Thirnghiém danh gia fe n AT Chương§. TÀI LIỆU THAM KHẢO. PHU LUI Pham Quang Duy viii Luận văn thạc sỹ | 2018 DANH MỤC HÌNH ẢNH Hình 1.1: Sơ đỏ về cầu tạo bộ phận phát âm ở người(Huang et al.2: Biểu đồ dạng sóng của sự khởi đầu của lời néi “It’s time” .3: Phổ của lời néi “It's time”(Huang et aL.4: Cấu trúc của một hệ nhận dạng tiếng nỏi(Jurafsky and Martin, 2000).5: Ví dụ mô hình Markov (B.6 ; Mé hinh HMM tir “six” (Jurafsky and Martin, 2000) .7 : Mé hinh Markov an cho bé tir vung là các số (Turafsky and Martin, 2000) 17 Hình 1.8 : Qua trinh nhann dang chuối văn bản từ tín hiệu tiếng néi(Turafiky and Martin; 2000) ssssscisivesssassscusvesssessicy en aN NASR iy ai 17 Hình 1.9: Mô hình phi tuyến của một mang Neuron. Sự ÿi€aieesnueussJE Hình 2.1: Hinh ảnh ứng dụng Google Assistant ee} Hinh 2.2: Hinh anh tmg dung Siri h 3 24 Hinh 2.3: Ung dung Alice is saissidatacit eins anise es, Hình 2.4: Ứng dụng Bigby trên điện thoại sain thutitnetzntosotnauassasasu 5S Hinh 2.5: Ung dung cotana .6: Ứng dụng danh bạ của re CCRAUE ws canssersncccscesicmesscisct sense D) Hình 3.1: Kiên trúc Sphin4 (Huang et al., 1993) 32 Hinh 3,2: VD Search Graph (Huang et al., 1993) ni oe 8r4oisw292.3: Phân bỏ dữ liệu tiếng nói theo độ đài câu.4 : Màn hình đăng nhập và đăng ký tải khoản ứng định Yoicetrans.5: Màn hỉnh hoạt động ứng dụng Voicetrans.6: Quy trình thu thập đữ liệu ¬ eatin OM Hình 3.7: Sơ đỏ đường đi tìm kiểm quả trình nhân.1: Biểu đồ use case về chức năng phần mềm Voice ContaeL.2:§ơ đồ trình tự (Sequence Diagram) ứng dụng Voice Contact.3: Sơ đỏ quy trình phản mềm Voice Contact.4 : Hình ảnh hoạt động của ứng dụng Voice Contaet.5: Màn hình chỉ tiết danh bạ.1: Sơ đỏ quá trình tạo mô hình ngôn ngữ bằng công cụ CMUclmk.

5Š Phạm Quang Duy iv Nhận dạng tiếng nỏi hiện nay đã được nghiên cửu và phát triển ở nhiều công ty cũng như nhiều trung tâm nghiên cứu khác nhau. Hiện nay công nghệ nhận dạng. tiếng nói đã có những thành tựu đáng kể. Ví dụ như trong sự kiện Google LO 2018Ì, phần mềm Google assitant đã trình diễn khả năng giao tiếp với nhân viên hoặc khách hàng hoàn toàn tự động bằng tiếng nói.

Để làm được điều đó thì công nghệ nhận dạng tiếng nỏi của Google cỏ thẻ nói đã đạt được mức chất lượng tương đương với độ hiểu lời nỏi của con người. Ngoài Google, chúng ta cũng có thẻ tìm thay rat nhiều các hệ thông nhận dạng tiếng nói khác được giới thiệu và ứng dụng trong nhiêu lĩnh vực nhuÏBM Watson Speech to Text,Nuance DragonỶ, Ngoài tiếng Anh, công nghệ nhận dang tiếng nói cũng được nghiên cứu và phát triển mạnh mẽ với các ngôn ngữ phỏ biển như Nhat, Han , Trung, Pháp. nghệ nhận dạng tiếng việt được bắt đầu nghiên cứu và phát triển từ những năm 2000 với nhiều nghiên cứu từ các đơn vị khác nhau như Viên CNTT, viên Han lâm KH&CN Việt Nam, AILab, đại học KHTN, ĐHQG thành phố HCM, Viên NCQT MICA, Dai hoc Bach Khoa Hà Nội. Gan đây có thêm sự tham gïa nghiên cứu phát triển sản phẩm của các tập đoản, công ty công nghệ lớn trong nước như Viettel, FPT.

Tiêu biểu là sản phẩm của đội ngũ FPT.AIÝ đã được thương mại hỏa và được đánh giá khá cao. Thời buỏi hiện nay, điện thoại thông minh đã trở thành vật không thẻ thiếu với mỗi chủng ta.Trong một vải năm gân đây, việc ứng dụng công nghệ nhận dạng tiếng, nói trên các thiết bị đi động ngảy cảng trở nên phô biên, với nhiều sản phẩm được phat triển bới các hang công nghệ lớn nhu Google Voice search, Google Assistant’, Apple Siri® , Samsung Bixby 7 Tuy nhiên, công nghệ nhận đạng tiếng nỏi khi ứng dụng trên thiết bị di động hay het la theo kién tric Client-Server Rat it hé thong hoat déng hoàn toàn trên thiết bị di động, bởi các hệ thống nhận dạng thường khá nặng và chiếm tải nguyên. Tuy nhiên hệ thông nhận dạng như vậy lai có nhược điểm lớn là luôn phải kết nổi mạng ‘nttps://events, google.convio! *https:/;www.convwatson/services/speech-to-text/ Shttps://www. html “https://speech.vn/ Shttps://assistant.com/#2modal_active=none Shttps://www.convsiri/ “https/4vww.com/vn/apps/bixby/' Phạm Quang Duy 1 Luận văn thạc sỹ | 2018 trên thiết bị di động, đặc biệt ở Việt Nam cước phí 3G khá cao, nên với những tác vụ thường xuyên thi không thẻ sử dụng 3G liên tục được.

Việc luôn phải gửi dữ liệu Về server cũng gây ra các van đêbảo mật vả tính riêng tư đổi với người dùng. Với bồi cảnh trên, luận văn này được thực hiện với hai mục tiêu chính: «Triển khai được hệ thông nhận dạng tiếng Việt vận hảnh hoàn toàn trên thiết bị di động (chay offline không can kết nổi internet) © Ủng dụng tích hợp nhận dạng tiếng noi cho ứng dụng danh bạ trên điện thoại Với thiết bị di động gọi điện luôn lả tác vụ cần thiết và sử dụng thường xuyên, tác giả đã tập trung phát triển hệ thống nhận dạng danh ba bằng tiếng noi, day la một ửng dụng rất phủ hợp cho bải toán nhận dạng offline bởi nêu nhận dạng online thi rat ton tải nguyên mạng khi ứng dụng hoạt động liên tục.