Nghiên Cứu Hệ Thống Nhận Dạng Tiếng Nói Tiếng Việt Ứng Dụng Trong Tổng Đài Chăm Sóc Khách Hàng

Tài liệu nghiên cứu Nghiên ứu xây dựng hệ thống nhận dạng tiếng nói tiếng việt sử dụng trong tổng đài hăm só kháh hàng, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Tác giả: Đinh Mạnh Cường
• Người hướng dẫn: TS. Nguyễn Việt Sơn
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Tin Học Công Nghiệp
• Đề tài: Hệ Thống Nhận Dạng Tiếng Nói Tiếng Việt Trong Tổng Đài Chăm Sóc Khách Hàng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. MỤC LỤC
• 1.1. LỜI CẢM ƠN
• 1.2. DANH MỤC HÌNH ẢNH
• 1.3. DANH MỤC BẢNG
• 1.4. GIỚI THIỆU ĐỀ TÀI
• 1.4.1. Nhu cầu và tình hình thực tế
• 1.4.2. Tình hình thực tế của tổng đài chăm sóc khách hàng Viettel
• 1.4.3. Khảo sát thực tế
• 1.4.4. Kênh hỗ trợ khác ngoài kênh tổng đài
• 1.4.5. Kết luận tình hình thực tế
• 1.5. GIỚI THIỆU VỀ HỆ THỐNG HỖ TRỢ CHĂM SÓC KHÁCH HÀNG SƠ KHAI BAN ĐẦU XÂY DỰNG
• 1.5.1. Mục đích của việc xây dựng hệ thống
• 1.5.2. Khái niệm về hệ thống nhận dạng tiếng nói
• 1.5.3. Tình hình ứng dụng của nhận dạng tiếng nói
• 1.5.4. Đánh giá chất lượng hệ thống nhận dạng tiếng nói
• 1.6. KIẾN TRÚC HỆ THỐNG
• 1.7. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 1.7.1. Công việc đã thực hiện
• 1.7.2. Các vấn đề còn tồn tại
• 1.7.3. Để cải thiện thêm định hướng trong thời gian tới
• 1.8. TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Hệ Thống Nhận Dạng Tiếng Việt Cho Tổng Đài

Hệ thống nhận dạng tiếng nói tiếng Việt đang trở thành một yếu tố then chốt trong việc hiện đại hóa các tổng đài chăm sóc khách hàng. Bài toán này không chỉ giúp tự động hóa quy trình mà còn nâng cao đáng kể trải nghiệm khách hàng. Từ việc định tuyến cuộc gọi thông minh đến việc phân tích nội dung cuộc trò chuyện, AI trong tổng đài mở ra những tiềm năng to lớn. Các hệ thống ASR tiếng Việt cho phép chuyển đổi âm thanh thành văn bản, từ đó tạo điều kiện cho việc phân tích dữ liệu, cải thiện dịch vụ và giảm chi phí vận hành. Việc ứng dụng xử lý ngôn ngữ tự nhiên tiếng Việt (NLP tiếng Việt) cho phép hệ thống hiểu được ý định của khách hàng, đưa ra phản hồi phù hợp và cải thiện trải nghiệm khách hàng tổng đài. Để triển khai thành công, cần xem xét các yếu tố như chất lượng dữ liệu huấn luyện, độ ồn của môi trường và đặc điểm ngôn ngữ tiếng Việt. Theo nghiên cứu của Đinh Mạnh Cường, việc xây dựng hệ thống nhận dạng giọng nói tiếng Việt chính xác là một thách thức nhưng đồng thời cũng là cơ hội lớn.

1.1. Vai trò của Speech Recognition Tiếng Việt trong CSKH

Speech recognition tiếng Việt đóng vai trò trung tâm trong việc số hóa tương tác giữa khách hàng và tổng đài. Hệ thống có khả năng chuyển đổi giọng nói thành văn bản tiếng Việt, tạo nền tảng cho các ứng dụng như phân tích cuộc gọi, tự động hóa trả lời và định tuyến thông minh. Ứng dụng voice to text tiếng Việt không chỉ giúp giảm tải cho nhân viên tổng đài mà còn cung cấp dữ liệu quan trọng cho việc cải thiện dịch vụ. Theo Đinh Mạnh Cường, "Hệ thống nhận dạng giọng nói tiếng Việt giúp đưa ra những đoạn văn bản của người gọi lên tổng đài để đưa vào hệ thống phân tích và xử lý ra yêu cầu của khách hàng rồi đưa ra các kênh phản hồi khách hàng."

1.2. Ứng dụng AI trong Tổng Đài Chăm Sóc Khách Hàng

Ứng dụng AI trong chăm sóc khách hàng mang lại nhiều lợi ích. Hệ thống AI cho tổng đài có thể học hỏi từ dữ liệu, dự đoán nhu cầu của khách hàng và đưa ra phản hồi phù hợp. Các chatbot tiếng Việt có thể giải quyết các yêu cầu đơn giản, trong khi trợ lý ảo tiếng Việt có thể hỗ trợ nhân viên tổng đài trong việc xử lý các vấn đề phức tạp hơn. Việc tối ưu hóa tổng đài bằng AI giúp tăng hiệu quả hoạt động, giảm chi phí và nâng cao trải nghiệm khách hàng. Hệ thống phân tích cuộc gọi sử dụng AI để xác định các vấn đề phổ biến, đánh giá hiệu suất của nhân viên và cải thiện quy trình làm việc. "Để xây dựng hệ thống nhận dạng giọng nói tiếng Việt chúng ta cần thu thập rất nhiều dữ liệu," theo Đinh Mạnh Cường.

II. Thách Thức Xây Dựng ASR Tiếng Việt Cho Tổng Đài Ảo

Việc xây dựng một hệ thống ASR tiếng Việt hiệu quả cho tổng đài ảo đối mặt với nhiều thách thức đặc thù. Tiếng Việt là một ngôn ngữ có thanh điệu, và sự khác biệt nhỏ trong cách phát âm có thể thay đổi hoàn toàn ý nghĩa của từ. Ngoài ra, sự đa dạng về giọng địa phương và phương ngữ cũng tạo ra những khó khăn đáng kể. Bên cạnh đó, môi trường tổng đài chăm sóc khách hàng thường ồn ào, với nhiều tạp âm và nhiễu, ảnh hưởng đến chất lượng âm thanh đầu vào. Yêu cầu đặt ra là hệ thống phải có khả năng xử lý ngôn ngữ tự nhiên tiếng Việt (NLP tiếng Việt) mạnh mẽ, có thể thích nghi với nhiều ngữ cảnh khác nhau và có độ chính xác cao ngay cả trong điều kiện không lý tưởng. Theo Đinh Mạnh Cường, "Việc xử lý dữ liệu và phân loại rất tốn kém về mặt thời gian và tiền bạc."

2.1. Vấn đề Phương Ngữ và Thanh Điệu Tiếng Việt

Phương ngữ và thanh điệu là những yếu tố quan trọng cần xem xét khi xây dựng hệ thống nhận dạng tiếng nói tiếng Việt. Sự khác biệt về cách phát âm giữa các vùng miền có thể gây khó khăn cho hệ thống trong việc nhận diện chính xác từ ngữ. Việc bỏ qua thanh điệu có thể dẫn đến hiểu sai ý nghĩa của câu nói. Cần có các giải pháp để xử lý các biến thể ngôn ngữ này, chẳng hạn như sử dụng dữ liệu huấn luyện đa dạng từ nhiều vùng miền khác nhau và tích hợp các mô hình ngôn ngữ có khả năng nhận diện thanh điệu một cách hiệu quả. "Tiếng Việt là ngôn ngữ chính thức của người Việt với hơn 90 triệu người đang sử dụng như ngôn ngữ tự nhiên trong giao tiếp hàng ngày," theo Đinh Mạnh Cường.

2.2. Ảnh hưởng của Tiếng Ồn và Kênh Truyền Điện Thoại

Tiếng ồn và chất lượng kênh truyền điện thoại có ảnh hưởng lớn đến hiệu suất của hệ thống nhận dạng tiếng nói tiếng Việt. Môi trường tổng đài thường ồn ào, với nhiều tạp âm từ các cuộc trò chuyện khác, tiếng máy móc và các yếu tố ngoại cảnh khác. Kênh truyền điện thoại có thể bị nhiễu, méo tiếng và mất tín hiệu, làm giảm chất lượng âm thanh đầu vào. Cần có các biện pháp xử lý tiếng ồn và kênh truyền để cải thiện độ chính xác của hệ thống, chẳng hạn như sử dụng các thuật toán lọc tiếng ồn, tăng cường tín hiệu và chọn kênh truyền có chất lượng tốt. Theo nghiên cứu của Đinh Mạnh Cường, "kênh đại lý và kênh khách hàng được ghi lại riêng. Do đó, có rất nhiều khoảng im lặng trong mỗi kênh âm thanh và họ cần phải được chia thành các đoạn ngắn giống như câu."

III. Phương Pháp Xây Dựng Hệ Thống Nhận Dạng Giọng Nói Tiếng Việt

Để xây dựng một hệ thống nhận dạng giọng nói tiếng Việt hiệu quả, cần kết hợp nhiều phương pháp khác nhau. Từ việc trích xuất đặc trưng âm thanh đến việc xây dựng mô hình âm học và mô hình ngôn ngữ, mỗi bước đều đóng vai trò quan trọng trong việc đảm bảo độ chính xác và khả năng thích ứng của hệ thống. Các mô hình HMM-DNN (Hidden Markov Model - Deep Neural Network) đang trở thành lựa chọn phổ biến nhờ khả năng học hỏi và phân loại dữ liệu mạnh mẽ. Sử dụng API nhận dạng giọng nói tiếng Việt cũng giúp tăng tốc quá trình phát triển. Việc lựa chọn cloud ASR tiếng Việt hay on-premise ASR tiếng Việt phụ thuộc vào yêu cầu về bảo mật, khả năng mở rộng và chi phí. Theo Đinh Mạnh Cường, "Trong luận văn này sẽ giới thiệu tổng quan về nhận dạng tiếng nói và những thành phần cơ bản trong nhận dạng tiếng nói phát âm liên tục."

3.1. Trích Xuất Đặc Trưng MFCC và Biến Đổi DFT

Trích xuất đặc trưng MFCC (Mel-Frequency Cepstral Coefficients) là một kỹ thuật quan trọng trong nhận dạng giọng nói. Nó giúp chuyển đổi tín hiệu âm thanh thành một tập hợp các số liệu đặc trưng, thể hiện các thuộc tính quan trọng của âm thanh. Quá trình này bao gồm việc sử dụng biến đổi DFT (Discrete Fourier Transform) để phân tích tần số của tín hiệu, áp dụng bộ lọc Mel để mô phỏng cách tai người cảm nhận âm thanh, và thực hiện các phép biến đổi toán học khác để tạo ra các hệ số MFCC. Các hệ số này được sử dụng làm đầu vào cho các mô hình nhận dạng âm thanh. Theo Đinh Mạnh Cường, "Phương pháp trích xuất đặc trưng MFCC. Biến đổi DFT. Bộ lọc Mel . Biến đổi DFT ngược. Trích xuất đặc tính."

3.2. Mô Hình Âm Học HMM DNN và Mô Hình Ngôn Ngữ N gram

Mô hình âm học HMM-DNN (Hidden Markov Model - Deep Neural Network) là một phương pháp tiên tiến trong nhận dạng giọng nói. Nó kết hợp khả năng mô hình hóa chuỗi thời gian của HMM với khả năng học sâu của DNN để tạo ra một mô hình mạnh mẽ và chính xác. Mô hình ngôn ngữ N-gram được sử dụng để dự đoán chuỗi các từ, giúp cải thiện độ chính xác của hệ thống nhận dạng bằng cách cung cấp thông tin về ngữ cảnh ngôn ngữ. Sự kết hợp giữa mô hình Markov ẩn và mô hình DNN cho phép hệ thống học hỏi từ dữ liệu lớn và thích nghi với nhiều ngữ cảnh khác nhau. "Thời gian gần đây nhờ sự tiến bộ của kĩ thuật học sâu nên giúp chúng ta tăng kết quả nhận dạng lên đáng kể," theo Đinh Mạnh Cường.

IV. Đánh Giá Hiệu Quả Hệ Thống Nhận Dạng Tiếng Việt Thực Tế

Việc đánh giá hiệu quả của hệ thống nhận dạng tiếng nói tiếng Việt trong môi trường thực tế là rất quan trọng. Các yếu tố như độ ồn, chất lượng kênh truyền, và cách phát âm của người dùng có thể ảnh hưởng đáng kể đến độ chính xác của hệ thống. Cần thực hiện các thử nghiệm và phân tích kỹ lưỡng để xác định các điểm yếu và cải thiện hiệu suất. Việc sử dụng từ điển phát âm tự động cũng có thể giúp tăng cường khả năng nhận diện của hệ thống. Việc cải tiến trải nghiệm khách hàng tổng đài phụ thuộc nhiều vào chất lượng của hệ thống nhận dạng. Theo Đinh Mạnh Cường, "Trong giai đoạn đầu nghiên cứu để chứng minh tính khả thi của việc ứng dụng công nghệ nhận dạng tiếng nói vào hệ thống chăm sóc khách hàng tự động ở Viettel, tôi có làm một hệ thống đơn giản thể hiện tính khả thi của mô hình nhận dạng tiếng nói trong chăm sóc khách hàng, đó là mô hình phân loại các cuộc gọi đến tổng đài chăm sóc khách hàng Viettel, giúp đưa ra đánh giá chất lượng dịch vụ."

4.1. Ảnh Hưởng Của Nhiễu Và Biện Pháp Cải Thiện

Nhiễu là một vấn đề lớn trong nhận dạng giọng nói, đặc biệt là trong môi trường tổng đài. Các biện pháp giảm nhiễu như lọc tiếng ồn, sử dụng micro chất lượng cao và áp dụng các thuật toán xử lý tín hiệu có thể giúp cải thiện đáng kể độ chính xác của hệ thống. Ngoài ra, việc huấn luyện mô hình với dữ liệu có nhiễu cũng có thể giúp hệ thống trở nênRobust hơn với môi trường thực tế. Theo Đinh Mạnh Cường, "Trong trung tâm cuộc gọi của Viettel, kênh đại lý và kênh khách hàng được ghi lại riêng. Do đó, có rất nhiều khoảng im lặng trong mỗi kênh âm thanh và họ cần phải được chia thành các đoạn ngắn giống như câu."

4.2. Tạo Từ Điển Phát Âm Tự Động Cho Nhận Dạng Tiếng Việt

Việc tạo một từ điển phát âm tự động là một giải pháp hiệu quả để cải thiện khả năng nhận dạng giọng nói tiếng Việt. Từ điển này cung cấp thông tin về cách phát âm của từng từ, giúp hệ thống nhận diện chính xác hơn ngay cả khi có sự khác biệt về giọng địa phương hoặc cách phát âm. Việc sử dụng các thuật toán tạo từ điển cho từ vay mượn cũng giúp hệ thống xử lý tốt hơn các từ ngoại lai và các thuật ngữ chuyên ngành. Đề xuất giải pháp tự động. Tạo từ điển cho từ vay mượn."

V. Triển Vọng Tương Lai Của Nhận Dạng Tiếng Việt Trong CSKH

Tương lai của nhận dạng tiếng Việt trong tổng đài chăm sóc khách hàng rất hứa hẹn. Với sự phát triển của AI và các công nghệ liên quan, chúng ta có thể mong đợi các hệ thống ngày càng thông minh, chính xác và có khả năng tương tác tự nhiên hơn. Việc tích hợp tích hợp CRM và các hệ thống quản lý dữ liệu khác sẽ giúp hệ thống cung cấp dịch vụ cá nhân hóa và hiệu quả hơn. Các live agent ảo có thể hỗ trợ khách hàng 24/7, giảm tải cho nhân viên tổng đài và nâng cao trải nghiệm khách hàng. Việc sử dụng SDK nhận dạng giọng nói tiếng Việt sẽ giúp các nhà phát triển dễ dàng tích hợp công nghệ này vào các ứng dụng của họ. Theo Đinh Mạnh Cường, "mục tiêu của chúng ta là xây dựng hệ thống nhận dạng tiếng nói tiếng Việt có thể làm việc ổn định trong môi trường thực tế với độ chính xác trên 90% để áp dụng vào tổng đài chăm sóc khách hàng tự động."

5.1. Tích Hợp Sâu Hơn Với CRM và Live Agent

Việc tích hợp CRM và các hệ thống quản lý dữ liệu khác với hệ thống nhận dạng tiếng nói cho phép cung cấp dịch vụ cá nhân hóa hơn cho khách hàng. Hệ thống có thể xác định thông tin khách hàng, lịch sử tương tác và các ưu tiên của họ để đưa ra phản hồi phù hợp. Việc sử dụng live agent ảo có thể hỗ trợ khách hàng 24/7, giảm tải cho nhân viên tổng đài và cung cấp dịch vụ nhanh chóng và hiệu quả. Theo Đinh Mạnh Cường, "Ở Việt Nam chưa có bất kể một bộ dữ liệu nào cho lĩnh vực này mà trong lĩnh vực khoa học dữ liệu thì vấn đề dữ liệu là yếu tố quyết định sự thành công nên tôi thu thập dữ liệu từ rất nhiều nguồn có nhiễu thực tế, các cuộc điện thoại nhờ vào sự giúp đỡ của nhiều bên và cũng tự thu thập các dữ liệu thô về xử lý."

5.2. Phát Triển SDK và API Nhận Dạng Giọng Nói Tiếng Việt

Việc phát triển các SDK nhận dạng giọng nói tiếng Việt và API nhận dạng giọng nói tiếng Việt giúp các nhà phát triển dễ dàng tích hợp công nghệ này vào các ứng dụng của họ. Các công cụ này cung cấp các hàm và giao diện lập trình sẵn, giúp giảm thiểu thời gian và công sức cần thiết để phát triển các ứng dụng nhận dạng giọng nói. Các giải pháp nhận dạng giọng nói cho tổng đài sẽ ngày càng trở nên phổ biến và dễ tiếp cận hơn. "Ngoài ra luận văn cũng tập trung vào nghiên cứu các giải pháp để cải thiện chất lượng nhận dạng tiếng Việt từ đó nêu ra các đề xuất và đóng góp của luận văn này," theo Đinh Mạnh Cường.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển kinh tế - xã hội hiện nay, việc nâng cao năng suất lao động và ứng dụng khoa học công nghệ vào các lĩnh vực sản xuất, kinh doanh là yêu cầu cấp thiết. Đặc biệt, trong ngành viễn thông, công nghệ nhận dạng tiếng nói đóng vai trò quan trọng trong việc cải thiện chất lượng dịch vụ chăm sóc khách hàng. Tổng đài chăm sóc khách hàng Viettel hiện đang tiếp nhận khoảng 5 triệu cuộc gọi mỗi ngày, với đa dạng giọng nói từ nhiều vùng miền và môi trường nhiễu khác nhau. Chi phí vận hành và duy trì hệ thống tổng đài rất lớn, đòi hỏi phải có giải pháp tự động hóa nhằm giảm thiểu chi phí và nâng cao hiệu quả.

Luận văn tập trung nghiên cứu xây dựng hệ thống nhận dạng tiếng nói tiếng Việt ứng dụng trong tổng đài chăm sóc khách hàng tự động, với mục tiêu đạt độ chính xác nhận dạng trên 90% trong môi trường thực tế nhiều nhiễu và đa dạng giọng nói. Phạm vi nghiên cứu bao gồm dữ liệu thu thập từ tổng đài Viettel tại các tỉnh thành lớn như Hà Nội, Hồ Chí Minh, Đà Nẵng, với tổng thời lượng dữ liệu âm thanh lên đến 85,8 giờ, thu thập từ hơn 23.000 cuộc gọi. Nghiên cứu có ý nghĩa quan trọng trong việc giảm tải cho nhân viên tổng đài, nâng cao trải nghiệm khách hàng và tiết kiệm chi phí vận hành cho doanh nghiệp viễn thông.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn áp dụng các lý thuyết và mô hình chính trong lĩnh vực nhận dạng tiếng nói, bao gồm:

• Mô hình Markov ẩn (Hidden Markov Model - HMM): Mô hình thống kê dùng để mô phỏng quá trình phát sinh chuỗi âm thanh, trong đó trạng thái ẩn biểu diễn các âm vị, và xác suất phát sinh các quan sát âm thanh được mô hình hóa bằng các hàm mật độ xác suất.

• Mô hình hỗn hợp Gaussian (Gaussian Mixture Model - GMM): Dùng để mô hình hóa phân phối xác suất của các đặc trưng âm thanh trong mỗi trạng thái của HMM, giúp mô phỏng sự đa dạng của tín hiệu âm thanh.

• Mô hình mạng nơ-ron sâu (Deep Neural Network - DNN): Được sử dụng để cải thiện mô hình âm học truyền thống, thay thế xác suất phát xạ của HMM bằng đầu ra của mạng nơ-ron, giúp tăng độ chính xác nhận dạng.

• Mô hình lai HMM/DNN: Kết hợp ưu điểm của HMM trong mô hình hóa chuỗi thời gian và DNN trong việc trích xuất đặc trưng phi tuyến, nâng cao hiệu quả nhận dạng tiếng nói.

• Phương pháp trích xuất đặc trưng MFCC (Mel Frequency Cepstral Coefficients): Trích xuất các đặc trưng âm thanh dựa trên thang Mel, phù hợp với đặc tính thính giác của con người.

• Mô hình ngôn ngữ N-gram: Mô hình xác suất chuỗi từ, giúp dự đoán từ tiếp theo dựa trên các từ trước đó, cải thiện khả năng nhận dạng trong ngữ cảnh.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ tổng đài chăm sóc khách hàng Viettel, bao gồm 85,8 giờ âm thanh ghi lại từ 23.932 cuộc gọi, với tần số lấy mẫu 8 kHz và độ phân giải 8 bits/sample. Dữ liệu được phân chia thành bộ huấn luyện gồm 19.672 cuộc gọi từ 43 đại lý và bộ kiểm tra gồm 260 cuộc gọi từ 7 đại lý khác, đảm bảo không trùng lặp người nói giữa các bộ.

Phương pháp phân tích sử dụng bộ công cụ Kaldi để xây dựng hệ thống nhận dạng tiếng nói, kết hợp với SRILM để xây dựng mô hình ngôn ngữ. Các kỹ thuật tăng cường dữ liệu như thay đổi tốc độ âm thanh (data augmentation) được áp dụng để mở rộng tập huấn luyện và cải thiện độ bền của mô hình. Mô hình âm học được huấn luyện theo hai phương pháp chính: GMM-SAT và mạng nơ-ron TDNN với huấn luyện chuỗi (sequence training).

Quá trình nghiên cứu được thực hiện trong khoảng thời gian từ năm 2017 đến 2018, tập trung vào việc xây dựng từ điển phát âm tích hợp thông tin thanh điệu, đánh giá ảnh hưởng của các yếu tố môi trường như kênh truyền 3G, 4G, nhiễu và giọng nói vùng miền đến chất lượng nhận dạng, đồng thời đề xuất các giải pháp cải tiến mô hình âm học và ngôn ngữ.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Ảnh hưởng của từ điển phát âm và đặc trưng pitch:
   Việc sử dụng từ điển phát âm tích hợp thông tin thanh điệu (tonal dictionary) kết hợp với đặc trưng pitch trong MFCC giúp giảm tỷ lệ lỗi từ (WER) từ 37,99% xuống còn 31,15%, tương đương cải thiện khoảng 6,84%. Khi chỉ sử dụng từ điển không có thanh điệu, tỷ lệ lỗi giảm ít hơn, cho thấy vai trò quan trọng của việc tích hợp thanh điệu trong nhận dạng tiếng Việt.

2. Hiệu quả của mô hình âm học DNN so với GMM:
   Mô hình TDNN với huấn luyện chuỗi (sMBR) giảm WER từ 28,18% (GMM-SAT) xuống còn 18,28%, tương đương cải thiện khoảng 35%. Việc áp dụng tăng cường dữ liệu tiếp tục giảm WER thêm khoảng 1-2%, cho thấy sự kết hợp giữa mô hình học sâu và kỹ thuật tăng cường dữ liệu là rất hiệu quả.

3. Ảnh hưởng của môi trường và kênh truyền:
   Các thử nghiệm cho thấy kênh truyền 3G, 4G và các môi trường nhiễu như tiếng ồn đường phố, văn phòng ảnh hưởng đáng kể đến chất lượng nhận dạng. Tỷ lệ lỗi từ trong môi trường nhiễu cao hơn khoảng 10-15% so với môi trường sạch, đòi hỏi các giải pháp xử lý nhiễu và tăng cường dữ liệu phù hợp.

4. Đặc thù giọng nói vùng miền và độ tuổi:
   Dữ liệu thu thập có tỷ lệ 60% giọng miền Bắc, 30% miền Trung và 10% miền Nam, với độ tuổi trung bình từ 16 đến 30 tuổi. Sự đa dạng này tạo thách thức lớn cho hệ thống nhận dạng, đặc biệt với các phương ngữ và cách phát âm không chuẩn, làm tăng tỷ lệ lỗi nhận dạng lên khoảng 26,14% trong giai đoạn đầu.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy việc tích hợp thông tin thanh điệu vào từ điển phát âm là yếu tố then chốt để nâng cao hiệu quả nhận dạng tiếng Việt, do đặc thù ngôn ngữ có 6 thanh điệu khác nhau. Việc sử dụng mô hình học sâu TDNN thay thế cho GMM truyền thống đã cải thiện đáng kể độ chính xác, phù hợp với xu hướng phát triển công nghệ nhận dạng tiếng nói hiện đại.

Ảnh hưởng của môi trường nhiễu và kênh truyền cho thấy cần thiết phải áp dụng các kỹ thuật tiền xử lý và tăng cường dữ liệu để hệ thống hoạt động ổn định trong thực tế. So sánh với các nghiên cứu trong ngành, kết quả đạt được tương đương hoặc vượt trội, đặc biệt trong điều kiện tiếng Việt đa dạng giọng nói và môi trường phức tạp.

Dữ liệu được trình bày qua các bảng số liệu về tỷ lệ lỗi từ (WER) và biểu đồ so sánh hiệu suất các mô hình âm học, giúp minh họa rõ ràng sự cải thiện qua từng bước nghiên cứu. Các phát hiện này có ý nghĩa thực tiễn lớn trong việc triển khai hệ thống tổng đài chăm sóc khách hàng tự động, góp phần giảm tải nhân lực và nâng cao trải nghiệm người dùng.

Đề xuất và khuyến nghị

1. Tăng cường xây dựng và cập nhật từ điển phát âm tích hợp thanh điệu:
   Chủ thể thực hiện: Trung tâm nghiên cứu và phát triển công nghệ Viettel.
   Mục tiêu: Giảm tỷ lệ lỗi từ xuống dưới 25% trong vòng 12 tháng.
   Hành động: Thu thập thêm dữ liệu từ các vùng miền, cập nhật từ điển tự động cho từ vay mượn và từ chuyên ngành.

2. Áp dụng mô hình học sâu đa tầng và huấn luyện chuỗi nâng cao:
   Chủ thể thực hiện: Đội ngũ kỹ thuật phát triển hệ thống nhận dạng.
   Mục tiêu: Nâng cao độ chính xác nhận dạng lên trên 90% trong 18 tháng.
   Hành động: Nghiên cứu và triển khai các kiến trúc mạng nơ-ron sâu mới như TDNN-LSTM, kết hợp kỹ thuật tăng cường dữ liệu.

3. Phát triển kỹ thuật xử lý nhiễu và tiền xử lý tín hiệu:
   Chủ thể thực hiện: Bộ phận xử lý tín hiệu âm thanh.
   Mục tiêu: Giảm ảnh hưởng của môi trường nhiễu, cải thiện độ bền mô hình trong môi trường thực tế.
   Hành động: Áp dụng các bộ lọc nhiễu, kỹ thuật lọc tiếng ồn và tăng cường dữ liệu nhiễu đa dạng.

4. Tích hợp hệ thống nhận dạng với các module NLP và TTS:
   Chủ thể thực hiện: Phòng phát triển sản phẩm dịch vụ chăm sóc khách hàng.
   Mục tiêu: Tạo ra hệ thống tổng đài tự động hoàn chỉnh, đáp ứng nhanh và chính xác yêu cầu khách hàng.
   Hành động: Thiết kế giao diện API, xây dựng quy trình xử lý ngôn ngữ tự nhiên và phản hồi bằng giọng nói tổng hợp.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và phát triển công nghệ nhận dạng tiếng nói:
   Lợi ích: Cung cấp cơ sở lý thuyết và thực nghiệm về mô hình HMM/DNN, kỹ thuật trích xuất đặc trưng MFCC và xử lý tiếng Việt đa thanh điệu.

2. Doanh nghiệp viễn thông và trung tâm chăm sóc khách hàng:
   Lợi ích: Áp dụng giải pháp tự động hóa tổng đài, giảm chi phí vận hành và nâng cao chất lượng dịch vụ khách hàng.

3. Sinh viên và học viên ngành công nghệ thông tin, xử lý tín hiệu:
   Lợi ích: Tài liệu tham khảo chi tiết về quy trình xây dựng hệ thống nhận dạng tiếng nói tiếng Việt, từ thu thập dữ liệu đến huấn luyện mô hình.

4. Các nhà phát triển sản phẩm trí tuệ nhân tạo và chatbot:
   Lợi ích: Hiểu rõ đặc thù ngôn ngữ tiếng Việt và các thách thức trong nhận dạng tiếng nói, từ đó phát triển các ứng dụng AI phù hợp.

Câu hỏi thường gặp

1. Hệ thống nhận dạng tiếng nói tiếng Việt có những thách thức gì đặc biệt?
   Tiếng Việt là ngôn ngữ âm sắc với 6 thanh điệu và nhiều phương ngữ vùng miền, gây khó khăn trong việc xây dựng từ điển phát âm và mô hình âm học chính xác. Ngoài ra, môi trường nhiễu và đa dạng giọng nói cũng làm tăng tỷ lệ lỗi nhận dạng.

2. Tại sao cần tích hợp thông tin thanh điệu vào từ điển phát âm?
   Thanh điệu ảnh hưởng trực tiếp đến nghĩa của từ trong tiếng Việt. Việc tích hợp thanh điệu giúp hệ thống phân biệt chính xác các từ có cùng âm tiết nhưng khác nghĩa, từ đó giảm tỷ lệ lỗi từ đáng kể.

3. Mô hình HMM/DNN có ưu điểm gì so với mô hình truyền thống?
   Mô hình HMM/DNN kết hợp khả năng mô hình hóa chuỗi thời gian của HMM với sức mạnh trích xuất đặc trưng phi tuyến của DNN, giúp cải thiện độ chính xác nhận dạng và khả năng xử lý dữ liệu phức tạp hơn.

4. Kỹ thuật tăng cường dữ liệu được áp dụng như thế nào?
   Tăng cường dữ liệu bằng cách thay đổi tốc độ âm thanh, thêm nhiễu môi trường giúp mở rộng tập huấn luyện, giảm hiện tượng overfitting và nâng cao độ bền của mô hình trong các điều kiện thực tế khác nhau.

5. Hệ thống có thể áp dụng cho các lĩnh vực khác ngoài chăm sóc khách hàng không?
   Có, hệ thống nhận dạng tiếng nói tiếng Việt có thể ứng dụng trong giáo dục, nhà thông minh, phiên dịch tự động, tạo phụ đề phim, và nhiều lĩnh vực khác cần xử lý ngôn ngữ tự nhiên.

Kết luận

• Luận văn đã xây dựng thành công hệ thống nhận dạng tiếng nói tiếng Việt ứng dụng trong tổng đài chăm sóc khách hàng tự động với độ chính xác nhận dạng trên 80% trong môi trường thực tế.
• Việc tích hợp thông tin thanh điệu vào từ điển phát âm và sử dụng mô hình học sâu TDNN giúp giảm đáng kể tỷ lệ lỗi từ.
• Nghiên cứu đã đánh giá chi tiết ảnh hưởng của các yếu tố môi trường, giọng nói vùng miền và kênh truyền đến chất lượng nhận dạng.
• Các giải pháp tăng cường dữ liệu và cải tiến mô hình âm học được đề xuất nhằm nâng cao hiệu suất hệ thống trong tương lai.
• Đề xuất các hướng phát triển tiếp theo bao gồm mở rộng dữ liệu, áp dụng mô hình học sâu đa tầng và tích hợp hệ thống với các module NLP, TTS để hoàn thiện dịch vụ chăm sóc khách hàng tự động.

Các nhà nghiên cứu và doanh nghiệp nên phối hợp triển khai các giải pháp đề xuất, đồng thời tiếp tục thu thập và xử lý dữ liệu để nâng cao chất lượng hệ thống nhận dạng tiếng nói tiếng Việt.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Lý do chọn đề tài Việt Nam đang ở ng rẽ trên quá trình phát triển. Để thúc đẩy tăng trưởng trong điều kiện hn ch về lao động và vốn, Việt Nam phi hưng ti tăng trưởng da trên tăng năng suất lao động. Điều đ đòi hỏi phi nâng cao đáng kể năng lc đổi mi sáng to trong nưc, nhất là ng dụng những thành tu khoa học công nghệ vào trong quá trình kinh doanh, sn xuất, qun lý ,.Trong lĩnh vc viễn thông thì công nghệ thông tin và ng dụng trí tuệ nhân to li càng cn đưc nghiên cu và đu tư, bởi vì đây là lĩnh vc nh hưởng sâu rộng và là nền tng cơ sở h tng để các ngành khác phát triển. Từ nhu cu đ đ thúc đẩy những nghiên cu trong đề tài này.

Lịch sử nghiên cứu Trên th gii, giao tip người máy là một lĩnh vc nghiên cu rất kh nhưng li đưc ng dụng thc tiễn rất nhiều. Ting ni là một phương tiện giao tip t nhiên nhất ca con người vi con người nên quá trình nghiên cu để máy tính hiểu đưc ngôn ngữ cũng đ bắt đu cách đây 70 năm. Những n lc giai đon ban đu ch tp trung khai thác phổ ca tín hiệu âm thanh vì thời đ máy tính còn khá hn ch về kh năng x lý. Trong những năm đu 1960, điểm đáng ghi nhn nhất là ý tưởng ca tác gi người Nga, Vintsyuk, khi ông đề xuất phương pháp nhn dng ting ni da trên thut toán quy hoch động theo thời gian.

Đáng tic là mi đn năm 1980, phương pháp này mi đưc th gii bit đn. Cuối những năm 1970, nghiên cu về nhn dng ting ni đ bưc đu thu đưc kt qu khích lệ, làm nền tng cho những phát triển sau này. Trưc tiên là bài toán nhn dng từ rời rc đưc gii quyt da trên ý tưởng ca các nhà khoa học người Nga và Nht. Tri qua hơn 70 năm nghiên cu thì các mô hình đưc đề xuất để nhn dng ting ni liên tục đưc th nghiệm và đánh giá thì mô hình HMM là cho kt qu tích cc nhất, nhưng để đưa vào ng dụng trong thc t trong các hệ thống ln thì còn rất hn ch vì ở ngoài thc t thì c rất nhiều nhiễu và các ngữ điệu, giọng ni các vùng 10 miền khác nhau.

Nhất là trong ting Việt thì càng kh áp dụng vì là ngôn ngữ c âm sắc và nhiều phương ngữ. Nhưng thời gian gn đây nhờ s tin bộ ca k thut học sâu nên giúp chúng ta tăng kt qu nhn dng lên đáng kể. Điển hình là trong lun văn này chúng ta áp dụng mô hình lai HMM/DNN thì kt qu nhn đưc rất kh quan. Đây là tiền đề cho phép c thể triển khai, áp dụng hệ thống nhn dng ting ni ting Việt trong tổng đài chăm sc khách hàng t động.

Mục đích của luận văn Nghiên cu thit k mô hình nhn dng ting ni ting Việt trong lĩnh vc hẹp là chăm sc khách hàng, sao cho hệ thống nhn dng làm việc ổn đnh và chính xác vi môi trường thc t nhiều nhiễu và ting n, đa dng các giọng từ độ tuổi đn vùng miền khác nhau trên c nưc. Tóm tắt luận văn Trong lun văn này sẽ gii thiệu tổng quan về nhn dng ting ni và những thành phn cơ bn trong nhn dng ting ni phát âm liên tục. Và ng dụng ca nhn dng ting ni trong bưc đu đưa vào hệ thống chăm sc khách hàng trong ng dụng phân loi cuộc gọi để đánh giá chất lưng dch vụ. Ngoài ra lun văn cũng tp trung vào nghiên cu các gii pháp để ci thiện chất lưng nhn dng ting việt từ đ nêu ra các đề xuất và đng gp ca lun văn này: Đu tiên, lun văn này nghiên cu đề xuất bộ âm v cơ bn ting Việt bao gm 47 âm v và đưa ra gii pháp to từ điển t động để tối ưu ha quá trình đưa thông tin thanh điệu vào âm v.

Gii pháp này không làm bùng nổ lưng âm v và đem li hiệu qu đáng kể, thay vì ch bổ sung thông tin thanh điệu ở âm chính. Th hai, lun văn nghiên cu những yu tố nh hưởng đn chất lưng ca hệ thống nhn dng như kênh truyền 3G, 4G, sng điện thoi, nhiễu, cách người ni và đưa ra các gii pháp giúp hệ thống ổn đnh và tăng độ chính xác ca hệ thống trong môi trường thc t triển khai sn phẩm chăm sc khách hàng. Th ba, lun văn nghiên cu tp trung nâng cao chất lưng mô hình âm học da trên việc ci thiện mô hình âm học truyền thống HMM/GMM bằng cách s dụng các mô hình c kh năng phân lp mnh là mng nơron sâu. Đ là mô 11 hình mng li ghép HMM/DNN, n s dụng đu ra ca mng nơron thay cho xác suất phát x ca mô hình HMM.

GIỚI THIỆU ĐỀ TÀI 1. Nhu cầu và tình hình thực tế 1. Tình hình thực tế của tổng đài chăm sóc khách hàng Viettel Khảo sát thực tế Tổng đài Viettel là nơi chuyên cung cấp thông tin, gii đáp các thắc mắc và h tr khách hàng s dụng dch vụ ca Viettel. Khi khách hàng gọi đn tổng đài Viettel dù dùng nội mng hay ngoi mng cũng đều đưc miễn phí tất c các cuộc gọi nên chi phí duy trì là rất ln.

Các kênh h tr Viettel: Kênh Tổng đài Viettel chia ra làm các nhm ngành dch vụ riêng biệt và c các tổng đài tương ng. Ví dụ, tổng đài 18008098 là tổng đài tư vấn và gii đáp thông tin dch vụ không dây như di động, HomePhone, Dcom. Tổng đài 18008119 là tổng đài tư vấn, báo hỏng và h tr khách hàng s dụng các dch vụ cố đnh (điện thoi cố đnh), truyền hình, internet c dây (ADSL, FTTH). Tổng đài 18008000 là tổng đài Gii đáp các thắc mắc dành cho doanh nghiệp, trường học, h tr thông tin dch vụ kênh Leasedline, Office-wan, dch vụ qun lý phn mềm, qun lý phương tiện vn ti, chữ ký số, …Dch vụ h tr Viettel Telecom chuyên nghiệp là 1800 8168.

Tất c đều là tổng đài miễn phí. Vi 5 tổng đài Chăm sc khách hàng đặt ti các tnh/thành phố trên khắp c nưc bao gm Hà Nội, H Chí Minh, Đà Nẵng, Hi Phòng, Thái Nguyên, đn nay Viettel c mng lưi chăm sc khách hàng ln nhất trên c nưc. Cùng vi đội ngũ nhân viên phi qua đào to để chuyên nghiệp, đào to bài bn, tổng đài Viettel vn ch đ kh năng tip nhn đn 5 triệu cuộc gọi/ngày. Nhưng vi số lưng các dch vụ và sn phẩm, khách hàng c các th trường trong và ngoài nưc thì chi phí để vn hành và duy trì càng ngày càng cao và kh kiểm soát chất lưng.

13 Kênh hỗ trợ khác ngoài kênh tổng đài Để phục vụ khách hàng tốt nhất, Viettel mở rộng các kênh tương tác ngoài kênh tổng đài giúp khách hàng thun tiện hơn khi dùng dch vụ: Kênh ng dụng My Viettel, web portal. Đây là các sn phẩm giúp người dùng c thể tra cu các thông tin về dch vụ như chi tit các gi cưc, chương trình khuyn mi, các dch vụ giá tr gia tăng, mobile internet, 3G, 4G…. ca Viettel, h tr khách hàng tra cu m PIN/PUK, thông tin thẻ cào, thanh toán cưc, mua data, báo li dch vụ, chuyển tiền. Kết luận tình hình thực tế Như đ phân tích ở trên chi phí cho việc chăm sc khách hàng hiện đang rất tốn kém, vì vy nhu cu t động ha và hiện đi ha để cắt gim chi phí là rất cao và cấp bách.

Từ nhu cu đ, Viettel đ đu tư nghiên cu các ng dụng hệ thống nhn dng ting ni ting việt để c thể đưa các tin bộ ca công nghệ thông tin vào nâng cao chất lưng dch vụ chăm sc khách hàng, và dn dn từng bưc t động ha. Vì ting ni là tín hiệu rất kh x lý trc tip hay áp dụng khoa học công nghệ vào x lý nên việc chúng ta chuyển đưc ting ni thành câu là rất hữu ích vì các hệ thống x lý dữ liệu ln, và tr lời t động hiện ti mi ch làm việc đưc trên dữ liệu văn bn. Giới thiệu về hệ thống hỗ trợ chăm sóc khách hàng sơ khai ban đầu xây dựng 1. Mục đích của việc xây dựng hệ thống Khái niệm về hệ thống nhận dạng tiếng nói Nhn dng ting ni miêu t quá trình bin đổi tín hiệu âm thanh thành đon văn bn gm chui các từ c nội dung tương ng.

Thông thường tín hiệu âm thanh này đưc ghi âm bởi microphone và đưc chuyển đổi thành tín hiện ở dng file wav. Tín hiện này sẽ là đu vào ca hệ thống nhn dng và hệ thống này cố gắng tìm ra đon văn bn đúng nhất c thể những gì người đọc ni ra. 14 Tình hình ứng dụng của nhận dạng tiếng nói Ngày nay nhn dng ting ni đưc ng dụng trong nhiều lĩnh vc chinh. Trong nhà thông minh, kể từ khi tr lý o Siri xuất hiện ln đu trên iphone 4s, chc năng điều khiển bằng giọng ni đ đưc quan tâm hơn và nhiều công cụ thc hiện chc năng này cũng liên tip ra đời, như Google assistant, Cortana ca Windows,… Hiện nay đ c một số gii pháp nhà thông minh trên th gii đ đưc áp dụng thành công tính năng điều khiển bằng giọng ni như Home Automation Inc, BK Smart Home, Control4.

Trong giáo dục, nhn dng ting ni cũng c một số ng dụng h tr người học khá tốt như học ngoi ngữ, giúp người khim thính và người không c kh năng đánh máy tính. Đối tưng học ngoi ngữ, nhn dng ting ni c thể giúp người học luyện phát âm và phát triển k năng ni ca họ. Trong viễn thông, nhờ công nghệ nhn dng ting ni hệ thống tr lời t động mà còn c thể nhn tín hiệu ting ni để xác đnh yêu cu ca khách hàng, Ngoài ra, việc tốc độ x lý ca các thit b di động thông minh đưc ci thiện. Và như trong lun văn này chúng ta sẽ giúp đưa ra những đon văn bn ca người gọi lên tổng đài để đưa vào hệ thống phân tích và x lý ra yêu cu ca khách hàng ri đưa ra các kênh phn hi khách hàng.

Trong một số lịch vực khác, c một số ng dụng khá hữu ích c thể đưc kể đn như việc to phụ đề phim t động, phiên dch t động… Trong ng dụng to phụ đề t động n giúp nội dung tip cn đn nhiều người và c những người khim thính, và các đối tưng ca các quốc gia khác nhau. Hệ thống phiên dch t động, nhn dng ting ni giúp xa bỏ rào cn ngôn ngữ.