Luận văn thạc sĩ: Truy vấn thông tin trong tiếng nói tiếng Việt của Mai Cường Thọ

Tải luận văn chi tiết về xây dựng hệ thống truy vấn thông tin tiếng nói tiếng Việt. Nghiên cứu thuật toán, mô hình âm học và sản phẩm ứng dụng.

• Tác giả: Mai Cường Thọ
• Người hướng dẫn: Tiến sĩ Nguyễn Hồng Quang
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Truy vấn thông tin trong tiếng nói tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về truy vấn thông tin trong tiếng nói tiếng Việt

Truy vấn thông tin tiếng nói là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin hiện đại. Với sự gia tăng nhanh chóng của các tài liệu đa phương tiện, đặc biệt là các tài liệu tiếng nói, nhu cầu tìm kiếm và truy vấn thông tin từ các nguồn dữ liệu âm thanh ngày càng trở nên cấp bách. Ở Việt Nam, hệ thống truy vấn thông tin tiếng nói tiếng Việt vẫn còn ở giai đoạn nghiên cứu và chưa có hệ thống thực sự được xây dựng hoàn chỉnh. Luận văn này nhằm đóng góp vào việc phát triển công nghệ này thông qua việc xây dựng một hệ thống truy vấn thông tin tiếng nói tiếng Việt (viSTI) với các thuật toán tối ưu.

1.1. Lý do chọn đề tài

Nhu cầu xử lý các tài liệu tiếng nói tiếng Việt đang tăng cao trong các ứng dụng thực tế. Trên thế giới đã có nhiều nghiên cứu và sản phẩm ứng dụng trong lĩnh vực này. Tuy nhiên, ở Việt Nam, việc xây dựng hệ thống truy vấn thông tin tiếng nói vẫn còn là một khoảng trống cần được lấp đầy bằng các nghiên cứu chuyên sâu và ứng dụng thực tiễn.

1.2. Mục đích và đối tượng nghiên cứu

Mục đích chính của luận văn là xây dựng thuật toán và hệ thống truy vấn thông tin tiếng nói tiếng Việt. Đối tượng nghiên cứu bao gồm các file âm thanh được ghi âm với giọng nói miễn Trung phát âm chuẩn. Các lattice file sinh ra từ module nhận dạng tiếng Việt sử dụng công cụ HTK sẽ được xử lý và tối ưu hóa.

II. Kiến trúc và thành phần của hệ thống

Hệ thống truy vấn thông tin tiếng nói được xây dựng trên cơ sở các mô hình toán học tiên tiến. Kiến trúc tổng quát của hệ thống bao gồm các thành phần chính: module nhận dạng tiếng nói, module xử lý lưới lập chỉ mục, và module tìm kiếm thông tin. Hệ thống này sử dụng mô hình Markov ẩn (Hidden Markov Model) để nhận dạng các đặc trưng tiếng nói. Công cụ HTK toolkit được sử dụng để hỗ trợ xây dựng hệ nhận dạng tiếng nói liên tục với từ vựng lớn. Các yêu cầu khi xây dựng hệ thống bao gồm độ chính xác cao, tốc độ xử lý nhanh, và khả năng mở rộng cho các ứng dụng khác.

2.1. Nhận dạng tiếng nói với mô hình Markov ẩn

Mô hình Markov ẩn là nền tảng của nhận dạng tiếng nói hiện đại. Mô hình này cho phép xử lý các chuỗi tín hiệu âm thanh và chuyển đổi thành các từ hoặc câu. Quá trình huấn luyện mô hình âm học và huấn luyện mô hình ngôn ngữ đóng vai trò quan trọng trong việc cải thiện độ chính xác nhận dạng.

2.2. Công cụ HTK và ứng dụng

Công cụ HTK cung cấp các tiện ích để xây dựng hệ thống nhận dạng tiếng nói chuyên nghiệp. Nó hỗ trợ xây dựng từ điển phát âm, tạo mô hình âm học, và tối ưu hóa quy trình nhận dạng. Công cụ này được chọn vì tính ổn định, độ chính xác cao, và khả năng mở rộng.

III. Thiết kế và cài đặt hệ thống

Luận văn trình bày chi tiết cách xây dựng hệ thống truy vấn thông tin tiếng nói tiếng Việt từ khâu chuẩn bị dữ liệu đến triển khai sản phẩm cuối cùng. Khâu đầu tiên là xây dựng kho dữ liệu với các file âm thanh chất lượng cao. Tiếp theo là phân tích âm thanh để tạo ra các đặc trưng và lập chỉ mục thận và ngược cho dữ liệu. Thuật toán tìm kiếm được thiết kế để nhanh chóng định vị các kết quả phù hợp với truy vấn. Module xử lý lưới giúp chuyển đổi các kết quả nhận dạng thành dạng có thể tìm kiếm được. Các tham số đánh giá hiệu năng bao gồm tốc độ chỉ mục, kích thước chỉ mục, tốc độ tìm kiếm, và độ chính xác.

3.1. Xây dựng kho dữ liệu và chuẩn bị dữ liệu

Kho dữ liệu tiếng nói được xây dựng từ các file âm thanh ghi âm với giọng nói chuẩn. Quá trình phân lập âm thanh và gán nhãn dữ liệu là những bước quan trọng. Tập dữ liệu huấn luyện và tập truy vấn được tạo riêng phục vụ cho các bài toán khác nhau.

3.2. Thuật toán lập chỉ mục và tìm kiếm

Thuật toán lập chỉ mục giúp tổ chức dữ liệu một cách hiệu quả để hỗ trợ tìm kiếm nhanh. Quy tắc xây dựng đồ thị so khớp được áp dụng cho mỗi truy vấn để tìm ra các kết quả tương ứng. Thuật toán tìm kiếm theo chiều sâu giúp tính toán xác suất và xác định các kết quả phù hợp nhất.

IV. Kết quả đóng góp và triển vọng

Sản phẩm chính của luận văn là chương trình viSTI (Vietnamese Speech Information Retrieval System) - hệ thống truy vấn thông tin tiếng nói tiếng Việt. Chương trình này được trang bị giao diện người dùng thân thiện và hoạt động tìm kiếm cho kết quả tương đối nhanh chóng. Các đóng góp mới của tác giả bao gồm: xây dựng tập mô hình âm học phục vụ nhận dạng giọng nói miễn Trung phát âm chuẩn, chi tiết hóa các bước trong thuật toán tìm kiếm, và đưa ra quy tắc xây dựng đồ thị so khớp tối ưu. Tuy nhiên, luận văn chưa trình bày các giải pháp nâng cao hiệu năng nhận dạng và tính hiệu quả của tìm kiếm, điều này sẽ là hướng phát triển tiếp theo.

4.1. Sản phẩm và kết quả đạt được

Chương trình viSTI đã được xây dựng thành công với các tính năng truy vấn cơ bản. Kết quả đánh giá hiệu năng cho thấy tốc độ chỉ mục và tìm kiếm đạt yêu cầu. Giao diện người dùng được thiết kế để dễ sử dụng, hỗ trợ cả người dùng không chuyên.

4.2. Hướng phát triển tương lai

Các hướng nghiên cứu tiếp theo bao gồm nâng cao độ chính xác nhận dạng tiếng nói, cải thiện tốc độ tìm kiếm, và mở rộng từ vựng. Ứng dụng trí tuệ nhân tạo và học máy có thể giúp tối ưu hóa hệ thống. Việc tích hợp vào các ứng dụng thực tế như hệ thống hỏi đáp tự động hay tìm kiếm nâng cao cũng là hướng phát triển đáng khả thi.

Trích đoạn nội dung tài liệu

mở đầu luận văn bằng lời cảm ơn chân thành gửi lời qui thây cô giảo Liện Công nghệ thông tin và truyền thông, Viện dào tạo Đại học và Sau đại học, Trường Dại học Bach Khoa Hà Nội đã tạo điều kiện và giảng dạy cho tôi các kiến thức thực sự qui báu và hữu ích đổi với bản thân. Đặc em gửi lời cám ơn đến Tiên sĩ Nguyễn Hông Quang vì những hướng dẫn và trợ giúp niưt thành trong việc thực hiện luận văn tốt nghiệp của em. Tôi cũng không quên cảm ơn các thấy cô giáo đồng nghiệp trong khaa Công nghệ thông tin trường Dai học Nha Trang đã tạo điều kiện về thời gian và hỗ trợ công việc cho tôi đi học được thuận lợi. Tôi cũng xin cảm ơn các em sinh viên trường Đại hạc Nha Trang đã Hỗ trợ tôi trang công việc ghỉ âm đữ liệu Hồng nói.

Xim câm ơn! Học viên Mai Cường Thọ Hình 29: Kiên trúc chung của hệ truy vẫn tiếng nói. Hình 30: Kiên trúc hệ STD của BNN. Hình 31 Phát hiện cụm bir gain whau trén latlice ea RBN. Hình 32: Câu trúc chỉ mục của BBN.

Hình 33: n trúc hệ thống STD của IBM. Hình 34 Kiến trúc hệ truy van tiếng môi ña luận văn Hình 35 Câu trúc lưới kết quã.110011111xxxe Tlinh 36: Ludi mồ tả theo lưu đồ thời gian. Hình 37 Mô tả xử lý lưới lấp chỉ mục, ví dụ về loại bỏ cang bị đánh dấu chéo. Linh 38: Để thị so khớp,.110011111xxxe Hinh 39: Giao điện chương trình và kết quả ví đụ.

MUC LUC DANH MUC CAC IU! VIET TAT 4 DANII MUC CAC BANG DUOC SU DUNG 4 DANH MỤC CÁC HINH VE VA BO THI LOI CAM BOAN. LOT CAM ON MO DAU Ly do chon dé tai. Mục dịch, đối tượng v phạm vi í nghĩa ân cửu. - - "Tóm tắt một số luận diễm cơ bản và dóng góp mới của tác giả.

Thương pháp nghiền cứu CHUONG1. TÔNG QUAN VỀ NHẬN DẠNG TIỂNG NÓI. Giới thiện chung về lý thuyết nhận đang, 14 1. Cơ chế tạo tiếng nói 1.

Biểu diễn tín hiệu tiéng néi. Hệ thông nhận dang tiếng nói sử dung phương pháp nhân thống k 1. Nhận dạng tiếng nói sử đụng mô hình markov ẩn. Các thành phần chính ta của bo nian dang sir dung 10 hinh Markov diẤH.1 Phản tích thun số nội 19 1.

Quá trình nhân đạng tiếng nói liên tục theo mô hình Markov an. Tuấn luyện mô hình âm học 21 1. Huấn luyện mô hình ngôn ngữ 1.5, Tử điển phát âm. Ứng dựng mô hình markov Ân rong nhân đang tổng nói "—.

Tổng quan về các công cụ HTK vẻ ứng dụng xâydìng hệ nhân dang 1. Tổng quan về các công cụ HTK. Xây dụng hệ thông nhận dạng sử đụng HTK. Rỗ nhân đạng 33 CHUONG2.

TONG QUAN VIII THONG TRUY VAN TIONG TIN TIENG bom nh. Giới thiệu truy vẫn tiếng mỏi 34 2. Mục đích của trny vấn tiếng nói 34 2. Các công việc cần thực hiện của hệ thống $FD.ceeceeee 34 DANH MUC CAC TU VIET TAT STD- Speech Terms Detection: Tray van tiéng ndéi.

ASR- Autamatic Sp h Revognision: hé thing nhaén dạng tiếng nói. SLE- Standard Littice Format: dinh dang ludi chuan eta HTK. HTK- The Hidden Markov Model Toolkit : bé céng cu ding dé xy dung va xt ly ede m6 hinh Markov 4n phuc vu eho hé théng uhan dang. BBN :Tên của công ty BBN Technologies- lá một công ty công nghệ cao, chuyên về nghiên cứu và phát triển dịch vụ NIST- National Institute of Standards and Technology: Vién nghién ctu tiêu chuẩn và công nghệ quốc gia cúa Mỹ.

WER - Word Exror Rate: Ti 1é lỗi từ WCN Word Confusion Network: mạng lưới từ nhập nhằng, WLR - Word Link Record: Ban ghi liên kết từ HMM - Hidden Markov Model: Mé hinh Markov an MECC- Mol-hequenoy copstral coclficieni: Cac hé sé die lrung cepstral DANH MUC CAC BANG DUOC ST DUNG Bang |: Phién âm mnột số từ trong từ điển nhận dang 23 Bảng 7: Kết quả đầu ra cho tem tìn kiếm của của BBN. „41 Bang 3: Kết quả hoạt động hệ thông S†D của BBN. wl Bang 4: Két qué wén cdc loai nguén dit héu truy vẫn khác nhau. 42 Big 5: Chu trúc của từ điển phiên âm: 46 Bang 6: ý nghĩa của phiên âm trong từ điển 46 Bang 7: nguén tai liệu cho huấn luyện mô hình ngôn ngữ 46 Bang 8: Qui định ký tự thay thể thanh điệu %4 Bang 9: Thống kê thông tin người nói 58 Bảng 10: Bảng kê chủ tiết số file của mỗi người nói theo chủ đề dành cho huấn uyện mô hình âm học.

-59 Bang 11: Bang kê chỉ tiết số [ile của mỗi người nói theo chủ để dành cho kiểm tra59 Tảng 12: Chỉ tiết kết quả nhận dang theo người nói 62 Bang 13: Thống kê hiệu năng của hệ thông đ Bảng 14: Thống kê chỉ tiết kết quả truy vẫn theo mục từ 6 DANH MUC CAC TU VIET TAT STD- Speech Terms Detection: Tray van tiéng ndéi. ASR- Autamatic Sp h Revognision: hé thing nhaén dạng tiếng nói. SLE- Standard Littice Format: dinh dang ludi chuan eta HTK. HTK- The Hidden Markov Model Toolkit : bé céng cu ding dé xy dung va xt ly ede m6 hinh Markov 4n phuc vu eho hé théng uhan dang.

BBN :Tên của công ty BBN Technologies- lá một công ty công nghệ cao, chuyên về nghiên cứu và phát triển dịch vụ NIST- National Institute of Standards and Technology: Vién nghién ctu tiêu chuẩn và công nghệ quốc gia cúa Mỹ. WER - Word Exror Rate: Ti 1é lỗi từ WCN Word Confusion Network: mạng lưới từ nhập nhằng, WLR - Word Link Record: Ban ghi liên kết từ HMM - Hidden Markov Model: Mé hinh Markov an MECC- Mol-hequenoy copstral coclficieni: Cac hé sé die lrung cepstral DANH MUC CAC BANG DUOC ST DUNG Bang |: Phién âm mnột số từ trong từ điển nhận dang 23 Bảng 7: Kết quả đầu ra cho tem tìn kiếm của của BBN. „41 Bang 3: Kết quả hoạt động hệ thông S†D của BBN. wl Bang 4: Két qué wén cdc loai nguén dit héu truy vẫn khác nhau.

42 Big 5: Chu trúc của từ điển phiên âm: 46 Bang 6: ý nghĩa của phiên âm trong từ điển 46 Bang 7: nguén tai liệu cho huấn luyện mô hình ngôn ngữ 46 Bang 8: Qui định ký tự thay thể thanh điệu %4 Bang 9: Thống kê thông tin người nói 58 Bảng 10: Bảng kê chủ tiết số file của mỗi người nói theo chủ đề dành cho huấn uyện mô hình âm học. -59 Bang 11: Bang kê chỉ tiết số [ile của mỗi người nói theo chủ để dành cho kiểm tra59 Tảng 12: Chỉ tiết kết quả nhận dang theo người nói 62 Bang 13: Thống kê hiệu năng của hệ thông đ Bảng 14: Thống kê chỉ tiết kết quả truy vẫn theo mục từ 6 2.4, Đặc điểm đầu vào đối véi cdc term tim kiém. Két qua dau ra etia hé théng STD. Danh gid chat lnong ctta hé théng 2.

Kiến trúc chung của một hệ truy vấn tiếng nói. Bước tiễn xử lý khi 2. Tìm kiểm thông tin rên bộ otchi nye. Kiến trúc một số hệ thống truy vấn tiếng nói trân thế giới 2.1 Hệ thống STD của BBN.2 hong truy vấn thông tin tiếng nói TBM 2006 42 CHƯƠNG 3.

XÂY DỰNG LH THÔNG TRUY VĂN THỈNG NỘI THẾNG VIỆT44 3. Phân tích hệ thông 44 3. Sơ đỗ tổng quan hệ thống truy vần thông tin tiếng nói Tiếng Việt 45 3. Từ điển tiếng Việt 3.

Mô hình ngôn ngữ. Mô hình âm học. Bộ trích chọn tham số tiếng nội 4? 3. Bộ giải mã HVitc AT 3.

Tộ lận chi nic 48 3. Cấu trúc file lưới (lattice fle) 48 3. Thuật toán xử lý lưới lập chỉ mục thuận. Xử lý lưới lập chỉ mmục ngược 52 3.

Bộ tim kiếm .1, Thuật toàn tìm kiếm. Xây đựng kho đữ liệu tiỂng nói tiếng Việt phục vụvụ luận văn ST 3. Xây đựngbộ tcrm tìm kiểm ST CHUONG 4: Kitt QUA VA BAN LUAN. Cơ sở đữ Hệu tiếng nói.

Kết quả huần luyện mô hình âm học sỹ 4. Đánh chỉ mục 60 4.4, Vé churong trinh két qui 61 4. 63 KÉT LUẬN VÀ KIỂN NGH1. 1S PHU LUC 7 LOI CAMBOAN 'Tôi can đoan kết quả cửa luận văn là chính tôi thực hiện, các số liệu thực nghiệm là theo đúng kết quả của chương trình.

Nếu sai tôi xim clúu hoàn toàn trách niệm. LOI CAMBOAN 'Tôi can đoan kết quả cửa luận văn là chính tôi thực hiện, các số liệu thực nghiệm là theo đúng kết quả của chương trình. Nếu sai tôi xim clúu hoàn toàn trách niệm. Hình 29: Kiên trúc chung của hệ truy vẫn tiếng nói.

Hình 30: Kiên trúc hệ STD của BNN. Hình 31 Phát hiện cụm bir gain whau trén latlice ea RBN. Hình 32: Câu trúc chỉ mục của BBN. Hình 33: n trúc hệ thống STD của IBM.

Hình 34 Kiến trúc hệ truy van tiếng môi ña luận văn Hình 35 Câu trúc lưới kết quã.110011111xxxe Tlinh 36: Ludi mồ tả theo lưu đồ thời gian. Hình 37 Mô tả xử lý lưới lấp chỉ mục, ví dụ về loại bỏ cang bị đánh dấu chéo. Linh 38: Để thị so khớp,.110011111xxxe Hinh 39: Giao điện chương trình và kết quả ví đụ. LOI CAMBOAN 'Tôi can đoan kết quả cửa luận văn là chính tôi thực hiện, các số liệu thực nghiệm là theo đúng kết quả của chương trình.

Nếu sai tôi xim clúu hoàn toàn trách niệm. MUC LUC DANH MUC CAC IU! VIET TAT 4 DANII MUC CAC BANG DUOC SU DUNG 4 DANH MỤC CÁC HINH VE VA BO THI LOI CAM BOAN. LOT CAM ON MO DAU Ly do chon dé tai. Mục dịch, đối tượng v phạm vi í nghĩa ân cửu.

- - "Tóm tắt một số luận diễm cơ bản và dóng góp mới của tác giả. Thương pháp nghiền cứu CHUONG1. TÔNG QUAN VỀ NHẬN DẠNG TIỂNG NÓI. Giới thiện chung về lý thuyết nhận đang, 14 1.

Cơ chế tạo tiếng nói 1. Biểu diễn tín hiệu tiéng néi. Hệ thông nhận dang tiếng nói sử dung phương pháp nhân thống k 1. Nhận dạng tiếng nói sử đụng mô hình markov ẩn.

Các thành phần chính ta của bo nian dang sir dung 10 hinh Markov diẤH.1 Phản tích thun số nội 19 1. Quá trình nhân đạng tiếng nói liên tục theo mô hình Markov an. Tuấn luyện mô hình âm học 21 1. Huấn luyện mô hình ngôn ngữ 1.5, Tử điển phát âm.

Ứng dựng mô hình markov Ân rong nhân đang tổng nói "—. Tổng quan về các công cụ HTK vẻ ứng dụng xâydìng hệ nhân dang 1. Tổng quan về các công cụ HTK. Xây dụng hệ thông nhận dạng sử đụng HTK.

Rỗ nhân đạng 33 CHUONG2. TONG QUAN VIII THONG TRUY VAN TIONG TIN TIENG bom nh. Giới thiệu truy vẫn tiếng mỏi 34 2. Mục đích của trny vấn tiếng nói 34 2.

Các công việc cần thực hiện của hệ thống $FD.