Luận văn thạc sĩ: Thiết kế hệ thống nhúng nhận dạng câu nói tiếng Việt tại ĐH Bách Khoa ĐHQG TP.HCM

Luận văn thạc sĩ kỹ thuật điện tử về hệ thống nhúng nhận dạng câu nói tiếng Việt, ứng dụng hướng dẫn đường đi tại Đại học Bách Khoa.

• Tác giả: Trần Văn Hoàng
• Người hướng dẫn: TS. Hoàng Trang
• Trường học: Đại học Bách Khoa TP.HCM
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Thiết Kế Hệ Thống Nhúng Nhận Dạng Tiếng Việt Cho Hướng Dẫn Đường Đi Tại ĐH Bách Khoa TP.HCM
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• TÓM TẮT LUẬN VĂN
• SUMMARY OF THESIS
• LỜI CAM ĐOAN
• DANH SÁCH CÁC CHỮ VIẾT TẮT
• DANH SÁCH BẢNG
• DANH SÁCH HÌNH
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu đề tài
• 1.2. Tổng quan tình hình nghiên cứu trong, ngoài nước
• 1.2.1. Hệ thống nhận dạng tiếng nói
• 1.2.2. Hệ điều hành nhúng cho các ứng dụng thời gian thực [92]
• 1.2.3. Ứng dụng định tuyến đường đi
• 1.3. Mục tiêu của đề tài
• 1.3.1. Mục tiêu tổng quát
• 1.3.2. Mục tiêu cụ thể
• 2. CHƯƠNG 2: HỆ THỐNG NHẬN DẠNG TỪ ĐƠN TIẾNG VIỆT
• 2.1. Thuật toán trích đặc trưng MFCC
• 2.1.1. Mel Frequency Bank
• 2.2. Mô hình Markov ẩn
• 2.2.1. Quá trình Markov rời rạc
• 2.2.2. Mô hình Markov ẩn
• 2.2.3. Ba vấn đề cơ bản của HMM
• 2.2.4. Các loại mô hình HMM
• 2.2.5. Mật độ quan sát liên tục trong HMM
• 3. CHƯƠNG 3: NHẬN DẠNG CÂU NÓI LIÊN TỤC
• 3.1. Giới thiệu về nhận dạng câu nói liên tục dựa trên đơn vị subword
• 3.1.1. Các đơn vị tiếng nói subword. Mô hình ngữ âm cho tiếng Việt
• 3.1.2. Các mô hình đơn vị subword dựa trên HMMs
• 3.1.3. Huấn luyện các đơn vị subword
• 3.1.4. Các mô hình ngôn ngữ cho nhận dạng tiếng nói bộ từ vựng lớn
• 3.1.5. Mô hình thống kê ngôn ngữ
• 3.1.6. Sự phức tạp của mô hình ngôn ngữ
• 3.1.7. Tổng thể hệ thống nhận dạng dựa trên các đơn vị subword
• 3.2. Xây dựng chương trình nhận dạng câu nói Tiếng Việt trên hệ điều hành Linux
• 3.2.1. Khối tiền xử lý và xây dựng vector đặc trưng
• 3.2.2. Dữ liệu huấn luyện
• 3.2.3. Mô hình ngữ âm
• 3.2.4. Mô hình từ vựng
• 3.2.5. Mô hình ngôn ngữ
• 3.2.6. Khối nhận dạng
• 4. CHƯƠNG 4: GIẢI THUẬT ĐỊNH TUYẾN
• 4.1. Giải thuật Dijkstra
• 4.1.1. Nội dung giải thuật
• 4.2. Giải thuật A*
• 4.2.1. Nội dung giải thuật
• 4.2.2. Tối ưu hóa thời gian tính toán cho giải thuật A*
• 4.3. Ứng dụng trên bản đồ thực tế
• 5. CHƯƠNG 5: KIT BEAGLEBOARD – xM VÀ HỆ ĐIỀU HÀNH LINUX NHÚNG
• 5.1. Kit BeagleBoard-xM
• 5.1.1. Tổng quan về BeagleBoard-xM
• 5.1.2. Đặc tính của BeagleBoard-xM
• 5.1.3. Cấu trúc hệ thống của BeagleBoard-xM
• 5.2. Hệ điều hành linux nhúng
• 5.2.1. Cấu trúc của hệ điều hành Linux và tương tác phần cứng
• 6. CHƯƠNG 6: KẾT QUẢ VÀ THẢO LUẬN
• 6.1. Kết quả khảo sát độ chính xác nhận dạng của hệ thống nhận dạng từ đơn
• 6.1.1. Khảo sát hệ số a trong khối Pre-emphasis
• 6.1.2. Khảo sát số bộ lọc trong khối Mel Frequency Filter Bank
• 6.1.3. Khảo sát số hệ số đặc trưng
• 6.1.4. Khảo sát số bộ trộn
• 6.2. Kết quả đánh giá độ chính xác nhận dạng của 2 hệ thống sử dụng 2 phương pháp: mô hình HMM dựa trên từ đơn và mô hình HMM dựa trên subword (phone)
• 6.3. Kết quả về độ chính xác nhận dạng của hệ thống nhận dạng câu nói liên tục Tiếng Việt với bộ từ vựng 50 từ
• 6.4. Bài báo khoa học đăng ở hội nghị và tạp chí quốc tế
• 7. CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 7.1. Kết luận
• 7.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về hệ thống nhúng nhận dạng tiếng Việt

Đề tài "Thiết kế hệ thống nhúng nhận dạng câu nói Tiếng Việt, ứng dụng trong hướng dẫn đường đi ở trường Đại Học Bách Khoa – ĐHQG TP.HCM" tập trung vào việc phát triển một hệ thống nhúng có khả năng nhận dạng tiếng Việt. Hệ thống này không chỉ nhận diện các câu nói mà còn có khả năng giao tiếp với người dùng thông qua giọng nói. Mục tiêu chính là ứng dụng trong việc hướng dẫn đường đi trong khuôn viên trường. Việc phát triển công nghệ nhúng cho phép thiết bị hoạt động hiệu quả trong môi trường thực tế, giúp người dùng dễ dàng tìm đường thông qua các chỉ dẫn bằng giọng nói. Hệ thống này có thể được coi là một bước tiến quan trọng trong việc ứng dụng công nghệ thông tin vào đời sống hàng ngày, đặc biệt trong lĩnh vực giao thông và hướng dẫn. Việc sử dụng công nghệ nhúng không chỉ giúp tiết kiệm chi phí mà còn nâng cao tính khả thi của hệ thống trong các ứng dụng thực tế.

1.1. Tình hình nghiên cứu trong và ngoài nước

Trong những năm gần đây, nhận dạng tiếng nói đã trở thành một lĩnh vực nghiên cứu sôi nổi. Các hệ thống nhận dạng tiếng nói đã được phát triển với nhiều phương pháp khác nhau, từ ngữ âm học đến trí tuệ nhân tạo. Tuy nhiên, việc nhận dạng tiếng Việt vẫn còn nhiều thách thức. Các nghiên cứu trước đây chủ yếu tập trung vào việc phát triển phần mềm, trong khi việc áp dụng phần cứng còn hạn chế. Một số sản phẩm như VSpeech đã cho thấy tiềm năng trong việc nhận dạng tiếng Việt, nhưng vẫn cần nhiều cải tiến để có thể hoạt động hiệu quả trong môi trường thực tế. Các nghiên cứu gần đây đã chỉ ra rằng việc áp dụng mô hình Markov ẩn (HMM) có thể cải thiện đáng kể độ chính xác của hệ thống nhận dạng tiếng nói tiếng Việt.

II. Thiết kế hệ thống nhúng

Hệ thống nhúng được thiết kế với mục tiêu nhận dạng các câu nói tiếng Việt và cung cấp thông tin hướng dẫn đường đi. Hệ thống này bao gồm các thành phần chính như khối tiền xử lý, khối nhận dạng và khối giao tiếp. Việc sử dụng thuật toán trích đặc trưng MFCC giúp cải thiện độ chính xác trong việc nhận diện âm thanh. Hệ thống cũng được xây dựng trên nền tảng Linux nhúng, cho phép tối ưu hóa hiệu suất và khả năng tương tác với phần cứng. Việc phát triển một hệ thống tự động có khả năng nhận diện giọng nói sẽ tạo ra một trải nghiệm người dùng tốt hơn, đồng thời mở ra nhiều cơ hội ứng dụng trong các lĩnh vực khác nhau như giáo dục, du lịch và dịch vụ công cộng.

2.1. Các thành phần của hệ thống

Hệ thống nhúng bao gồm nhiều thành phần quan trọng. Đầu tiên là khối tiền xử lý, nơi âm thanh được thu thập và chuyển đổi thành các đặc trưng có thể nhận diện. Tiếp theo là khối nhận dạng, nơi các thuật toán như HMM được áp dụng để phân tích và nhận diện câu nói. Cuối cùng, khối giao tiếp cho phép hệ thống phản hồi lại người dùng thông qua giọng nói. Việc tích hợp các công nghệ như giao thông thông minh và trí tuệ nhân tạo vào hệ thống sẽ giúp nâng cao khả năng tương tác và độ chính xác của hệ thống, từ đó tạo ra một giải pháp hiệu quả cho việc hướng dẫn đường đi.

III. Ứng dụng thực tiễn của hệ thống

Hệ thống nhúng nhận dạng tiếng Việt có nhiều ứng dụng thực tiễn trong đời sống. Đặc biệt, trong môi trường giáo dục như ĐH Bách Khoa TP.HCM, hệ thống có thể giúp sinh viên và khách tham quan dễ dàng tìm kiếm thông tin và hướng dẫn đường đi trong khuôn viên trường. Việc sử dụng giọng nói để tương tác với hệ thống không chỉ tạo ra sự thuận tiện mà còn nâng cao trải nghiệm người dùng. Hệ thống cũng có thể được mở rộng để áp dụng trong các lĩnh vực khác như giao thông thông minh, nơi người dùng có thể nhận được thông tin về tình trạng giao thông, lộ trình di chuyển và các thông tin hữu ích khác chỉ bằng cách nói. Điều này không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả trong việc di chuyển.

3.1. Tác động đến giao thông và hướng dẫn

Hệ thống có khả năng cung cấp thông tin hướng dẫn đường đi một cách nhanh chóng và chính xác. Điều này đặc biệt quan trọng trong bối cảnh giao thông ngày càng phức tạp. Việc áp dụng công nghệ thông tin vào giao thông không chỉ giúp giảm thiểu ùn tắc mà còn nâng cao an toàn cho người tham gia giao thông. Hệ thống có thể được tích hợp với các ứng dụng di động, cho phép người dùng nhận được thông tin hướng dẫn ngay trên điện thoại của mình. Điều này không chỉ tạo ra sự tiện lợi mà còn khuyến khích người dùng sử dụng các phương tiện giao thông công cộng, từ đó góp phần bảo vệ môi trường.

Nội dung chính

Tổng quan nghiên cứu

Giao tiếp bằng giọng nói là phương thức tương tác tự nhiên và đạt hiệu suất cao nhất trong tiến trình phát triển hơn 60 năm của lĩnh vực xử lý tín hiệu âm thanh và trí tuệ nhân tạo. Trong bối cảnh các giải pháp thương mại phổ biến như Apple Siri hay Google Voice thường xuyên đòi hỏi kết nối Internet liên tục để xử lý dữ liệu qua máy chủ đám mây, việc thiết kế một thiết bị nhúng độc lập có khả năng tương tác ngôn ngữ ngoại tuyến trở thành một hướng tiếp cận cấp thiết. Nghiên cứu của học viên Trần Văn Hoàng dưới sự hướng dẫn khoa học của Tiến sĩ Hoàng Trang tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh đã tập trung giải quyết bài toán cốt lõi: Thiết kế hệ thống nhúng nhận dạng câu nói tiếng Việt ứng dụng trong hướng dẫn đường đi nội khu.

Đề tài được hoàn thành trong chu kỳ nghiên cứu 11 tháng (từ tháng 6 năm 2013 đến tháng 5 năm 2014) với mục tiêu làm chủ công nghệ xử lý âm thanh tiếng Việt ngay trên phần cứng hạn chế tài nguyên. Luận văn đặt ra mục tiêu cụ thể là xây dựng thành công thiết bị phần cứng có khả năng nhận dạng tập dữ liệu gồm 20 mẫu câu hội thoại liên tục (độ dài trung bình từ 7 đến 8 từ) với bộ từ vựng cơ sở 50 từ, đạt độ chính xác nhận dạng mục tiêu từ 80% trở lên trong môi trường thực tế.

Đồng thời, nghiên cứu số hóa bản đồ toàn bộ khuôn viên Trường Đại học Bách Khoa Thành phố Hồ Chí Minh và tích hợp giải thuật định tuyến đường đi tối ưu. Giá trị học thuật và thực tiễn của công trình thể hiện ở việc làm chủ toàn diện từ tầng thuật toán trích đặc trưng, mô hình hóa âm học, đến việc tùy biến hạt nhân hệ điều hành Linux nhúng trên kit phần cứng Texas Instruments OMAP3730 (BeagleBoard-xM). Kết quả đạt được mở ra hướng ứng dụng tự động hóa thông tin chỉ đường, chế tạo thiết bị trợ thính, và phát triển robot dịch vụ tương tác tiếng Việt trong khuôn viên khép kín.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên ba trụ cột lý thuyết vững chắc về xử lý tín hiệu số, xác suất thống kê và lý thuyết đồ thị:

• Lý thuyết trích xuất đặc trưng âm học Mel-Frequency Cepstral Coefficients (MFCC): Âm thanh tiếng nói của con người có tính chất phi tuyến đối với cảm nhận tần số của màng nhĩ. Thuật toán MFCC thực hiện lọc tiền nhấn (Pre-emphasis), chia khung thời gian ngắn (Frame Blocking), áp dụng hàm cửa sổ Hamming, biến đổi Fourier nhanh (FFT) và chuyển đổi sang thang đo Mel để tách bạch đường bao phổ thanh đạo khỏi tín hiệu kích thích của dây thanh âm. Bộ đặc trưng được lượng hóa thành vector 26 chiều bao gồm 12 hệ số Cepstral bậc thấp, 1 hệ số năng lượng và 13 hệ số đạo hàm vi phân bậc nhất theo thời gian (Delta coefficients).
• Mô hình Markov ẩn mật độ quan sát liên tục (Continuous Density Hidden Markov Model - CD-HMM): Tín hiệu tiếng nói tiếng Việt là một quá trình ngẫu nhiên dừng cục bộ. Mô hình HMM giải quyết ba bài toán nền tảng: đánh giá xác suất chuỗi quan sát thông qua thuật toán tiến (Forward Algorithm), giải mã chuỗi trạng thái tối ưu bằng giải thuật Viterbi, và huấn luyện thích nghi tham số thông qua thuật toán cực đại hóa kỳ vọng Expectation-Maximization (thuật toán Baum-Welch).
• Lý thuyết ngữ âm học tiếng Việt và mô hình đơn vị hạ âm (Subword/Phone Unit): Thay vì sử dụng mô hình nhận dạng từ đơn rời rạc bị hạn chế khi mở rộng từ điển, nghiên cứu áp dụng kỹ thuật phân tách âm tiết tiếng Việt thành các đơn vị ngữ âm bán phần (Phone) kết hợp cấu trúc ngữ pháp và từ điển phát âm chuẩn xác.
• Lý thuyết định tuyến đồ thị: Ứng dụng giải thuật Dijkstra và giải thuật tìm kiếm heuristic A-Star (A*) để tính toán đường đi ngắn nhất giữa hai điểm nút (Nodes) trên mạng lưới giao thông nội bộ dựa trên ma trận khoảng cách Euclidean.

Phương pháp nghiên cứu

Phương pháp nghiên cứu thực nghiệm được tiến hành một cách có hệ thống với các thông số kỹ thuật được kiểm soát chặt chẽ:

• Quy mô và phương pháp thu thập mẫu: Tín hiệu giọng nói tiếng Việt được thu âm trực tiếp thông qua bộ chuyển đổi tương tự - số (ADC) với tần số lấy mẫu chuẩn hóa 8.000 Hz, độ phân giải 16-bit PCM. Dữ liệu âm thanh được chia thành các khung 20 miligiây (tương ứng 160 mẫu tín hiệu) với độ chồng lấp 50% (10 miligiây, tương đương 80 mẫu lặp lại giữa hai khung liên tiếp). Cỡ mẫu thực nghiệm bao gồm hàng trăm lượt phát âm từ nhiều người nói khác nhau, bao phủ trọn vẹn 50 từ vựng cốt lõi và 20 mẫu câu định tuyến thực tế.
• Quy trình và phương pháp phân tích: Tín hiệu sau khi số hóa được đưa qua bộ phát hiện điểm đầu - cuối giọng nói (Voice Activity Detection - VAD) để loại bỏ khoảng lặng và nhiễu nền. Dữ liệu tiếp tục được phân tích phổ qua 256 điểm biến đổi FFT, đi qua băng 20 đến 24 bộ lọc dải tam giác Mel-scale và biến đổi Cosine rời rạc (DCT). Việc sử dụng mô hình âm học HMM liên tục được chứng minh là lựa chọn tối ưu nhờ khả năng mô tả phân phối xác suất tham số liên tục thay vì lượng tử hóa rời rạc (VQ) vốn gây méo dạng tín hiệu.
• Nền tảng thực thi: Toàn bộ thuật toán được tối ưu hóa bằng ngôn ngữ C/C++ và biên dịch chéo (Cross-compile) để nhúng trực tiếp vào hệ điều hành Linux tối giản chạy trên vi xử lý ARM Cortex-A8 tốc độ 1 GHz của Kit BeagleBoard-xM, đảm bảo thời gian xử lý thời gian thực mà không phụ thuộc hạ tầng mạng bên ngoài.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã thu được nhiều phát hiện quan trọng có giá trị thực tiễn cao:

• Tối ưu hóa bộ lọc Pre-emphasis: Nghiên cứu xác định hệ số tiền nhấn a = 0.97 trong bộ lọc đáp ứng xung hữu hạn bậc một giúp khuếch đại biên độ các dải tần số cao lên tới 35 dB tại nửa tần số lấy mẫu (4.000 Hz). Điều này giúp bù trừ tổn hao bức xạ môi và tăng độ rõ nét của các âm xát, nâng cao độ chính xác nhận dạng thêm 4.8% so với khi không áp dụng bộ lọc tiền nhấn.
• Cấu trúc vector đặc trưng 26 chiều đạt hiệu suất vượt trội: Khảo sát thực nghiệm với số lượng bộ lọc Mel biến thiên từ 16 đến 32 bộ lọc cho thấy cấu hình 20 đến 24 bộ lọc tam giác kết hợp vector đặc trưng 26 chiều (kết hợp Cepstral và Delta) mang lại độ ổn định cao nhất. Độ chính xác nhận dạng từ đơn đạt mức 91.2%, cao hơn khoảng 8.4% so với hệ thống chỉ sử dụng 12 hệ số Cepstral cơ bản.
• Hiệu quả của mô hình HMM dựa trên đơn vị ngữ âm (Subword): Trong bài toán nhận dạng câu nói liên tục tiếng Việt với bộ từ vựng 50 từ, mô hình HMM cấp độ Subword đạt độ chính xác nhận dạng từ (Word Accuracy) trung bình 85.6% và độ chính xác nhận dạng câu đạt 82.5%. Mô hình này tiết kiệm hơn 40% dung lượng bộ nhớ lưu trữ tham số âm học so với phương pháp xây dựng HMM riêng biệt cho từng từ đơn.
• Tốc độ phản hồi định tuyến thời gian thực: Thuật toán A* cải tiến ứng dụng trên bản đồ khuôn viên Đại học Bách Khoa (gồm hơn 30 tòa nhà, phòng ban chức năng và các trục đường chính) cho thời gian tính toán và xuất câu lệnh hướng dẫn bằng giọng nói dưới 0.5 giây trên nền tảng BeagleBoard-xM.

Thảo luận kết quả

Các kết quả nghiên cứu có thể được tổng hợp trực quan thông qua bảng ma trận khảo sát độ chính xác theo tham số bộ lọc và đồ thị phân phối xác suất trạng thái HMM:

Tham số cấu hình	Giá trị khảo sát	Độ chính xác nhận dạng từ đơn (%)	Độ chính xác câu nói liên tục (%)
Hệ số tiền nhấn a	a = 0.97	91.2%	85.6%
Số bộ lọc Mel-bank	24 bộ lọc	90.8%	84.9%
Vector đặc trưng	26 chiều (MFCC + Delta)	91.2%	85.6%
Cấu trúc mô hình	HMM Subword (Phone)	88.5%	82.5%

Nguyên nhân chính giúp hệ thống đạt độ chính xác cao trên phần cứng giới hạn là nhờ việc kiểm soát chất lượng tín hiệu đầu vào bằng khối VAD chuẩn xác và áp dụng cấu trúc mô hình left-to-right trong HMM phù hợp với tiến trình phát âm tự nhiên của tiếng Việt. Khi so sánh với các nghiên cứu nhận dạng tiếng Việt trên máy tính cá nhân như VSpeech (đạt độ chính xác khoảng 95% nhưng yêu cầu chip xử lý công suất lớn), hệ thống nhúng trong luận văn đạt tỷ lệ nhận dạng hơn 85% là một bước tiến vượt bậc đối với các thiết bị độc lập tiêu thụ điện năng thấp.

Hạn chế tồn tại là khi mức độ nhiễu môi trường vượt quá ngưỡng 70 dB SPL (như tiếng ồn xe cộ giờ cao điểm hoặc tiếng hội trường đông người), độ chính xác nhận dạng suy giảm khoảng 12% đến 15%. Điều này giải thích do phổ nhiễu môi trường đã làm biến dạng các đỉnh phổ Formant trong miền tần số Mel, đòi hỏi các kỹ thuật khử nhiễu thích nghi nâng cao hơn trong các giai đoạn tiếp theo.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 nhóm giải pháp cụ thể nhằm hoàn thiện và nhân rộng hệ thống:

• Tích hợp vi mạch tiền xử lý lọc nhiễu âm thanh chuyên dụng: Nhóm kỹ sư phần cứng và phòng thí nghiệm Kỹ thuật Điện tử cần thiết kế bổ sung mảng micro định hướng (Dual-Microphone Array) tích hợp thuật toán lọc thích nghi LMS (Least Mean Squares). Mục tiêu là nâng tỷ số tín hiệu trên nhiễu (SNR) lên thêm tối thiểu 15 dB trong môi trường tiếng ồn đạt 75 dB, hoàn thành thử nghiệm mạch trong thời gian 6 tháng.
• Mở rộng từ điển âm học và dữ liệu huấn luyện giọng nói đa vùng miền: Các nhà nghiên cứu xử lý ngôn ngữ tự nhiên cần phối hợp thu thập thêm 1.000 mẫu giọng nói đại diện cho ba miền Bắc - Trung - Nam, mở rộng quy mô từ điển từ 50 từ lên 500 từ chuyên dụng cho chỉ dẫn đường bộ. Mục tiêu giảm tỷ lệ lỗi nhận dạng từ (Word Error Rate - WER) xuống dưới 7%, thực hiện trong lộ trình 9 tháng.
• Tối ưu hóa cấu trúc giải thuật định tuyến và thuật toán nén mô hình: Nhóm phát triển phần mềm nhúng cần áp dụng kỹ thuật lượng tử hóa trọng số mô hình HMM (Quantization từ 32-bit float sang 8-bit fixed-point) và cấu trúc lại đồ thị tìm đường A* đa tầng. Mục tiêu giảm thời gian xử lý toàn chu trình xuống dưới 200 miligiây và tiết kiệm 30% dung lượng RAM, hoàn thiện trong 3 tháng.
• Ứng dụng thử nghiệm thiết bị trợ dẫn cho người khiếm thị: Ban quản trị cơ sở vật chất nhà trường phối hợp cùng Đoàn thanh niên lắp đặt thử nghiệm 10 thiết bị chỉ đường thông minh tại các khu vực trọng điểm như Thư viện, Tòa nhà A1, Phòng Đào tạo với công suất phục vụ trên 200 lượt hỏi đáp mỗi ngày, tiến hành đánh giá hiệu quả sau 12 tháng vận hành.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị tham khảo sâu sắc cho 4 nhóm đối tượng chính:

• Kỹ sư thiết kế hệ thống nhúng và thiết bị IoT: Cung cấp tài liệu chi tiết về kỹ thuật xây dựng và cấu hình nhân Linux nhúng (Embedded Linux Kernel), phương pháp ánh xạ bộ nhớ và kỹ thuật biên dịch chéo các thư viện tính toán ma trận phức tạp lên vi xử lý kiến trúc ARM Cortex-A8.
• Học viên cao học và nhà nghiên cứu chuyên ngành Xử lý tín hiệu số: Nắm vững toàn bộ chu trình toán học từ biến đổi Fourier, trích xuất đặc trưng MFCC 26 chiều cho đến thuật toán huấn luyện tham số Baum-Welch và giải mã chuỗi trạng thái Viterbi trong mô hình Markov ẩn.
• Lập trình viên phát triển ứng dụng GIS và điều hướng nội khu: Tham khảo mô hình biểu diễn dữ liệu không gian thực tế dưới dạng đồ thị có trọng số, cách thức tối ưu hàm Heuristic trong thuật toán A* để giải quyết bài toán tìm đường đi ngắn nhất trong khuôn viên phức tạp.
• Doanh nghiệp và tổ chức phát triển công nghệ trợ năng: Ứng dụng giải pháp tương tác giọng nói ngoại tuyến với chi phí thấp để sản xuất các thiết bị dẫn đường tự hành cầm tay, robot lễ tân hoặc hệ thống kiosk thông tin tự động phục vụ cộng đồng người khiếm thị và người cao tuổi.

Câu hỏi thường gặp

Hệ thống nhúng trong nghiên cứu hoạt động độc lập hay có cần kết nối Internet không? Hệ thống được thiết kế để vận hành hoàn toàn độc lập (Offline) 100%. Toàn bộ tiến trình từ thu nhận âm thanh, trích xuất đặc trưng MFCC, nhận dạng câu nói bằng HMM cho đến tính toán giải thuật định tuyến A* đều được xử lý trực tiếp trên vi xử lý ARM của kit BeagleBoard-xM mà không gửi bất kỳ dữ liệu nào lên máy chủ đám mây.

Tại sao nghiên cứu sử dụng vector đặc trưng MFCC 26 chiều thay vì 12 chiều cơ bản? Vector 26 chiều tích hợp thêm 1 hệ số năng lượng khung và 13 hệ số đạo hàm bậc nhất theo thời gian (Delta). Các hệ số vi phân này phản ánh sự biến thiên động của âm thanh qua các khung thời gian liên tiếp, giúp mô hình nắm bắt chính xác các phụ âm đầu và âm đệm trong tiếng Việt, nâng cao độ chính xác nhận dạng thêm 8.4%.

Mô hình nhận dạng Subword (Phone) mang lại ưu thế gì so với mô hình nhận dạng từ đơn? Mô hình Subword chia nhỏ từ vựng thành các đơn vị âm thanh cơ bản (âm đầu, âm đệm, âm chính, âm cuối). Khi mở rộng tập từ vựng, hệ thống chỉ cần cập nhật từ điển phát âm mà không cần huấn luyện lại toàn bộ mô hình âm học từ đầu, giúp tiết kiệm hơn 40% tài nguyên bộ nhớ trên thiết bị nhúng.

Hệ thống xử lý thế nào khi hoạt động trong môi trường có tiếng ồn tại trường học? Hệ thống sử dụng bộ lọc tiền nhấn kết hợp thuật toán phát hiện tiếng nói VAD dựa trên ngưỡng năng lượng và tỷ lệ vượt qua mức không (Zero Crossing Rate). Khi hoạt động ở mức ồn phòng học thông thường dưới 70 dB SPL, hệ thống vẫn duy trì độ chính xác nhận dạng ổn định trên mức 80%.

Sự khác biệt cốt lõi giữa giải thuật A-Star và giải thuật Dijkstra trong luận văn là gì? Giải thuật Dijkstra duyệt mở rộng tất cả các nút lân cận theo hình tròn đồng tâm, tiêu tốn nhiều thời gian tính toán. Giải thuật A* bổ sung thêm hàm ước lượng khoảng cách Heuristic (khoảng cách đường chim bay đến đích), giúp định hướng tìm kiếm trực tiếp về phía mục tiêu, giảm từ 30% đến 40% số nút cần duyệt trên bản đồ Bách Khoa.

Kết luận

Công trình nghiên cứu luận văn thạc sĩ đã mang lại những đóng góp khoa học và ứng dụng thực tiễn nổi bật:

• Xây dựng thành công hệ thống nhúng nhận dạng tiếng nói tiếng Việt liên tục hoạt động hoàn toàn ngoại tuyến trên kit phần cứng BeagleBoard-xM.
• Hiện thực hóa chuỗi thuật toán trích xuất đặc trưng MFCC 26 chiều kết hợp mô hình Markov ẩn Continuous Density HMM đạt độ chính xác nhận dạng trên 85%.
• Số hóa dữ liệu không gian khuôn viên Trường Đại học Bách Khoa Thành phố Hồ Chí Minh và ứng dụng giải thuật định tuyến A* cho tốc độ phản hồi giọng nói dưới 0.5 giây.
• Làm chủ quy trình tối ưu hóa hệ điều hành Linux nhúng và kiến trúc phần mềm thời gian thực đáp ứng yêu cầu xử lý tín hiệu số phức tạp trên chip ARM.
• Định hình nền tảng kỹ thuật vững chắc để phát triển các thiết bị điều khiển tự động bằng giọng nói và công nghệ trợ dẫn giao thông tại Việt Nam.

Lộ trình phát triển tiếp theo trong 12 tháng tới sẽ tập trung vào việc tích hợp mảng micro khử nhiễu chủ động và nâng cấp tập từ điển lên 500 từ vựng. Độc giả, các nhà nghiên cứu và doanh nghiệp quan tâm đến công nghệ xử lý tiếng nói nhúng có thể tham khảo toàn văn công trình tại Thư viện Trường Đại học Bách Khoa – ĐHQG TP.HCM để khai thác chi tiết mã nguồn thuật toán và ứng dụng vào các dự án thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN 9 GVHD: TS. Hoàng Trang HVTH: Trần Văn Hoàng Ghi chú: a. Chú thích từ viết tắt trong bảng trên: Small: Kích thước bộ từ vựng nhỏ (thường nhận dạng các chữ số hoặc các từ đơn) Medium: Kích thước bộ từ vựng trung bình (thông thường < 5000 từ) Large: Kích thước bộ từ vựng nhận dạng lớn (thông thường > 5000 từ) Office: Cơ sở dữ liệu được thu thập ở môi trường yên tĩnh hoặc văn phòng điển hình (mức độ tiếng ồn là khoảng ~ 70 dB SPL) Telecom: Dữ liệu viễn thông (data được thu thập thông qua đường dây điện thoại tiêu chuẩn) Mil.: Ứng dụng quân sự liên quan đến môi trường ồn ào và phong cách nói khác nhau. FD: Frequency Domain Preemphasis (Tần số miền Preemphasis), ( áp dụng trực tiếp phổ - ~ 10-20 dB / decade ) LP: Linear Prediction (Dự báo tuyến tính), (bậc được hiển thị trong dấu ngoặc đơn) PLP: Perceptually-Motivated Linear Prediction FFT: Fast Fourier Transform (Biến đổi Fourier nhanh) FB: Filter Bank (Bộ lọc) Cep.: Cepstral Parameters (thông số Cepstral) Power: Signal Power (thông thường là ở dB) Mel: Mel Scale Parameters Bark: Bark Scale Parametets Liftered: Liftered Scale Parameters BT: Mel Scale Parameters Computed Using the Bilinear Transform D-FB: Delta (Đạo hàm theo thời gian) Filter Bank.

D-D-FB: Delta-Delta Filter Bank Parameters (Đạo hàm cấp 2). D-Power: Delta Power (Đạo hàm năng lượng theo thời gian) D-D-Power: Delta-Delta-Power (Đạo hàm cấp 2 năng lượng) PWLR: Perceptually Weighted Log LIkelihood Distance Measure VQ: Vector Quantization MS-VQ: Multi-stage Vector Quantization (VQ with multiple codebooks) PT: Prewhitening Transformation Variance: Variance-Weighted Parameters (Diagonal components of the prewhitening transformation) Identity: Identity Matrix Weighted Parameters (No Weighting) Fixed: A Fixed (a priori) Weighting Matrix is used (sometimes called “Pooled” or “Grand”) HMM: Hidden Markov Model NN: Neural Network TD-NN: Time Delay Neural Network DP: Dynamic Programming CD-HMM: Continuous Density Hidden Markov Models DD-HMM: Discrete Density HMM FSA: Finite State Automaton (usually a regular grammar) CHƯƠNG 1: TỔNG QUAN 10 GVHD: TS. Hoàng Trang HVTH: Trần Văn Hoàng CFG: Context Free Grammar (Văn phạm phi ngữ cảnh) CSG: Context Sensitive Grammar (Ngữ pháp theo ngữ cảnh) LCQ2: Learning Vector Quantizer (a Neural Network approach to vector quantization) MLP: Multi-Layer Perceptron Neural Network b. Chú thích các hạng mục: Công ty/Đại học chủ yếu chịu trách nhiệm cho việc nghiên cứu Tổ chức: trích dẫn Một bản tóm tắt ngắn gọn về các loại cơ sở dữ liệu được sử dụng Ứng dụng: trong các ấn phẩm được trích dẫn Tần số lấy mẫu, Preemphasis, khung thời gian, cửa sổ thời gian của các phân tích phổ.

Đối với một số hệ thống, preemphasis Các thông số xử lý tín được thực hiện trực tiếp trong miền tần số. Theo sau phân tích hiệu: phổ, chuỗi các hoạt động được hiển thị. Tham số tín hiệu được sử dụng trong hệ thống. Chúng có nguồn Các tham số tín hiệu: gốc từ các thông số phân tích phổ.

Mô hình thống kê được sử dụng trong hệ thống nhận dạng giọng Mô hình thống kê: nói. Các công trình kể trên, trong quá trình thực thi đã xuất phát từ những nghiên cứu ban đầu từ những chọn lựa các thiết kế như bộ lọc ảnh hưởng đến độ chính xác [79], phép tính toán FFT của Cooley-Turkey [80], hay các cách tính gần đúng của Mitchell [81] nhằm cải thiện thiết kế. Ngoài ra, một vấn đề cần quan tâm là vấn đề môi trường huấn luyện và môi trường nhận dạng phải tương đồng với nhau, nghĩa là mức nhiễu cũng tương đồng nhau thì độ chính xác nhận dạng mới tốt. Các công trình đã cho thấy nhiễu khi nhận dạng khác với nhiễu khi huấn luyện ảnh hưởng xấu đến chất lượng nhận dạng và tìm cách khác phục nó [82], [83], [84], [85], [86].

Aurora [87] là một cơ quan nghiên cứu của Châu Âu, đã mô tả cách xây dựng cơ sở dữ liệu cũng như cách tiến hành các thí nghiệm để đánh giá chất lượng của thuật toán trích đặc trưng tín hiệu tiếng nói và chất lượng của toàn hệ thống nhận dạng tiếng nói trong các môi trường nhiễu khác nhau. Các tập dữ liệu và các thí nghiệm được xây dựng dùng cho việc đánh giá hệ thống CHƯƠNG 1: TỔNG QUAN 11 GVHD: TS. Hoàng Trang HVTH: Trần Văn Hoàng nhận dạng có sự tham gia của nhiễu môi trường (dùng phương pháp cộng nhiễu). Dữ liệu sạch (dữ liệu gốc) được lấy từ TIDigits [88], tập dữ liệu ngôn ngữ tiếng Anh (do người Mỹ đọc).

Aurora hướng tới việc đánh giá quá trình nhận dạng tiếng nói của các hệ thống viễn thông, do đó tín hiệu nhiễu được lựa chọn đại diện cho các môi trường phổ biến nhất có khả năng sử dụng các thiết bị viễn thông đầu cuối. Tám loại nhiễu đã được sử dụng để tạo ra các tập dữ liệu méo dạng khác nhau (sử dụng phương pháp cộng): nhiễu trong môi trường xe ô tô, tàu điện ngầm, nhà hàng, sân bay, khu vực đông người, triển lãm, trên đường, ga tàu điện [87]. Bên cạnh đó, cũng có các công trình đề nghị cách xây dựng môi trường kiểm tra thiết kế nhận dạng tiếng nói [89], hay các thiết kế nâng cao hơn trong giao tiếp bộ nhớ [90], cũng như thiết kế-layout cho chip nhận dạng tiếng nói trên những công nghệ mới như 40nm [91]. Ngoài ra, ứng dụng nhận dạng giọng nói Siri trên hệ điều hành iOS của Apple, Google Now trên hệ điều hành Android của Google cũng cần phải nhắc đến.

Nuance Communications, một tập đoàn truyền thông có trụ sở tại Massachusetts, Hoa Kỳ mới đây đã giới thiệu đến cộng đồng sử dụng iOS Việt Nam bộ đôi ứng dụng phục vụ việc tìm kiếm và nhập dữ liệu thông qua giọng nói với cái tên Dragon Search và Dragon Dictation. Điều đặc biệt của bộ đôi ứng dụng này, đó là chúng đều có hệ thống module nhận diện tiếng Việt tương đối hoàn chỉnh, có thể nhận diện những câu chữ phổ biến được nhập vào chiếc điện thoại. Các ứng dụng Siri, Google Now, Dragon Search, Dragon Dictation… đều có chung một nhược điểm là khi sử dụng bắt buộc thiết bị phải kết nối internet. Sử dụng tài nguyên của server để nhận dạng câu nói.

Điều đó làm cho độ độc lập của thiết bị bị hạn chế, không sử dụng được đối với những nơi không có kết nối internet, khó ứng dụng để điều khiển hay sử dụng cho một ứng dụng cụ thể nào đó. CHƯƠNG 1: TỔNG QUAN 12 GVHD: TS. Hoàng Trang HVTH: Trần Văn Hoàng 1.2 Hệ điều hành nhúng cho các ứng dụng thời gian thực[92]: Một hệ thống nhúng là sự kết hợp giữa phần cứng và phần mềm và có thể có các thành cơ học khác được thiết kế để thực hiện một chức năng nhất định. Một hệ thống nhúng thông thường là hệ thống bên trong một hệ thống khác lớn hơn.

Các xe ô tô hiện đại và các xe tải chứa rất nhiều hệ thống nhúng. Một hệ thống nhúng điều khiển chống bó phanh, cái khác thì theo dõi và kiểm soát khí thải xe, cái khác nữa thì hiển thị các thông tin trên bảng điều khiển. Ngay cả các máy tính các nhân thông thường cũng được hình thành từ rất nhiều hệ thống nhúng. Bàn phím, chuột, card màn hình, modem, ổ đĩa cứng, ổ đĩa mềm, và card âm thanh đều là hệ thống nhúng.

Một trong những phân lớp của hệ thống nhúng là hệ thống nhúng thời gian thực. Một hệ thống thời gian thực là hệ thống mà nó có ràng buộc về thời gian. Hiệu suất của một hệ thống thời gian thực thì được xác định trong việc có khả năng tính toán hay quyết định một cách kịp thời. Các tính toán quan trọng đều có thời hạn hoàn thành.

Một tính toán hay quyết định không kịp thời hạn cho phép sẽ gây hậu quả xấu giống như việc tính toán hoặc quyết định sai. Thiệt hại gây ra bởi việc tính toán không đúng thời hạn tùy thuộc vào mỗi ứng dụng cụ thể. Lấy ví dụ, nếu một hệ thống thời gian thực là một bộ phận của hệ thống kiểm soát không lưu, một tính toán hay quyết định không đúng thời hạn có thể gây nguy hiểm đến tính mạng của hành khách và phi hành đoàn.  Bên trong một hệ thống nhúng Các tính năng quan trọng phổ biến và yêu cầu thiết kế của một phần cứng nhúng bao gồm: i.

Processing power: Lựa chọn bộ xử lý dựa trên sức mạnh xử lý để hoàn thành công việc và còn dựa trên độ rộng thanh ghi yêu cầu. Throughput: Hệ thống có thể cần xử lí nhiều dữ liệu trong một khoảng thời gian ngắn. CHƯƠNG 1: TỔNG QUAN 13 GVHD: TS. Hoàng Trang HVTH: Trần Văn Hoàng iii.

Response: Hệ thống có thể phản ứng với các sự kiện một cách nhanh chóng. Memory: Người thiết kế phần cứng phải ước lượng một cách tốt nhất bộ nhớ yêu cầu và phải trích lập dự phòng cho việc mở rộng. Power consumption: Hệ thống thông thường làm việc dựa vào pin và việc thiết kế phần cứng và phần mềm phải cẩn trọng trong tiết kiệm năng lượng cho hệ thống. Number of units: Số sản phẩm định làm ra và bán sẽ quyết định việc cân nhắc giữa chi phí sản xuất và chi phí phát triển.

Expected lifetime: Các quyết định trong thiết kế như việc lựa chọn các thành phần, bộ phận ảnh hưởng đến chi phí phát triển hệ thống sẽ phụ thuộc vào việc tuổi thọ hệ thống là bao lâu. Program Installation: Cài đặt phần mềm cho hệ thống nhúng cần các công cụ đặc biệt. Testability & Debugability: thiết lập điều kiện test và công cụ sẽ rất khó khăn. Reliability: là điều rất quan trọng.

 Tại sao dùng hệ điều hành nhúng cho các ứng dụng thời gian thực?[92] Tính toán thời gian thực là nơi mà hệ thống chính xác không chỉ phụ thuộc vào tính chính xác của các kết quả hợp lý mà còn phụ thuộc vào thời gian cho ra kết quả. Vì vậy hệ điều hành cần có các tính năng để hổ trợ các yêu cầu quan trọng này để làm cho nó được gọi là hệ điều hành thời gian thực (Real-time Operating System – RTOS). Hệ điều hành không phải là một thành phần cần thiết của bất kỳ hệ thống máy tính. Một lò vi sóng đơn giản không yêu cầu một hệ điều hành.

Tuy nhiên, sự phức tạp của các ứng dụng mở rộng vượt ra ngoài nhiệm vụ đơn giản của những lợi ích của một hệ điều hành có nhiều giá trị hơn liên quan chi phí. Từ khi hệ thống nhúng (PDAs, điện thoại di động, VCRs, điều CHƯƠNG 1: TỔNG QUAN 14 GVHD: TS. Hoàng Trang HVTH: Trần Văn Hoàng khiển robot công nghiệp, hay ngay cả máy nướng bánh) trở nên phức tạp hơn về phần cứng qua mỗi thế hệ sản phẩm, và càng ngày càng nhiều tính năng được đưa vào, ứng dụng mà các thiết bị này chạy đòi hỏi nhiều hơn và nhiều chi tiết chạy trên mã hệ điều hành thực tế để đáp ứng các yêu cầu tốc độ phản ứng của hệ thống và giữ thời gian phát triển hợp lý [93].