Tổng quan nghiên cứu

Giám định âm thanh pháp lý tại Việt Nam đã có lịch sử hình thành và phát triển hơn 20 năm, kể từ khi Viện Khoa học hình sự - Bộ Công an chính thức triển khai công tác này từ năm 1998. Trong bối cảnh số lượng vụ án hình sự liên quan đến chứng cứ âm thanh kỹ thuật số gia tăng từ 15% đến 20% mỗi năm, nhu cầu tự động hóa quy trình phân loại ngôn ngữ nói ban đầu trước khi tiến hành giám định chuyên sâu trở nên cấp thiết. Vấn đề nghiên cứu trọng tâm của đề tài là xây dựng giải pháp nhận dạng ngôn ngữ nói tự động dựa trên các tham số ngôn điệu học, cụ thể là tần số cơ bản (F0 hay Pitch), nhằm khắc phục hạn chế của các phương pháp phân tích phổ truyền thống vốn đòi hỏi chi phí tính toán cao và nhạy cảm với tạp âm môi trường.

Mục tiêu cụ thể của luận văn là nghiên cứu cấu trúc âm học, cơ chế phát âm và sự biến thiên của đường nét tần số cơ bản F0 giữa hai ngôn ngữ có đặc trưng ngữ điệu tương phản: tiếng Việt (ngôn ngữ đơn âm tiết có thanh điệu) và tiếng Pháp (ngôn ngữ đa âm tiết có trọng âm). Trên cơ sở đó, đề tài thiết kế giải pháp trích xuất đặc trưng bằng thuật toán vi sai biên độ trung bình kết hợp mạng nơ-ron nhân tạo để phân loại chính xác hai ngôn ngữ này. Phạm vi dữ liệu nghiên cứu bao gồm các mẫu giọng nói thực tế từ tàng thư tiếng nói của Viện Khoa học hình sự và các bộ dữ liệu tiếng Pháp chuẩn trên Internet, được triển khai thực hiện tại Hà Nội trong giai đoạn 2018 - 2020. Nghiên cứu mang ý nghĩa thực tiễn to lớn khi hỗ trợ rút ngắn hơn 60% thời gian phân loại chứng cứ sơ bộ, đồng thời mở ra hướng ứng dụng hiệu quả các tham số ngôn điệu vào hệ thống nhận dạng tự động phục vụ an ninh quốc gia và công tác tư pháp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp liên ngành giữa lý thuyết âm học tiếng nói, ngôn ngữ học đối chiếu và mô hình trí tuệ nhân tạo:

  • Lý thuyết sản xuất và xử lý tín hiệu âm thanh: Dựa trên mô hình nguồn - bộ lọc (Source-Filter Model) của Fant, tiếng nói được tạo ra từ luồng khí đẩy từ phổi làm rung hai dây thanh quản (tạo nguồn kích thích) và được biến đổi qua tuyến âm. Tần số dao động của dây thanh xác định tần số cơ bản F0, mang thông tin về cao độ và ngữ điệu của người nói. Dải tần số F0 thông thường dao động từ 80 Hz đến 200 Hz đối với nam giới, từ 150 Hz đến 450 Hz đối với nữ giới và có thể đạt từ 200 Hz đến 600 Hz ở trẻ em.
  • Ngôn ngữ học âm điệu đối chiếu: Khung lý thuyết phân tích ngữ điệu phân biệt rõ bản chất của hai hệ thống ngôn ngữ. Tiếng Việt là ngôn ngữ đơn âm tiết có 6 thanh điệu (ngang, huyền, ngã, hỏi, sắc, nặng), trong đó mỗi âm tiết mang một đường cong F0 biến đổi mạnh mẽ về cao độ và hình dạng. Ngược lại, tiếng Pháp là ngôn ngữ không thanh điệu mà hoạt động dựa trên các quy tắc nhóm trọng âm (Stress Group) và nhóm ngữ điệu (Intonation Group), khiến đường nét F0 giữa các âm tiết có xu hướng biến thiên tương đối phẳng và ổn định.
  • Mô hình mạng nơ-ron lan truyền ngược (Back-Propagation Network - BPN): Ứng dụng lý thuyết mạng nơ-ron nhân tạo nhiều lớp với thuật toán học có giám sát để xấp xỉ các hàm phi tuyến phức tạp, đóng vai trò làm bộ ra quyết định phân loại ngôn ngữ từ các vector đặc trưng F0.

Phương pháp nghiên cứu

  • Nguồn dữ liệu và cỡ mẫu: Nghiên cứu sử dụng tổng cộng 1.000 tệp âm thanh mẫu, bao gồm 500 mẫu giọng nói tiếng Việt thu thập từ tàng thư âm thanh của Viện Khoa học hình sự và 500 mẫu giọng nói tiếng Pháp thu thập từ các nguồn ngữ liệu mở chuẩn hóa trên Internet. Thời lượng mỗi mẫu âm thanh dao động từ 3 đến 5 giây.
  • Phương pháp chọn mẫu: Áp dụng phương pháp chọn mẫu phân tầng có chủ đích (Stratified Purposive Sampling) với tỷ lệ cân bằng 50% giọng nam và 50% giọng nữ cho cả hai ngôn ngữ. Cách tiếp cận này giúp triệt tiêu sự thiên lệch do khác biệt cao độ tự nhiên giữa hai giới tính, đảm bảo mô hình chỉ tập trung học các biến thiên quy luật của ngôn ngữ.
  • Phương pháp phân tích và lý do lựa chọn: Tín hiệu âm thanh được số hóa ở tần số lấy mẫu chuẩn 11.025 kHz với độ phân giải 8-bit mono. Luận văn lựa chọn thuật toán Hàm vi sai biên độ trung bình (AMDF) thay vì Hàm tự tương quan (ACF) để trích xuất F0. Lý do là AMDF sử dụng phép tính trừ thay cho phép nhân, giúp giảm hơn 40% khối lượng tính toán của CPU và tạo ra đường nét vận động chu kỳ cao độ trơn tru hơn. Tín hiệu sau khi trích xuất được lọc qua bộ lọc thông cao cắt ở tần số 60 Hz, khử các đỉnh lỗi (Pitch Halving/Doubling), làm mịn bằng bộ lọc trung bình trọng số và chuẩn hóa thành vector 15 chiều để đưa vào huấn luyện mạng nơ-ron. Toàn bộ quá trình thực nghiệm được triển khai từ tháng 04/2018 đến tháng 04/2020.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và kiểm thử trên hệ thống nhận dạng tự động đã ghi nhận những phát hiện quan trọng:

  • Sự phân kỳ rõ nét về hình thái đường nét F0: Đường cong tần số cơ bản của tiếng Việt thể hiện sự biến thiên nội âm tiết rất lớn với độ dốc biên độ thay đổi từ 30 Hz đến 60 Hz giữa các thanh điệu (ví dụ thanh sắc tăng mạnh về cuối âm tiết, thanh huyền giảm đều, thanh nặng gãy tụt sâu). Trong khi đó, đường nét F0 của tiếng Pháp duy trì độ biến thiên ổn định trong biên độ dưới 15 Hz xuyên suốt các âm tiết không mang trọng âm cuối nhóm.
  • Hiệu suất phân loại ngôn ngữ vượt trội: Khi thử nghiệm trên tập dữ liệu kiểm thử độc lập gồm 200 mẫu âm thanh chưa từng xuất hiện trong quá trình huấn luyện, mô hình mạng nơ-ron BPN với vector đặc trưng F0 chuẩn hóa 15 chiều đạt độ chính xác 93,5% đối với tiếng Việt và 91,2% đối với tiếng Pháp, mang lại tỷ lệ nhận dạng chính xác trung bình toàn hệ thống đạt 92,35%.
  • Tối ưu hóa thời gian tính toán và khả năng lọc nhiễu: Việc áp dụng kỹ thuật xén ngưỡng động với mức cắt bằng 1/3 biên độ cực đại kết hợp phân đoạn khung 200 mẫu (khoảng 18,1 ms) đã loại bỏ thành công hơn 85% các đỉnh nhiễu và lỗi nhận nhầm chu kỳ cao độ. Thời gian xử lý trung bình để đưa ra kết luận nhận dạng cho một tệp âm thanh 3 giây chỉ mất khoảng 0,35 giây trên cấu hình máy tính văn phòng tiêu chuẩn.

Thảo luận kết quả

Kết quả nhận dạng đạt trên 92% chứng minh tính đúng đắn của giả thuyết nghiên cứu: đặc trưng ngôn điệu bắt nguồn từ tần số cơ bản F0 mang tính phân tách ngôn ngữ cực kỳ mạnh mẽ giữa ngôn ngữ có thanh điệu và ngôn ngữ có trọng âm. Bản chất tiếng Việt cấu tạo từ các âm tiết độc lập mang thanh điệu riêng biệt buộc dây thanh quản phải liên tục thay đổi trạng thái căng giãn, tạo nên các bước nhảy tần số F0 đặc trưng mà tiếng Pháp không có.

Dữ liệu thực nghiệm của nghiên cứu có thể được biểu diễn một cách trực quan qua ma trận nhầm lẫn (Confusion Matrix) dạng bảng phân loại 2x2, giúp theo dõi chi tiết tỷ lệ phân loại đúng và sai lệch giữa các lớp ngôn ngữ. Đồng thời, biểu đồ đường (Line Chart) so sánh dáng điệu F0 giữa 6 thanh điệu tiếng Việt và các chuỗi ngữ điệu tiếng Pháp minh họa rõ nét sự tách biệt về mặt hình thái học âm thanh. So với các hệ thống nhận dạng truyền thống sử dụng hệ số Mel-Frequency Cepstral Coefficients (MFCC) vốn đòi hỏi xử lý từ 24 đến 39 chiều đặc trưng và dễ bị suy giảm hiệu năng khi có tạp âm nền, phương pháp sử dụng vector F0 15 chiều giúp giảm 60% kích thước dữ liệu đầu vào mà vẫn duy trì độ chính xác tương đương các nghiên cứu quốc tế trong cùng giai đoạn.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu lý thuyết và thực nghiệm, luận văn đề xuất 4 nhóm giải pháp cụ thể nhằm mở rộng ứng dụng trong thực tế:

  1. Tích hợp mô-đun nhận dạng F0 vào phần mềm giám định âm thanh chuyên dụng: Đề nghị Phòng Giám định Kỹ thuật số và Điện tử thuộc Viện Khoa học hình sự tích hợp thuật toán AMDF tối ưu hóa vào dây chuyền giám định kỹ thuật số trong vòng 6 tháng tới, hướng đến mục tiêu tự động hóa 80% công đoạn sàng lọc và phân loại ngôn ngữ ban đầu cho các tệp ghi âm chứng cứ.
  2. Mở rộng quy mô cơ sở dữ liệu huấn luyện đa phương ngữ và đa ngôn ngữ: Các đơn vị nghiên cứu cần xây dựng kế hoạch thu thập thêm ít nhất 2.000 mẫu âm thanh bao phủ đầy đủ các phương ngữ tiếng Việt (Bắc, Trung, Nam) và bổ sung thêm các ngôn ngữ phổ biến khác như tiếng Anh, tiếng Trung Quốc; mục tiêu hoàn thành bộ ngữ liệu chuẩn vào quý IV năm 2026.
  3. Nâng cấp kiến trúc mạng nơ-ron học sâu: Nhóm kỹ sư phát triển phần mềm cần nghiên cứu chuyển đổi từ mạng nơ-ron truyền thống BPN sang các kiến trúc học sâu tiên tiến như Convolutional Neural Network (CNN) hoặc Long Short-Term Memory (LSTM) trong 12 tháng tới, nhằm tăng khả năng kháng nhiễu đối với các đoạn ghi âm có tỷ số tín hiệu trên tạp âm (SNR) thấp dưới 10 dB.
  4. Chuẩn hóa quy trình thu nhận và xử lý tín hiệu âm thanh tư pháp: Bộ Công an và các cơ quan tố tụng cần ban hành khung tiêu chuẩn kỹ thuật số hóa tín hiệu âm thanh với tần số lấy mẫu tối thiểu từ 16 kHz đến 44.1 kHz, đảm bảo giữ nguyên vẹn dải động của các hài âm và tần số cơ bản phục vụ giám định tư pháp đạt độ tin cậy tối đa.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho nhiều nhóm đối tượng chuyên môn:

  • Giám định viên kỹ thuật hình sự và âm thanh pháp lý: Nắm bắt phương pháp khoa học để phân loại tự động tệp âm thanh nguồn, hỗ trợ rút ngắn thời gian xử lý các vụ án có khối lượng dữ liệu ghi âm lớn từ vài chục giờ xuống còn vài phút.
  • Kỹ sư xử lý tiếng nói và trí tuệ nhân tạo (Speech Processing Engineers): Khai thác chi tiết các giải pháp tối ưu thuật toán AMDF, kỹ thuật phân đoạn âm thanh và cách chuẩn hóa vector F0 để tích hợp vào các hệ thống nhận dạng giọng nói, tổng hợp tiếng nói hoặc trợ lý ảo.
  • Giảng viên và học viên cao học ngành Khoa học máy tính, Kỹ thuật viễn thông: Sử dụng luận văn như một tài liệu nghiên cứu chuyên sâu, cung cấp đầy đủ cả cơ sở toán học (ACF, AMDF, STFT, Cepstrum) lẫn code thực nghiệm trong việc ứng dụng mạng nơ-ron nhân tạo vào xử lý tín hiệu thực tế.
  • Doanh nghiệp phát triển giải pháp tổng đài thông minh (Call Center AI): Ứng dụng mô hình phân loại ngôn ngữ kích thước nhẹ để tự động điều hướng cuộc gọi đa ngôn ngữ của khách hàng quốc tế, giúp tiết kiệm hơn 50% chi phí hạ tầng máy chủ so với các mô hình nhận dạng ngôn ngữ phức tạp.

Câu hỏi thường gặp

1. Tại sao tần số cơ bản F0 lại là đặc trưng then chốt để phân biệt tiếng Việt và tiếng Pháp?
Tần số cơ bản F0 phản ánh trực tiếp cao độ giọng nói do sự dao động của dây thanh âm tạo ra. Tiếng Việt là ngôn ngữ thanh điệu với 6 thanh khác nhau làm F0 biến đổi liên tục từ 30 Hz đến 60 Hz trong từng âm tiết, trong khi tiếng Pháp là ngôn ngữ trọng âm với đường F0 biến thiên ổn định dưới 15 Hz, tạo nên sự phân tách đặc trưng rõ rệt.

2. Thuật toán AMDF có ưu điểm gì vượt trội so với hàm tự tương quan ACF?
Hàm vi sai biên độ trung bình (AMDF) sử dụng các phép tính trừ thay vì các phép tính nhân như trong hàm tự tương quan (ACF). Điều này giúp giảm hơn 40% chi phí tính toán phần cứng, xử lý tín hiệu nhanh hơn trong thời gian thực và tạo ra đường vận động chu kỳ cao độ mang tính trung bình trơn tru hơn.

3. Kỹ thuật chuẩn hóa vector đặc trưng F0 về kích thước 15 chiều có làm mất mát thông tin không?
Không làm mất mát thông tin quan trọng. Qua các thử nghiệm với tần số lấy mẫu 11.025 kHz và kích thước khung 200 mẫu, số khung trung bình cho một mẫu âm thanh là khoảng 15 khung. Việc chuẩn hóa vector về kích thước 15 phần tử vừa giữ trọn vẹn dáng điệu ngữ điệu tổng thể, vừa đáp ứng yêu cầu số chiều đầu vào cố định của mạng nơ-ron BPN.

4. Hệ thống nhận dạng F0 có hoạt động chính xác trong môi trường có nhiều tạp âm không?
Hệ thống duy trì độ chính xác cao nhờ tích hợp bộ lọc thông cao 60 Hz để cắt bỏ tạp âm dải thấp, kết hợp kỹ thuật xén ngưỡng động ở mức 1/3 biên độ cực đại và bộ lọc trung bình trọng số. Các kỹ thuật này triệt tiêu hơn 85% các đỉnh nhiễu bất thường trước khi đưa dữ liệu vào mạng nơ-ron.

5. Mô hình này có thể mở rộng để phân loại các cặp ngôn ngữ khác được không?
Hoàn toàn có thể mở rộng. Phương pháp trích xuất F0 phát huy hiệu quả cao nhất khi phân biệt giữa một ngôn ngữ có thanh điệu (như tiếng Việt, tiếng Trung, tiếng Thái) và một ngôn ngữ không có thanh điệu (như tiếng Pháp, tiếng Anh, tiếng Nga), mở ra tiềm năng ứng dụng cho các hệ thống nhận dạng đa ngôn ngữ quy mô lớn.

Kết luận

  • Luận văn đã giải quyết thành công bài toán nhận dạng ngôn ngữ nói tự động giữa tiếng Việt và tiếng Pháp thông qua việc khai thác triệt để đặc trưng tần số cơ bản F0.
  • Ứng dụng thành công thuật toán AMDF kết hợp xử lý ngưỡng động và lọc làm mịn, giúp giảm hơn 40% khối lượng tính toán so với các kỹ thuật phân tích phổ truyền thống.
  • Xây dựng hoàn chỉnh mô hình mạng nơ-ron lan truyền ngược BPN với vector đặc trưng 15 chiều, đạt độ chính xác nhận dạng trung bình ấn tượng 92,35%.
  • Đóng góp giải pháp công nghệ có tính ứng dụng thực tiễn cao phục vụ trực tiếp công tác giám định âm thanh kỹ thuật số tại Viện Khoa học hình sự - Bộ Công an.
  • Đặt nền móng khoa học vững chắc để tiếp tục mở rộng mô hình sang các kiến trúc học sâu tiên tiến và hệ thống giám định đa ngôn ngữ trong giai đoạn 2026 - 2030.

Hãy áp dụng ngay các kỹ thuật trích xuất đặc trưng F0 và mô hình phân loại ngôn ngữ từ luận văn để tối ưu hóa hiệu năng cho các dự án xử lý tiếng nói và hệ thống giám định âm thanh tự động của bạn.