Nhận diện từ khóa sử dụng vi điều khiển: Phương pháp và ứng dụng

Chuyên khảo phân tích Nhận diện từ khóa sử dụng vi điều khiển, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Đỗ Xuân Thơ
• Người hướng dẫn: TS. Nguyễn Trần Hữu Nguyên
• Trường học: Đại học Quốc gia TP.HCM
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Nhận diện từ khóa sử dụng vi điều khiển
• Loại tài liệu: luận văn tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Lời cam đoan
• Lời cảm ơn
• Tóm tắt
• Danh mục hình ảnh
• Danh mục từ viết tắt
• 1. Chương 1: Giới thiệu
• 1.1. Tại sao lại là "Nhận diện từ khoá"?
• 1.2. Mục tiêu và giới hạn của đề tài
• 1.3. Ý nghĩa của đề tài
• 1.3.1. Ý nghĩa thực tiễn
• 1.3.2. Ý nghĩa khoa học
• 1.4. Cấu trúc luận văn tốt nghiệp
• 2. Chương 2: Cơ sở lý thuyết và nền tảng công nghệ
• 2.1. Âm thanh và các đặc trưng của âm thanh
• 2.1.2. Các đặc trưng vật lý của âm thanh [31]
• 2.1.3. Cách tạo ra âm thanh và thu nhận âm thanh bởi con người [29]
• 2.1.4. Các đặc trưng của tiếng nói [29]
• 2.2. Thiết bị thu nhận âm thanh
• 2.2.1. Tổng quan về bộ thu âm thanh - Microphone
• 2.2.2. Một số loại Microphone hiện nay
• 2.3. STM32F746NG Discovery Board
• 2.3.2. Các thành phần chính [25]
• 2.3.3. Một số ứng dụng của vi điều khiển STM32F746 [25]
• 2.3.4. Trình điều khiển HAL (HAL driver)[23]
• 2.4. Nhận dạng giọng nói tự động - Automatic Speech Recognition (ASR)
• 2.4.2. Vì sao cần thiết kế hệ thống nhận diện giọng nói?
• 2.4.3. Phương pháp
• 2.5. Thư viện hỗ trợ lập trình
• 2.5.1. Board Support Package (BSP) [4][33]
• 2.5.2. Common Microcontroller Software Interface Standard (CMSIS) [17]
• 2.5.3. TensorFlow & TensorFlow Lite [26][27]
• 2.6. Các kiến thức liên quan
• 2.6.1. Analog, Digital và ADC
• 2.6.2. Các chuẩn kết nối
• 2.6.2.1. Serial Audio Interface (SAI) [16]
• 2.6.2.2. Universal Asynchronous Receiver/Transmitter (UART)
• 2.6.3. Fast Fourier Transform [35]
• 2.6.4. Inverse Fast Fourier Transform [12]
• 2.6.5. Tín hiệu PDM và PCM [24]
• 2.6.6. Chuyển từ PDM sang PCM [1]
• 2.6.7. Tổng quan về Neural Network
• 2.6.8. Các mô hình Neural Network thường dùng trong Nhận Diện Từ Khóa
• 3. Chương 3: Thiết kế hệ thống
• 3.1. Hệ thống phần cứng
• 3.1.1. Thiết kế tổng quan
• 3.1.2. Thiết bị huấn luyện mô hình - Laptop
• 3.1.3. Thiết bị thu âm - Microphone [24]
• 3.1.3.1. Cảm biến digital MEMS microphone
• 3.1.3.2. Kết nối cơ bản giữa các module
• 3.1.4. Bộ giải mã âm thanh - Audio codec
• 3.1.5. Thiết bị xử lý - MCU
• 3.1.6. Thiết bị xuất dữ liệu
• 3.2. Thiết kế tổng quan
• 3.3. Trích xuất đặc trưng sử dụng MFCC [28]
• 3.4. Xây dựng mô hình DS-CNN [21]
• 4. Chương 4: Hiện thực hệ thống
• 4.2. Tập dữ liệu
• 4.3. Huấn luyện mô hình
• 4.3.2. Luồng hoạt động
• 4.4. Vi điều khiển STM32F746NG
• 4.4.2. BSP - DISCOF746NG
• 4.4.3. Luồng hoạt động
• 5. Chương 5: Triển khai hệ thống
• 5.1. Môi trường triển khai
• 5.1.2. GNU Arm Embedded Toolchain
• 5.2. Thực hiện thí nghiệm
• 5.2.1. Các thông số đánh giá
• 5.2.2. Thu thập dữ liệu
• 5.2.3. Thí nghiệm kiểm thử mô hình trên máy tính
• 5.2.4. Thí nghiệm kiểm thử mô hình trên vi điều khiển
• 5.3. Các bước triển khai hệ thống
• 5.3.1. Huấn luyện mô hình
• 5.3.1.1. Thu thập dữ liệu mẫu
• 5.3.1.2. Huấn luyện mô hình
• 5.3.1.3. Chuyển đổi tệp tflite sang tệp C-array
• 5.3.2. Build chương trình
• 5.3.3. Nạp chương trình vào board
• 6. Chương 6: Kết quả thực nghiệm
• 6.1. So sánh 02 mô hình DNN và DS-CNN
• 6.1.2. Theo số lượng từ khoá nhận diện
• 6.2. Nhận diện từ khoá thực tế trên vi điều khiển
• 6.2.2. Huấn luyện mô hình
• 6.2.3. Nhận diện từ khóa bằng mô hình đã huấn luyện
• 6.2.3.1. Khi ở không có âm thanh xung quanh
• 6.2.3.2. Phát âm từ "Go"
• 6.2.3.3. Phát âm từ "Up"
• 7. Chương 7: Kết luận và khuyến nghị
• 7.1. Đánh giá kết quả đạt được
• 7.1.1. Đối với tìm hiểu các vấn đề liên quan đến lĩnh vực nhận diện từ khóa
• 7.1.2. Đối với các cơ sở lý thuyết và nền tảng công nghệ
• 7.1.3. Đối với việc phân tích và thiết kế hệ thống
• 7.1.4. Đối với việc hiện thực hệ thống
• 7.2. Đánh giá công việc chưa thực hiện được
• 7.2.1. Đối với cơ chế nhận diện từ khóa
• 7.2.2. Đối với việc ứng dụng nhận diện từ khóa vào các ứng dụng IoT
• 7.2.3. Đối với hiệu suất của hệ thống nhận diện từ khóa hiện tại
• 7.3. Những thuận lợi và khó khăn
• 7.4. Hướng phát triển tương lai
• 7.4.1. Cải thiện tốc độ nhận diện và độ chính xác
• 7.4.2. Ứng dụng hệ thống nhận diện từ khóa vào IoT
• Tài liệu tham khảo

Tóm tắt

I. Giới thiệu về Nhận diện từ khóa trên vi điều khiển

Nhận diện từ khóa là một lĩnh vực quan trọng trong công nghệ hiện đại, đặc biệt trong bối cảnh phát triển của trí tuệ nhân tạo và Internet of Things (IoT). Việc sử dụng vi điều khiển để nhận diện từ khóa giúp tối ưu hóa quy trình giao tiếp giữa con người và máy móc. Hệ thống này cho phép người dùng tương tác với thiết bị thông qua giọng nói, mang lại trải nghiệm tiện lợi và hiệu quả hơn.

1.1. Tại sao lại chọn Nhận diện từ khóa

Nhu cầu giao tiếp tự nhiên với thiết bị điện tử ngày càng tăng cao. Nhận diện từ khóa giúp đơn giản hóa cách thức tương tác, đặc biệt cho những người gặp khó khăn trong việc sử dụng thiết bị truyền thống.

1.2. Mục tiêu của nghiên cứu

Mục tiêu chính là phát triển một hệ thống nhận diện từ khóa hiệu quả trên vi điều khiển, từ đó mở ra khả năng ứng dụng trong các lĩnh vực như nhà thông minh và trợ lý ảo.

II. Thách thức trong Nhận diện từ khóa trên vi điều khiển

Mặc dù công nghệ nhận diện từ khóa đã phát triển mạnh mẽ, nhưng vẫn tồn tại nhiều thách thức cần giải quyết. Các vấn đề như độ chính xác, khả năng lọc nhiễu và tốc độ xử lý là những yếu tố quan trọng ảnh hưởng đến hiệu quả của hệ thống.

2.1. Độ chính xác trong nhận diện

Độ chính xác của hệ thống nhận diện từ khóa phụ thuộc vào nhiều yếu tố, bao gồm chất lượng âm thanh và thuật toán xử lý. Việc cải thiện độ chính xác là một trong những thách thức lớn nhất.

2.2. Lọc nhiễu âm thanh

Nhiễu âm thanh từ môi trường xung quanh có thể làm giảm hiệu suất của hệ thống. Cần có các phương pháp hiệu quả để lọc nhiễu và cải thiện chất lượng tín hiệu đầu vào.

III. Phương pháp nhận diện từ khóa trên vi điều khiển

Để xây dựng hệ thống nhận diện từ khóa, cần áp dụng các phương pháp và công nghệ tiên tiến. Việc sử dụng neural network là một trong những giải pháp hiệu quả nhất hiện nay.

3.1. Sử dụng Neural Network

Mô hình neural network giúp cải thiện khả năng nhận diện từ khóa bằng cách học từ dữ liệu âm thanh. Các thuật toán như DS-CNN được áp dụng để tối ưu hóa quá trình này.

3.2. Thu thập và xử lý dữ liệu

Quá trình thu thập dữ liệu âm thanh và xử lý chúng là rất quan trọng. Cần sử dụng các công cụ và kỹ thuật phù hợp để đảm bảo dữ liệu đầu vào chất lượng.

IV. Ứng dụng thực tiễn của Nhận diện từ khóa

Hệ thống nhận diện từ khóa có thể được ứng dụng trong nhiều lĩnh vực khác nhau, từ nhà thông minh đến các thiết bị điện tử tiêu dùng. Việc tích hợp công nghệ này vào sản phẩm sẽ mang lại nhiều lợi ích cho người dùng.

4.1. Ứng dụng trong nhà thông minh

Hệ thống nhận diện từ khóa có thể được sử dụng để điều khiển các thiết bị trong nhà thông minh, giúp người dùng dễ dàng tương tác mà không cần sử dụng tay.

4.2. Ứng dụng trong trợ lý ảo

Các trợ lý ảo như Siri hay Alexa có thể sử dụng công nghệ nhận diện từ khóa để cải thiện khả năng tương tác và phục vụ người dùng tốt hơn.

V. Kết luận và tương lai của Nhận diện từ khóa

Nhận diện từ khóa trên vi điều khiển là một lĩnh vực đầy tiềm năng. Với sự phát triển không ngừng của công nghệ, hệ thống này hứa hẹn sẽ mang lại nhiều ứng dụng thực tiễn trong tương lai.

5.1. Đánh giá kết quả đạt được

Kết quả nghiên cứu cho thấy hệ thống có khả năng nhận diện từ khóa với độ chính xác cao, mở ra nhiều cơ hội ứng dụng trong thực tế.

5.2. Hướng phát triển tương lai

Cần tiếp tục nghiên cứu và cải tiến hệ thống để nâng cao độ chính xác và khả năng xử lý, từ đó đáp ứng tốt hơn nhu cầu của người dùng.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số và Cách mạng Công nghiệp 4.0, sự kết hợp giữa Trí tuệ nhân tạo và Vạn vật kết nối đã mở ra xu hướng tương tác tự nhiên giữa con người và máy móc. Theo các báo cáo công nghệ vi điện tử, thị trường xử lý giọng nói tại biên (Edge AI) đang duy trì tốc độ tăng trưởng hơn 20% mỗi năm, thúc đẩy nhu cầu cấp thiết về các giải pháp nhận diện giọng nói cục bộ nhằm giảm tải cho máy chủ và bảo vệ quyền riêng tư. Vấn đề nghiên cứu trọng tâm của đề tài là xây dựng hệ thống Nhận diện từ khóa (Keyword Spotting) thời gian thực trên nền tảng vi điều khiển có tài nguyên phần cứng giới hạn. Mục tiêu cốt lõi là giải quyết triệt để bài toán tối ưu hóa thuật toán học máy để thực thi suy luận với độ trễ dưới 100ms mà không cần kết nối mạng Internet.

Nghiên cứu được tiến hành thực nghiệm tại Trường Đại học Bách Khoa - Đại học Quốc gia TP. Hồ Chí Minh trong giai đoạn từ năm 2021 đến tháng 02 năm 2022. Đề tài tập trung triển khai trên bo mạch STM32F746NG Discovery trang bị vi xử lý ARM Cortex-M7 tốc độ xung nhịp 216MHz, dung lượng bộ nhớ tĩnh RAM 340KB và bộ nhớ chương trình Flash 1MB. Ý nghĩa thực tiễn của công trình thể hiện ở việc cung cấp một module điều khiển giọng nói độc lập, tiết kiệm hơn 70% điện năng so với các bộ xử lý ứng dụng phức tạp, đồng thời đạt độ tin cậy cao khi bảo mật thông tin âm thanh tại chỗ. Luận văn đã hoàn thành xuất sắc các mục tiêu đặt ra và được hội đồng chuyên môn đánh giá đạt điểm số 8.5/10.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Cơ sở lý thuyết của nghiên cứu được xây dựng trên sự giao thoa giữa vật lý âm học và lý thuyết học sâu nhúng. Trong âm học, tiếng nói con người được tạo thành từ luồng hơi qua thanh quản tạo ra tần số dao động cơ bản khoảng 125Hz ở nam giới và 210Hz ở nữ giới, lan truyền trong dải tần số tai người cảm nhận được từ 20Hz đến 20kHz. Tín hiệu âm thanh thu nhận từ cảm biến micro kỹ thuật số tồn tại dưới dạng điều chế mật độ xung (PDM), sau đó được chuyển đổi sang dạng điều chế mã xung (PCM) với độ phân giải 16-bit ở tần số lấy mẫu tiêu chuẩn 16kHz.

Khung mô hình học máy áp dụng kỹ thuật trích xuất hệ số phổ Mel (MFCC) kết hợp với mạng nơ-ron tích chập phân tách theo chiều sâu (DS-CNN). Kỹ thuật MFCC tái tạo cơ chế cảm nhận phi tuyến tính của thính giác thông qua phép biến đổi Fourier nhanh (FFT) và hệ thống 40 bộ lọc tam giác trên thang đo tần số Mel, giúp cô đọng đặc trưng âm học và loại bỏ các thành phần tần số dư thừa. Kiến trúc mạng DS-CNN chia nhỏ phép tích chập không gian ba chiều thành tích chập theo chiều sâu (Depthwise) và tích chập điểm (Pointwise). Cách tiếp cận này giúp giảm từ 60% đến 75% khối lượng tính toán và thông số mô hình so với mạng tích chập CNN thông thường. Mô hình sau khi huấn luyện được áp dụng kỹ thuật lượng tử hóa số nguyên 8-bit (INT8) từ định dạng số thực 32-bit (FP32) của TensorFlow Lite để vận hành tối ưu trên phần cứng nhúng.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được trích xuất từ tập dữ liệu chuẩn Google Speech Commands Dataset với quy mô hơn 65.000 mẫu âm thanh đơn từ có độ dài chuẩn hóa 1 giây. Phương pháp chọn mẫu phân tầng ngẫu nhiên được áp dụng để chia tách tập dữ liệu theo tỷ lệ chuẩn học máy: 80% cho tập huấn luyện, 10% cho tập kiểm định và 10% cho tập kiểm thử độc lập. Dữ liệu tập trung vào các từ khóa đơn độc lập như từ "Go", "Up", xen kẽ cùng các mẫu tạp âm môi trường và khoảng lặng nhằm nâng cao độ chính xác nhận diện.

Lý do lựa chọn phương pháp phân tích MFCC kết hợp DS-CNN là khả năng tương thích cao với tập lệnh xử lý tín hiệu số của thư viện CMSIS-DSP và CMSIS-NN trên lõi vi xử lý ARM Cortex-M7. Quy trình huấn luyện mô hình được thực thi trên máy trạm trang bị bộ vi xử lý Intel Core i5-1135G7 xung nhịp tối đa 4.20GHz, sau đó mô hình nén được biên dịch thành mảng dữ liệu C-array để nhúng trực tiếp vào firmware. Toàn bộ chu trình từ thu thập dữ liệu, phân tích đặc trưng, huấn luyện mô hình đến triển khai trên phần cứng được thực hiện nghiêm ngặt trong timeline 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm trên thiết bị nhúng STM32F746NG mang lại 4 phát hiện quan trọng:

• Hiệu năng vượt trội của kiến trúc DS-CNN: Mô hình DS-CNN giảm dung lượng bộ nhớ chiếm dụng hơn 65% so với mạng nơ-ron sâu truyền thống (DNN 3 lớp ẩn kích thước 128-128-128). Mô hình thực thi hoàn toàn trơn tru trong giới hạn 340KB RAM của vi điều khiển mà không gây hiện tượng tràn bộ nhớ.
• Độ ổn định của chuỗi thu thập tín hiệu phần cứng: Sự phối hợp giữa bộ giải mã âm thanh WM8994ECS/R 24-bit, chuẩn giao tiếp âm thanh nối tiếp (SAI) và bộ điều khiển truy cập bộ nhớ trực tiếp (DMA) cho phép vi điều khiển thu nhận liên tục luồng tín hiệu 16-bit ở tần số 16kHz với mức tải CPU chỉ dưới 15%.
• Tỷ lệ nhận diện từ khóa chính xác: Trong môi trường tiêu chuẩn với khoảng cách phát âm dưới 1 mét, hệ thống đạt độ chính xác nhận dạng trên 90% đối với các từ khóa đơn "Go", "Up" và khoảng lặng, thời gian phản hồi qua cổng nối tiếp UART 115200 baud chỉ mất khoảng 80ms.
• Giới hạn nhận diện theo khoảng cách và cấu trúc từ: Độ chính xác của hệ thống suy giảm khoảng 25% khi khoảng cách nói vượt quá 1.5 mét hoặc khi phát âm các từ ghép phức tạp, do hiện tượng suy hao cường độ âm thanh và ảnh hưởng của tạp âm môi trường xung quanh.

Thảo luận kết quả

Hiệu quả vượt bậc của mô hình DS-CNN trên vi điều khiển bắt nguồn từ khả năng tối ưu hóa các phép tính nhân ma trận thông qua tập lệnh SIMD của lõi Cortex-M7. So sánh với các nghiên cứu học máy biên gần đây, việc chuyển đổi mô hình sang định dạng mảng tĩnh C-array lượng tử hóa INT8 đã bảo toàn hơn 95% độ chính xác so với mô hình gốc trên máy tính, đồng thời tiết kiệm 75% không gian lưu trữ Flash.

Các kết quả thực nghiệm về độ chính xác và độ trễ có thể được trực quan hóa rõ ràng thông qua bảng ma trận nhầm lẫn (confusion matrix) chi tiết giữa các lớp từ khóa, kết hợp cùng biểu đồ cột so sánh mức tiêu thụ tài nguyên bộ nhớ RAM và Flash giữa các mô hình DNN, CNN và DS-CNN. Nguyên nhân chính của hiện tượng nhận diện sót từ khóa trong thực tế là do cơ chế lấy mẫu ngắt quãng cố định theo từng chu kỳ 1 giây. Nếu từ khóa được phát âm rơi vào điểm giao giữa hai khung thời gian hoặc bị ngắt quãng, thông tin đặc trưng MFCC sẽ bị phân mảnh. Thêm vào đó, việc chưa tích hợp thuật toán lọc nhiễu thích ứng trực tiếp trên đường truyền tín hiệu PDM làm giảm tỷ số tín hiệu trên nhiễu khi vận hành tại không gian mở.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, nghiên cứu đề xuất 4 nhóm giải pháp kỹ thuật cụ thể nhằm nâng cao hiệu năng và mở rộng tính ứng dụng của hệ thống:

• Tối ưu hóa cơ chế thu âm bằng kỹ thuật cửa sổ trượt (Sliding Window): Thiết lập cấu trúc cửa sổ trượt với bước nhảy dịch chuyển từ 100ms đến 200ms và tỷ lệ chồng lấp dữ liệu 50%. Giải pháp này giúp hệ thống liên tục quét tín hiệu giọng nói theo thời gian thực, hướng đến mục tiêu giảm tỷ lệ bỏ sót từ khóa xuống dưới 3%, do nhóm kỹ sư phần mềm nhúng thực hiện trong thời gian 3 tháng.
• Nhúng thuật toán khử nhiễu phổ thích ứng trên lõi DSP: Tích hợp trực tiếp các thuật toán xử lý tín hiệu số như lọc nhiễu phổ (Spectral Subtraction) hoặc bộ lọc Wiener vào vi điều khiển nhằm nâng cao tỷ lệ nhận diện chính xác tại khoảng cách trên 2 mét lên mức tối thiểu 88%, do nhóm nghiên cứu thuật toán hoàn thiện trong 6 tháng.
• Xây dựng quy trình tự động cập nhật mô hình từ xa: Thiết kế giao thức nạp và cập nhật trọng số mô hình mạng nơ-ron qua giao tiếp mạng không dây hoặc cổng UART trong vòng 4 tháng, giúp mở rộng bộ từ điển nhận diện từ 2 từ khóa đơn lên 15 đến 20 từ khóa đa dạng mà không cần nạp lại toàn bộ chương trình gốc.
• Tối ưu hóa chi phí phần cứng hướng tới thương mại hóa: Tinh chỉnh mô hình DS-CNN INT8 để có thể triển khai trên các dòng vi điều khiển tầm trung như STM32F4 lõi Cortex-M4 xung nhịp 84MHz đến 168MHz và RAM 128KB, giảm chi phí sản xuất phần cứng từ mức gần 4.000.000 VNĐ của bộ kit thí nghiệm xuống dưới 350.000 VNĐ cho mỗi bo mạch thương mại trong vòng 9 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

• Kỹ sư phát triển hệ thống nhúng và AIoT: Tiếp cận phương pháp tích hợp hoàn chỉnh các khối ngoại vi âm thanh tốc độ cao như SAI, I2C, DMA trên dòng vi xử lý ARM 32-bit và làm chủ kỹ thuật nén mô hình học sâu cho thiết bị biên.
• Nhà nghiên cứu và học viên cao học ngành Kỹ thuật Máy tính: Tham khảo cơ sở lý thuyết về biến đổi tín hiệu PDM sang PCM, thuật toán trích xuất MFCC và phân tích định lượng hiệu năng của mô hình DS-CNN trên vi điều khiển Cortex-M7 tốc độ 216MHz.
• Doanh nghiệp sản xuất thiết bị thông minh và gia dụng: Ứng dụng kiến trúc nhận dạng giọng nói ngoại tuyến (offline) vào các sản phẩm nhà thông minh, công tắc cảm ứng, thiết bị điều khiển rảnh tay nhằm bảo mật dữ liệu tuyệt đối 100% và không phụ thuộc vào đường truyền mạng.
• Giảng viên và sinh viên các trường đại học kỹ thuật: Sử dụng luận văn như tài liệu học tập chuẩn mực đạt điểm số 8.5/10 tại Đại học Bách Khoa TP. Hồ Chí Minh để tham khảo về cấu trúc đồ án, phương pháp lập trình C++ nhúng và quy trình báo cáo khoa học.

Câu hỏi thường gặp

• Vi điều khiển STM32F746NG có đủ năng lực tính toán để xử lý mạng nơ-ron nhận diện giọng nói trong thời gian thực không?
  Vi điều khiển STM32F746NG hoàn toàn đáp ứng tốt nhờ sở hữu lõi vi xử lý ARM Cortex-M7 xung nhịp 216MHz kết hợp bộ đồng xử lý dấu phẩy động FPU và tập lệnh DSP. Trong thực nghiệm, toàn bộ chu trình trích xuất đặc trưng MFCC và suy luận mô hình chỉ tiêu tốn khoảng 80ms, vận hành ổn định trong dung lượng 340KB RAM của vi điều khiển.

• Tại sao mô hình DS-CNN lại được ưu tiên lựa chọn hơn mạng CNN truyền thống và mạng RNN?
  Mô hình DS-CNN phân rã phép tích chập không gian thành hai giai đoạn riêng biệt, giúp cắt giảm từ 60% đến 75% khối lượng tính toán so với CNN tiêu chuẩn. So với kiến trúc RNN đòi hỏi lưu trữ trạng thái tuần tự phức tạp gây tốn bộ nhớ động, DS-CNN tiêu thụ rất ít RAM và tận dụng tối đa tập lệnh SIMD của vi điều khiển.

• Hệ thống chuyển đổi tín hiệu âm thanh từ micro MEMS sang dữ liệu đầu vào cho mạng nơ-ron như thế nào?
  Micro MEMS thu nhận sóng âm và truyền tín hiệu dạng PDM đến chip giải mã âm thanh WM8994 để chuyển thành dữ liệu số PCM 16-bit ở tần số lấy mẫu 16kHz. Tín hiệu này sau đó được chuyển đổi qua miền tần số bằng thuật toán FFT và lọc qua 40 bộ lọc tam giác Mel để tạo thành ma trận hệ số MFCC đưa vào mô hình.

• Hạn chế lớn nhất của hệ thống nhận diện từ khóa hiện tại là gì và có thể khắc phục bằng cách nào?
  Hạn chế chính là cơ chế lấy mẫu ngắt quãng chu kỳ 1 giây và độ chính xác suy giảm khi khoảng cách nói vượt quá 1.5 mét. Vấn đề này hoàn toàn có thể giải quyết bằng cách áp dụng cơ chế cửa sổ trượt liên tục với bước dịch 100ms và tích hợp giải thuật lọc nhiễu thích ứng trực tiếp trên tầng tiền xử lý.

• Làm thế nào để đưa mô hình học sâu từ TensorFlow lên vi điều khiển mà không gây tràn bộ nhớ?
  Mô hình sau khi huấn luyện được lượng tử hóa từ định dạng số thực 32-bit (FP32) sang số nguyên 8-bit (INT8) bằng công cụ TensorFlow Lite Converter. Tệp mô hình sau đó được chuyển đổi thành một mảng hằng số nhị phân C-array để lưu trữ trực tiếp trên 1MB bộ nhớ Flash, kết hợp thư viện CMSIS-NN để tối ưu hóa việc phân bổ bộ nhớ RAM.

Kết luận

• Xây dựng và triển khai thành công hệ thống Nhận diện từ khóa thời gian thực trên vi điều khiển STM32F746NG với thời gian phản hồi nhanh dưới 80ms.
• Hoàn thiện chuỗi thu nhận và chuyển đổi tín hiệu âm thanh từ định dạng PDM sang PCM 16-bit tần số 16kHz kết hợp trích xuất đặc trưng phổ MFCC chính xác.
• Tối ưu hóa kiến trúc mạng nơ-ron DS-CNN lượng tử hóa INT8, giúp tiết kiệm hơn 65% dung lượng bộ nhớ so với mô hình DNN truyền thống.
• Đạt độ chính xác nhận diện thực tế trên 90% cho các từ khóa độc lập trong môi trường tiêu chuẩn, bảo đảm tính độc lập và bảo mật thông tin ngoại tuyến 100%.
• Công trình nghiên cứu được hội đồng chuyên môn đánh giá xuất sắc với điểm bảo vệ 8.5/10, khẳng định tính đúng đắn về mặt khoa học và kỹ thuật.

Đóng góp lớn nhất của luận văn là chứng minh tính khả thi của việc triển khai các mô hình Trí tuệ nhân tạo học sâu phức tạp lên các dòng vi điều khiển 32-bit tiết kiệm năng lượng. Trong lộ trình phát triển từ 6 đến 12 tháng tới, hệ thống cần tiếp tục hoàn thiện cơ chế cửa sổ trượt và tích hợp các bộ lọc nhiễu môi trường chuyên sâu. Các kỹ sư và nhà nghiên cứu có thể ứng dụng ngay kiến trúc này để phát triển các thiết bị IoT điều khiển giọng nói an toàn, hiệu quả và tối ưu chi phí.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu Trong chương này, chúng tôi sẽ nêu ra các vấn đề liên quan đến NDTK sử dụng Vi điều khiển bao gồm: Tại sao lại chọn chủ đề NDTK sử dụng VDK, mục tiêu, ý nghĩa thực tế và khoa học của đề tài. Chương 2: Cơ sở lý thuyết và nền tảng công nghệ Tiếp theo, chương này sẽ trình bày những lý thuyết có liên quan hoặc được áp dụng trong đề tài: Các thông số âm thanh, đặc trưng âm thanh của con người, một số chuẩn kết nối: ADC, UART, SAI,. Ngoài ra, chương này còn mô tả một số phương pháp tiếp cận đề tài: MFCC, DS_CNN,. sử dụng bộ thư viện của Tensorflow.

Chương 3 : Thiết kế hệ thống Chương 3 sẽ trình bày sơ đồ kết nối của hệ thống phần cứng, thông số của từng thành phần trong hệ thống: Microphone, Bộ giải mã âm thanh Audio Codec, MCU và thiết bị xuất dữ liệu - Laptop. Ngoài ra chương này còn mô tả chi tiết luồng hoạt động của hệ thống: MFCC, DS_CNN,. Chương 4 : Hiện thực hệ thống Trong chương này, chúng tôi sẽ trình bày cấu trúc mã nguồn của hệ thống bao gồm 2 phần: Huẩn luyện mô hình và mã nguồn chạy trên Vi điều khiển. Chương 5 : Triển khai hệ thống Chương 5, chúng tôi sẽ hướng dẫn cách triển khai hệ thống từ bộ mã nguồn đã cung cấp, bao gồm: Huấn luyện mô hình, xây dựng chương trình và nạp chương trình vào Vi điều khiển.

Chương 6 : Kết quả thực nghiệm Chương 6, chúng tôi trình bày kết quả thu được từ việc chạy kiểm thử trên mô hình đã được huấn luyện và kiểm thử trên mô hình của Vi điều khiển. Kết quả thực nghiệm được kiểm thử dựa trên một số yếu tố môi trường khác nhau như: Tiếng ồn và tốc độ nói,. Chương 7 : Kết luận và khuyến nghị Chương 7 đánh giá kết quả đạt được so với những yêu cầu đặt ra, những hạn chế gặp phải - đồng thời đề ra giải pháp để tối ưu hệ thống và phát triển trong tương lai. 3 Chương 2 Cơ sở lý thuyết và nền tảng công nghệ Trong chương này, nhóm sẽ trình bày một số kiến thức cơ bản về các nội dung lý thuyết cũng như công nghệ nền tảng dùng trong đề tài.

Nội dung chương sẽ bao gồm 7 phần chính, bắt đầu với các khái niệm liên quan đến âm thanh, tiếng nói và các đặc trưng, tham số của chúng (phần 2. Đồng thời, cách con người tạo ra và thu nhận các loại âm thanh cũng được trình bày một cách cơ bản trong chương này. Tiếp theo, ở phần 2.2, các kiến thức tổng quan về bộ thu âm thanh (microphone) như là khái niệm, các loại microphone phổ biến sẽ được đưa ra.3 mô tả về bộ STM32F746NG discorvery kit, bao gồm các thông tin tổng quan về thông số cấu hình, chức năng và thành phần chính. Bên cạnh đó, trình điều khiển HAL của thiết bị cũng được thảo luận trong phần này.

Một số thông tin cơ bản về nhận dạng giọng nói tự động được trình bày trong phần 2.5 gồm các nội dung về ngôn ngữ lập trình C++ là ngôn ngữ lập trình chính được nhóm sử dụng, cùng với đó là việc giới thiệu về các thư viện hỗ trợ lập trình đối với board STM32F746NG cũng như là nền tảng hỗ trợ cho các vấn đề liên quan đến học máy và áp dụng suy luận trên thiết bị nhúng. Phần tiếp theo (phần 2.6) là các nội dung về mạng nơ-ron bao gồm khái niệm, kiến trúc chung, ứng dụng và các mô hình thường dùng. Phần cuối cùng là các kiến thức cần thiết đối với đề tài nhận diện từ khoá như các loại và mô hình tín hiệu trong xử lý âm thanh (analog/digital, PCM/PDM), phép biến đổi Fourier và các chuẩn kết nối có sử dụng trong đề tài.1 Âm thanh và các đặc trưng của âm thanh 2.1 Âm thanh • Khái niệm: Trong vật lý, âm thanh được định nghĩa là một loại sóng âm mang năng lượng truyền đi trong không gian thông qua các môi trường truyền dẫn như không khí, chất lỏng hoặc chất rắn. Âm thanh có các đặc trưng của sóng âm như: biên độ, bước sóng, tần số dao động, hướng và vận tốc lan truyền.[39][40] • Trong sinh lý học và tâm lý học con người, âm thanh là sự tiếp nhận các loại sóng âm như vậy và được nhận thức và xử lý bởi bộ não.

Tai người có thể cảm nhận được các âm thanh ở tần số trong khoảng 20Hz - 20kHz một cách phi tuyến tính, thông thường tai người nhạy cảm ở tần số thấp và kém nhạy cảm ở tần số cao. [39] • Âm thanh có vai trò đặc biệt quan trọng đối với đời sống con người. Trước hết, âm thanh là phương tiện giao tiếp của con người cũng như của động vật. Con người sử dụng tiếng nói, một số loại động vật như cá heo hoặc cá voi dùng siêu âm để giao tiếp.

Ngoài ra, cùng với sự phát triển của văn minh loài người, âm thanh còn được sử dụng như một phương thức để giải trí, tiêu biểu là âm nhạc.2 Các đặc trưng vật lý của âm thanh [31] a. Tần số • Tần số là số lần dao động của sóng âm trên một đơn vị thời gian. Trong vật lý, tần số có đơn vị là Hertz (Hz), 1 Hz = 1 dao động/giây. • Âm thanh là loại sóng âm có tần số nằm trong ngưỡng có thể nghe được (16Hz - 20kHz).

Ngoài âm thanh, sóng âm còn 2 loại khác là hạ âm (những âm có tần số dưới 16Hz) và siêu âm (âm có tần số lớn hơn 20kHz). Cường độ âm I là năng lượng được sóng âm truyền qua mỗi đơn vị diện tích được đặt vuông góc với phương truyền sóng trong mỗi đơn vị thời gian. Đơn vị đo cường độ âm là W/m2. Mức cường độ âm • Mức cường độ âm L của âm có cường độ âm I là L = lg II0.

Với I0 là cường độ âm chuẩn, là cường độ âm nhỏ nhất mà con người có thể nghe được ở tần số 1kHz và I0 = 10−12 (W/m2 ) • Mức cường độ âm cho biết cường độ âm I lớn hơn bao nhiêu lần so với cường độ âm chuẩn I0 .3 Cách tạo ra âm thanh và thu nhận âm thanh bởi con người [29] • Tiếng nói là một dạng âm thanh đặc trưng giúp con người giao tiếp với nhau. • Tiếng nói được tạo ra bằng cách đẩy một luồng hơi từ phổi đi qua hệ thống dây thanh quản, giúp tạo ra một áp lực lên các dây thanh quản khiến nó mở ra, sau đó luồng hơi thoát ra ngoài qua miệng, áp lực tạo ra bởi luồng hơi đó tác động lên các 5 dây thanh quản giảm xuống khiến nó đóng lại. Quá trình này cứ liên tục lặp lại tạo ra các tần số sóng âm cơ bản, với nam là khoảng 125Hz, 210Hz với nữ. Cùng với đó, các bộ phận khác như vòm họng, khoang miệng, lưỡi, môi,.

có tác dụng như một bộ cộng hưởng có thể thay đổi linh hoạt giúp triệt tiêu một vài tần số hoặc khuếch đại một vài tần số, từ đó phát ra tiếng nói hoàn chỉnh. • Cách hoạt động của tai người: Khi âm thanh truyền tới tai va đập vào màng nhĩ, màng nhĩ rung lên, truyền rung động lên 3 ba xương nhỏ: malleus, incus, stapes tới ốc tai. Ốc tai là 1 bộ phận dạng xoắn, rỗng như 1 con ốc. Ốc tai chứa các dịch nhầy bên trong giúp truyền âm thanh, dọc theo ốc tai là các tế bào lông cảm nhận âm thanh.

Các tế bào lông này rung lên khi có sóng truyền qua và gửi tín hiệu tới não bộ. Các tế bào ở đoạn đầu cứng hơn, rung động với các tần số cao. Càng sâu vào trong, các tế bào càng bớt cứng, đáp ứng các tần số thấp.1 dưới đây cho ta cái nhìn rõ hơn về điều đó.1: Tiếp nhận âm thanh với các tần số khác nhau ở tai người [29] Do cấu tạo ốc tai cùng số lượng các tế bào đáp ứng tần số thấp chiếm phần lớn khiến cho việc cảm nhận của tai người (và động vật) là phi tuyến tính, nhạy cảm ở tần số thấp, kém nhạy cảm ở tần số cao 2.4 Các đặc trưng của tiếng nói [29] • Âm tiết: Một từ có thể được ghép bởi một hoặc nhiều âm tiết. Các âm tiết lại được tạo ra bởi một hoặc nhiều nguyên âm ghép với nhau và có thể có hoặc không có phụ âm đi kèm.

Theo wikipedia, trong ngữ âm học, nguyên âm hay mẫu âm là một âm thanh trong ngôn ngữ nói, như trong tiếng Việt /a/ hay /e/, được phát âm với thanh quản mở, do đó không có sự tích lũy áp suất không khí trên bất cứ điểm nào ở thanh môn. Đối lập với nguyên âm, phụ âm là âm thanh của lời nói, được phát âm rõ ràng với sự đóng hoàn toàn hay một phần của thanh quản. • Âm vị là phân đoạn nhỏ nhất của âm thanh dùng để cấu tạo nên sự phân biệt giữa các cách phát âm. Do đó, âm vị là một nhóm các âm thanh với sự khác biệt tương đối nhỏ cùng đảm nhận một chức năng ý nghĩa tùy theo người nói và phương ngữ.

• Âm tiết, còn gọi là chữ, tiếng, là một đơn vị cấu tạo nên một sự phối hợp trong tiếng nói.2 Thiết bị thu nhận âm thanh 2.1 Tổng quan về bộ thu âm thanh - Microphone • Bộ thu âm thanh - microphone là thiết bị hỗ trợ quá trình thu nhận âm thanh (sóng âm) và chuyển tín hiệu âm thanh tương tự đó thành tín hiệu điện mà thiết bị điện tử có thể xử lý được. Microphone được sử dụng trong nhiều ứng dụng như điện thoại, máy trợ thính, sản xuất phim, thu âm, phát thanh và truyền hình,. [38] • Microphone đầu tiên được cấp bằng sáng chế là của Alexander Graham Bell vào năm 1876. Microphone này gồm một sợi dây dẫn điện một chiều.

Tín hiệu âm thanh được sinh ra và thu nhận bởi một bộ phát phần ứng chuyển động và bộ thu của nó và có thể truyền từ cả hai hướng. Thiết bị truyền thứ hai của ông là một máy phát chất lỏng và được trình diễn lần đầu tiên tại buổi triển lãm kỷ niệm 100 năm Philadelphia vào năm 1876. Microphone này sử dụng nguyên tắc tiếp điểm thay đổi để cung cấp một phương pháp điều chế tín hiệu điện hiệu quả hơn thiết kế trước đó của ông.