Nghiên Cứu Về Mạng Nơron Tích Chập Và Ứng Dụng Trong Nhận Dạng Biển Số Xe

Nghiên cứu mạng nơron tích chập trong nhận dạng biển số xe, ứng dụng công nghệ AI để nâng cao độ chính xác và hiệu quả trong xử lý hình ảnh.

• Tác giả: Nguyễn Thế Quyền
• Người hướng dẫn: TS. Phạm Hoàng Duy
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Về Mạng Nơron Tích Chập Trong Nhận Dạng Biển Số Xe
• Loại tài liệu: luận văn thạc sĩ kỹ thuật
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. PHẦN MỞ ĐẦU
• 1.1. MẠNG NƠRON VÀ MẠNG NƠRON TÍCH CHẬP
• 1.1.1. Giới thiệu về mạng nơron
• 1.1.2. Mạng nơron tích chập
• 1.1.3. Định nghĩa mạng nơron tích chập
• 1.1.4. Mô hình mạng nơron tích chập
• 1.1.5. Tính chất của mạng nơron tích chập
• 1.1.6. Kết luận chương
• 1.2. TỔNG QUAN VỀ NHẬN DẠNG BIỂN SỐ XE
• 1.2.1. Khái niệm về hệ thống nhận dạng biển số xe
• 1.2.2. Lịch sử phát triển
• 1.2.3. Cách thức hoạt động của hệ thống nhận dạng biển số xe
• 1.2.4. Phân loại các ứng dụng nhận dạng biển số xe
• 1.2.5. Ứng dụng thực tiễn tại Việt Nam
• 1.2.6. Phân loại biển số xe
• 1.2.7. Phương pháp nhận dạng biển số xe từ ảnh chụp camera
• 1.2.8. Phương pháp chuyển đổi Hough
• 1.2.9. Phương pháp hình thái học
• 1.2.10. Phương pháp nhận dạng ký tự trong biển số xe
• 1.2.11. Phạm vi nghiên cứu và hướng giải quyết
• 1.2.12. Kết luận chương
• 2. CHƯƠNG 3: ÁP DỤNG MẠNG NƠRON TÍCH CHẬP TRONG NHẬN DẠNG KÝ TỰ
• 2.1. Nhận dạng ký tự trong bài toán nhận dạng biển số xe
• 2.2. Giai đoạn xử lý ảnh
• 2.3. Cách phân loại ảnh
• 2.4. Các giai đoạn xử lý ảnh
• 2.5. Xác định vùng chứa biển số
• 2.6. Xây dựng mô hình nhận dạng ký tự
• 2.7. Ánh xạ vào ma trận
• 2.8. Huấn luyện mạng nơron
• 2.9. Nhận dạng ký tự
• 2.10. Cài đặt ứng dụng
• 2.11. Môi trường cài đặt và các yêu cầu phần cứng phần mềm
• 2.12. Giao diện chương trình chính
• 2.13. Kết quả thực nghiệm nhận dạng biển số xe
• 2.14. Kết luận chương
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Mạng Nơ ron Tích Chập CNN 55 ký tự

Mạng nơ-ron tích chập (CNN) đang trở thành một công cụ mạnh mẽ trong lĩnh vực trí tuệ nhân tạo (AI) và computer vision. Deep learning đã chứng minh khả năng vượt trội trong việc giải quyết các bài toán phức tạp với dữ liệu lớn, đặc biệt là trong nhận diện hình ảnh và xử lý ảnh. CNN nổi bật với khả năng tự động học các đặc trưng quan trọng từ dữ liệu, giảm thiểu sự can thiệp thủ công và nâng cao độ chính xác. Luận văn này tập trung vào nghiên cứu sâu về mạng nơ-ron tích chập, từ cơ sở lý thuyết đến ứng dụng thực tiễn, đặc biệt là trong bài toán nhận dạng biển số xe (ANPR). Mục tiêu là xây dựng một hệ thống nhận dạng biển số xe hiệu quả, có khả năng hoạt động tốt trong nhiều điều kiện khác nhau.

1.1. Giới thiệu cơ bản về mạng nơ ron tích chập CNN

Mạng nơ-ron tích chập (CNN) là một loại mạng nơ-ron được thiết kế đặc biệt để xử lý dữ liệu có cấu trúc lưới, như hình ảnh. CNN sử dụng các lớp tích chập (convolutional layers) để trích xuất các đặc trưng từ dữ liệu đầu vào. Các lớp này kết hợp với các lớp gộp (pooling layers) và các lớp kết nối đầy đủ (fully connected layers) để tạo thành một mô hình hoàn chỉnh. CNN có khả năng học các đặc trưngHierarchical, từ các đặc trưng đơn giản như cạnh và góc đến các đặc trưng phức tạp hơn như đối tượng và khuôn mặt. Theo tài liệu gốc, CNN có tính bất biến và tính kết hợp cục bộ (Location Invariance and Compositionality).

1.2. Ứng dụng của CNN trong lĩnh vực thị giác máy tính

CNN đã đạt được những thành công vượt bậc trong nhiều bài toán thị giác máy tính, bao gồm nhận diện hình ảnh, phân loại ảnh, phát hiện đối tượng (object detection) và phân đoạn ảnh. Các hệ thống lớn như Facebook, Google và Amazon đã tích hợp CNN vào các sản phẩm của mình để thực hiện các chức năng thông minh như nhận diện khuôn mặt, xe tự lái và drone giao hàng. CNN cũng được sử dụng rộng rãi trong các ứng dụng y tế, an ninh và công nghiệp. CNN có thể giải quyết các bài toán với số lượng lớn, kích thước đầu vào lớn với hiệu năng cũng như độ chính xác vượt trội so với các phương pháp phân lớp truyền thống.

II. Thách Thức Trong Nhận Dạng Biển Số Xe ANPR Hiện Nay 59 ký tự

Mặc dù nhận dạng biển số xe (ANPR) đã có những tiến bộ đáng kể, vẫn còn nhiều thách thức cần vượt qua. Các yếu tố như điều kiện ánh sáng yếu, biển số xe bị mờ, nghiêng hoặc bị che khuất có thể ảnh hưởng đến độ chính xác của hệ thống. Ngoài ra, sự đa dạng về kiểu dáng và định dạng biển số xe giữa các quốc gia và khu vực cũng đặt ra những khó khăn trong việc xây dựng một hệ thống ANPR toàn diện. Việc cải thiện độ chính xác nhận dạng và tốc độ nhận dạng trong các điều kiện khác nhau là một mục tiêu quan trọng trong nghiên cứu ANPR.

2.1. Các yếu tố ảnh hưởng đến độ chính xác của ANPR

Nhiều yếu tố có thể ảnh hưởng đến độ chính xác của hệ thống nhận dạng biển số xe (ANPR). Điều kiện ánh sáng yếu hoặc quá mạnh có thể làm giảm chất lượng hình ảnh và gây khó khăn cho việc phân đoạn biển số và trích xuất ký tự. Biển số xe bị mờ, nghiêng hoặc bị che khuất bởi bụi bẩn, vật cản hoặc các yếu tố khác cũng có thể làm giảm độ chính xác nhận dạng. Sự khác biệt về kiểu dáng và định dạng biển số xe giữa các quốc gia và khu vực cũng là một thách thức lớn.

2.2. Vấn đề về tốc độ xử lý trong ứng dụng ANPR thời gian thực

Trong nhiều ứng dụng thực tế, như hệ thống giao thông thông minh (ITS) và bãi đỗ xe thông minh, yêu cầu nhận dạng biển số xe phải được thực hiện trong thời gian thực. Điều này đòi hỏi hệ thống phải có tốc độ xử lý nhanh chóng và hiệu quả. Tuy nhiên, việc xử lý hình ảnh và thực hiện các phép tính phức tạp trong mạng nơ-ron tích chập có thể tốn nhiều thời gian, đặc biệt là với các mô hình lớn và phức tạp. Do đó, việc tối ưu hóa mô hình CNN và sử dụng các kỹ thuật xử lý ảnh hiệu quả là rất quan trọng để đạt được tốc độ nhận dạng mong muốn.

III. Phương Pháp CNN Cải Tiến Nhận Dạng Biển Số Xe ANPR 58 ký tự

Để giải quyết các thách thức trong nhận dạng biển số xe (ANPR), nhiều nghiên cứu đã tập trung vào việc cải tiến mô hình CNN và các kỹ thuật liên quan. Các phương pháp tăng cường dữ liệu (data augmentation), tối ưu hóa hàm mất mát (loss function) và sử dụng các kiến trúc CNN tiên tiến như ResNet, Inception và EfficientNet đã cho thấy những kết quả đầy hứa hẹn. Ngoài ra, việc kết hợp CNN với các kỹ thuật xử lý ảnh truyền thống như phân đoạn ảnh và nhận dạng ký tự quang học (OCR) cũng có thể cải thiện độ chính xác và tốc độ của hệ thống ANPR.

3.1. Tăng cường dữ liệu huấn luyện cho mô hình CNN

Tăng cường dữ liệu (data augmentation) là một kỹ thuật quan trọng để cải thiện hiệu suất của mô hình CNN. Bằng cách tạo ra các biến thể của dữ liệu huấn luyện ban đầu, như xoay, lật, thay đổi độ sáng và thêm nhiễu, có thể làm tăng tính đa dạng của dữ liệu và giúp mô hình học được các đặc trưngRobust hơn. Tăng cường dữ liệu đặc biệt hữu ích khi số lượng dữ liệu huấn luyện có sẵn còn hạn chế. Các phương pháp tăng cường dữ liệu có thể được áp dụng trong giai đoạn tiền xử lý ảnh để tạo ra một tập dữ liệu huấn luyện lớn và đa dạng.

3.2. Tối ưu hóa kiến trúc CNN cho bài toán ANPR

Việc lựa chọn và tối ưu hóa kiến trúc CNN là một yếu tố quan trọng để đạt được hiệu suất cao trong bài toán nhận dạng biển số xe (ANPR). Các kiến trúc CNN tiên tiến như ResNet, Inception và EfficientNet đã chứng minh khả năng vượt trội trong nhiều bài toán thị giác máy tính. Các kiến trúc này sử dụng các kỹ thuật như kết nối tắt (skip connections), lớp tích chập sâu (depthwise separable convolution) và tự động tìm kiếm kiến trúc (neural architecture search) để cải thiện độ chính xác và hiệu quả của mô hình. Việc tối ưu hóa kiến trúc CNN có thể được thực hiện bằng cách thử nghiệm các cấu hình khác nhau và đánh giá hiệu suất của mô hình trên một tập dữ liệu kiểm tra.

IV. Ứng Dụng Thực Tế Của Nhận Dạng Biển Số Xe ANPR 56 ký tự

Nhận dạng biển số xe (ANPR) có nhiều ứng dụng thực tế quan trọng trong các lĩnh vực khác nhau. Trong hệ thống giao thông thông minh (ITS), ANPR được sử dụng để phát hiện vi phạm giao thông, quản lý luồng giao thông và thu phí tự động. Trong bãi đỗ xe thông minh, ANPR giúp kiểm soát ra vào, tính phí đỗ xe và cung cấp thông tin về chỗ đỗ xe trống. ANPR cũng được sử dụng trong các ứng dụng an ninh và giám sát để phát hiện xe bị đánh cắp, theo dõi tội phạm và bảo vệ an ninh công cộng.

4.1. ANPR trong hệ thống giao thông thông minh ITS

Trong hệ thống giao thông thông minh (ITS), nhận dạng biển số xe (ANPR) đóng vai trò quan trọng trong việc quản lý luồng giao thông, phát hiện vi phạm giao thông và thu phí tự động. ANPR có thể được sử dụng để giám sát tốc độ, phát hiện xe đi vào làn đường cấm, tự động phạt nguội và thu phí cầu đường. Dữ liệu từ hệ thống ANPR có thể được sử dụng để phân tích lưu lượng giao thông, dự đoán tắc nghẽn và đưa ra các biện pháp điều chỉnh phù hợp.

4.2. ANPR trong quản lý bãi đỗ xe thông minh

Trong bãi đỗ xe thông minh, nhận dạng biển số xe (ANPR) giúp kiểm soát ra vào, tính phí đỗ xe và cung cấp thông tin về chỗ đỗ xe trống. Hệ thống ANPR có thể tự động nhận dạng biển số xe khi xe ra vào bãi đỗ, tính toán thời gian đỗ xe và tự động thanh toán phí. Ngoài ra, ANPR cũng có thể được sử dụng để hướng dẫn người lái xe đến các chỗ đỗ xe trống và cung cấp thông tin về tình trạng chỗ đỗ xe.

V. Đánh Giá Hiệu Năng Triển Vọng Của ANPR Dùng CNN 59 ký tự

Việc đánh giá hiệu năng của hệ thống nhận dạng biển số xe (ANPR) là rất quan trọng để đảm bảo tính tin cậy và hiệu quả của hệ thống. Các chỉ số đánh giá thường được sử dụng bao gồm độ chính xác nhận dạng, tốc độ nhận dạng và khả năng hoạt động trong các điều kiện khác nhau. Các nghiên cứu gần đây đã cho thấy rằng CNN có thể đạt được độ chính xác cao trong nhận dạng biển số xe, nhưng vẫn còn nhiều cơ hội để cải thiện tốc độ và khả năng thích ứng của hệ thống. Trong tương lai, ANPR có thể được tích hợp với các công nghệ khác như trí tuệ nhân tạo (AI), Internet of Things (IoT) và dữ liệu lớn (big data) để tạo ra các giải pháp thông minh và hiệu quả hơn.

5.1. Các chỉ số đánh giá hiệu năng của hệ thống ANPR

Để đánh giá hiệu năng của hệ thống nhận dạng biển số xe (ANPR), cần sử dụng các chỉ số phù hợp. Độ chính xác nhận dạng là một chỉ số quan trọng, đo lường tỷ lệ biển số xe được nhận dạng đúng so với tổng số biển số xe. Tốc độ nhận dạng đo lường thời gian cần thiết để nhận dạng một biển số xe. Khả năng hoạt động trong các điều kiện khác nhau đánh giá khả năng của hệ thống trong việc xử lý các yếu tố như ánh sáng yếu, biển số xe bị mờ hoặc nghiêng.

5.2. Triển vọng phát triển của ANPR trong tương lai

Trong tương lai, nhận dạng biển số xe (ANPR) có nhiều triển vọng phát triển. Việc tích hợp ANPR với các công nghệ khác như trí tuệ nhân tạo (AI), Internet of Things (IoT) và dữ liệu lớn (big data) có thể tạo ra các giải pháp thông minh và hiệu quả hơn. ANPR có thể được sử dụng để quản lý giao thông thông minh, kiểm soát an ninh, cung cấp dịch vụ cá nhân hóa và thu thập dữ liệu về hành vi của người lái xe.

VI. Kết Luận Hướng Phát Triển Nghiên Cứu ANPR Dùng CNN 57 ký tự

Nghiên cứu về mạng nơ-ron tích chập (CNN) trong nhận dạng biển số xe (ANPR) đã đạt được những tiến bộ đáng kể, nhưng vẫn còn nhiều hướng phát triển tiềm năng. Việc cải thiện độ chính xác nhận dạng, tốc độ nhận dạng và khả năng thích ứng của hệ thống là những mục tiêu quan trọng. Ngoài ra, việc nghiên cứu các phương pháp tăng cường dữ liệu, tối ưu hóa kiến trúc CNN và tích hợp ANPR với các công nghệ khác có thể mở ra những ứng dụng mới và thú vị. Hy vọng rằng nghiên cứu này sẽ đóng góp vào sự phát triển của lĩnh vực ANPR và mang lại những lợi ích thiết thực cho xã hội.

6.1. Tóm tắt các kết quả đạt được trong nghiên cứu

Nghiên cứu này đã trình bày một tổng quan về mạng nơ-ron tích chập (CNN) và ứng dụng của nó trong nhận dạng biển số xe (ANPR). Nghiên cứu đã phân tích các thách thức trong ANPR và đề xuất các phương pháp cải tiến mô hình CNN và các kỹ thuật liên quan. Nghiên cứu cũng đã trình bày các ứng dụng thực tế của ANPR và đánh giá hiệu năng của hệ thống. Các kết quả đạt được cho thấy rằng CNN là một công cụ mạnh mẽ để giải quyết bài toán ANPR, nhưng vẫn còn nhiều cơ hội để cải thiện.

6.2. Các hướng nghiên cứu tiếp theo trong lĩnh vực ANPR

Trong tương lai, có nhiều hướng nghiên cứu tiềm năng trong lĩnh vực nhận dạng biển số xe (ANPR). Một hướng là nghiên cứu các phương pháp tăng cường dữ liệu mới để cải thiện độ chính xác của mô hình CNN. Một hướng khác là nghiên cứu các kiến trúc CNN tiên tiến hơn để tăng tốc độ nhận dạng. Ngoài ra, việc tích hợp ANPR với các công nghệ khác như trí tuệ nhân tạo (AI), Internet of Things (IoT) và dữ liệu lớn (big data) có thể mở ra những ứng dụng mới và thú vị.

Nội dung chính

Tổng quan nghiên cứu

Sự gia tăng nhanh chóng của phương tiện giao thông đường bộ tại Việt Nam với hơn 65 triệu xe máy và 4 triệu ô tô lưu hành đã đặt ra thách thức lớn cho công tác giám sát, điều tiết giao thông và quản lý an ninh bãi đỗ. Các phương pháp nhận diện thủ công bằng mắt thường hoặc ghi chép thẻ từ truyền thống bộc lộ nhiều hạn chế về tốc độ xử lý, gây ùn tắc tại các trạm thu phí và dễ phát sinh sai sót với tỷ lệ nhầm lẫn vượt mức 8%. Nhằm giải quyết triệt để vấn đề này, luận văn thạc sĩ kỹ thuật chuyên ngành Khoa học máy tính thực hiện năm 2020 tại Hà Nội tập trung nghiên cứu mô hình "tự động nhận dạng biển số xe" (Automatic Number Plate Recognition - ANPR) đạt độ chính xác cao.

Mục tiêu cụ thể của nghiên cứu là xây dựng quy trình tự động hóa khép kín gồm hai giai đoạn chính: phát hiện chính xác vùng chứa biển số xe trong ảnh chụp ngoại cảnh và nhận dạng tự động từng ký tự số, chữ cái trên biển số. Phạm vi nghiên cứu tập trung vào toàn bộ các mẫu biển số xe cơ giới đang lưu hành tại Việt Nam theo quy chuẩn kích thước của Bộ Giao thông Vận tải, bao gồm cả biển số dân sự, xe quân đội và cơ quan ngoại giao. Nghiên cứu mang ý nghĩa thực tiễn sâu sắc khi tối ưu hóa tốc độ xử lý toàn trình xuống dưới 150ms trên mỗi khung hình, giảm tỷ lệ nhận dạng sai sót xuống dưới 4%, góp phần hoàn thiện hạ tầng hệ thống giao thông thông minh (ITS) và thúc đẩy tự động hóa tại các trạm kiểm soát an ninh đô thị.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng nền tảng mạng nơ-ron tích chập (Convolutional Neural Networks - CNN) kết hợp với các kỹ thuật thị giác máy tính truyền thống. Khung lý thuyết trọng tâm bao gồm ba cấu trúc chính:

1. Mô hình Mạng nơ-ron nhân tạo (ANN) và Mạng nơ-ron tích chập (CNN): Mạng tích chập được thiết kế theo cấu trúc phân tầng gồm lớp tích chập (Convolution Layer), lớp kích hoạt phi tuyến tính ReLU (Rectified Linear Unit), lớp tổng hợp Max Pooling và các lớp kết nối hoàn toàn (Fully Connected Layer). CNN tận dụng đặc tính bất biến đối với phép dịch chuyển (translation), phép quay (rotation) và phép co giãn (scaling) thông qua cơ chế trường tiếp nhận (receptive field) và chia sẻ trọng số, giúp giảm thiểu số lượng tham số cần tối ưu hóa.
2. Kỹ thuật xử lý ảnh hình thái học và dò biên cạnh: Sử dụng các bộ lọc Gradient (bộ lọc Sobel) kết hợp phép biến đổi Hough để dò biên cạnh ngang và dọc. Phương pháp hình thái học (Mathematical Morphology) với các phép toán đóng/mở (Opening/Closing) được áp dụng để phân đoạn các vùng liên thông (contours).
3. Quy chuẩn hình học biển số xe Việt Nam: Căn cứ theo tiêu chuẩn quốc gia, biển ô tô dài có kích thước 110 mm x 470 mm, biển ô tô vuông là 200 mm x 280 mm, và biển xe máy có kích thước 140 mm x 190 mm. Tỷ lệ chiều cao trên chiều rộng nằm trong khoảng giới hạn xác định từ 0.18 đến 0.60, số lượng ký tự dao động từ 6 đến 9 ký tự, với chiều cao mỗi ký tự chiếm từ 60% đến 85% chiều cao biển số đối với loại một hàng.

Phương pháp nghiên cứu

Nghiên cứu triển khai phương pháp thực nghiệm kết hợp phân tích định lượng trên tập dữ liệu gồm 500 mẫu ảnh chụp phương tiện thực tế trong năm 2020. Dữ liệu được thu thập qua các camera tĩnh đặt tại cổng kiểm soát và bãi đỗ xe với góc nghiêng từ 0 đến 30 độ dưới các điều kiện ánh sáng thay đổi. Phương pháp chọn mẫu có chủ đích (purposive sampling) được lựa chọn để đảm bảo sự đa dạng về chủng loại phương tiện (xe máy, ô tô con, xe tải) và chất lượng ảnh (ảnh rõ nét, ảnh chói sáng, ảnh mờ nhẹ).

Quy trình phân tích dữ liệu được chia làm hai giai đoạn:

• Giai đoạn tiền xử lý và tách vùng biển số: Ảnh màu BGR được chuyển sang ảnh mức xám 256 mức độ, sau đó lọc nhiễu và quét phân ngưỡng nhị phân trong dải mức xám từ 130 đến 200. Các đường bao đối tượng (contours) được trích xuất thông qua thư viện EmguCV và được chọn lọc dựa trên tiêu chí tỷ lệ khung hình chuẩn 3.4 (cho biển một hàng) hoặc 0.7 (cho biển hai hàng).
• Giai đoạn nhận dạng ký tự: Từng ký tự được trích xuất thành ảnh nhị phân kích thước chuẩn 30 x 22 pixel, sau đó đưa qua mạng CNN gồm 4 bộ lọc kích thước 3 x 3 đại diện cho các hướng cạnh (đứng phải, đứng trái, ngang dưới, ngang trên) để trích xuất ma trận đặc trưng và phân lớp qua hàm Softmax. Lý do lựa chọn mạng CNN thay vì các mô hình phân lớp truyền thống như SVM hay K-NN là do CNN có khả năng tự động học trích xuất đặc trưng hình thái phức tạp mà không phụ thuộc vào việc thiết kế đặc trưng thủ công.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm trên bộ dữ liệu 500 ảnh biển số xe mang lại nhiều kết quả định lượng cụ thể:

1. Hiệu quả phát hiện vùng chứa biển số: Phương pháp hình thái học kết hợp lọc tỷ lệ contour đạt độ chính xác phát hiện vùng biển số là 96.8% (484/500 mẫu thành công). Các tham số lọc hình học theo tỷ lệ chiều cao/chiều rộng loại bỏ được hơn 92% các vùng ứng viên sai lệch từ ngoại cảnh.
2. Độ chính xác phân loại ký tự bằng CNN: Mô hình mạng nơ-ron tích chập sử dụng 4 bộ lọc kích thước 3 x 3 đạt tỷ lệ nhận dạng ký tự chữ và số là 97.4% trên tập mẫu thử nghiệm. Ma trận đầu ra kích thước 28 x 20 pixel trích xuất rõ nét các đặc trưng cạnh đứng và cạnh ngang của từng ký tự từ 0 đến 9 và từ A đến Z.
3. Tối ưu hóa thời gian xử lý: Thời gian thực thi toàn trình trung bình cho một ảnh đầu vào là 120ms (trong đó giai đoạn tách biển số chiếm khoảng 70ms và nhận dạng ký tự chiếm 50ms). Tốc độ này nhanh hơn 40% so với phương pháp so khớp mẫu (Template Matching) cổ điển.
4. Phân tích nguyên nhân lỗi: Tỷ lệ lỗi 3.2% trong khâu phát hiện vùng biển số và 2.6% trong khâu nhận dạng ký tự chủ yếu tập trung vào các trường hợp biển số bị che khuất bởi ốc vít gắn biển, ký tự bị mất nét do bùn đất hoặc ảnh chụp bị lóa sáng làm mất biên nhị phân.

Thảo luận kết quả

Kết quả nghiên cứu có thể được trực quan hóa rõ ràng qua bảng thống kê hiệu năng nhận dạng giữa các phương pháp xử lý và biểu đồ ma trận nhầm lẫn (Confusion Matrix) của 36 lớp ký tự. Dữ liệu thực nghiệm cho thấy mạng CNN vượt trội hơn hẳn các thuật toán học máy truyền thống khi duy trì độ chính xác cao ngay cả khi ký tự bị nghiêng nhẹ từ 5 đến 10 độ.

So sánh với các công trình quốc tế, kết quả đạt được của luận văn (96.8% phát hiện vùng biển và 97.4% nhận dạng ký tự) hoàn toàn tương thích và tiệm cận với nghiên cứu của Chirag N. Paunwala năm 2010 (đạt 98.9% trên tập 750 ảnh) và Choo Kar Soon năm 2012 (đạt 98% phát hiện biển và 95% nhận dạng ký tự bằng K-NN). Điểm nổi bật của luận văn là mô hình được tinh chỉnh đặc thù cho các quy chuẩn biển số của Việt Nam, nơi có sự đan xen phức tạp giữa biển số một hàng (biển dài) và biển số hai hàng (biển vuông, biển xe máy), cùng mật độ 6 đến 9 ký tự trên một biển.

Nghiên cứu khẳng định câu châm ngôn học thuật: "học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron". Cơ chế trượt bộ lọc tích chập và tổng hợp Max Pooling đã chứng minh tính hiệu quả vượt bậc trong việc giảm chiều dữ liệu mà vẫn giữ trọn vẹn thông tin nhận dạng cốt lõi.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả ứng dụng thực tế của mô hình nhận dạng biển số xe, luận văn đề xuất 4 nhóm giải pháp kỹ thuật và tổ chức:

1. Mở rộng tập dữ liệu huấn luyện đa dạng: Các nhóm nghiên cứu phát triển cần thu thập và gán nhãn tập dữ liệu quy mô trên 10.000 ảnh biển số xe trong vòng 6 tháng tới. Tập dữ liệu mới cần bổ sung các trường hợp biển số xe quân sự (biển đỏ), xe ngoại giao (biển NG, NN) và biển số xe bị mờ xước, nhằm nâng mục tiêu độ chính xác nhận dạng toàn diện lên trên 98.5%.
2. Nâng cấp kiến trúc mạng nơ-ron nhận dạng đối tượng đầu cuối (End-to-End): Kỹ sư phần mềm thị giác máy tính nên nghiên cứu tích hợp các kiến trúc Deep Learning hiện đại như YOLO (You Only Look Once) hoặc SSD (Single Shot MultiBox Detector) trong giai đoạn 12 tháng tiếp theo. Việc này giúp gộp chung hai bước phát hiện biển và tách ký tự thành một mạng nơ-ron duy nhất, giảm độ trễ xử lý xuống dưới 50ms/khung hình.
3. Chuẩn hóa hạ tầng kỹ thuật và vị trí lắp đặt camera: Đơn vị triển khai hệ thống tại các bãi đỗ xe và trạm thu phí cần thiết lập góc chụp camera không vượt quá 20 độ so với phương thẳng đứng của phương tiện, khoảng cách chụp tối ưu từ 2.5 đến 4 mét, đồng thời bổ sung hệ thống đèn LED hồng ngoại bước sóng 850nm để đảm bảo độ sáng ổn định khi vận hành ban đêm.
4. Xây dựng hệ thống quản trị dữ liệu tập trung: Doanh nghiệp vận hành hệ thống ITS cần kết nối phần mềm ALPR với hệ thống cơ sở dữ liệu phương tiện quốc gia trong vòng 9 tháng, đảm bảo khả năng tra cứu thông tin đăng kiểm và cảnh báo phương tiện vi phạm với thời gian phản hồi dưới 200ms.

Đối tượng nên tham khảo luận văn

Tài liệu luận văn mang giá trị học thuật và ứng dụng cao, phù hợp với 4 nhóm đối tượng sau:

1. Học viên cao học và sinh viên ngành Công nghệ thông tin, Khoa học máy tính: Tài liệu cung cấp cơ sở lý thuyết chuẩn xác về mạng nơ-ron tích chập, cách tính toán tích chập trên ma trận điểm ảnh và phương pháp trình bày một công trình nghiên cứu định hướng ứng dụng hoàn chỉnh.
2. Kỹ sư thị giác máy tính và lập trình viên AI: Tài liệu là cẩm nang thực hành hữu ích về cách kết hợp thư viện xử lý ảnh (OpenCV, EmguCV) trên môi trường Visual Studio với mô hình học sâu để xây dựng các bài toán OCR chuyên biệt.
3. Các doanh nghiệp công nghệ phát triển giải pháp giao thông thông minh: Cung cấp giải pháp kiến trúc phần mềm cho các sản phẩm thương mại như hệ thống kiểm soát xe ra vào tự động, trạm thu phí không dừng ETC và phần mềm giám sát bãi đỗ thông minh.
4. Nhà quản lý đô thị và đơn vị vận hành bãi đỗ xe: Giúp các nhà quản lý nắm bắt năng lực kỹ thuật của công nghệ ANPR, làm căn cứ lập báo cáo tiền khả thi và hoạch định chi phí đầu tư hạ tầng giám sát giao thông tự động.

Câu hỏi thường gặp

Mạng nơ-ron tích chập (CNN) có ưu điểm gì vượt trội hơn so với các phương pháp nhận dạng truyền thống?
Mạng CNN có khả năng tự động học và trích xuất các đặc trưng không gian từ mức độ thấp (cạnh, đường nét) đến mức độ cao (hình thái ký tự) thông qua các lớp tích chập và Max Pooling. Điều này giúp mô hình đạt tính bất biến với các biến đổi dịch chuyển và góc nghiêng nhẹ, đạt độ chính xác 97.4%, vượt trội hơn hẳn so với SVM hay K-NN vốn phụ thuộc nhiều vào việc chọn lọc đặc trưng thủ công.

Quy chuẩn kích thước biển số xe tại Việt Nam ảnh hưởng như thế nào đến thuật toán phát hiện?
Biển số xe Việt Nam có tỷ lệ kích thước chuẩn xác định như biển dài ô tô 110 x 470 mm, biển vuông 200 x 280 mm và biển xe máy 140 x 190 mm. Thuật toán tận dụng tỷ lệ hình học này (tỷ lệ dài/rộng là 3.4 hoặc 0.7) để thiết lập bộ lọc phân đoạn contour, giúp loại bỏ chính xác hơn 92% các đối tượng gây nhiễu trong ảnh ngoại cảnh.

Hệ thống xử lý thế nào đối với ảnh chụp biển số trong điều kiện ánh sáng yếu hoặc ban đêm?
Hệ thống áp dụng bước tiền xử lý nhị phân hóa thích nghi kết hợp quét ngưỡng xám trong dải từ 130 đến 200. Do vùng biển số luôn có độ tương phản mức xám cao giữa nền biển và ký tự, việc quét ngưỡng linh hoạt giúp làm nổi bật đường bao ký tự và duy trì độ chính xác phát hiện trên 90% trong môi trường thiếu sáng.

Tại sao cần chuẩn hóa ảnh ký tự về ma trận kích thước cố định trước khi đưa vào mạng CNN?
Ký tự sau khi tách rời từ biển số có kích thước không đồng đều. Việc chia lưới và ánh xạ về ma trận cố định (30 x 22 pixel) giúp chuẩn hóa số lượng nơ-ron đầu vào của lớp tích chập đầu tiên, đảm bảo phép nhân tích chập với các bộ lọc 3 x 3 diễn ra chính xác và đồng nhất trên toàn bộ tập dữ liệu.

Những yếu tố nào gây ra lỗi nhận dạng sai ký tự trong thực tế?
Các lỗi nhận dạng sai chủ yếu do tác động ngoại cảnh: ký tự bị che khuất bởi đinh ốc cố định biển số, bề mặt biển bị trầy xước mất nét, bùn đất bám dính làm dính các vùng liên thông con, hoặc góc chụp camera bị nghiêng quá 35 độ làm biến dạng cấu trúc hình học của chữ và số.

Kết luận

• Công trình đã nghiên cứu toàn diện cơ sở lý thuyết của mạng nơ-ron nhân tạo và mạng nơ-ron tích chập (CNN) ứng dụng trong bài toán nhận dạng biển số xe.
• Xây dựng thành công quy trình xử lý ảnh hoàn chỉnh gồm tiền xử lý, phân ngưỡng xám, lọc contour hình học và nhận dạng ký tự tự động theo tiêu chuẩn biển số Việt Nam.
• Thiết kế mô hình CNN 4 bộ lọc cạnh kích thước 3 x 3 đạt độ chính xác nhận dạng ký tự 97.4% và độ chính xác tách biển số 96.8%.
• Tối ưu hóa thời gian xử lý toàn trình đạt trung bình 120ms/ảnh, đáp ứng tốt yêu cầu triển khai theo thời gian thực tại các hệ thống kiểm soát giao thông.
• Định hướng trong 6 đến 12 tháng tới là mở rộng tập dữ liệu huấn luyện và tích hợp kiến trúc Deep Learning đầu cuối nhằm nâng cao độ chính xác trên các biển số biến dạng phức tạp.

Quý độc giả và các nhà nghiên cứu hãy tham khảo chi tiết toàn văn luận văn thạc sĩ kỹ thuật của tác giả Nguyễn Thế Quyền để ứng dụng và phát triển các hệ thống thị giác máy tính thông minh trong thực tiễn.

Trích đoạn nội dung tài liệu

Chương 1: Mạng nơron và mạng nơron tích chập. Chương 2: Tổng quan về nhận dạng biển số xe. Chương 3: Áp dụng mạng nơron tích chập trong nhận dạng ký tự Phần kết luận tóm tắt lại các nội dung đã đạt được của luận văn, và nêu lên một số gợi ý về hướng phát triển tiếp theo của luận văn. MẠNG NƠRON VÀ MẠNG NƠRON TÍCH CHẬP 1.

Giới thiệu về mạng nơron Định nghĩa: Mạng nơron nhân tạo, Artificial Nơron Network (ANN) là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học. Nó được tạo nên từ một số lượng lớn các phần tử (nơron) kết nối với nhau thông qua các liên kết (trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu,.) thông qua một quá trình học từ tập các mẫu huấn luyện. Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron.

Cấu trúc nơron nhân tạo: Hình 1-1. Cấu tạo một Nơron Các thành phần cơ bản của một nơron nhân tạo bao gồm: Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector N chiều. Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số liên kết – Synaptic weight. Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được ký hiệu là wkj.

Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhập liên tục trong quá trình học mạng. 3 Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó. Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền. 4 Hàm truyền (Transfer function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron.

Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng. Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra. Xét về mặt toán học, cấu trúc của một nơron k, được mô tả bằng cặp biểu thức sau: Trong đó: x1, x2, ., xp: là các tín hiệu vào; (wk1, wk2,., wkp) là các trọng số liên kết của nơron thứ k; uk là hàm tổng; bk là một ngưỡng; f là hàm truyền và yk là tín hiệu đầu ra của nơron. Như vậy nơron nhân tạo nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra ( là kết quả của hàm truyền).

Một số hàm truyền thông dụng Hàm truyền Đồ thị Định nghĩa Hàm này cũng được biết đến với tên "Hàm ngưỡng" (Threshold function hay Heaviside function). Đầu ra của Symmetrical hàm này được giới hạn vào một Hard Limit trong hai giá trị: (hardlims) Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Đôi khi Linear một hằng số được nhân với net-input (purelin) để tạo ra một hàm đồng nhất Hàm này có các thuộc tính tương tự Saturating hàm sigmoid. Nó làm việc tốt đối với Linear các ứng dụng có đầu ra yêu cầu trong (satlin) khoảng [-1,1].

Log-Sigmoid Hàm này đặc biệt thuận lợi khi sử (logsig) dụng cho các mạng được huấn luyện (trained) bởi thuật toán Lan truyền ngược (back-propagation), bởi vì nó dễ lấy đạo hàm, do đó có thể giảm đáng kể tính toán trong quá trình huấn luyện. Hàm này được ứng dụng cho các chương trình ứng dụng mà các đầu ra mong muốn rơi vào 6 khoảng [0,1]. Mạng nơron tích chập 1. Định nghĩa mạng nơron tích chập Tích chập được ứng dụng phổ biến trong lĩnh vực thị giác máy tính.

Thông qua các phép tích chập, các đặc trưng chính từ ảnh được chiết xuất và truyền vào các lớp tích chập (layer convolution). Mỗi một lớp tích chập sẽ bao gồm nhiều đơn vị mà kết quả ở mỗi đơn vị là một phép biến đổi tích chập từ layer trước đó thông qua phép nhân tích chập với bộ lọc. Convolution (tích chập) Tích chập là một khái niệm trong xử lý tín hiệu số nhằm biến đổi thông tin đầu vào thông qua một phép tích chập với bộ lọc để trả về đầu ra là một tín hiệu mới. Tín hiệu này sẽ làm giảm những đặc trưng mà bộ lọc không quan tâm và chỉ giữ những đặc trưng chính.

Minh họa tích chập 8 Ảnh đầu vào được cho qua một bộ lọc chạy dọc bức ảnh. Bộ lọc có kích thước là (3x3 hoặc 5x5) và áp dụng phép tích vô hướng để tính toán, cho ra một giá trị duy nhất. Đầu ra của phép tích chập là một tập các giá trị ảnh được gọi là mạng đặc trưng (features map). Mô hình mạng nơron tích chập Hình 1-3.

Mô hình mạng nơron tích chập CNNs có tính bất biến và tính kết hợp cục bộ (Location Invariance and Compositionality). Với cùng một đối tượng, nếu đối tượng này được chiếu theo các gốc độ khác nhau (translation, rotation, scaling) thì độ chính xác của thuật toán sẽ bị ảnh hưởng đáng kể. Pooling lớp sẽ cho bạn tính bất biến đối với phép dịch chuyển (translation), phép quay (rotation) và phép co giãn (scaling). Về cơ bản thiết kế của một mạng nơ ron tích chập 2 chiều có dạng như sau: INPUT -> [[CONV -> RELU]N -> POOL?]M -> [FC -> RELU]*K -> FC Trong đó:  Input: Lớp đầu vào  Conv Layer (Lớp tích chập): Mục tiêu của các lớp tích chập là trích chọn các đặc trưng của ảnh đầu vào.

 ReLU Layer (Lớp biến đổi): ReLU layer áp dụng các kích hoạt 9 (activation function) max(0,x) lên đầu ra của Conv Layer, có tác dụng đưa các giá trị âm về thành 0. Layer này không thay đổi kích thước của ảnh và không có thêm bất kì tham số nào. Mục đích của lớp ReLu là đưa ảnh một mức ngưỡng, ở đây là 0. Để loại bỏ các giá trị âm không cần thiết mà có thể sẽ ảnh hưởng cho việc tính toán ở các layer sau đó.

10  Pool layer (Lớp tổng hợp): Pool Layer thực hiện chức năng làm giảm chiều không gian của đầu và giảm độ phức tạp tính toán của model ngoài ra Pool Layer còn giúp kiểm soát hiện tượng overffiting. Thông thường, Pool layer có nhiều hình thức khác nhau phù hợp cho nhiều bài toán, tuy nhiên Max Pooling là được sử dụng nhiều vào phổ biến hơn cả với ý tưởng cũng rất sát với thực tế con người đó là: Giữ lại chi tiết quan trọng hay hiểu ở trong bài toán này chính giữ lại pixel có giá trị lớn nhất.  Fully_Connected (Lớp kết nối hoàn toàn): Tại lớp mạng này, mỗi một nơ-ron của layer này sẽ liên kết tới mọi nơ-ron của lớp khác. Để đưa ảnh từ các layer trước vào mạng này, buộc phải dàn phẳng bức ảnh ra thành 1 vector thay vì là mảng nhiều chiều như trước.

Tại layer cuối cùng sẽ sử dụng 1 hàm kinh điển trong học máy mà bất kì ai cũng từng sử dụng đó là softmax để phân loại đối tượng dựa vào vector đặc trưng đã được tính toán của các lớp trước đó. Các kí hiệu []N, []M hoặc []*K ám chỉ cấu trúc bên trong [] có thể lặp lại nhiều lần liên tiếp nhau. M, K là số lần lặp lại. Kí hiệu -> đại diện cho các lớp liền kề nhau mà lớp đứng trước -> sẽ làm đầu vào cho lớp đứng sau.

Như vậy ta có thể thấy một mạng nơron tích chập về cơ bản có 3 quá trình khác nhau: Quá trình chiết xuất đặc trưng: Thông qua các tích chập giữa ma trận đầu vào với bộ lọc để tạo thành các đơn vị trong một lớp mới. Quá trình này có thể diễn ra liên tục ở phần đầu của mạng và thường sử dụng hàm kích hoạt relu. Quá trình tổng hợp: Các lớp ở về sau quá trình chiết xuất đặc trưng sẽ có kích thước lớn do số đơn vị ở các lớp sau thường tăng tiến theo cấp số nhân. Điều đó làm tăng số lượng hệ số và khối lượng tính toán trong mạng nơ ron.

Do đó để giảm tải tính toán chúng ta sẽ cần giảm chiều của ma trận hoặc giảm số đơn vị của lớp. Vì mỗi một đơn vị sẽ là kết quả đại diện của việc áp dụng 1 11 bộ lọc để tìm ra một đặc trưng cụ thể nên việc giảm số đơn vị sẽ không khả thi. Giảm kích thước ma trận thông qua việc tìm ra 1 giá trị đại diện cho mỗi một vùng không gian mà bộ lọc đi qua sẽ không làm thay đổi các đường nét chính của bức ảnh nhưng lại giảm được kích thước của ảnh. Do đó quá trình giảm chiều ma trận được áp dụng.

Quá trình này gọi là tổng hợp. 12 Quá trình kết nối hoàn toàn: Sau khi đã giảm số lượng tham số đến một mức độ hợp lý, ma trận cần được làm dẹt (flatten) thành một vector và sử dụng các kết nối hoàn toàn giữa các lớp. Quá trình này sẽ diễn ra cuối mạng tích chập và sử dụng hàm kích hoạt là relu. Kết nối cuối cùng sẽ dẫn tới các đơn vị là đại diện cho mỗi lớp với hàm kích hoạt là softmax nhằm mục đích tính xác xuất.

Tính chất của mạng nơron tích chập Tính kết nối trượt: Khác với các mạng nơ ron thông thường, mạng nơ ron tích chập không kết nối tới toàn bộ hình ảnh mà chỉ kết nối tới từng vùng địa phương (local region) có kích thước bằng kích thước bộ lọc của hình ảnh đó. Các bộ lọc sẽ trượt theo chiều của ảnh từ trái qua phải và từ trên xuống dưới đồng thời tính toán các giá trị tích chập và điền vào bản đồ kích hoạt (activation map). Tích chập trên bản đồ kích hoạt Tính chia sẻ kết nối và kết nối cục bộ: Chúng ta đã biết quá trình biến đổi trong mạng tích chập sẽ kết nối các khối nơron 3D. Tuy nhiên các đơn vị sẽ không kết nối tới toàn bộ khối 3D trước đó theo chiều width và height mà chúng sẽ chọn ra các vùng địa phương có kích thước bằng với bộ lọc giống như quá trình tính tích chập.

Các vùng địa phương sẽ được chia sẻ chung một bộ siêu tham số gọi là trường tiếp nhận (receptive field) của bộ lọc. Tuy nhiên các kết nối cục bộ chỉ diễn ra theo 13 chiều width và height. Kết nối sẽ mở rộng hoàn toàn theo chiều depth. Như vậy số tham số trong một lớp sẽ là F×F×DF×F×D (F,DF,D lần lượt là kích thước bộ lọc và chiều depth).