Ứng Dụng Deep Learning Để Nhận Diện Biển Số Xe Ra Vào Trong Một Tòa Nhà

Tài liệu nghiên cứu Ứng dụng deep learning để nhận diện biển số xe ra vào trong một tòa nhà, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Trịnh Thị Hoàng Oanh
• Người hướng dẫn: TS. Vũ Thị Trà
• Trường học: Đại học Đà Nẵng
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Ứng Dụng Deep Learning Nhận Diện Biển Số Xe Trong Tòa Nhà
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Đà Nẵng

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. Các khái niệm chung
• 1.2. Bài toán nhận dạng biển số xe
• 1.2.1. Khái niệm nhận dạng biển số xe
• 1.2.2. Lịch sử hình thành và phát triển
• 1.2.3. Cách thức hoạt động của hệ thống
• 1.2.4. Phân loại các ứng dụng nhận dạng biển số xe
• 1.2.5. Một số đặc điểm để nhận dạng biển số xe tại Việt Nam
• 1.2.6. Kỹ thuật học sâu để nhận dạng và phân loại đối tượng
• 1.2.6.1. Kỹ thuật mạng nơ-ron tích chập (CNN)
• 1.2.6.2. Một số kỹ thuật tìm kiếm xác định vị trí vật thể trong ảnh sử dụng mạng CNN
• 1.2.7. Phương pháp nhận dạng ký tự trong biển số xe
• 1.2.7.1. Phương pháp hình thái học (morphology)
• 1.2.7.2. Phương pháp mạng nơron (neuron network)
• 1.2.7.3. Phương pháp so khớp mẫu
• 1.3. Kết chương 1
• 2. CHƯƠNG 2: GIẢI PHÁP NHẬN DẠNG BIỂN SỐ XE
• 2.1. Sử dụng công nghệ YOLOv4 áp dụng cho bài toán
• 2.1.1. Cấu trúc nhận diện vật thể của YOLOv4
• 2.1.2. Quy trình phát hiện, nhận dạng biển số xe
• 2.2. Sử dụng phương pháp nhận dạng ký tự quang học áp dụng cho bài toán
• 2.2.1. Cấu trúc của Tesseract
• 2.2.2. Xác định dòng và từ
• 2.3. Kết chương 2
• 3. CHƯƠNG 3: THỰC NGHIỆM NHẬN DẠNG BIỂN SỐ XE
• 3.1. Bài toán nhận dạng biển số xe
• 3.2. Xây dựng chương trình thực nghiệm
• 3.2.1. Cài đặt chương trình chạy
• 3.2.2. Chuẩn bị dữ liệu
• 3.2.3. Huấn luyện model trên Colab
• 3.2.4. Kết quả đạt được
• 3.3. Kết chương 3
• KẾT LUẬN VÀ KIẾN NGHỊ
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Ứng Dụng Deep Learning Nhận Diện Biển Số Xe

Bài toán nhận diện biển số xe (ANPR/LPR) đang ngày càng trở nên quan trọng trong nhiều lĩnh vực như an ninh tòa nhà, quản lý bãi đỗ xe thông minh và kiểm soát ra vào. Sự phát triển của trí tuệ nhân tạo (AI) và đặc biệt là deep learning đã mang lại những giải pháp hiệu quả hơn so với các phương pháp truyền thống. Deep learning cung cấp khả năng tự động học các đặc trưng phức tạp từ dữ liệu, giúp hệ thống nhận dạng biển số xe hoạt động chính xác và ổn định hơn trong nhiều điều kiện khác nhau. Ứng dụng này không chỉ giúp tự động hóa quy trình mà còn tăng cường an ninh và hiệu quả quản lý. Bài viết này sẽ đi sâu vào các khía cạnh khác nhau của việc ứng dụng deep learning trong nhận diện biển số xe cho các tòa nhà, từ cơ sở lý thuyết đến các giải pháp thực tiễn và kết quả nghiên cứu.

1.1. Lịch Sử Phát Triển Của Hệ Thống Nhận Diện Biển Số Xe

Hệ thống Automatic Number Plate Recognition (ANPR) ra đời từ năm 1976 tại Anh. Đến nay, hệ thống đã trải qua nhiều giai đoạn phát triển. Các hệ thống thử nghiệm ban đầu đã được triển khai trên đường A1 và tại đường hầm Dartford. Vụ bắt giữ đầu tiên nhờ phát hiện một chiếc xe bị đánh cắp được thực hiện vào năm 1981. Tuy nhiên, ANPR đã không được sử dụng rộng rãi cho đến khi những phát triển mới về phần mềm rẻ hơn và dễ sử dụng hơn được tiên phong trong suốt những năm 1990. Việc thu thập dữ liệu ANPR để sử dụng trong tương lai đã được ghi lại vào đầu những năm 2000. Điều này cho thấy sự quan tâm và tiềm năng của công nghệ này trong việc cải thiện an ninh và quản lý giao thông.

1.2. Ứng Dụng Thực Tế Của Nhận Diện Biển Số Xe ANPR LPR

Ứng dụng nhận diện biển số xe rất đa dạng, từ kiểm soát ra vào tại các tòa nhà, khu dân cư, đến quản lý bãi đỗ xe thông minh và hệ thống giao thông. ANPR có thể được sử dụng để tự động hóa việc ghi lại thời gian ra vào, tính phí đỗ xe, hoặc phát hiện các xe vi phạm giao thông. Trong lĩnh vực an ninh, hệ thống này có thể giúp nhận diện các xe khả nghi và cảnh báo cho nhân viên an ninh. Theo tài liệu, có rất nhiều cách thức khác nhau để phân loại ứng dụng nhận dạng biển số xe thông qua mục đích sử dụng. Có thể chia làm hai loại: giới hạn vùng nhìn và không giới hạn vùng nhìn, tùy thuộc vào yêu cầu và điều kiện thực tế.

II. Thách Thức và Vấn Đề Trong Nhận Diện Biển Số Xe Tòa Nhà

Mặc dù deep learning đã mang lại những tiến bộ đáng kể, việc nhận diện biển số xe trong môi trường thực tế vẫn đối mặt với nhiều thách thức. Các yếu tố như điều kiện ánh sáng thay đổi, góc nhìn khác nhau, biển số bị mờ hoặc bị che khuất, và sự đa dạng về font chữ, kích thước biển số xe có thể ảnh hưởng đến hiệu suất của hệ thống. Hơn nữa, việc xây dựng một bộ dữ liệu huấn luyện đủ lớn và đa dạng cũng là một thách thức không nhỏ. Các hệ thống hiện tại cần phải có khả năng xử lý các tình huống phức tạp này để đảm bảo độ chính xác cao và ổn định, đặc biệt trong các ứng dụng an ninh tòa nhà và kiểm soát ra vào quan trọng.

2.1. Các Yếu Tố Ảnh Hưởng Đến Độ Chính Xác Nhận Diện

Nhiều yếu tố có thể ảnh hưởng đến độ chính xác của hệ thống nhận diện biển số xe, bao gồm: độ phân giải của ảnh, điều kiện ánh sáng, góc chụp, và chất lượng của biển số. Ảnh bị mờ hoặc bị che khuất sẽ làm giảm khả năng nhận diện chính xác của hệ thống. Theo tài liệu, không có một hệ thống ALPR nào có thể nhận dạng chính xác 100%, một số yếu tố ảnh hưởng đến độ chính xác như: độ phân giải của ảnh kém hoặc ảnh bị mờ; điều kiện ánh sáng yếu, bị phản chiếu hoặc che bóng; các đối tượng có dạng tương tự như biển số xe ngoại cảnh và sự khác nhau về cấu trúc biển số xe ở mỗi nước.

2.2. Khó Khăn Trong Xây Dựng Dữ Liệu Huấn Luyện Đa Dạng

Để huấn luyện một mô hình deep learning hiệu quả, cần một bộ dữ liệu lớn và đa dạng, bao gồm nhiều loại biển số xe, các điều kiện ánh sáng khác nhau, và các góc nhìn khác nhau. Việc thu thập và gán nhãn dữ liệu này tốn nhiều thời gian và công sức. Hơn nữa, dữ liệu cần phải được cân bằng để tránh bias trong quá trình huấn luyện. Điều này đặc biệt quan trọng trong các ứng dụng thực tế, nơi hệ thống phải hoạt động ổn định trong nhiều tình huống khác nhau.

III. Giải Pháp Nhận Diện Biển Số Xe Với Deep Learning YOLOv4

Một trong những giải pháp hiệu quả để nhận diện biển số xe là sử dụng mô hình YOLOv4 (You Only Look Once). YOLOv4 là một thuật toán deep learning mạnh mẽ cho phép phát hiện đối tượng trong thời gian thực với độ chính xác cao. Mô hình này có thể xác định vị trí và phân loại biển số xe trong hình ảnh hoặc video một cách nhanh chóng và hiệu quả. Kết hợp YOLOv4 với các kỹ thuật xử lý ảnh khác, như OCR biển số xe (Optical Character Recognition), có thể tạo ra một hệ thống nhận diện biển số xe toàn diện và đáng tin cậy.

3.1. Ưu Điểm Của Mô Hình YOLOv4 Trong Nhận Diện Biển Số

YOLOv4 có nhiều ưu điểm vượt trội so với các thuật toán phát hiện đối tượng khác, bao gồm tốc độ xử lý nhanh, độ chính xác cao, và khả năng hoạt động trong thời gian thực. Điều này làm cho YOLOv4 trở thành một lựa chọn lý tưởng cho các ứng dụng nhận diện biển số xe đòi hỏi hiệu suất cao. So sánh tốc độ xử lý và độ chính xác của YOLOv4 với các công nghệ khác trong cùng tập dữ liệu MS COCO. Có thể thấy so với YOLOv3 với cùng một FPS (Frame per Second) YOLOv4 cho độ chính xác (AP) cao hơn hẳn.

3.2. Quy Trình Phát Hiện Và Nhận Dạng Biển Số Xe Bằng YOLOv4

Quy trình nhận diện biển số xe bằng YOLOv4 thường bao gồm các bước sau: Đầu tiên, hình ảnh hoặc video được đưa vào mô hình YOLOv4 để phát hiện vị trí của biển số xe. Sau đó, vùng biển số xe được cắt ra và xử lý bằng thuật toán OCR biển số xe để trích xuất các ký tự. Cuối cùng, các ký tự được ghép lại để tạo thành biển số xe hoàn chỉnh. Quá trình này diễn ra nhanh chóng và tự động, cho phép hệ thống nhận diện biển số xe hoạt động hiệu quả trong nhiều điều kiện khác nhau.

3.3 Kết Hợp YOLOv4 và Tesseract OCR Nhận Diện Biển Số

Mô hình YOLOv4 giúp phát hiện vị trí biển số, sau đó sử dụng thư viện Tesseract OCR để đọc các ký tự. YOLOv4 tập trung vào việc khoanh vùng chính xác biển số, còn Tesseract sẽ giải mã nội dung bên trong. Việc kết hợp này giúp tăng độ chính xác cho toàn hệ thống, đặc biệt trong các trường hợp ký tự bị mờ hoặc biến dạng. Quy trình này giúp nhận dạng biển số xe chính xác và hiệu quả.

IV. Thực Nghiệm Ứng Dụng Deep Learning Nhận Diện Biển Số Xe

Để đánh giá hiệu quả của giải pháp, cần thực hiện các thí nghiệm thực tế trên dữ liệu thu thập được. Quá trình này bao gồm việc chuẩn bị dữ liệu, huấn luyện mô hình deep learning, và đánh giá hiệu suất của mô hình trên các bộ dữ liệu kiểm tra. Kết quả thực nghiệm sẽ cho thấy khả năng của hệ thống trong việc nhận diện biển số xe trong các điều kiện khác nhau, và giúp xác định các điểm cần cải thiện. Việc sử dụng các công cụ như Google Colab và các thư viện OpenCV sẽ giúp đơn giản hóa quá trình này.

4.1. Chuẩn Bị Dữ Liệu Huấn Luyện Mô Hình Deep Learning

Quá trình chuẩn bị dữ liệu là một bước quan trọng trong việc xây dựng một hệ thống nhận diện biển số xe hiệu quả. Dữ liệu cần phải được thu thập từ nhiều nguồn khác nhau, bao gồm cả hình ảnh và video, và phải bao gồm nhiều loại biển số xe, các điều kiện ánh sáng khác nhau, và các góc nhìn khác nhau. Sau khi thu thập, dữ liệu cần phải được gán nhãn một cách chính xác để mô hình deep learning có thể học được các đặc trưng quan trọng. Hình ảnh biển số xe thu thập từ nhiều nguồn. Hình ảnh công cụ gán nhãn. Hình ảnh dữ liệu đã được gán nhãn và lưu trong tập tin obj.

4.2. Huấn Luyện Mô Hình YOLOv4 Trên Google Colab

Google Colab là một nền tảng đám mây miễn phí cho phép huấn luyện các mô hình deep learning một cách dễ dàng. Sử dụng Google Colab, có thể tận dụng các tài nguyên tính toán mạnh mẽ để huấn luyện mô hình YOLOv4 trên bộ dữ liệu đã chuẩn bị. Quá trình huấn luyện bao gồm việc cấu hình môi trường, tải dữ liệu, và chạy các lệnh huấn luyện. Màn hình huấn luyện. Danh sách các file weights được lưu. Các file weights được sinh ra khi huấn luyện mô hình YOLOv4.

V. Kết Quả Nghiên Cứu Và Ứng Dụng Thực Tế Nhận Diện Biển Số

Kết quả nghiên cứu cho thấy rằng việc sử dụng deep learning, đặc biệt là mô hình YOLOv4, có thể mang lại độ chính xác cao trong việc nhận diện biển số xe trong các tòa nhà. Các ứng dụng thực tế của hệ thống này bao gồm kiểm soát ra vào, quản lý bãi đỗ xe thông minh, và an ninh tòa nhà. Với sự phát triển không ngừng của công nghệ, các hệ thống nhận diện biển số xe sẽ ngày càng trở nên thông minh và hiệu quả hơn, đáp ứng nhu cầu ngày càng cao của xã hội.

5.1. Đánh Giá Hiệu Suất Mô Hình Trên Dữ Liệu Thực Tế

Để đánh giá hiệu suất của mô hình nhận diện biển số xe, cần thực hiện các thử nghiệm trên dữ liệu thực tế và so sánh kết quả với các phương pháp truyền thống. Các chỉ số đánh giá quan trọng bao gồm độ chính xác, tốc độ xử lý, và khả năng hoạt động trong các điều kiện khác nhau. Theo tài liệu, tác giả đã xây dựng bộ dữ liệu thử nghiệm, xây dựng mô hình nhận diện biển số xe, huấn luyện đánh giá kết quả đạt được.

5.2. Triển Khai Hệ Thống Nhận Diện Biển Số Tại Tòa Nhà Khu Dân Cư

Việc triển khai hệ thống nhận diện biển số xe tại các tòa nhà hoặc khu dân cư có thể mang lại nhiều lợi ích, bao gồm tăng cường an ninh, tự động hóa quy trình kiểm soát ra vào, và cải thiện hiệu suất quản lý. Hệ thống có thể được tích hợp với các hệ thống khác, như hệ thống quản lý bãi đỗ xe, để tạo ra một giải pháp toàn diện và hiệu quả.

VI. Tương Lai Và Phát Triển Của Ứng Dụng Nhận Diện Biển Số Xe

Công nghệ nhận diện biển số xe sẽ tiếp tục phát triển mạnh mẽ trong tương lai, với sự ra đời của các thuật toán deep learning mới và các cảm biến thông minh hơn. Các hệ thống nhận diện biển số xe trong tương lai sẽ có khả năng hoạt động chính xác hơn trong các điều kiện khắc nghiệt, và có thể được tích hợp với các công nghệ khác, như AI và Internet of Things (IoT), để tạo ra các giải pháp thông minh và toàn diện hơn. Bên cạnh đó, vấn đề bảo mật và lưu trữ dữ liệu biển số xe cần được quan tâm để đảm bảo an toàn và tuân thủ các quy định pháp luật.

6.1. Các Xu Hướng Phát Triển Mới Trong Công Nghệ ANPR

Các xu hướng phát triển mới trong công nghệ ANPR bao gồm việc sử dụng các thuật toán deep learning tiên tiến hơn, tích hợp với các cảm biến thông minh, và sử dụng computer vision để cải thiện độ chính xác và hiệu suất của hệ thống. Các hệ thống ANPR trong tương lai cũng có thể được tích hợp với các công nghệ khác, như AI và IoT, để tạo ra các giải pháp thông minh và toàn diện hơn.

6.2. Vấn Đề Bảo Mật Và Lưu Trữ Dữ Liệu Nhận Diện Biển Số Xe

Việc lưu trữ dữ liệu biển số xe đặt ra nhiều vấn đề về bảo mật và quyền riêng tư. Cần phải có các biện pháp bảo vệ dữ liệu để đảm bảo rằng thông tin cá nhân không bị lộ hoặc lạm dụng. Ngoài ra, cần phải tuân thủ các quy định pháp luật về lưu trữ dữ liệu để tránh các vấn đề pháp lý. Dữ liệu cần được mã hóa và chỉ những người có thẩm quyền mới được phép truy cập.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển kinh tế và công nghệ hiện nay, nhu cầu bảo vệ tài sản và quản lý phương tiện giao thông ngày càng trở nên cấp thiết. Tại các khu vực có lưu lượng xe lớn như chung cư, siêu thị, bệnh viện và đặc biệt là trường học, việc kiểm soát ra vào và quản lý bãi đỗ xe gặp nhiều khó khăn do số lượng phương tiện đa dạng và đông đảo. Theo ước tính, mỗi ngày có hàng nghìn phương tiện ra vào các khu vực này, gây ra tình trạng ùn tắc và khó khăn trong việc xác minh tài sản. Mục tiêu của nghiên cứu là đề xuất và xây dựng giải pháp nhận diện biển số xe ra vào tòa nhà bằng công nghệ Deep Learning, cụ thể là ứng dụng mô hình YOLOv4 kết hợp với kỹ thuật nhận dạng ký tự quang học (OCR) nhằm tự động hóa quá trình kiểm soát phương tiện, nâng cao hiệu quả quản lý và giảm thiểu thời gian xử lý.

Phạm vi nghiên cứu tập trung vào hình ảnh biển số xe thu thập tại các bãi đỗ xe trong tòa nhà và trường THPT Thái Phiên, với dữ liệu thu thập trong năm 2023. Nghiên cứu có ý nghĩa thực tiễn lớn trong việc phát triển các hệ thống giám sát, kiểm soát ra vào tự động, góp phần giảm thiểu ùn tắc, tăng cường an ninh và hỗ trợ tìm kiếm phương tiện nhanh chóng. Các chỉ số hiệu quả được đánh giá qua độ chính xác nhận diện biển số, tốc độ xử lý hình ảnh và khả năng áp dụng trong môi trường thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên hai lý thuyết chính: Deep Learning và nhận dạng ký tự quang học (OCR). Deep Learning, đặc biệt là mạng nơ-ron tích chập (CNN), được sử dụng để phát hiện và phân loại đối tượng trong ảnh. CNN gồm các lớp tích chập (Convolutional Layer), lớp tổng hợp (Pooling Layer) và lớp kết nối đầy đủ (Fully Connected Layer), giúp trích xuất đặc trưng và phân loại hình ảnh với độ chính xác cao. Mô hình YOLOv4 (You Only Look Once version 4) được lựa chọn làm backbone cho bài toán nhận diện biển số xe nhờ khả năng phát hiện đối tượng nhanh và chính xác trong thời gian thực, với kiến trúc gồm ba phần: Backbone (CSPDarknet53), Neck (kết hợp SPP và PAN) và Head (dự đoán bounding box và phân lớp).

Phương pháp nhận dạng ký tự quang học (OCR) sử dụng phần mềm Tesseract, một công cụ mã nguồn mở, để chuyển đổi hình ảnh ký tự biển số thành dạng văn bản có thể xử lý. Tesseract thực hiện các bước xử lý ảnh nhị phân, phân tích thành phần liên thông, xác định dòng và từ, nhận dạng ký tự dựa trên bộ phân loại thích ứng.

Các khái niệm chính bao gồm:

• Mạng nơ-ron tích chập (CNN)
• Mô hình YOLOv4 và các thành phần CSPDarknet53, SPP, PAN
• Nhận dạng ký tự quang học (OCR)
• Hàm mất mát (loss function) trong YOLOv4 gồm localization loss và confidence loss
• Non-max suppression để loại bỏ các bounding box trùng lặp

Phương pháp nghiên cứu

Nghiên cứu sử dụng kết hợp phương pháp lý thuyết và thực nghiệm. Về lý thuyết, thu thập và phân tích các tài liệu liên quan đến Deep Learning, CNN, YOLO và OCR. Về thực nghiệm, dữ liệu hình ảnh biển số xe được thu thập từ camera tại bãi đỗ xe trong tòa nhà và trường THPT Thái Phiên, với tổng dung lượng khoảng 500MB, gồm 1774 hình ảnh đã được gán nhãn đầy đủ.

Phân chia dữ liệu theo tỷ lệ: 70% cho tập huấn luyện (Training Set), 20% cho tập kiểm tra chéo (Validation Set) và 10% cho tập kiểm thử (Testing Set). Công cụ gán nhãn sử dụng LabelImg hỗ trợ định dạng YOLO. Mô hình YOLOv4 được huấn luyện trên nền tảng Google Colab với GPU hỗ trợ CUDA và cuDNN để tăng tốc quá trình xử lý. Kết quả được đánh giá dựa trên độ chính xác nhận diện, tốc độ xử lý và khả năng nhận dạng ký tự biển số.

Timeline nghiên cứu kéo dài trong năm 2023, bao gồm các giai đoạn thu thập dữ liệu, tiền xử lý, huấn luyện mô hình, thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác nhận diện biển số xe: Mô hình YOLOv4 đạt độ chính xác trung bình (Average Precision - AP) trên tập dữ liệu thử nghiệm khoảng 98%, vượt trội hơn so với các phiên bản YOLO trước đó như YOLOv3 với AP khoảng 95%. Tốc độ xử lý đạt 45 khung hình trên giây, phù hợp với ứng dụng thời gian thực.

2. Hiệu quả nhận dạng ký tự bằng Tesseract: Tỷ lệ nhận dạng ký tự chính xác đạt khoảng 92% trên các ảnh biển số thu thập trong điều kiện ánh sáng không đồng đều và kích thước biển số đa dạng. Việc áp dụng kỹ thuật tiền xử lý ảnh giúp cải thiện đáng kể kết quả nhận dạng.

3. Tăng cường đa dạng dữ liệu: Qua các phương pháp tăng cường dữ liệu như crop ngẫu nhiên và thay đổi kích thước biển số, mô hình được huấn luyện với bộ dữ liệu phong phú hơn, giúp tăng khả năng nhận diện trong các điều kiện thực tế khác nhau.

4. So sánh với các phương pháp truyền thống: So với các phương pháp nhận dạng biển số xe dựa trên kỹ thuật phân loại KNN hay xử lý hình thái học, giải pháp Deep Learning kết hợp YOLOv4 và OCR cho kết quả vượt trội về độ chính xác và tốc độ xử lý.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả cao của mô hình là nhờ kiến trúc CSPDarknet53 trong YOLOv4 giúp trích xuất đặc trưng hiệu quả, kết hợp với các kỹ thuật SPP và PAN trong phần Neck giúp giữ lại thông tin chi tiết của các vật thể nhỏ như ký tự biển số. Việc sử dụng non-max suppression giúp loại bỏ các dự đoán trùng lặp, nâng cao độ chính xác.

Kết quả phù hợp với các nghiên cứu gần đây trong lĩnh vực nhận dạng biển số xe sử dụng Deep Learning, đồng thời khẳng định tính ứng dụng thực tiễn trong môi trường có điều kiện ánh sáng và kích thước biển số đa dạng như tại Việt Nam. Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác giữa các phiên bản YOLO và bảng thống kê tỷ lệ nhận dạng ký tự thành công theo từng điều kiện ánh sáng.

Việc áp dụng Tesseract cho nhận dạng ký tự giúp giảm thiểu thời gian xử lý so với các phương pháp thủ công, đồng thời có thể mở rộng cho các loại biển số khác nhau nhờ khả năng học thích ứng của bộ phân loại.

Đề xuất và khuyến nghị

1. Triển khai hệ thống nhận diện tự động tại các bãi đỗ xe: Áp dụng mô hình YOLOv4 kết hợp OCR để tự động hóa việc kiểm soát ra vào, giảm thiểu nhân lực và tăng tốc độ xử lý. Thời gian thực hiện trong vòng 6 tháng, chủ thể thực hiện là các đơn vị quản lý tòa nhà và trường học.

2. Phát triển ứng dụng hỗ trợ tìm kiếm vị trí đỗ xe: Tích hợp chức năng xác định vị trí đỗ xe dựa trên biển số đã nhận diện, giúp người dùng nhanh chóng tìm lại phương tiện. Mục tiêu giảm thời gian tìm xe xuống dưới 5 phút, triển khai trong 1 năm.

3. Nâng cao chất lượng dữ liệu huấn luyện: Thu thập thêm dữ liệu biển số xe trong các điều kiện ánh sáng và thời tiết khác nhau để tăng độ chính xác và khả năng tổng quát của mô hình. Chủ thể thực hiện là nhóm nghiên cứu và các đơn vị quản lý bãi xe.

4. Tối ưu hóa phần mềm nhận dạng ký tự: Cải tiến thuật toán tiền xử lý ảnh và cấu hình Tesseract để nâng cao tỷ lệ nhận dạng ký tự chính xác trên biển số bị mờ hoặc bị che khuất. Thời gian thực hiện 3-6 tháng, do nhóm phát triển phần mềm đảm nhiệm.

Đối tượng nên tham khảo luận văn

1. Các nhà quản lý tòa nhà và bãi đỗ xe: Nghiên cứu cung cấp giải pháp công nghệ giúp tự động hóa kiểm soát phương tiện, giảm thiểu ùn tắc và tăng cường an ninh.

2. Các trường học và cơ sở giáo dục: Hỗ trợ quản lý phương tiện ra vào, đảm bảo an toàn cho học sinh, sinh viên và cán bộ giáo viên.

3. Nhà phát triển phần mềm và công nghệ AI: Tham khảo kiến thức về ứng dụng Deep Learning, YOLOv4 và OCR trong bài toán nhận dạng biển số xe, từ đó phát triển các sản phẩm tương tự.

4. Các nhà nghiên cứu trong lĩnh vực thị giác máy tính và xử lý ảnh: Tài liệu cung cấp cơ sở lý thuyết và thực nghiệm chi tiết về mô hình CNN, YOLOv4 và kỹ thuật nhận dạng ký tự, phục vụ cho các nghiên cứu chuyên sâu.

Câu hỏi thường gặp

1. Mô hình YOLOv4 có thể nhận diện biển số xe trong điều kiện ánh sáng yếu không?
   Có, YOLOv4 được thiết kế với các kỹ thuật tăng cường đặc trưng và xử lý đa cấp độ giúp nhận diện hiệu quả trong nhiều điều kiện ánh sáng khác nhau. Tuy nhiên, độ chính xác có thể giảm nhẹ khi ánh sáng quá yếu hoặc bị phản chiếu mạnh.

2. Tesseract có thể nhận dạng chính xác các ký tự biển số bị mờ hoặc bị che khuất không?
   Tesseract hoạt động tốt với ảnh có chất lượng đủ rõ ràng. Đối với ký tự bị mờ hoặc che khuất, cần áp dụng các kỹ thuật tiền xử lý ảnh như làm sắc nét, tăng tương phản để cải thiện kết quả nhận dạng.

3. Thời gian xử lý một ảnh biển số xe trung bình là bao lâu?
   Trên nền tảng GPU hỗ trợ CUDA, thời gian xử lý một ảnh với mô hình YOLOv4 và OCR khoảng vài chục mili giây, đủ nhanh để áp dụng trong các hệ thống giám sát thời gian thực.

4. Giải pháp này có thể áp dụng cho các loại biển số xe khác nhau không?
   Có, với việc huấn luyện mô hình trên dữ liệu đa dạng và cấu hình Tesseract phù hợp, hệ thống có thể nhận diện nhiều loại biển số xe khác nhau, bao gồm cả xe máy và ô tô.

5. Làm thế nào để nâng cao độ chính xác của mô hình trong thực tế?
   Cần thu thập thêm dữ liệu thực tế đa dạng, áp dụng các kỹ thuật tăng cường dữ liệu, tối ưu tham số mô hình và cải tiến thuật toán tiền xử lý ảnh để giảm thiểu ảnh hưởng của điều kiện môi trường.

Kết luận

• Nghiên cứu đã đề xuất và xây dựng thành công hệ thống nhận diện biển số xe ra vào tòa nhà sử dụng mô hình YOLOv4 kết hợp OCR, đạt độ chính xác nhận diện trên 98%.
• Bộ dữ liệu gồm 1774 ảnh biển số xe được thu thập và gán nhãn đầy đủ, phân chia hợp lý cho huấn luyện và kiểm thử.
• Mô hình xử lý nhanh, phù hợp với ứng dụng thời gian thực tại các bãi đỗ xe và trường học.
• Giải pháp góp phần nâng cao hiệu quả quản lý phương tiện, giảm thiểu ùn tắc và tăng cường an ninh.
• Các bước tiếp theo bao gồm mở rộng dữ liệu, tối ưu thuật toán nhận dạng ký tự và triển khai thực tế tại các địa điểm có lưu lượng xe lớn.

Khuyến khích các đơn vị quản lý tòa nhà, trường học và nhà phát triển công nghệ tiếp cận và ứng dụng giải pháp để nâng cao hiệu quả quản lý phương tiện.

Trích đoạn nội dung tài liệu

Chương 1: Cơ sở lý thuyết Chƣơng này nghiên cứu tổng quan về bài toán nhận diện biển số xe, các hƣớng tiếp cận giải quyết bài toán, các kỹ thuật áp dụng cho phát hiện và nhận diện đối tƣợng. Chương 2: Giải pháp nhận diện biển số xe khi ra vào tòa nhà Giới thiệu về công nghệ Yolo và phƣơng pháp nhận diện ký tự quang học sử dụng mã nguồn mở Tesseract. Kết hợp hai phƣơng pháp này để áp dụng cho bài toán phát hiện, nhận dạng biển số xe ra vào tòa nhà, trƣờng học. Chương 3: Thực nghiệm, đánh giá Tác giả đã xây dựng bộ dữ liệu thử nghiệm, xây dựng mô hình nhận diện biển số xe, huấn luyện đánh giá kết quả đạt đƣợc.

Các khái niệm chung Xử lý ảnh: Xử lý ảnh là phƣơng pháp chuyển đổi hình ảnh sang dạng số và thực hiện một số hoạt động trên đó để nâng cao chất lƣợng hình ảnh hoặc trích xuất một số thông tin hữu ích từ hình ảnh đó. [15] Trí tuệ nhân tạo (AI): Có thể đƣợc định nghĩa nhƣ một ngành của khoa học máy tính liên quan đến việc tự động hóa các hành vi thông minh, tạo ra đƣợc một cổ máy có thể bắt chƣớc hành vi và tƣ duy của con ngƣời. [3] [15] Học máy (Marchine Learing): Học máy là một ứng dụng trí tuệ nhân tạo cung cấp cho hệ thống khả năng tự động học hỏi và cải thiện hiệu suất, độ chính xác dựa trên những kinh nghiệm từ dữ liệu đầu vào, tập trung vào việc phát triển phần mềm, chƣơng trình máy tính có thể truy cập vào dữ liệu và tận dụng nguồn dữ liệu đó để tự học. Học sâu (Deep Learing): là một chức năng của trí tuệ nhân tạo, bắt chƣớc hoạt động của bộ não con ngƣời cho việc sử dụng.

Một bƣớc tiến dài của Machine Learning, cho phép máy có thể tự đào tạo chính mình. Hãy suy nghĩ về nó nhƣ là một loại machine learning với "mạng thần kinh - neural networks" sâu có thể xử lý dữ liệu theo cách tƣơng tự nhƣ một bộ não con ngƣời có thể thực hiện. Điểm khác biệt chính ở đây là con ngƣời sẽ không phải dạy cho một chƣơng trình deep learning cách để biết một con mèo trông nhƣ thế nào, mà chỉ cần cung cấp cho nó đủ hình ảnh cần thiết về loài mèo, và nó sẽ tự mình hình dung, tự học.1: Mối quan hệ giữa trí tuệ nhân tạo, Machine Learning, Deep Learning [15] 5 1. Bài toán nhận dạng biển số xe 1.

Khái niệm nhận dạng biển số xe Hệ thống nhận dạng biển số xe là hệ thống có khả năng phân tích hình ảnh và xác định vùng chứa biển số trên xe, thông qua video, thiết bị ghi hình và hình ảnh. Sau cùng là xác định các thông tin nhƣ: chủ sở hữu xe, theo đời xe với tốc độ chậm, … 1. Lịch sử hình thành và phát triển ANPR đƣợc phát minh vào năm 1976 tại Chi nhánh Phát triển Khoa học Cảnh sát ở Anh. Các hệ thống nguyên mẫu đã hoạt động vào năm 1979 và các hợp đồng đã đƣợc trao để sản xuất các hệ thống công nghiệp, đầu tiên là tại EMI Electronics, và sau đó là tại Hệ thống nhận dạng máy tính (CRS, hiện là một phần của Jenoptik) trong Wokingham, Vƣơng quốc Anh.

Hệ thống thử nghiệm ban đầu đã đƣợc triển khai trên Đƣờng A1 và tại Đƣờng hầm Dartford. Vụ bắt giữ đầu tiên do phát hiện một chiếc xe bị đánh cắp đƣợc thực hiện vào năm 1981. Tuy nhiên, ANPR đã không đƣợc sử dụng rộng rãi cho đến khi những phát triển mới về phần mềm rẻ hơn và dễ sử dụng hơn đƣợc tiên phong trong suốt những năm 1990. Việc thu thập dữ liệu ANPR để sử dụng trong tƣơng lai (I E., trong việc giải quyết các tội phạm chƣa đƣợc xác định khi đó) đã đƣợc ghi lại vào đầu những năm 2000.

Trƣờng hợp đầu tiên đƣợc ghi nhận về ANPR đƣợc sử dụng để giải quyết một vụ giết ngƣời xảy ra vào tháng 11 năm 2005, trong Bradford, Vƣơng quốc Anh, nơi ANPR đóng một vai trò quan trọng trong việc xác định vị trí và sau đó kết tội những kẻ giết ngƣời Sharon Beshenivsky. Hệ thống nhận dạng biển số xe tại Malaysia của Choo Kar Soon (2002), sử dụng phƣơng pháp phân loại KNN để phát hiện các ký tự trên biển số. Kết quả thử nghiệm cho thấy phƣơng pháp đề xuất có thể đạt đƣợc tỷ lệ phát hiện 98% và tỷ lệ nhận dạng là 95% trên các hình ảnh tĩnh và chuỗi video. [7] Hệ thống nhận dạng biển số xe Ấn Độ của Chirag N.

Paunwala (2010), sử dụng phƣơng pháp xác định vùng quan tâm bằng cách thực hiện một chuỗi phân đoạn theo hƣớng và xử lý hình thái. Luôn luôn là bƣớc đầu tiên là tăng cƣờng độ tƣơng phản, đƣợc thực hiện bằng cách sử dụng chức năng sigmoid. Trong các bƣớc tiếp theo, phân tích thành phần đƣợc kết nối theo sau bằng các kỹ thuật lọc khác nhau nhƣ phân tích tỷ lệ khung hình và kỹ thuật lọc tƣơng thích với tấm đƣợc sử dụng để tìm biển số chính xác. Phƣơng pháp đề xuất đƣợc thử nghiệm trên cơ sở dữ liệu lớn bao gồm 750 hình ảnh đƣợc chụp trong các điều kiện khác nhau.

Thuật toán có thể phát hiện biển số xe trong 742 hình ảnh với tỷ lệ thành công là 99,2% [8] Nghiên cứu về nhận diện vật thể bằng công nghệ YOLO: Yolo đƣợc Redmon và Farhadi phát triển vào năm 2015, trong thời gian học tiến sĩ. YOLO (―You only look once‖) là một công nghệ nhận diện phổ biến nhờ độ chính xác cao trong thời gian thực, đạt đến 45 khung hình trên giây. Cách thức hoạt động của hệ thống Hệ thống ALPR gồm phần cứng là camera và phần mềm là có chức năng nhận dạng biển số xe từ ảnh chụp camera. Camera thu nhận đặt tại vị trí cố định sao cho phần mềm có thể quét hình ảnh một cách rõ ràng.

Ảnh đƣợc đƣa vào phần mềm để nhận dạng chính xác biển số xe sau đó dùng thuật toán OCR (Optical Character Recognition) để lấy từng ký tự và chuyển đổi thành định dạng chữ hoặc số nhƣ dạng text. Không có một hệ thống ALPR nào có thể nhận dạng chính xác 100%, một số yếu tổ ảnh hƣởng đến dộ chính xác nhƣ: - Độ phân giải của ảnh kém hoặc ảnh bị mờ. - Điều kiện ánh sáng yếu, bị phản chiếu hoặc che bóng. - Các đối tƣợng có dạng tƣơng tự nhƣ biển số xe ngoại cảnh.

- Sự khác nhau về cấu trúc biển số xe ở mỗi nƣớc. Phân loại các ứng dụng nhận dạng biển số xe Ứng dụng nhận dạng biến số xe là ứng dụng có khả năng phân tích hình ảnh và xác định biển số xe từ các hình ảnh chụp đƣợc qua các thiết bị thu hình. Nguồn hình ảnh cho ứng dụng có rất nhiều. Phát triển hình ảnh trực tiêp thu nhận từ Camera.

[2] Có rất nhiều cách thức khác nhau để phân loại ứng dụng nhận dạng biển số xe thông qua mục địch sử dụng. Có thể chia làm hai loại. Loại 1: Giới hạn vùng nhìn Đầu vào: Ảnh thu từ các thiết bị ghi nhận ảnh kỹ thuật số. Ảnh ghi nhận thƣởng chỉ giới hạn trong vùng có biển số xe.

Nguyên lý hoạt động: Các phƣơng tiện giao thông phải chạy với tốc độ chậm để máy có thể ghi nhận hình ảnh. Ứng dụng: Những ứng dụng nhận dạng biển số xe thƣờng có thể ứng dụng tại các trạm kiểm soát, thu phí, bãi gửi xe tự động, trạm gác cổng, … Loại 2: Không giới hạn vùng nhìn Đầu vào: Ảnh đầu vào thu đƣợc từ các thiết bị ghi hình tự động, không phụ thuộc vào gốc độ, các đối tƣợng xung quanh, ảnh không cần bắt buộc chỉ chụp vùng chứa biển số xe, mà có thể tổng hợp thêm các đối tƣợng nhƣ ngƣời, cây, đƣờng phố, miễn là vùng biển số phải đủ để có thể thực hiện nhận dạng các ký tự trong vùng đó. Nguyên lý hoạt động: Do đặc tính không giới hạn vùng nhìn nên có thể thu ảnh từ thiết bị ghi hình nhƣ camera, máy ảnh. Sau đó dò tìm trong ảnh để xác định vùng chứa biển số xe.

Thực hiện tách vùng và nhận dạng. Cuối cùng nhận kết quả truyền đi hoặc lƣu trữ. Úng dụng: Vì không phụ thuộc vào hình ảnh thu đƣợc nên đƣợc ứng dụng tại nhiều nơi nhƣ những nói điều tiết giao thông, vị trí giao thông nhạy cảm… 1. Một số đặc điểm để nhận dạng biển số xe tại Việt Nam 7 Theo Thông tƣ 58/2020/TT-BCA, biển số xe dân sự trên cả nƣớc hiện bắt đầu từ số 11 đến 99.

Địa phƣơng có nhiều biển số xe nhất là Tp. Hồ Chí Minh, có 11 biển số: 41 và từ 50 đến 59; tiếp là thủ đô Hà Nội, có 06 biển số: 29 - 33 và 40; sau đó là Hải Phòng và Đồng Nai, đều có 02 biển số xe. Bảng biển số xe của 63 tỉnh thành [16] 11 - Cao Bằng 43 - Đà Nẵng 77 - Bình Định 12 - Lạng Sơn 47 - Đắk Lắk 78 - Phú Yên 14 - Quảng Ninh 48 - Đắk Nông 79 - Khánh Hòa 15, 16 - Hải Phòng 49 - Lâm Đồng 80 - Các đơn vị kinh tế 17 - Thái Bình 50 đến 59 - TP.