Chương 1. Tổng quan - _ Thu thập hình ảnh ô tô từ trang cho thuê 6 tô mioto.vn và các nguồn khác. - _ Đánh giá, gan nhãn bộ dữ liệu thu thập được. - Huấn luyện mô hình dựa trên RetinaNet và BigDL.
- Đánh giá, cải thiện kết quả mô hình trên phép đo mAP - Cài đặt chương trình thu nhận hình ảnh từ camera và nhận diện biển số xe trên máy tính nhúng Jetson Nano. - Cài đặt cơ sở dữ liệu (CSDL) DynamoDB và S3 - Xây dựng ứng dụng phía người dung bằng React, Javascript. - _ Xây dựng ứng dụng máy chủ bang Python, Flask - Đánh giá và cải thiện độ chính xác và hiệu suất của hệ thống. Kết quả - đánh giá Đề tài đã đánh giá độ chính xác của mô hình phát hiện biển số xe dựa trên mAP với ngưỡng IoU = 0.75 cho kết qua đạt mAP = 0.94, chứng tỏ khả năng phát hiện chính xác biển sé xe.
Đồng thời, chương trình cũng được đánh giá trên một đoạn video độ phân giải 1080x1920 và cho thây khả năng nhận diện chính xác 7/9 biên số dài và biển số vuông tương với FPS trung bình đạt 1. Kết luận - hướng phát triển Đề tài đã đề xuất được | hệ thống nhận diện biển số xe ô tô theo thời gian thực. Bên cạnh, dé tài đã đóng góp một bộ dữ liệu về biển số xe đã được gan nhãn mặc dù quá trình hiện thực và triển khai hệ thông gặp nhiều khó khăn. Trong tương lai, đề tài có thé cải thiện tốc độ nhận diện bằng cách nâng cấp cấu hình máy tính nhúng hoặc sử dụng mang học sâu mới như Yolov8, SSD.
Ngoài ra, dé tài còn có thể thêm các tính năng mới như phát hiện vượt đèn đỏ quy định đề tăng tính ứng dụng. Ý nghĩa e Tính mới: Trong lĩnh vực nhận diện biển số xe ô tô, đang còn thiếu những nghiên cứu áp dụng khả năng của DL và công nghệ xử lý DLL. Việc kết hợp hai công nghệ này dé phát triển hệ thông nhận diện biển số xe ô tô theo thời gian thực là một phương pháp mới trong bối cảnh dit liệu và chương trình AI ngày càng tăng. Vì vậy, dé tài có tính mới.
Tổng quan e Tính khoa học: Đề tài sử dụng công nghệ DLL và các thuật toán DL để xây dựng hệ thống nhận diện biển số xe ô tô theo thời gian thực. Các kỹ thuật này đang là xu hướng trong lĩnh vực AI. ¢ Tinh ứng dụng: Hệ thống có tính ứng dụng cao trong lĩnh vực giao thông vận tải, đặc biệt là trong việc giám sát giao thông. Hệ thống có khả năng tự động nhận diện thông tin biển số xe, giúp việc kiểm soát phương tiện dễ dàng.
¢ Tính cấp thiết: Với xu hướng xây dựng các thành phố thông minh, việc xây dựng ứng dụng nhận diện biển số xe ô tô theo thời gian thực sử dụng công cụ xử lý DLL là cấp thiết đề giải quyết các bài toán giao thông, dữ liệu và nâng cao hiệu quả quản lý. Nghiên cứu và công nghệ liên quan es cv x cà Chương 2. NGHIEN CUU VA CONG NGHE LIEN QUAN Chương này trình bay các bài báo và công nghệ liên quan đến việc nhận diện biển số xe ô tô. Bằng việc tìm hiểu các nghiên cứu và công nghệ này, chương đưa ra cơ sở lý thuyết và hướng tiếp cận đề tài.
Nghiên cứu và xu hướng công nghệ Các giải pháp dé nhận diện bién số xe tự động hiện tại có thể phân làm 2 loại, đó là phương pháp 1 giai đoạn và phương pháp nhiều giai đoạn. Tuy nhiên, phương pháp nhiều giai đoạn được sử dụng phô biến hơn và bao gồm ba bước chính. Bước | là xác định vị trí của biển số xe, trong đó các thuật toán sử dụng các kỹ thuật thị giác máy tính truyền thống cũng như học sâu. Bước thứ hai là phân đoạn các ký tự, trong đó các kỹ thuật được dùng gồm hình thái toán học, các thành phần kết nói, phép chiếu dọc và ngang.
Cuối cùng, bước thứ ba là nhận diện ký tự dựa trên kỹ thuật khớp mẫu hay phân loại như mạng neural và phân loại mờ. Tuy nhiên, việc xác định và nhận dạng được chia thành 2 giai đoạn khác nhau dẫn đến độ chính xác của kết quả cuối cùng bị ảnh hưởng. Giả sử trong quá trình xác định vị trí bỏ qua 1 phần của biển số xe sẽ dẫn đến việc nhận dạng thiếu ký tự. Do vậy việc có kết quả mong muốn ở mỗi giai đoạn trong phương pháp nhiều giai đoạn là quan trọng đề đảm bảo độ chính xác tổng thé của quá trình nhận dạng.
Gan đây các nghiên cứu về nhận diện bién số xe đã không còn tập trung hết vào hướng tiếp cận nhiều giai đoạn mà đã có một số phương pháp thành công theo hướng tiếp cận một giai đoạn. Hầu như các phương pháp này chi sử dung 1 mang neural sâu, được huấn luyện để phát hiện và nhận dạng biển số xe trong một lần thực thi duy nhất. Việc nhận diện biển số xe được xem là một trường hợp cụ thể của việc phát hiện đối tượng. Giống với các bộ phát hiện đối tượng trong 1 giai đoạn, các mô hình này có thể khai thác sự tương quan cao giữa việc phát hiện và nhận dạng biển số xe.
Điều này cho phép các mô hình chia sẻ tham số và có ít tham số hơn so với một mô hình hai giai đoạn điển hình. Do đó, mô hình có thể nhanh hơn và hiệu quả hơn so với phương pháp hai giai đoạn tương đương. Nghiên cứu và công nghệ liên quan Ở giai đoạn phát hiện biên số xe, thường áp dụng các kỹ thuật thị giác máy tính truyền thống để trích xuất biển số, dựa vào các đặc trưng như hình dạng, màu sắc của ký tự. Nhiều nghiên cứu cũng sử dụng các bộ phân loại thống kê với các đặc trưng Haar-like để đạt hiệu suất tốt hơn.
Gần đây, hơn 80% các nghiên cứu đã sử dụng DL cho việc nhận dạng biển số xe do hiệu suất vượt trội và chính xác hơn so với các kỹ thuật truyền thống. 1 số mô hình DL được dùng cho tác vụ phát hiện và nhận dạng đối tượng có thể ké đến: - Faster R-CNN: Đây là mô hình phổ biến dựa trên CNN sử dụng một mang đề xuất vùng (RPN) để tạo ra các đề xuất đối tượng, tiếp theo là một mạng CNN dựa trên vùng đó để phân loại và điều chỉnh các đề xuất. - YOLO (You Only Look One): Đây là một mô hình phổ biến khác dựa trên CNN thực hiện việc phát hiện và nhận dạng đối tượng trong một lần. Mô hình chia ảnh đầu vào thành các ô lưới sau đó dự đoán xác suất lớp và tọa độ hộp giới hạn cho mỗi ô.
- SSD (Single Shot Detector): Đây là một mô hình có hiệu suất nhanh và hiệu quả dựa trên CNN. Mô hình sử dụng một loạt các lớp tích chập với các tỷ lệ khía cạnh khác nhau để dự đoán xác xuất lớp và tọa độ hộp giới hạn cho mỗi đối tượng. - Mask R-CNN: Đây là một mở rộng của mô hình Faster R-CNN, bồ sung thêm một nhánh phân đoạn vào mạng, cho phép dự đoán cả các lớp đối tượng và các mặt nạ phân đoạn cấp pixel. - RetinaNet: Day là mô hình dựa trên CNN sử dụng độ mat mát dé xử lý bài toán mat cân bằng giữa các lớp trong phát hiện đối tượng.
Mô hình này đã dat được độ chính xác cao bằng cách tập trung vào những ví dụ khó trong quá trình huấn luyện và bỏ qua các ví dụ dễ. Các nghiên cứu ở Việt Nam Ké từ 2012, có nhiều nghiên cứu về dé tài nhận diện biển số xe ở Việt Nam. Nếu chỉ tính đến những bài báo được đăng trong nước thì gần đây có nhiều nghiên cứu [1- 16 Chương 2. Nghiên cứu và công nghệ liên quan 3].
Tuy nhiên, chỉ có hai nghiên cứu có mục tiêu xây dựng ứng dụng giống với đề tài này. Bài báo thứ nhất [3], tác giả đã dùng các kỹ thuật máy học như trích xuất đặc trưng va SVM làm giải thuật chính cho chương trình. Rồi tiền hành ba lần thử nghiệm trên 100 tắm ảnh ngẫu nhiên đề thống kê kết quả đánh giá độ chính xác. Bài báo thứ hai [1] trong năm 2021, là về việc áp dụng kỹ thuật nhận diên biển số xe ô tô vào quản lý giữ xe ở Trường Đại học Hà Tĩnh.
Tuy nhiên tác giả chỉ đề cập tới kỹ thuật phát hiện cạnh Canny và kỹ thuật nhận diện ký tự quang học làm giải thuật cho chương trình mà không đề cập chỉ tiết đến kỹ thuật nhận diện kỹ thuật nhận diện ký tự. Về kết quả, nhóm tác giả đã thử nghiệm trên 100 mẫu biển số xe và chương trình chỉ không thể nhận dạng được một biển số xe do bị mờ. Sau khi tham khảo hai bài báo trên, cả hai đang sử dụng giải thuật máy học làm giải thuật chính. Tuy nhiên, học sâu đang được xem như một lĩnh vực tiên tiến và hiệu quả cho các bài toán nhận diện đối tượng.
Do đó, ở tương lai, có thé dự đoán xu hướng sẽ dần chuyền sang áp dụng DL cho việc nhận diện biển số xe. Mặt khác phạm vi áp dụng của hai bài báo nằm trong phạm vi nhỏ cục bộ, trong khi các ứng dụng trong lĩnh vực thành phó thông minh sẽ đòi hỏi những phương pháp và công cụ xử lý DLL, kết hợp với học sâu để đảm bảo hiệu quả và chính xác trong quá trình nhận diện biển số xe. Cơ sở lý thuyết và hướng tiếp cận đề tài 2. Công nghệ áp dụng 2.
BigDL BigDL được phát triển bởi công ty Intel với mục đích tận dụng các cụm máy tính như K8s, Hadoop, Spark, Yarn dé làm giảm thời gian huấn luyện và dự đoán mô hình học sâu. Ngoài ra, BigDL cũng có các công cụ hỗ trợ cho các ứng dụng về gợi ý/đề xuất và thời gian cũng như các giải pháp bảo mật đữ liệu. BigDL cũng tương thích với các framework phổ biến khác như: Tensorflow, Keras, PyTorch, OpenVINO. Bộ thư viện bao gồm nhiều thành phần như: - Orca: giúp huấn luyện va dy đoán mô hình DL trên các cum máy tính.
Nghiên cứu và công nghệ liên quan - Nano: tối ưu hóa các chương trình sử dụng PyTorch hoặc Tensorflow trên Intel XPU. -_ DLIib: hỗ trợ viết các chương trình học sâu dưới dang các chương trình Spark. - Chronos: hỗ trợ xây đựng ứng dụng liên quan tới phân tích về thời gian. - Friesian: hỗ trợ xây dựng hệ thống có tính năng gợi ý/đề xuất.
- PPML: hỗ trợ bảo vệ quyên riêng tư bảo mật của dữ liệu. Hardware Secured Big Data & AI?