CHƯƠNG 1: GIỚI THIỆU 1.1 Giới thiệu đề tài Hiện nay với sự phát triển của kinh tế và xã hội, bên cạnh những mặt tích cực, nước ta vẫn còn phải đương đầu với các vấn đề phức tạp do sự phát triển gây ra. Một trong số những vấn đề đó là tình trạng giao thông quá tải và hỗn loạn thường xuyên xảy ra ở những trung tâm kinh tế lớn của cả nước. Thiệt hại từ các vấn đề giao thông gây ra là rất lớn cho nền kinh tế cũng như xã hội. Bên cạnh việc nâng cao ý thức chấp hành giao thông của người dân, việc giám sát quản lý giao thông cũng cần được đặt ưu tiên hàng đầu.
Tuy nhiên, ở nước ta từ trước tới nay việc giám sát giao thông vẫn dùng phương pháp thủ công là chủ yếu. Việc giám sát thủ công nhìn chung rất khó khăn vì số lượng phương tiện giao thông lớn, đòi hỏi phải có cách tiếp cận một cách tự động để giảm nhẹ sức lao động của con người. Đây là hướng đi đã có từ lâu ở những nước phát triển. Hiện nay ở nước ta trước yêu cầu nắm bắt công nghệ trong thời đại cách mạng công nghiệp 4.0 để ứng dụng cho đời sống sản xuất, việc giải quyết bài toán giám sát giao thông tự động là vô cùng cấp thiết.
Bài toán giám sát giao thông tự động bao gồm nhiều bài toán con, một trong số đó là bài toán nhận diện biển số xe giúp quản lý phương tiện giao thông. Với các lý do nêu trên, đề tài hình thành với mục tiêu giải quyết tốt bài toán nhận diện biển số xe để góp phần giải quyết bài toán giao thông chung hiện nay. Vấn đề phát hiện và nhận diện biển số xe là một trong những hướng nghiên cứu đã có từ lâu trong lĩnh vực thị giác máy tính. Tuy nhiên, hiện nay với sự phát triển mạnh mẽ của phương pháp học sâu (deep learning) đã đem lại hướng tiếp cận mới cho vấn đề này.
Có thể kể tới các mạng nơ-ron trong học sâu phổ biến hiện nay như Convolution Neural Networks (CNN), Recurrent Neural Networks (RNN) cùng các kiến trúc mạng như LeNet[7], ImageNet [8], Fast R-CNN [9],. Đây là hướng nghiên cứu khá mới nhưng lại đạt được những kết quả hết sức ấn tượng qua các cuộc thi trong giới học thuật cũng như những ứng dụng thực tế. 1 Bên cạnh những điểm tích cực nêu trên, vấn đề nhận diện biển số xe cũng có một số khó khăn thách thức bao gồm các yếu tố do môi trường, các yếu tố do quá trình thu nhận hình ảnh và các yếu tố liên quan tới quá trình huấn luyện mạng học sâu: • Các yếu tố do môi trường có thể kể đến như độ phức tạp của khung cảnh có chứa biển số xe, gây khó khăn cho việc phân biệt biển số xe với các đối tượng khác. Ngoài ra vấn đề độ sáng của môi trường, độ nhạy sáng của các thiết bị cảm biến cũng ảnh hưởng rất lớn đến kết quả của quá trình phát hiện và nhận dạng.
• Các yếu tố do quá trình thu nhận hình ảnh gồm có độ mờ, chất lượng ảnh thấp và độ biến dạng của ảnh. Vấn đề độ mờ xuất phát chủ yếu từ việc căn chỉnh tiêu cự của máy quay và sự chuyển động của máy quay hoặc vật thể gây ra. Hình ảnh hay video trải qua quá trình nén và giải nén cũng sẽ dẫn đến giảm chất lượng hình ảnh. Cuối cùng với nhiều góc độ của máy quay, hình ảnh thu được sẽ bị biến dạng.
• Quá trình huấn luyện mạng deep learning cần nhiều dữ liệu để đảm bảo được tính tổng quát cao cũng như độ chính xác tốt. Tuy nhiên việc thu thập và gán nhãn số lượng lớn dữ liệu là công việc mất rất nhiều thời gian và công sức. • Việc huấn luyện cũng tốn nhiều thời gian. Kích thước mạng càng lớn và phức tạp thì thời gian cũng tăng theo.
Hơn nữa để tìm được bộ siêu tham số phù hợp với kiến trúc mạng, với mỗi một tham số truyền vào ta phải thực hiện việc huấn luyện lại mạng. Ngoài ra, qua khảo sát các đề tài hiện nay, vẫn còn một số vấn đề còn tồn tại sau: • Các phương pháp nhận diện ký tự ứng dụng học sâu có một vài giới hạn trong việc phát hiện các ký tự có góc xoay bất kỳ. Đa phần các phương pháp đó chỉ áp dụng tốt với các góc xoay không quá lớn. • Đa phần các phương pháp sử dụng học sâu chưa được chứng minh sử dụng được với biển số xe ở Việt Nam.
Các dạng biển số xe mà các phương pháp đó chạy được có kích thước tương đối đồng nhất và cách bố trí các ký tự không quá phức tạp như biển số xe ở Việt Nam. 2 • Tốc độ xử lý của các giải thuật hiện nay chưa đạt đến thời gian thực. Với những khó khăn kể trên, việc cải tiến, kết hợp các phương pháp hiện tại để cho ra đời một phương pháp hiệu quả giúp giải quyết các vấn đề trên là hoàn toàn cấp thiết. Bên cạnh đó, đề tài cũng mong muốn có thể giải quyết được các vấn đề còn tồn tại của các đề tài đi trước.2 Mục tiêu của đề tài Mục tiêu của đề tài là đề xuất một phương pháp phát hiện và nhận dạng biển số xe Việt Nam hiệu quả.
Phương pháp chủ yếu được sử dụng là học sâu. Yêu cầu cần đạt được bao gồm độ chính xác cho việc phát hiện biển số là trên 90% và độ chính xác cho việc nhận diện chuỗi biển số là trên 80%. Ngoài ra đề tài cũng chú trọng đến thời gian thực thi của mô hình đề xuất.3 Ý nghĩa của đề tài 1.1 Ý nghĩa thực tiễn Phương pháp mà đề tài đề xuất có thể được sử dụng trong các ứng dụng như giám sát giao thông tự động, bãi giữ xe thông minh, trạm thu phí tự động. nhằm giảm bớt thời gian, công sức của con người, giảm tình trạng kẹt xe và tăng sự tiện lợi cho người tham gia giao thông.
Xây dựng được tập dữ liệu chính xác, đa dạng và sát với điều kiện thực tế nước ta.2 Ý nghĩa khoa học Đóng góp một phương pháp phát hiện và nhận diện biển số xe hiệu quả, tăng thêm độ chính xác cũng như giải quyết được các vấn đề còn tồn tại của các phương pháp đi trước. Ngoài ra đề tài sẽ làm cơ sở cho các nghiên cứu trong nước về sau.4 Phạm vi của đề tài Biển số xe xuất hiện trong tập dữ liệu theo phương ngang, không bị che khuất, độ mờ và độ biến dạng thấp. Vị trí của camera dùng để thu thập hình ảnh là cố định hoặc di động với góc lệch không quá lớn. Hình ảnh thu được có thể nhiễu từ thời tiết như mưa, sương mù,.
Tuy nhiên các hình ảnh này có thể nhận dạng được đầy đủ các ký tự bằng mắt thường được. Biển số xe dùng trong đề tài là biển số xe máy và ô tô ở Việt Nam. Biển số này có kích thước, ký hiệu và bố trí tuân thủ theo Thông tư 15/2014/TT-BCA. Các biển số xe của các nước khác không thuộc phạm vi đề tài.
Kết quả của mô hình là vị trí của biển số xe cũng như chuỗi ký tự trong biển số đó.5 Bố cục luận văn Trong báo cáo này có tất cả 7 chương. Chương 2 có mục đích giới thiệu các công trình nghiên cứu liên quan, các hướng giải quyết cho bài toán phát hiện và nhận dạng. Chương 3 cung cấp một số cơ sở lý thuyết đặt nền móng cho các mô hình được đề xuất trong chương 4. Chương 5 đưa ra thông tin thí nghiệm, các chỉ tiêu đánh giá và kết quả đánh giá của các phương pháp cùng với một số nhận xét dựa vào các kết quả đấy.
Chương 6 kết luận báo cáo và trình bày hướng phát triển trong tương lai. Chương 7 trình bày danh sách các tài liệu tham khảo được trích dẫn trong đề tài. 4 CHƯƠNG 2: CÔNG TRÌNH LIÊN QUAN Bài toán nhận dạng biển số xe là một bài toán con của bài toán nhận diện văn bản ngoại cảnh. Do đó các công trình nghiên cứu liên quan của hai bài toán này thường có mối liên hệ chặt chẽ với nhau.
Đây là bài toán đã và đang được các nhóm nghiên cứu quan tâm và có sự phát triển mạnh mẽ trong những năm gần đây. Thông thường bài toán nhận diện biển số xe bao gồm các bước sau: Hình 2-1: Các bước cơ bản của một hệ thống nhận diện biển số xe Từ các bước trên ta nhận thấy có ba bài toán chính cần giải quyết ở đây. Đó là bài toán phát hiện vị trí biển số trong hình, bài toán phân đoạn ký tự và bài toán nhận diện chuỗi ký tự trong biển số. Dựa trên những công trình nổi bật gần đây, đề tài nhận thấy hướng nhận dạng chuỗi biển số không qua bước phân đoạn ký tự rất tiềm năng vì có khá nhiều ưu điểm.
Do đó đề tài tập trung vào khảo sát các công trình liên quan đến việc phát hiện vùng biển số và nhận diện ký tự. Ngoài ra trong số các công trình nghiên cứu gần đây còn đề cập đến vấn đề kết hợp xử lý cả hai quá trình phát hiện và nhận dạng một cách đồng thời.1 Phát hiện bảng số xe 2.1 Các phương pháp trích đặc trưng thủ công Các phương pháp trích đặc trưng thủ công được sử dụng nhiều trong các giai đoạn trước đây. Các đặc trưng ở đây thường là các đặc trưng cơ bản như góc, cạnh, vân ảnh, màu sắc, mức sáng. Để trích xuất các đặc trưng này, các phương pháp phổ biến được dùng đến như nhị phân hóa ảnh, SIFT, HOG, phân tích thành phần liên thông và hình thái học.
Sau đó các đặc trưng này được đưa qua các bô phân loại như AdaBoost, SVM. Ưu điểm: các phương pháp trích xuất đặc trưng cơ bản nhìn chung đơn giản, dễ hiện 5 thực và nhanh. Trong một số trường hợp, khi kết hợp nhiều đặc trưng lại với nhau cho ra độ chính xác tương đối cao. Nhược điểm: các phương pháp này khá nhạy cảm với sự thay đổi mức sáng, nhiễu và mờ.
Hơn nữa việc thiết kế bộ rút trích đặc trưng cũng phụ thuộc khá nhiều vào tập dữ liệu.2 Các phương pháp học sâu Ngày nay các phương pháp để phát hiện đối tượng sử dụng phương pháp học sâu rất đa dạng. Có thể kể tới như các kiến trúc mạng như Faster RCNN [9], SSD [3], YOLO [11] và YOLO2 [11]. Các kiến trúc này tỏ ra hiệu quả trong việc phát hiện nhiều đối tượng trong cùng một ảnh. Mạng Faster RCNN [9] Mạng Faster RCNN là một mạng cải tiến từ mạng Fast RCNN.