ĐẠI HỌC QUỐC GIA TP. HÒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC VÀ KỸ THUẬT THÔNG TIN DO VĂN NAM - 19521866 LÊ ĐÌNH BAO LONG - 19521782 KHOÁ LUẬN TÓT NGHIỆP INFORMATION EXTRACTION ON THE TRAFFIC SIGN OF INDICATIONS IN VIETNAM CU NHAN NGANH KHOA HOC DU LIEU GIANG VIEN HUONG DAN TIEN Si DO TRONG HOP THAC SĨ TA THU THUY TP. HO CHi MINH, 2022 DANH SÁCH HỘI DONG BAO VỆ KHOA LUẬN Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số 35/QD- ĐHCNTT ngày tháng năm 2022 của Hiệu trưởng Trường Đại học Công nghệ Thông tin. Chủ tịch: TS.Lương Ngọc Hoàng 2.
Ủy viên: ThS.Võ Duy Nguyên LỜI CẢM ƠN Lời đầu tiên chúng tôi muốn gửi lời cảm ơn sâu sắc đến Tiến sĩ Đỗ Trọng Hợp đã luôn đồng hành và chỉ bảo chúng tôi trong suốt quá trình học tập và nghiên cứu để hoàn thành khóa luận. Trong suốt khoảng thời gian qua, thầy đã luôn quan sát và động viên chúng tôi cố gắng và luôn tận tình giúp đỡ, cho lời khuyên mỗi khi chúng tôi gặp phải khó khăn. Thầy đã mang đến cho chúng tôi rất nhiều kiến thức, phương pháp, kỹ năng nghiên cứu và định hướng về lĩnh vực của chúng tôi dé có thể hoàn thiện bản thân một cách tốt nhất. Chúng tôi cũng xin cảm ơn bạn Trần Nhật Nam và bạn Trần Thành Luân đã giúp đỡ chúng tôi trong quá trình nghiên cứu và hoàn thiện khóa luận này.
Bên cạnh đó chúng tôi chân thành cảm ơn Giáo viên hướng dẫn Thạc sĩ Thủy đã luôn theo sát, quan tâm chúng tôi trong suốt quá trình học tập. Gửi lời cảm ơn đến các thầy cô trong khoa Khoa học và Kỹ thuật Thông tin cũng như các thầy cô trong trường Công nghệ Thông tin và Đại học Quốc gia thành phố Hồ Chí Minh đã luôn đồng hành, đã tạo cơ hội để chúng tôi có thể học tập với các giáo viên tốt nhất và phát triển trong môi trường tốt nhất và tạo nhiều cơ hội đê chúng tôi có thẻ phát triển bản thân nhiều hơn nữa. Chúng tôi chân thành cảm ơn đến gia đình và bạn bè đã luôn động viên, quan tâm đến chúng tôi giúp chúng tôi có động lực để vượt qua những khó khăn và đã có gắng đến ngày hôm nay. Cuối cùng chúng tôi muốn cảm ơn tất cả mọi người vì đã mang đến cho chúng tôi những nhiều tốt đẹp nhất trong khoảng thời gian đẹp nhất khi chúng tôi được học tập và lớn lên trên ngôi trường Công nghệ Thông tin.
Xin chân thành cảm ơn! MỤC LỤC TOM TAT KHOA LUẬN. Lý do chọn đề tài 1. Mục đích của đề tài 1. Đối tượng và phạm vi nghiên cứu Chương 2.
Bài toán khai thác thông tỉn.-----2v222222++22+tttt222222222211111111111122 re 5 QL. Phat ng ốố. Nhận diện đối tượng 2. Trích xuất văn bản.
Nghiên cứu ngoài ưỚC. Nghiên cứu trong nƯỚC.-- -- - -stx+ St EEEEkSEerrkekrrekrrrkrkrrrkrrrrkrkrrrrkrrrrererrre Chương 3. Khai thác thông tin. Nhận dạng thực thị 3.
Trích xuất mối s68. Phát hiện đối tượng. Cách hoạt động của YOLO 3. Đầu ra của YOLO.
Nhận dạng văn bản. Phát hiện văn bản theo don; 3. Tong hop Van 0. Bộ dit liệu.
Bộ dữ liệu của bài toán phát hiện các đôi tượng trên biên báo. Bộ dit liệu của bài toán nhận dạng văn bản trên biển báo. Cài đặt và thực nghiệm. Mô hình phát hiện đôi tượng.
Mô hình nhận dạng ký tự theo dòng 4. Mô hình nhận dang văn bản. Mô hình tông hợp thông tin 4. Kết quả đánh giá 4.
Kết quả thực nghiệm Chương 5. KET LUẬN VÀ HƯỚNG PHAT TRIEN 5. Hướng phát tri DANH MỤC HÌNH ẢNH Hình 1.1 Ảnh biển báo chỉ dẫn 2 hướng Hình 1.2 Ảnh biển báo chỉ dẫn 3 hướng.1 Tổng quan hệ thống của khoá I Hình 2.2 Mô hình Random Forest Hình 2.1 Sơ lược về bài toán khai thác thông tit Hình 3.2 Biển báo chỉ dẫn có nhiều địa điểm trên một hướng.3 Object Detection giúp ích cho các ứng dụng hệ thong giám sát Hình 3.4 Phát hiện đối tượng với YOLO, Hình 3.5 Anh được chia theo tỷ lệ 3:3 Hình 3.6 Các thông số ảnh.7 Kiến trúc đầu ra của mô hình YOLO.8 Mô tả sự vượt trội của YOLOv7.9 Thuật toán OTA áp dung trong b: Hình 3.10 Optical Character Recognitioi Hình 3.11 Mô hình mạng VGGIE.12 Tông hợp thông tin dé đưa ra ouput hoàn chin Hình 3.1 Mô tả chỉ tiết quy trình thực nghiệm.2 Quá trình điều chỉnh nhãn theo đúng yêu Hình 4.3 Lưu đồ khối thể hiện quy trình gán nhãn bộ dữ1 Hình 4.4 Biéu đồ miêu tả số lượng bounding box ứng với mô Hình 4.5 Minh hoạ ảnh và đầu ra sau khi dự đoán bằng mô hình YOLOv7 Hình 4.6 Minh hoạ đầu vào và đầu ra sau khi dự đoán bằng mô hình CRAFT cho bài toán nhận dạng văn bản theo dòng.7 Minh hoa dau vao va dau ra s u khi dự đoán băng mô hình VietOCR cho b; toán trích xuất văn ban.8 Minh hoạ vào và dau ra sau khi tông hợp thông titin băng mô 4I Hình 4.9 Ví dụ về các loại lỗi cơ bản.10 Ma trận nhằm lẫn cho bộ dữ liệu chưa ng cườn: 44 Hình 4.11 Ma trận nhằm lẫn cho bộ dữ liệu tăng cường.12 Precision-Recall Curve trên bộ dữ liệu đã được tăng cường.13 Màn hình lựa chọn file đầu vào.14 Màn hình hiên thị ảnh sau khi được phân tích 48 Hình 4.15 Hình ảnh hiền thị thông tin trên biển báo theo dạng tex 49 Hình 4.16 Phần âm thanh của thông tin đầu ra bài toán.17 Giao diện sau khi hoàn thiện. DANH MỤC BẢNG Bảng 1.1 Độ đo của mô hình RF trong bài báo.
- - s6 + St St+xerrxsrerxererrrkererxek 7 Bang 4.1 Bảng mô tả tên Class và Class_id.2 Két quả của các độ đô trên hai bộ dữ liệu. DANH MỤC CHU VIET TAT IE (Information Extraction) YOLO (You Only Look Once) CNN (Convolutional Neural Network) OCR (Optical Character Recognition) TÓM TẮT KHOÁ LUẬN Giao thông từ lâu luôn là vấn đề được rất nhiều người ở nhiều lĩnh vực khác nhau quan tâm, đặc biệt với sự phát trién của giao thông kéo theo sự đòi hỏi và phat triển của các lĩnh vực về giao thông như cầu đường, xe cd. Và đặc biệt là ứng dụng của lĩnh vực về thị giác máy tính đã rất được ưu chuộng khi áp dụng vào xe thông minh (smart car). Do đó, việc nghiên cứu và phát triển thị giác máy tính trong việc trích xuất các thông tin có được từ các ảnh và video từ camera hành trình có thể giúp ích được rất nhiều trong việc phát triển xe thông minh có thể tự động vận hành với độ chính xác và an toàn nhất.
Trong khóa luận này, dé tài tập trung nghiên cứu xây dựng một hệ thống có thể nhận diện, trích xuất được các thông tin từ các biển báo giao thông chỉ dẫn trên đường và kết hợp, đem thông tin đến cho người dùng. Đóng góp của luân văn: * Tao bộ dữ liệu về các biển báo chỉ dẫn ở Việt Nam. e _ Tổng hợp kiến thức, nghiên cứu và các công trình liên quan đến van đề trích xuất thông tin từ biển báo giao thông chi dẫn. ¢ _ Nghiên cứu, đề xuất các phương pháp đề đưa ra các kết quả tốt nhất.
© _ Công bó các công trình nghiên cứu khoa học trong và ngoài nước liên quan đến khóa luận. e Thiết kế, xây dựng mô hình minh họa cho hệ thống đề xuất. Lý do chọn đề tài Biển báo giao thông hiện đã được lắp đặt trên hầu hết các tuyến đường ở khắp các quốc gia. Với sự hiện đại hóa và phát triển, lưu lượng giao thông phản ánh tốc độ phát triển của các quốc gia này, đặc biệt là các quốc gia phát triển và đang phát triển, vì vậy van dé giao thông luôn là một van dé lớn.
Khi ngày càng có nhiều đường được xây dựng, việc xác định phương hướng, vị trí và khoảng cách trở nên khó khăn hơn rất nhiều. Trong các loại biển báo thì biển báo chi dẫn là loại biển báo cung cấp cho người tham gia giao thông thông tin về hướng đi, khoảng cách của các địa điểm trên đường để họ đến đích an toàn, chính xác. Biển báo giao thông chỉ dẫn chứa rất nhiều thông tin hữu ích cho người đi đường về tuyến đường, hướng đi và thông tin về khoảng cách từ các địa điểm trên tuyến đường. Tự động nhận dạng và phân tích các biển báo giao thông mang lại sự thoải mái và tập trung cho người lái xe trên đường.
Điều này cung cấp cho người lái xe điều hướng, tuân thủ và thông báo chính xác và kịp thời về tuyến đường hiện tại của họ. Trong lĩnh vực thị giác máy tính, vấn đề nhận dạng và phân loại biển báo giao thông đã nhận được sự quan tâm đáng kế trong cộng đồng nghiên cứu. Do đó chúng tôi muốn xây dựng mô hình có thé giúp ích cho việc trích xuất các thông tin và mang lại cho người tham gia giao thông các thông tin đó một cách nhanh chống và chính xác nhất.1 Ảnh biển báo chỉ dẫn 2 hướng Nhiệm vụ của trích xuất thông tin từ biển báo giao thông chỉ dẫn là có thê nhiện diện đúng biển báo chỉ dẫn và trích xuất được những thông tin như phương hướng, khoảng cách va địa điềm. Mục đích của đề tài Với mong muốn nghiên cứu, thử nghiệm các phương pháp nhận diện đối tượng và cách sử dụng các kỹ thuật xử lý dữ liệu (image, video) cùng với các phương pháp huấn luyện mô hình học sâu để xử lý các thông tin được trích xuất một cách thật nhanh chóng và mang lại độ chính xác cao.
Trong đề tài này, mục tiêu của chúng tôi được trình bày như sau: e Tìm hiểu và thu thập thông tin về dé tài từ bài báo công bố về các công trình nghiên cứu trong và ngoài nước liên quan đến van đề xử lý phát hiện, nhận dạng đối tượng, tiếp thu các cách trích xuất, xử lý, tông hợp các thông tin có từ đối tượng. e Nghiên cứu và kết hop các phương pháp xử ly dir liệu đầu vào và các phương pháp phù hợp và hiện đại dé huấn luyện các mô hình có thé phát hiện và nhận dạng đối tượng. e Xây dựng luéng xử lý dữ liệu, các phương pháp và triển khai đề tài một cách chính xác, hiệu quả và dễ dàng có thể thực hiện.