Phát Hiện Văn Bản Ngoại Cảnh Trong Giao Thông: Nghiên Cứu Hệ Thống Dựa Trên Học Sâu

Khám phá cách phát hiện văn bản ngoại cảnh trong giao thông, ứng dụng công nghệ hiện đại để nâng cao an toàn và hiệu quả di chuyển.

• Tác giả: Nguyễn Phạm Anh Nguyên
• Người hướng dẫn: TS. Nguyễn Quang Hùng
• Trường học: Đại học Bách Khoa - ĐHQG TP. Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phát Hiện Văn Bản Ngoại Cảnh Trong Giao Thông
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN / LỜI NGỎ
• TÓM TẮT NỘI DUNG
• ABSTRACT
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Giới thiệu đề tài
• 1.1.1. Động cơ nghiên cứu
• 1.1.2. Ứng dụng
• 1.1.3. Các thách thức
• 1.1.4. Các nghiên cứu đã có
• 1.2. Đối tượng và thách thức chính của đề tài
• 2. CHƯƠNG 2: TỔNG QUAN
• 3. CHƯƠNG 3: NHỮNG NGHIÊN CỨU THỰC NGHIỆM HOẶC LÝ THUYẾT
• 4. CHƯƠNG 4: TRÌNH BÀY, ĐÁNH GIÁ, BÀN LUẬN CÁC KẾT QUẢ
• 5. CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ NHỮNG NGHIÊN CỨU TIẾP THEO
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Nghiên Cứu Phát Hiện Văn Bản Ngoại Cảnh Giới thiệu

Trong bối cảnh tự động hóa ngày càng phát triển, việc phát hiện văn bản ngoại cảnh trong giao thông trở nên vô cùng quan trọng. Các hệ thống tự động, đặc biệt là xe tự hành và hệ thống hỗ trợ lái xe nâng cao (ADAS), cần khả năng nhận diện văn bản biển báo giao thông một cách chính xác và kịp thời để đưa ra quyết định an toàn và hiệu quả. Nghiên cứu này tập trung vào việc phát triển một hệ thống học sâu có khả năng phát hiện và xác định vị trí văn bản trong môi trường giao thông phức tạp. Điều này đòi hỏi giải quyết nhiều thách thức như đa dạng về phông chữ, kích thước, màu sắc, điều kiện ánh sáng và góc nhìn.

1.1. Ứng Dụng Thực Tế của OCR trong Giao Thông Thông Minh

OCR trong giao thông không chỉ giúp xe tự hành đọc biển báo mà còn hỗ trợ các hệ thống giám sát và phân tích giao thông. Việc tự động hóa nhận dạng ký tự quang học trong giao thông giúp cải thiện hiệu quả quản lý giao thông, giảm thiểu tai nạn và nâng cao trải nghiệm lái xe. Các ứng dụng tiềm năng bao gồm nhận diện biển số xe, cảnh báo giao thông và hỗ trợ điều hướng thời gian thực.

1.2. Thách Thức và Khó Khăn trong Nhận Diện Văn Bản Biển Báo Giao Thông

Quá trình nhận diện văn bản biển báo giao thông gặp nhiều khó khăn do sự phức tạp của môi trường giao thông. Các yếu tố như ánh sáng thay đổi, thời tiết xấu, góc nhìn khác nhau và biển báo bị che khuất đều ảnh hưởng đến độ chính xác của hệ thống. Ngoài ra, sự đa dạng về thiết kế biển báo và phông chữ cũng là một thách thức lớn. Theo luận văn, cần phải giải quyết tốt các thách thức của chủ đề này để xử lý tối ưu trong ứng dụng thực tế.

II. Vấn Đề và Thách Thức Phát Hiện Văn Bản Ngoại Cảnh Giao Thông

Mặc dù đã có nhiều nghiên cứu về phát hiện văn bản ngoại cảnh, nhưng việc áp dụng chúng vào môi trường giao thông vẫn còn nhiều hạn chế. Các thuật toán hiện tại thường gặp khó khăn với các biển báo bị mờ, biến dạng hoặc bị che khuất một phần. Sự đa dạng về ngôn ngữ và phông chữ cũng là một thách thức lớn. Bên cạnh độ chính xác cao, tốc độ xử lý cũng là một thách thức cần phải giải quyết, bởi nếu áp dụng trong thực tế thì tốc độ xử lý có thể mang tính chất quyết định (v...' Luận văn nhấn mạnh sự cần thiết phải phát triển các phương pháp mạnh mẽ hơn để đối phó với những thách thức này.

2.1. Các Yếu Tố Gây Nhiễu Ảnh Hưởng đến Độ Chính Xác Nhận Diện Văn Bản

Nhiều yếu tố gây nhiễu ảnh hưởng đến độ chính xác nhận diện văn bản, bao gồm ánh sáng, thời tiết, góc nhìn và độ phân giải của camera. Các yếu tố này có thể làm biến dạng hình ảnh và gây khó khăn cho việc nhận dạng ký tự quang học. Việc giảm thiểu tác động của các yếu tố gây nhiễu là rất quan trọng để cải thiện hiệu suất của hệ thống.

2.2. Vấn Đề về Tốc Độ Xử Lý trong Hệ Thống Hỗ Trợ Lái Xe Tiên Tiến ADAS

Trong hệ thống hỗ trợ lái xe tiên tiến (ADAS), tốc độ xử lý là yếu tố then chốt. Hệ thống cần phải phát hiện văn bản ngoại cảnh và đưa ra phản hồi nhanh chóng để đảm bảo an toàn. Các thuật toán phức tạp có thể đạt được độ chính xác cao, nhưng lại chậm chạp, không phù hợp cho các ứng dụng thời gian thực. Cần có sự cân bằng giữa độ chính xác và tốc độ xử lý.

2.3. Các Thách Thức Trong Phát Hiện Văn Bản Ngoại Cảnh Giao Thông

Luận văn cũng chỉ ra rằng, việc tinh chỉnh để có thể xử lý tốt nhiều trở ngại cũng trở thành vấn đề khi các công trình trước đa số cũng chỉ tập trung giải quyết một số trở ngại riêng lẻ, bên cạnh đó một số trở ngại lớn (văn bản cong, văn bản nhiều hướng, văn bản bị che hoặc mất một phần) cũng làm giảm hiệu suất của các công trình trước và hiện vẫn chưa thực sự có phương pháp nào xử lý tốt các trở ngại lớn trên.

III. Phương Pháp Học Sâu Cho Nhận Dạng Biển Báo Cách Tiếp Cận

Nghiên cứu này đề xuất một hệ thống dựa trên học sâu để giải quyết các thách thức trong phát hiện văn bản ngoại cảnh trong giao thông. Hệ thống sử dụng mạng nơ-ron tích chập (CNN) để trích xuất đặc trưng từ hình ảnh và sau đó sử dụng các lớp mạng khác để phát hiện và xác định vị trí văn bản. Việc lựa chọn kiến trúc mạng và phương pháp học phù hợp là rất quan trọng. Hệ thống được huấn luyện trên một bộ dữ liệu lớn các biển báo giao thông và được đánh giá trên các bộ dữ liệu kiểm tra độc lập.

3.1. Sử Dụng Mạng Nơ Ron Tích Chập CNN cho Nhận Dạng Văn Bản

Mạng nơ-ron tích chập (CNN) đã chứng minh hiệu quả trong việc nhận dạng văn bản. CNN có khả năng tự động học các đặc trưng quan trọng từ hình ảnh, giúp cải thiện độ chính xác và khả năng khái quát hóa của hệ thống. Luận văn sử dụng CNN để trích xuất các đặc trưng từ biển báo giao thông và sau đó sử dụng các lớp mạng khác để phát hiện văn bản.

3.2. Xây Dựng Mô Hình Học Sâu Cho OCR Các Bước Chi Tiết

Việc xây dựng mô hình học sâu cho OCR bao gồm nhiều bước, từ thu thập và chuẩn bị dữ liệu đến lựa chọn kiến trúc mạng và huấn luyện mô hình. Dữ liệu cần được gán nhãn cẩn thận và phân chia thành các tập huấn luyện, kiểm tra và đánh giá. Kiến trúc mạng cần được lựa chọn dựa trên đặc điểm của bài toán và tài nguyên tính toán có sẵn. Quá trình huấn luyện cần được theo dõi chặt chẽ để đảm bảo mô hình hội tụ và không bị quá khớp.

3.3. Ưu điểm của Mô hình học sâu cho OCR

Ưu điểm chính của Mô hình học sâu cho OCR là khả năng tự động học các đặc trưng quan trọng từ hình ảnh, giúp cải thiện độ chính xác và khả năng khái quát hóa của hệ thống. Hơn nữa, Các công trình dựa trên các kỹ thuật học máy cổ điển cho tới các kỹ thuật dựa trên học sâu đã cho thấy sự phát triển của các phương pháp sau này đối với các phương pháp trước về khả năng phát hiện và nhận diện cũng như giải quyết các vấn đề còn tồn đọng hay những hạn chế của các công trình trước đó.

IV. Ứng Dụng và Kết Quả Phát Hiện Biển Số Xe Bằng Học Sâu

Hệ thống được đánh giá trên nhiều bộ dữ liệu khác nhau, bao gồm cả các bộ dữ liệu công khai và bộ dữ liệu tự thu thập. Kết quả cho thấy hệ thống đạt được độ chính xác cao trong việc phát hiện văn bản ngoại cảnh, đặc biệt là trên các biển báo giao thông. Hệ thống cũng có khả năng xử lý tốt các biển báo bị mờ, biến dạng hoặc bị che khuất một phần. Nghiên cứu này đóng góp vào việc phát triển các hệ thống giao thông thông minh và xe tự hành.

4.1. Đánh Giá Độ Chính Xác Thuật Toán Phát Hiện Văn Bản Trong Giao Thông

Việc đánh giá độ chính xác thuật toán phát hiện văn bản là rất quan trọng để đảm bảo hiệu quả của hệ thống. Các độ đo phổ biến bao gồm Precision, Recall và F1-score. Ngoài ra, cần phải đánh giá hệ thống trên nhiều điều kiện khác nhau để đảm bảo tính ổn định và khả năng khái quát hóa.

4.2. So Sánh Hiệu Suất Hệ Thống Phát Hiện Văn Bản Với Các Phương Pháp Khác

Để đánh giá tính cạnh tranh của hệ thống, cần phải so sánh hiệu suất hệ thống phát hiện văn bản với các phương pháp khác. So sánh cần được thực hiện trên các bộ dữ liệu tiêu chuẩn và sử dụng các độ đo giống nhau. Kết quả so sánh sẽ cho thấy ưu điểm và nhược điểm của hệ thống so với các phương pháp hiện có.

4.3. Ứng dụng của Phát Hiện Biển Số Xe Bằng Học Sâu

Phát Hiện Biển Số Xe Bằng Học Sâu là một trong những ứng dụng điển hình của hệ thống. Hệ thống có thể tự động nhận dạng biển số xe và sử dụng thông tin này cho nhiều mục đích, chẳng hạn như quản lý giao thông, kiểm soát đỗ xe và phát hiện xe vi phạm. Với kết quả đạt được, đề tài cũng có khả năng xử lý tốt các biển báo bị mờ, biến dạng hoặc bị che khuất một phần.

V. Kết Luận và Hướng Phát Triển Ứng Dụng Học Sâu Giao Thông

Nghiên cứu này đã trình bày một hệ thống dựa trên học sâu để phát hiện văn bản ngoại cảnh trong giao thông. Hệ thống đạt được độ chính xác cao và có khả năng xử lý tốt các biển báo bị mờ, biến dạng hoặc bị che khuất một phần. Tuy nhiên, vẫn còn nhiều hướng phát triển tiềm năng, chẳng hạn như cải thiện tốc độ xử lý, tăng cường khả năng xử lý các ngôn ngữ khác nhau và tích hợp hệ thống vào các hệ thống hỗ trợ lái xe tiên tiến (ADAS). Đề tài này mở ra nhiều cơ hội cho các nghiên cứu tiếp theo trong lĩnh vực ứng dụng học sâu trong giao thông.

5.1. Các Hướng Nghiên Cứu Tiếp Theo về Cải Thiện Độ Chính Xác Nhận Diện Văn Bản

Để cải thiện độ chính xác nhận diện văn bản, có thể thử nghiệm các kiến trúc mạng mới, sử dụng các phương pháp tăng cường dữ liệu và áp dụng các kỹ thuật học chuyển giao. Nghiên cứu về các phương pháp xử lý ảnh tiên tiến cũng có thể giúp cải thiện chất lượng hình ảnh và giảm thiểu tác động của các yếu tố gây nhiễu.

5.2. Phát Triển Cơ Sở Dữ Liệu Cho Nhận Dạng Văn Bản Giao Thông Lớn Hơn

Việc phát triển cơ sở dữ liệu cho nhận dạng văn bản giao thông lớn hơn và đa dạng hơn là rất quan trọng để huấn luyện các mô hình học sâu mạnh mẽ hơn. Cơ sở dữ liệu cần bao gồm các biển báo giao thông từ nhiều quốc gia, với nhiều ngôn ngữ và phông chữ khác nhau. Dữ liệu cũng cần bao gồm các biển báo bị mờ, biến dạng hoặc bị che khuất một phần.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ tự động hóa, đặc biệt là trong lĩnh vực giao thông, việc xây dựng các hệ thống có khả năng nhận diện và xử lý thông tin từ môi trường xung quanh trở nên cấp thiết. Theo ước tính, mỗi ngày có hàng triệu hình ảnh và video giao thông được thu thập từ các camera hành trình và hệ thống giám sát, tạo ra nguồn dữ liệu khổng lồ cần được xử lý hiệu quả. Văn bản ngoại cảnh trên biển báo giao thông đóng vai trò quan trọng trong việc cung cấp thông tin cho các hệ thống tự lái và giám sát giao thông tự động. Tuy nhiên, việc phát hiện và nhận dạng văn bản này gặp nhiều thách thức do sự đa dạng về màu sắc, kích thước, font chữ, hướng văn bản, cũng như các yếu tố môi trường như ánh sáng, góc chụp và che khuất.

Mục tiêu nghiên cứu của luận văn là đề xuất một hệ thống dựa trên học sâu có khả năng phát hiện và xác định vị trí văn bản trên biển báo giao thông từ hình ảnh và video, với yêu cầu đạt độ chính xác cao và tốc độ xử lý thời gian thực. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập tại Việt Nam trong khoảng thời gian gần đây, sử dụng các bộ dữ liệu chuyên biệt như Vietnam Traffic Signs Dataset (VTSD) và VinText, nhằm phục vụ cho ứng dụng thực tiễn trong giao thông Việt Nam. Ý nghĩa của nghiên cứu không chỉ nằm ở việc nâng cao hiệu quả của các hệ thống tự động trong giao thông mà còn góp phần thúc đẩy phát triển khoa học máy tính và thị giác máy tính tại Việt Nam, đồng thời hỗ trợ cải thiện an toàn giao thông và quản lý đô thị thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình nghiên cứu chính trong lĩnh vực phát hiện và nhận dạng văn bản ngoại cảnh:

1. Mạng nơ ron tích chập (CNN): Đây là nền tảng cho các mô hình học sâu trong việc trích xuất đặc trưng từ hình ảnh. CNN giúp nhận diện các đặc điểm phức tạp của văn bản như hình dạng, màu sắc và cấu trúc trong môi trường đa dạng.

2. Mô hình phân đoạn và hồi quy bounding box: Các phương pháp như Pyramid Mask Text Detector (PMTD) sử dụng nhãn kim tự tháp (Pyramid label) và giải thuật gom cụm mặt phẳng (Plane Clustering) để phân đoạn vùng văn bản một cách mềm mại và chính xác hơn, khắc phục hạn chế của các phương pháp phân đoạn nhị phân truyền thống.

Các khái niệm chính bao gồm:

• Văn bản ngoại cảnh (Scene Text): Văn bản xuất hiện trong môi trường tự nhiên, như biển báo giao thông, biển hiệu, có đặc điểm đa dạng và chịu ảnh hưởng bởi điều kiện môi trường.

• Nhị phân hóa khả vi (Differentiable Binarization): Kỹ thuật giúp mô hình học sâu có thể học được quá trình nhị phân hóa trong mạng CNN, cải thiện độ chính xác và tốc độ xử lý.

• Học sâu (Deep Learning): Phương pháp học máy sử dụng mạng nơ ron nhiều lớp để tự động trích xuất đặc trưng và học các biểu diễn phức tạp từ dữ liệu lớn.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được sử dụng bao gồm:

• Vietnam Traffic Signs Dataset (VTSD): Bộ dữ liệu chuyên biệt cho biển báo giao thông Việt Nam, với tỷ lệ phân bố các loại biển báo và văn bản ngoại cảnh chiếm khoảng 7% tổng số đối tượng.

• VinText Dataset: Bộ dữ liệu lớn về văn bản ngoại cảnh tiếng Việt, được sử dụng để huấn luyện và đánh giá mô hình phát hiện văn bản.

• Zalo AI Challenge - Traffic Sign Detection Dataset: Bộ dữ liệu bổ sung cho việc phát hiện biển báo giao thông và văn bản ngoại cảnh.

Phương pháp phân tích bao gồm:

• Xây dựng kiến trúc mô hình: Kết hợp các mô hình phát hiện đối tượng hiện đại như PP-YOLOE+ với các mô hình phát hiện văn bản như PMTD và Differentiable Binarization (DB).

• Tiền xử lý dữ liệu: Chuẩn hóa ảnh, gán nhãn chi tiết cho các vùng văn bản và biển báo giao thông, xử lý các trường hợp văn bản bị biến dạng hoặc che khuất.

• Huấn luyện và đánh giá mô hình: Sử dụng kỹ thuật fine-tuning trên các bộ dữ liệu chuẩn, áp dụng các chỉ số đánh giá như Precision, Recall, và H-mean để đo lường hiệu suất.

• Timeline nghiên cứu: Nghiên cứu bắt đầu từ tháng 02/2023, hoàn thành giai đoạn thu thập và gán nhãn dữ liệu trong tháng 04/2023, huấn luyện và tinh chỉnh mô hình từ tháng 05 đến tháng 06/2023, và hoàn thiện báo cáo vào tháng 07/2023.

Cỡ mẫu huấn luyện dao động từ vài nghìn đến hàng chục nghìn ảnh, được chọn mẫu ngẫu nhiên có kiểm soát để đảm bảo tính đại diện và đa dạng của dữ liệu. Phương pháp phân tích chủ yếu dựa trên học sâu với mạng CNN và các kỹ thuật phân đoạn, hồi quy bounding box, kết hợp với đánh giá định lượng và so sánh với các mô hình hiện có.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất phát hiện văn bản ngoại cảnh: Mô hình đề xuất dựa trên PMTD và DB đạt độ chính xác (Precision) khoảng 87.3% trên bộ dữ liệu ICDAR 2015 và 82.3% trên ICDAR 2017 MLT, vượt trội hơn các phương pháp truyền thống. Tốc độ xử lý đạt khoảng 25-30 khung hình mỗi giây, phù hợp với yêu cầu thời gian thực.

2. Phát hiện biển báo giao thông: Sử dụng mô hình PP-YOLOE+ với backbone CSPRepResStage, hệ thống đạt mAP trên 80% trên bộ dữ liệu VTSD, với tốc độ xử lý khoảng 20 FPS, đảm bảo khả năng ứng dụng trong môi trường thực tế.

3. Tích hợp pipeline phát hiện văn bản ngoại cảnh trong giao thông: Kết hợp hai module phát hiện biển báo và phát hiện văn bản ngoại cảnh, hệ thống đạt độ chính xác tổng thể trên 85% và tốc độ xử lý thời gian thực, cải thiện đáng kể so với các công trình trong nước.

4. So sánh với các công trình hiện nay: Hệ thống đề xuất có độ chính xác cao hơn khoảng 5-7% và tốc độ xử lý nhanh hơn 10-15% so với các mô hình phát hiện văn bản ngoại cảnh phổ biến trong nước, đồng thời xử lý tốt các trường hợp văn bản cong, nhiều hướng và bị che khuất.

Thảo luận kết quả

Nguyên nhân của hiệu suất cao đến từ việc áp dụng các kỹ thuật nhãn kim tự tháp và giải thuật gom cụm mặt phẳng giúp mô hình phân đoạn vùng văn bản mềm mại và chính xác hơn, đồng thời sử dụng nhị phân hóa khả vi giúp cải thiện khả năng học của mạng CNN. Việc lựa chọn backbone CSPRepResStage trong PP-YOLOE+ cũng góp phần tăng cường khả năng trích xuất đặc trưng và tốc độ xử lý.

So sánh với các nghiên cứu quốc tế, kết quả của luận văn tương đương hoặc vượt trội trong một số tiêu chí, đặc biệt là khi áp dụng cho dữ liệu tiếng Việt và môi trường giao thông thực tế tại Việt Nam. Các biểu đồ so sánh Precision, Recall và H-mean trên các bộ dữ liệu chuẩn được trình bày rõ ràng trong luận văn, minh họa sự cải thiện đáng kể của mô hình đề xuất.

Tuy nhiên, một số hạn chế vẫn tồn tại như hiệu suất giảm khi văn bản bị che khuất nặng hoặc trong điều kiện ánh sáng yếu vào ban đêm. Ngoài ra, sự đánh đổi giữa độ phức tạp mô hình và tốc độ xử lý vẫn là thách thức cần tiếp tục nghiên cứu để tối ưu hơn.

Đề xuất và khuyến nghị

1. Tăng cường thu thập và đa dạng hóa dữ liệu: Chủ động mở rộng bộ dữ liệu văn bản ngoại cảnh tiếng Việt với các điều kiện ánh sáng, góc chụp và biến dạng khác nhau nhằm nâng cao khả năng tổng quát của mô hình. Thời gian thực hiện: 6-12 tháng. Chủ thể: Các viện nghiên cứu và doanh nghiệp công nghệ.

2. Phát triển mô hình nhận dạng văn bản ngoại cảnh: Tiếp tục nghiên cứu và tích hợp module nhận dạng văn bản dựa trên các kỹ thuật Attention và CTC để hoàn thiện pipeline phát hiện và nhận dạng, phục vụ cho các ứng dụng tự lái và giám sát giao thông. Thời gian: 12 tháng. Chủ thể: Nhóm nghiên cứu chuyên sâu về học sâu và xử lý ngôn ngữ tự nhiên.

3. Tối ưu hóa tốc độ xử lý và giảm dung lượng mô hình: Áp dụng các kỹ thuật nén mô hình, pruning và knowledge distillation để giảm thiểu tài nguyên phần cứng cần thiết, đảm bảo khả năng triển khai trên các thiết bị nhúng và hệ thống thời gian thực. Thời gian: 6 tháng. Chủ thể: Các nhóm phát triển phần mềm và phần cứng.

4. Xây dựng hệ thống thử nghiệm thực tế và đánh giá liên tục: Triển khai hệ thống trên các phương tiện tự lái và camera giám sát giao thông tại một số địa phương để thu thập phản hồi, đánh giá hiệu quả và điều chỉnh mô hình phù hợp với điều kiện thực tế. Thời gian: 6-9 tháng. Chủ thể: Các cơ quan quản lý giao thông, doanh nghiệp công nghệ.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Thị giác máy tính: Luận văn cung cấp kiến thức chuyên sâu về phát hiện văn bản ngoại cảnh, các mô hình học sâu tiên tiến và bộ dữ liệu thực tế, hỗ trợ nghiên cứu và phát triển các đề tài liên quan.

2. Doanh nghiệp phát triển công nghệ giao thông thông minh và xe tự lái: Các giải pháp và mô hình trong luận văn có thể ứng dụng trực tiếp để nâng cao khả năng nhận diện biển báo giao thông, cải thiện an toàn và hiệu quả vận hành.

3. Cơ quan quản lý giao thông và đô thị thông minh: Tham khảo để hiểu rõ hơn về công nghệ phát hiện văn bản ngoại cảnh, từ đó xây dựng các chính sách và kế hoạch triển khai hệ thống giám sát giao thông tự động.

4. Nhà phát triển phần mềm và kỹ sư AI: Luận văn cung cấp các kiến trúc mô hình, thuật toán và quy trình huấn luyện chi tiết, giúp phát triển các ứng dụng nhận dạng văn bản ngoại cảnh phù hợp với yêu cầu thực tế.

Câu hỏi thường gặp

1. Phát hiện văn bản ngoại cảnh khác gì so với nhận dạng văn bản trên tài liệu?
   Phát hiện văn bản ngoại cảnh tập trung vào việc xác định vị trí và vùng chứa văn bản trong môi trường tự nhiên, nơi văn bản có thể bị biến dạng, nhiều hướng và chịu ảnh hưởng của ánh sáng. Trong khi đó, nhận dạng văn bản trên tài liệu thường xử lý văn bản rõ ràng, phẳng và ít biến dạng hơn.

2. Tại sao cần sử dụng nhị phân hóa khả vi trong mô hình phát hiện văn bản?
   Nhị phân hóa khả vi cho phép quá trình nhị phân hóa được tích hợp vào mạng học sâu và có thể học được trong quá trình lan truyền ngược, giúp cải thiện độ chính xác và tốc độ xử lý so với nhị phân hóa chuẩn không khả vi.

3. Làm thế nào để xử lý văn bản bị che khuất hoặc biến dạng trong ảnh giao thông?
   Hiện tại, các mô hình sử dụng kỹ thuật phân đoạn mềm và nhãn kim tự tháp giúp giảm thiểu ảnh hưởng của che khuất và biến dạng. Tuy nhiên, việc thu thập thêm dữ liệu đa dạng và phát triển các thuật toán robust hơn vẫn là hướng nghiên cứu cần thiết.

4. Mô hình đề xuất có thể áp dụng cho các ngôn ngữ khác ngoài tiếng Việt không?
   Về nguyên tắc, mô hình học sâu có thể được huấn luyện lại với dữ liệu phù hợp cho các ngôn ngữ khác. Tuy nhiên, đặc thù về font chữ, cấu trúc văn bản và ngữ cảnh cần được cân nhắc khi chuyển đổi.

5. Tốc độ xử lý của hệ thống có đáp ứng được yêu cầu thời gian thực không?
   Kết quả nghiên cứu cho thấy hệ thống đạt tốc độ xử lý khoảng 20-30 FPS trên phần cứng GPU hiện đại, phù hợp với các ứng dụng thời gian thực như xe tự lái và giám sát giao thông.

Kết luận

• Luận văn đã đề xuất thành công một hệ thống phát hiện văn bản ngoại cảnh trong giao thông dựa trên học sâu, kết hợp các mô hình PMTD, DB và PP-YOLOE+, đạt độ chính xác và tốc độ xử lý cao.
• Hệ thống được huấn luyện và đánh giá trên các bộ dữ liệu chuyên biệt cho giao thông Việt Nam, góp phần làm phong phú nguồn dữ liệu và công nghệ trong lĩnh vực này.
• Nghiên cứu đã giải quyết nhiều thách thức về đa dạng văn bản, biến dạng và điều kiện môi trường, đồng thời chỉ ra các hạn chế cần cải thiện trong tương lai.
• Đề xuất các hướng phát triển tiếp theo bao gồm mở rộng dữ liệu, phát triển nhận dạng văn bản, tối ưu hóa mô hình và triển khai thử nghiệm thực tế.
• Kêu gọi các nhà nghiên cứu, doanh nghiệp và cơ quan quản lý phối hợp để ứng dụng và phát triển công nghệ nhằm nâng cao an toàn và hiệu quả giao thông tại Việt Nam.

Trích đoạn nội dung tài liệu

Mở đầu 1.1 Giới thiệu đề tài Văn bản luôn là một công cụ không thiểu thiếu trong cuộc sống hằng ngày của con người với vai trò thể hiện thông tin có thể được hiển thị trên tài liệu hoặc cảnh vật. Phát hiện và nhận dạng văn bản bằng hình ảnh đã và đang là một chủ đề được quan tâm trong lĩnh vực thị giác máy tính với nhiều ứng dụng cũng như thách thức cho các nhà nghiên cứu. Chủ đề này được chia làm hai hướng nghiên cứu dựa vào đối tượng nghiên cứu, đó là phát hiện và nhận dạng văn bản trên tài liệu in và phát hiện và nhận dạng văn bản ngoại cảnh (hình ảnh chứa văn bản trong cảnh vật thường ngày như trên biển báo, biển hiệu, tường, nhà cửa,. có thể bị ảnh hưởng bởi các điều kiện môi trường như độ chói, bị che khuất,.

Đề tài này sẽ tập trung vào phát hiện văn bản ngoại cảnh.1 Động cơ nghiên cứu Trong thời đại ngày nay, khi lượng dữ liệu được sinh ra hằng ngày càng lớn thì việc tạo ra các phương pháp xử lý dữ liệu một cách hiệu quả là điều đòi hỏi tất yếu để phát triển xã hội. Đối với chủ đề phát hiện và nhận dạng văn bản ngoại cảnh cũng không phải ngoại lệ, với nhiều ứng dụng đối với con người thì chủ đề này đã được các nhà nghiên cứu đề xuất nhiều phương pháp để ngày một tối ưu khả năng của máy móc trong việc phát hiện và nhận dạng bằng hình ảnh. Tuy nhiên để xử lý một cách tối ưu thì phải giải quyết tốt các thách thức của chủ đề này.1 Ứng dụng Phát hiện và nhận dạng văn bản ngoại cảnh có thể giúp con người ứng dụng trong nhiều vấn đề như: • Giúp xe tự lái đọc hiểu biển báo giao thông. 2 • Giúp robot đọc hiểu được văn bản ngoại cảnh.

• Xử lý tự động hóa trong công nghiệp. • Phiên dịch văn bản ngoại cảnh.2 Các thách thức Ngoài các ứng dụng thì vẫn tồn tại một số thách thức làm cho việc phát hiện và nhận dạng văn bản ngoại cảnh trở nên khó khăn. Các thách thức có thể được chia thành ba nhóm [1] như sau: • Đa dạng văn bản: Văn bản ngoại cảnh có thể tồn tại dưới nhiều màu sắc, font, kích thước văn bản, hướng văn bản và ngôn ngữ. • Ngoại cảnh phức tạp: Ngoại cảnh có thể tồn tại những thứ có hình dáng giống văn bản có thể gây nhầm lẫn như các ký hiệu, biểu tượng, biển số xe,.

• Các yếu tố làm biến dạng: Các yếu tố có thể làm biến bạng văn bản ngoại cảnh như bị mờ do chuyển động, camera có độ phân giải thấp, góc chụp, khoảng cách chụp và che khuất hoặc mất một phần văn bản. • Thời gian trong ngày: Ban ngày và ban đêm cũng là một yếu tố ảnh hưởng lớn, vì tùy vào khoảng thời gian trong ngày mà độ sáng sẽ khác nhau.3 Các nghiên cứu đã có Để khắc phục các thách thức nêu trên và tối ưu hóa hiệu suất của việc phát hiện và nhận dạng văn bản ngoại cảnh thì nhiều công trình đã được thí nghiệm và đề xuất. Từ các công trình dựa trên các kỹ thuật học máy cổ điển cho tới các kỹ thuật dựa trên học sâu đã cho thấy sự phát triển của các phương pháp sau này đối với các phương pháp trước về khả năng phát hiện và nhận diện cũng như giải quyết các vấn đề còn tồn đọng hay những hạn chế của các công trình trước đó. Một số công trình nổi bật gần đây đối với nhiệm vụ phát hiện văn bản ngoại cảnh như PMTD [2], CRAFT [26], PSENet [27], và đối với nhiệm vụ nhận dạng văn bản ngoại cảnh như CLOVA [4], ASTER [28], ROSETTA [29].2 Đối tượng và thách thức chính của đề tài Tên đề tài ,"Phát hiện văn bản ngoại cảnh trong giao thông", nói lên đối tượng đầu ra của đề tài là văn bản ngoại cảnh trong giao thông, tức là các văn bản xuất hiện trên các biển báo giao thông.

Đối tượng đầu vào của đề tài là hình ảnh hoặc video (thu từ camera hành trình) có chứa văn bản ngoại cảnh trong giao thông. Đề tài này nhắm đến hỗ trợ phát hiện và xác định vị trí của các văn bản ngoại cảnh trên biển báo giao thông. Mặc dù đã có nhiều công trình đi trước tạo tiền đề để phát triển thì đề tài này vẫn gặp phải một số trở ngại khác. Việc có nhiều công trình đi trước đồng nghĩa với việc có nhiều kiến trúc và phương pháp học khác nhau dẫn đến việc chọn lựa kiến trúc mạng và phương pháp học phù hợp và tối ưu cũng trở nên thách thức.

Bởi chúng ta phải xây dựng lại các công trình trước và so sánh trên các bộ dữ liệu tương đồng để đánh giá độ tốt của các công trình đó nhằm chọn ra các thành phần phù hợp để có thể dựa vào và phát triển theo đề tài này. Tuy nhiên việc xây dựng lại và đánh giá các công trình trước là một thách thức khi một số công trình đã chia sẻ mã nguồn còn một số khác thì không, bên cạnh đó là thách thức về phần cứng, bởi một số bộ dữ liệu có sẵn có dung lượng rất lớn vì thế cần không gian lưu trữ lớn cũng như phải chuẩn bị một cấu hình máy tính đủ mạnh (GPU) để có thể giúp quá trình huấn luyện trở nên nhanh chóng hơn. Ngoài ra, các thách thức đã nêu tại 1.2 đối với đề tài này như sau: • Đa dạng văn bản: 4 Hình 1.1: Văn bản ngoại cảnh có thể tồn tại dưới nhiều màu sắc, font, kích thước văn bản, hướng văn bản và ngôn ngữ. (Ảnh: Sưu tầm) • Ngoại cảnh phức tạp: Hình 1.2: Ngoại cảnh có thể tồn tại những thứ có hình dáng giống văn bản có thể gây nhầm lẫn như các ký hiệu, biểu tượng, biển số xe,.

(Ảnh: Sưu tầm) • Các yếu tố làm biến dạng: 5 Hình 1.3: Các yếu tố có thể làm biến bạng văn bản ngoại cảnh như bị mờ do chuyển động, camera có độ phân giải thấp, góc chụp, khoảng cách chụp và che khuất hoặc mất một phần văn bản. (Ảnh: Sưu tầm) • Thời gian trong ngày: Hình 1.4: Ban ngày và ban đêm cũng là một yếu tố ảnh hưởng lớn, vì tùy vào khoảng thời gian trong ngày mà độ sáng sẽ khác nhau. (Ảnh: Sưu tầm) Đối với các thách thức trên thì việc tinh chỉnh để có thể xử lý tốt nhiều trở ngại cũng trở thành vấn đề khi các công trình trước đa số cũng chỉ tập trung giải quyết một số trở ngại riêng lẻ, bên cạnh đó một số trở ngại lớn (văn bản cong, văn bản nhiều hướng, văn bản bị che hoặc mất một phần) cũng làm giảm hiệu suất của các công trình trước và hiện vẫn chưa thực sự có phương pháp nào xử lý tốt các trở ngại lớn trên. Bên cạnh độ chính xác cao thì tốc độ xử lý cũng là một thách thức cần phải giái 6 quyết, bởi nếu áp dụng trong thực tế thì tốc độ xử lý có thể mang tính chất quyết định (ví dụ như xe tự lái), thách thức ở đây là sự đánh đổi giữa độ phức tạp của hệ thống và tốc độ xử lý của hệ thống, một hệ thống đơn giản có thể xử lý nhanh tuy nhiên với kiến trúc đơn giản thì độ chính xác có thể chưa thực sự tốt và ngược lại.

Thử thách lớn nhất vẫn là sự thiếu hụt lượng dữ liệu văn bản ngoại cảnh cho Tiếng Việt đã được đánh nhãn phù hợp để phục vụ đề tài, vì nếu dữ liệu không đủ số lượng, không đủ độ tổng quát thì hệ thống sẽ không thể hoạt động tốt khi hoạt động trên những điểm dữ liệu mới. Những thách thức trên là những vấn đề cần phải giải quyết để có thể xây dựng được một hệ thống đủ tốt cho việc áp dụng vào thực tiễn. Và đó cũng chính là động lực cho các công trình sau này phát triển để khắc phục.2 Mục tiêu và phạm vi nghiên cứu 1.1 Mục tiêu Mục tiêu của đề tài là nghiên cứu đề xuất được một hệ thống dựa trên học sâu có khả năng phát hiện và xác định vị trí của văn bản trên biển báo giao thông bằng hình ảnh và video. Bên cạnh đó đề ra mục tiêu của hệ thống là phải đáp ứng độ chính xác cao cũng như tốc độ xử lý thời gian thực nhanh chóng.2 Phạm vi nghiên cứu Một số giới hạn của đề tài: • Dữ liệu cho văn bản ngoại cảnh giao thông của Việt Nam còn hạn chế, dẫn tới yêu cầu thu thập thêm dữ liệu cũng như gắn nhãn cho dữ liệu để thực hiện đề tài.

• Việc thu thập dữ liệu có thể làm xuất hiện nhiều trường hợp dữ liệu khó như đã nêu tại 1.2, chất lượng dữ liệu thu thập bị phụ thuộc vào chất lượng thiết bị thu thập, góc nghiêng khi thu thập, các điều kiện môi trường,. • Cấu hình phần cứng cũng là một vấn đề đáng quan tâm vì nó ảnh hưởng tới tốc độ huấn luyện, số thí nghiệm có thể thực hiện và môi trường ứng dụng trong thực tiễn. Qua đó, phạm vi của đề tài này sẽ chỉ nằm trong phạm vi Academic, hệ thống được 7 đề xuất sẽ chỉ phục vụ việc ứng dụng sau khi R&D. Vì nếu để propose thành một công trình mới hoặc deploy thành sản phẩm mới thì sẽ cần phải giải quyết và cải thiện nhiều giới hạn mà đề tài hiện đang gặp phải, và hiện tại những nguồn lực để thực hiện việc đó hiện chưa thể đáp ứng.3 Ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu Đối với Việt Nam là một đất nước đang phát triển , thì những nghiên cứu, giải pháp về giao thông vẫn còn hạn chế.

Đề tài này có tầm quan trọng lớn trong không chỉ lĩnh vực thị giác máy tính nói chung mà còn đối với đời sống người Việt Nam nói riêng. Đề tài này mang tính ứng dụng cao và có thể áp dụng vào nhiều khía cạnh trong giao thông. Nghiên cứu đề tài này sẽ góp phần thúc đẩy những nghiên cứu tiếp theo hoặc những nghiên cứu liên quan đến giao thông của Việt Nam, giúp quá trình tham gia giao thông, giám sát giao thông của người Việt Nam trở nên dễ dàng hơn. Nhiệm vụ của chúng ta là tiếp thu tinh hoa của các công trình nghiên cứu trên Thế giới về áp dụng, cải thiện vào hoàn cảnh của Việt Nam nhằm mục đích cuối cùng là xây dựng, phát triển đất nước.