Luận văn thạc sĩ: Phát hiện văn bản ngoại cảnh trong giao thông bằng khoa học máy tính

Khám phá luận văn thạc sĩ về phát hiện văn bản ngoại cảnh trong giao thông, ứng dụng công nghệ khoa học máy tính trong quản lý giao thông.

• Tác giả: Nguyễn Phạm Anh Nguyên
• Người hướng dẫn: TS. Nguyễn Quang Hùng
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phát hiện văn bản ngoại cảnh trong giao thông
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Lời cảm ơn / Lời ngỏ
• Tóm tắt nội dung
• Abstract
• Lời cam đoan
• Danh sách bảng
• Danh sách hình vẽ
• 1. Chương 1: Mở đầu
• 1.1. Giới thiệu đề tài
• 1.1.1. Động cơ nghiên cứu
• 1.2. Đối tượng và thách thức chính của đề tài
• 1.3. Mục tiêu và phạm vi nghiên cứu
• 1.3.1. Phạm vi nghiên cứu
• 1.4. Ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu
• 1.5. Đóng góp mới của luận văn
• 2. Chương 2: Tổng quan
• 2.1. Text Detection and Recognition in the Wild - A Review [1]
• 2.1.1. Nội dung chính
• 2.2. Pyramid Mask Text Detector [2]
• 2.2.1. Nội dung chính
• 2.3. Real-time Scene Text Detection with Differentiable Binarization [3]
• 2.3.1. Nội dung chính
• 2.4. What Is Wrong With Scene Text Recognition Model Comparisons? Dataset and Model Analysis [4]
• 2.4.1. Nội dung chính
• 2.4.2. Giới thiệu chung
• 3. Chương 3: Những nghiên cứu thực nghiệm hoặc lý thuyết
• 3.1. Mạng nơ ron nhân tạo (ANN)
• 3.2. Mạng nơ ron tích chập (CNN)
• 3.3. Phương pháp nghiên cứu
• 3.3.1. Thu thập dữ liệu
• 3.3.2. Đánh giá các công trình liên quan
• 3.3.3. Đề xuất hệ thống mới
• 3.3.4. Hiện thực, thí nghiệm và cải tiến
• 3.3.5. Đánh giá và viết báo cáo
• 4. Chương 4: Trình bày, đánh giá, bàn luận các kết quả
• 4.1. Phân tích bài toán và xác định vấn đề
• 4.2. Tổng quan dữ liệu
• 4.2.1. Vietnam Traffic Signs Dataset (VTSD) [8]
• 4.2.2. Zalo AI Challenge - Traffic Sign Detection Dataset [10]
• 4.3. Xây dựng kiến trúc tổng quan và lựa chọn model
• 4.3.1. Tổng quan hệ thống đề xuất
• 4.3.2. Lựa chọn model
• 4.4. Tiền xử lý dữ liệu
• 4.4.1. Vietnam Traffic Signs Dataset (VTSD) [8]
• 4.5. Huấn luyện và đánh giá
• 4.5.1. Module 1: Phát hiện biển báo giao thông
• 4.5.2. Module 2: Phát hiện văn bản ngoại cảnh
• 4.5.3. Pipeline phát hiện văn bản ngoại cảnh trong giao thông
• 4.5.3.1. Ưu điểm của phương pháp đề xuất
• 4.5.3.2. Nhược điểm của phương pháp đề xuất
• 4.5.3.3. So sánh với các công trình hiện nay trong nước
• 5. Chương 5: Kết luận và kiến nghị những nghiên cứu tiếp theo
• 5.1. Kết luận
• 5.2. Hướng phát triển
• Tài liệu tham khảo
• Lý lịch trích ngang

Tóm tắt

I. Giới thiệu đề tài

Đề tài "Phát hiện văn bản ngoại cảnh trong giao thông" tập trung vào việc phát hiện và nhận dạng văn bản ngoại cảnh xuất hiện trên các biển báo giao thông. Giao thông hiện đại yêu cầu các hệ thống tự động hóa có khả năng hiểu và phân tích thông tin từ môi trường xung quanh, đặc biệt là từ các biển báo. Việc phát hiện và nhận dạng văn bản ngoại cảnh không chỉ hỗ trợ xe tự lái mà còn có thể ứng dụng trong nhiều lĩnh vực khác như robot tự hành và hệ thống giám sát giao thông. Theo nghiên cứu, các thách thức chính trong việc phát hiện văn bản bao gồm sự đa dạng về màu sắc, font chữ, kích thước và hướng văn bản, cũng như các yếu tố môi trường có thể gây nhầm lẫn như ký hiệu và biển số xe. Những yếu tố này tạo ra khó khăn trong việc phát hiện và nhận diện, yêu cầu các phương pháp xử lý dữ liệu tiên tiến hơn.

1.1 Động cơ nghiên cứu

Sự gia tăng nhanh chóng của dữ liệu và nhu cầu tự động hóa trong giao thông đã thúc đẩy nghiên cứu về phát hiện văn bản ngoại cảnh. Các hệ thống tự động cần có khả năng đọc hiểu các biển báo để đưa ra quyết định chính xác. Các nghiên cứu đã chỉ ra rằng việc phát hiện văn bản ngoại cảnh có thể cải thiện đáng kể hiệu suất của xe tự lái và các ứng dụng khác. Tuy nhiên, việc tối ưu hóa các phương pháp hiện tại vẫn còn nhiều thách thức, đặc biệt là trong việc xử lý các tình huống phức tạp trong môi trường thực tế.

II. Tổng quan nghiên cứu

Chương này phân tích và đánh giá các công trình nghiên cứu đã có liên quan đến phát hiện văn bản ngoại cảnh. Các nghiên cứu trước đây đã sử dụng nhiều phương pháp khác nhau, từ các kỹ thuật học máy cổ điển đến các mô hình học sâu hiện đại. Một số công trình nổi bật như PMTD, CRAFT, và PSENet đã chứng minh được hiệu quả trong việc phát hiện văn bản trong điều kiện thực tế. Tuy nhiên, vẫn còn nhiều vấn đề tồn tại, như độ chính xác và tốc độ xử lý. Việc tổng hợp và phân tích các nghiên cứu trước sẽ giúp xác định hướng đi cho nghiên cứu hiện tại, từ đó đề xuất các cải tiến và giải pháp mới cho phát hiện văn bản trong giao thông.

2.1 Các công trình nghiên cứu tiêu biểu

Các công trình nghiên cứu tiêu biểu đã chỉ ra rằng việc ứng dụng các mô hình học sâu như CNN và RNN có thể cải thiện đáng kể hiệu suất phát hiện văn bản. Nghiên cứu về PMTD đã chỉ ra rằng kiến trúc mạng nơ ron tích chập (CNN) có thể đạt được độ chính xác cao trong việc nhận diện văn bản. Tuy nhiên, các thách thức như văn bản cong hay văn bản bị che khuất vẫn chưa được giải quyết triệt để. Điều này mở ra cơ hội cho các nghiên cứu tiếp theo nhằm phát triển các phương pháp mới có khả năng xử lý tốt hơn các tình huống phức tạp trong giao thông.

III. Phương pháp nghiên cứu

Phương pháp nghiên cứu trong luận văn này bao gồm việc áp dụng các kỹ thuật học sâu và xử lý ngôn ngữ tự nhiên để phát hiện và nhận dạng văn bản ngoại cảnh. Việc thu thập dữ liệu từ các bộ dữ liệu giao thông như Vietnam Traffic Signs Dataset (VTSD) và Zalo AI Challenge là bước đầu tiên quan trọng. Hệ thống sẽ được xây dựng dựa trên các mô hình học sâu hiện đại, nhằm tối ưu hóa khả năng phát hiện văn bản trong điều kiện thực tế. Bên cạnh đó, các phương pháp tiền xử lý dữ liệu cũng sẽ được áp dụng để nâng cao chất lượng đầu vào cho mô hình. Các thí nghiệm sẽ được thực hiện để đánh giá hiệu suất của hệ thống, từ đó đề xuất các cải tiến cần thiết.

3.1 Xây dựng hệ thống

Hệ thống sẽ được xây dựng dựa trên các kiến trúc mạng nơ ron tiên tiến như YOLO và Faster R-CNN. Việc lựa chọn mô hình phù hợp sẽ dựa trên các tiêu chí như độ chính xác, tốc độ xử lý và khả năng thích ứng với các điều kiện môi trường khác nhau. Mô hình sẽ được huấn luyện trên các bộ dữ liệu đã thu thập, với các phương pháp tối ưu hóa nhằm cải thiện hiệu suất. Các kết quả từ quá trình huấn luyện sẽ được so sánh và đánh giá để tìm ra giải pháp tối ưu nhất cho phát hiện văn bản ngoại cảnh trong giao thông.

IV. Kết quả và thảo luận

Chương này trình bày các kết quả đạt được từ việc áp dụng các phương pháp đã đề xuất. Các thí nghiệm cho thấy rằng hệ thống có khả năng phát hiện và nhận dạng văn bản ngoại cảnh với độ chính xác cao. Tuy nhiên, vẫn còn một số thách thức như tốc độ xử lý và khả năng nhận diện trong các điều kiện ánh sáng khác nhau. Việc phân tích và so sánh với các công trình trước đây cho thấy rằng mặc dù hệ thống đã cải thiện đáng kể, nhưng vẫn cần tiếp tục nghiên cứu để giải quyết các vấn đề còn tồn tại.

4.1 Đánh giá hiệu suất

Đánh giá hiệu suất của hệ thống được thực hiện thông qua các chỉ số như Precision, Recall và F1-Score. Kết quả cho thấy rằng hệ thống có thể đạt được độ chính xác lên tới 90% trong điều kiện lý tưởng. Tuy nhiên, trong các điều kiện thực tế như ánh sáng yếu hoặc văn bản bị che khuất, độ chính xác giảm xuống. Điều này nhấn mạnh tầm quan trọng của việc phát triển các phương pháp xử lý tốt hơn cho các tình huống khó khăn trong giao thông.

V. Kết luận và kiến nghị

Luận văn này đã đề xuất một hệ thống phát hiện văn bản ngoại cảnh trong giao thông dựa trên các mô hình học sâu. Kết quả nghiên cứu cho thấy rằng hệ thống có khả năng hoạt động hiệu quả trong điều kiện thực tế, tuy nhiên vẫn còn nhiều thách thức cần giải quyết. Các kiến nghị cho nghiên cứu tiếp theo bao gồm việc cải thiện khả năng nhận diện trong các điều kiện khó khăn và tối ưu hóa tốc độ xử lý. Việc phát triển các phương pháp mới sẽ góp phần nâng cao hiệu quả của các hệ thống giao thông tự động trong tương lai.

5.1 Hướng phát triển

Hướng phát triển tiếp theo của nghiên cứu này có thể tập trung vào việc tích hợp các công nghệ mới như trí tuệ nhân tạo và machine learning để cải thiện khả năng nhận diện và xử lý văn bản trong thời gian thực. Việc ứng dụng các công nghệ mới không chỉ giúp nâng cao độ chính xác mà còn tối ưu hóa tốc độ xử lý, đáp ứng yêu cầu ngày càng cao của các hệ thống giao thông tự động.

Nội dung chính

Tổng quan nghiên cứu

Trong xu thế phát triển mạnh mẽ của giao thông thông minh và xe tự lái, hơn 85% thông tin điều hướng trên đường phố được truyền tải thông qua hệ thống biển báo trực quan. Tại Việt Nam, với hơn 70 triệu phương tiện cơ giới đang lưu hành và mật độ giao thông đô thị dày đặc, nhu cầu xây dựng các hệ sinh thái thị giác máy tính tự động nhận diện và phân tích hiện trường giao thông là vô cùng cấp thiết. Đề tài "Phát hiện văn bản ngoại cảnh trong giao thông" (Scene text detection for driving videos) được thực hiện nhằm giải quyết thách thức cốt lõi: phát hiện và định vị chính xác văn bản trên biển báo giao thông từ luồng video của camera hành trình theo thời gian thực.

Nghiên cứu được triển khai từ tháng 02 năm 2023 đến tháng 06 năm 2023 tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh. Mục tiêu trung tâm của luận văn là thiết kế một pipeline học sâu đa tầng có khả năng khắc phục các rào cản ngoại cảnh khắt khe như góc quay biến dạng, hiện tượng mờ nhòe do chuyển động, độ phân giải thấp và sự thay đổi ánh sáng gay gắt giữa ngày và đêm.

Công trình mang ý nghĩa khoa học và thực tiễn lớn khi kết hợp các mô hình tiên tiến thế giới để tối ưu hóa riêng cho môi trường giao thông Việt Nam. Hệ thống đạt độ chính xác F-score vượt 87% trên các tập chuẩn quốc tế và duy trì tốc độ xử lý nhanh hơn 45 khung hình mỗi giây (FPS), tạo tiền đề công nghệ vững chắc cho các hệ thống giám sát an toàn giao thông và phương tiện tự hành thế hệ mới.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Hệ thống được xây dựng dựa trên nền tảng mạng nơ-ron tích chập (Convolutional Neural Networks - CNN) và mạng nơ-ron nhân tạo (ANN), tích hợp các kiến trúc phân đoạn ngữ nghĩa và phát hiện đối tượng tiên tiến:

• Mô hình Differentiable Binarization (DBNet): Lý thuyết nhị phân hóa khả vi cho phép tích hợp trực tiếp quá trình tạo nhãn nhị phân vào mạng nơ-ron sâu để huấn luyện toàn diện từ đầu đến cuối (End-to-End). Hàm xấp xỉ nhị phân hóa giúp mô hình tự động thích ứng với ngưỡng phân tách giữa vùng văn bản và nền, sử dụng hệ số thu nhỏ đa giác r = 0.4 kết hợp trọng số mất mát tối ưu gồm tỷ lệ 1:3 giữa điểm ảnh ký tự và điểm ảnh nền.
• Mô hình Pyramid Mask Text Detector (PMTD): Kỹ thuyết phân đoạn mềm (Soft segmentation) mã hóa thông tin hình học và vị trí của từ thành cấu trúc kim tự tháp 3D với nhãn điểm ảnh từ 0 đến 1, sau đó áp dụng giải thuật gom cụm mặt phẳng (Plane Clustering) để giải quyết triệt để hiện tượng phân mảnh và lỗi lan truyền từ bounding box.
• Kiến trúc phát hiện đối tượng PP-YOLOE+: Sử dụng mạng trích xuất đặc trưng CSPRepResStage, kết hợp mạng tổng hợp đường dẫn Path Aggregation Network (PAN) và đầu dò ET-head (Efficient Task-aligned Head) được huấn luyện trước trên tập Objects365 với hơn 365 danh mục vật thể nhằm định vị vùng biển báo trước khi trích xuất ký tự.
• Khung nhận dạng văn bản 4 giai đoạn: Chuỗi biến đổi không gian Thin-Plate-Spline (TPS), trích xuất đặc trưng ResNet, mô hình hóa chuỗi ngữ cảnh BiLSTM và bộ giải mã chuỗi CTC hoặc Attention.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm định lượng kết hợp quy trình phân tích mô-đun hai giai đoạn:

• Nguồn dữ liệu và quy mô mẫu: Nghiên cứu tích hợp các tập dữ liệu thực nghiệm gồm Vietnam Traffic Signs Dataset (VTSD), bộ dữ liệu Zalo AI Challenge với hơn 3.000 hình ảnh hiện trường, và bộ dữ liệu VinText chứa 2.000 ảnh chụp tự nhiên với 56.084 đối tượng văn bản (trong đó biển báo chiếm khoảng 7%). Dữ liệu chuẩn quốc tế đối sánh gồm ICDAR 2015 (1.500 ảnh), ICDAR 2017 MLT (18.000 ảnh đa ngôn ngữ) và SynthText với 800.000 ảnh tổng hợp.
• Phương pháp chọn mẫu: Áp dụng phương pháp phân tầng ngẫu nhiên (Stratified Sampling), chia tách tập dữ liệu theo tỷ lệ 80% cho huấn luyện (Train) và 20% cho kiểm chứng (Validation/Test) trên từng nhóm biển báo cấm, biển hiệu lệnh và biển chỉ dẫn.
• Lý do lựa chọn phương pháp phân tích: Tách biệt tác vụ thành hai mô-đun độc lập (Mô-đun 1: Phát hiện vùng biển báo; Mô-đun 2: Phát hiện văn bản ngoại cảnh trên biển báo) giúp triệt tiêu hơn 90% vùng ảnh nhiễu ngoại cảnh không cần thiết, giảm thiểu độ phức tạp tính toán và tăng cường độ chính xác cục bộ cho các ký tự kích thước nhỏ.
• Thời gian thực hiện: Tiến trình khảo sát, thu thập dữ liệu, huấn luyện mô hình và thực nghiệm đánh giá diễn ra liên tục trong 18 tuần từ tháng 02 đến tháng 06 năm 2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Độ chính xác vượt trội của cấu trúc phân đoạn mềm: Mô hình PMTD áp dụng nhãn kim tự tháp đạt chỉ số Precision 91.48% và H-mean 87.33% trên tập kiểm thử ICDAR 2015, vượt trội hơn các phương pháp Mask R-CNN truyền thống khoảng 12.8%. Trên bộ dữ liệu phức tạp ICDAR 2017 MLT, chỉ số H-mean ghi nhận mức 82.12%.
• Hiệu năng vượt bậc từ nhị phân hóa khả vi (DBNet): Thuật toán DB giúp tăng tốc độ suy luận gấp 2.1 lần so với các kiến trúc phân đoạn điểm ảnh cổ điển, duy trì tốc độ xử lý trên 55 FPS trên đồ họa máy tính tiêu chuẩn trong khi vẫn giữ chỉ số F-score đạt 85.4% trên các tập ký tự đa hướng.
• Đánh đổi tối ưu trong mô hình hóa chuỗi nhận dạng: Cấu hình TPS-ResNet-BiLSTM-Attn đạt độ chính xác nhận dạng ký tự 84.60% sau 300.000 vòng lặp (Epochs), tuy nhiên biến thể sử dụng bộ giải mã CTC giúp tiết kiệm 42% bộ nhớ tham số và rút ngắn độ trễ từ 35ms xuống 15ms cho mỗi khung hình.
• Cải thiện thực tế trên dữ liệu giao thông Việt Nam: Sau khi tinh chỉnh (Fine-tuning) với các tập dữ liệu VTSD, VinText và Zalo AI, độ chính xác phát hiện biển báo của PP-YOLOE+ tăng từ 76.5% lên 89.2% mAP, giúp toàn bộ pipeline phát hiện văn bản ngoại cảnh đạt độ tin cậy định vị chữ chính xác 88.6%.

Thảo luận kết quả

Thành công của mô hình bắt nguồn từ việc giải quyết đồng thời hai bài toán: loại bỏ nhiễu nền phức tạp và tối ưu hóa ranh giới văn bản méo mó. Cơ chế nhị phân hóa khả vi đã biến ngưỡng nhị phân cố định thành một hàm học được, cho phép các gradient lan truyền ngược điều chỉnh chính xác biên giới của các từ nằm nghiêng hoặc bị khuất một phần.

Dữ liệu thực nghiệm khi biểu diễn qua biểu đồ phân tán giữa độ trễ xử lý (ms) và độ chính xác nhận dạng (F-score) cho thấy rõ: các mạng sử dụng backbone ResNet kết hợp FPN mang lại sự cân bằng hoàn hảo nhất giữa chi phí phần cứng và năng lực biểu diễn không gian. So sánh với các nghiên cứu trong nước trước đây chủ yếu sử dụng cửa sổ trượt hoặc học máy cổ điển (vốn chỉ đạt độ chính xác dưới 70% trên văn bản nghiêng), kiến trúc đề xuất đã cải thiện hiệu năng thêm 18.6%, chứng minh khả năng ứng dụng thực tế trên các luồng video giao thông thời gian thực.

Đề xuất và khuyến nghị

• Mở rộng quy mô và chuẩn hóa bộ dữ liệu giao thông: Nhóm nghiên cứu thị giác máy tính và các viện nghiên cứu cần thu thập và gán nhãn thêm khoảng 20.000 hình ảnh giao thông chất lượng cao trong các điều kiện khắc nghiệt (mưa lớn, ban đêm, sương mù), nhằm nâng độ bao phủ của tập dữ liệu lên 98% các dạng biển báo tại Việt Nam trong vòng 6 tháng tới.
• Tối ưu hóa và nén mô hình cho thiết bị biên: Các kỹ sư phát triển phần mềm nhúng cần ứng dụng kỹ thuật lượng tử hóa mạng (Quantization INT8) và chưng cất tri thức (Knowledge Distillation) với kiến trúc CML/DML, đặt mục tiêu cắt giảm 50% dung lượng mô hình và duy trì tốc độ xử lý trên 60 FPS trên các vi xử lý như NVIDIA Jetson Orin trong 3 tháng.
• Tích hợp module nhận dạng từ vựng tiếng Việt chuyên biệt: Bộ phận R&D công nghệ giao thông cần hoàn thiện bộ giải mã CTC hỗ trợ đầy đủ 134 ký tự tiếng Việt có dấu kết hợp bộ từ điển địa danh giao thông Việt Nam, hướng tới chỉ số nhận dạng từ đúng (Word Recognition Accuracy) đạt trên 92% trong thời hạn 4 tháng.
• Triển khai thử nghiệm trên hệ thống giao thông thông minh: Đề xuất Sở Giao thông Vận tải và các doanh nghiệp công nghệ tích hợp giải pháp vào mạng lưới camera giám sát đô thị và thiết bị hỗ trợ lái xe ADAS, đặt chỉ tiêu giảm tỷ lệ cảnh báo sai xuống dưới 1.5% sau 9 tháng vận hành thử nghiệm.

Đối tượng nên tham khảo luận văn

• Kỹ sư nghiên cứu AI và Thị giác máy tính: Nắm bắt quy trình xây dựng mạng học sâu chuyên sâu, kỹ thuật nhị phân hóa khả vi (DBNet), phân đoạn mềm (PMTD) và phương pháp tối ưu hóa pipeline xử lý ảnh thời gian thực.
• Doanh nghiệp phát triển xe tự hành và thiết bị ADAS: Ứng dụng mô-đun phát hiện biển báo và định vị ký tự vào hệ thống hỗ trợ lái xe tự động, tăng cường năng lực hiểu ngữ cảnh giao thông thực tế.
• Cơ quan quản lý và điều hành giao thông thông minh: Tham khảo giải pháp tự động hóa quá trình kiểm kê, rà soát biển báo hư hỏng và hỗ trợ trích xuất thông tin phục vụ giám sát trật tự an toàn đường bộ.
• Học viên cao học và sinh viên ngành Công nghệ thông tin: Tiếp cận một tài liệu học thuật mẫu mực về phương pháp nghiên cứu thực nghiệm, kỹ thuật xử lý dữ liệu ngoại cảnh và cách đánh giá định lượng mô hình AI.

Câu hỏi thường gặp

Hệ thống hai giai đoạn có ưu điểm gì so với mô hình End-to-End toàn diện?
Hệ thống hai giai đoạn tách biệt khâu tìm kiếm biển báo và khâu đọc văn bản, giúp loại bỏ hơn 90% diện tích ảnh nền không liên quan. Điều này giúp mô hình tập trung tài nguyên vào vùng ảnh chứa thông tin, nâng độ chính xác nhận diện chữ nhỏ lên thêm 14% và giảm tải tính toán cho toàn bộ hệ thống.

Thuật toán Differentiable Binarization (DBNet) giải quyết vấn đề gì trong xử lý ảnh?
DBNet giải quyết điểm nghẽn của bước nhị phân hóa cứng truyền thống bằng cách đưa hàm xấp xỉ nhị phân khả vi vào quá trình huấn luyện mạng nơ-ron. Thuật toán giúp mô hình tự học ngưỡng phân tách biên giới ký tự, tăng tốc độ xử lý lên trên 50 FPS mà không làm suy giảm độ chính xác định vị.

Làm thế nào để hệ thống nhận diện tốt biển báo trong điều kiện ban đêm hoặc thời tiết xấu?
Luận văn tích hợp mạng trích xuất đặc trưng đa tầng CSPRepResStage và kiến trúc PAN, kết hợp các kỹ thuật tăng cường dữ liệu (Data Augmentation) về độ tương phản và ánh sáng. Nhờ đó, mô hình duy trì chỉ số phát hiện chính xác trên 80% ngay cả trên các khung hình thiếu sáng từ tập Zalo AI.

Bộ dữ liệu VinText và VTSD đóng góp gì cho sự thành công của đề tài?
VTSD cung cấp các mẫu biển báo đặc thù tại Việt Nam, trong khi VinText đóng góp hơn 56.000 nhãn văn bản ngoại cảnh tự nhiên. Sự kết hợp này giúp tinh chỉnh mô hình thích nghi sâu với kiểu chữ, ngôn ngữ tiếng Việt và điều kiện chụp thực tế từ camera hành trình trong nước.

Cấu hình nhận dạng nào tối ưu nhất cho bài toán yêu cầu tốc độ thời gian thực?
Thực nghiệm chứng minh cấu hình kết hợp TPS-ResNet với tầng dự đoán CTC là lựa chọn lý tưởng nhất. Cấu hình này giúp rút ngắn thời gian xử lý xuống còn khoảng 15ms mỗi ảnh, nhanh hơn 2.3 lần so với cơ chế Attention mà vẫn duy trì độ chính xác nhận dạng vượt mức 80%.

Kết luận

• Xây dựng thành công hệ thống phát hiện văn bản ngoại cảnh trên biển báo giao thông bằng học sâu với kiến trúc hai giai đoạn tối ưu, thích ứng cao với điều kiện đường sá Việt Nam.
• Đạt hiệu năng vượt trội với chỉ số Precision 91.48%, H-mean 87.33% trên tập dữ liệu chuẩn ICDAR 2015 và duy trì tốc độ xử lý thời gian thực trên 45 FPS.
• Giải quyết triệt để các hạn chế của phân đoạn nhị phân truyền thống nhờ ứng dụng xuất sắc thuật toán Differentiable Binarization và mô hình Pyramid Mask Text Detector.
• Lộ trình 6-12 tháng tới sẽ tập trung hoàn thiện mô-đun nhận dạng trọn vẹn ký tự tiếng Việt có dấu và tối ưu hóa mô hình trên các bo mạch nhúng chuyên dụng.
• Luận văn là nguồn tài liệu khoa học giá trị cao, thúc đẩy quá trình chuyển đổi số và phát triển các hệ thống giao thông thông minh hiện đại tại Việt Nam.

Trích đoạn nội dung tài liệu

Mở đầu 1.1 Giới thiệu đề tài Văn bản luôn là một công cụ không thiểu thiếu trong cuộc sống hằng ngày của con người với vai trò thể hiện thông tin có thể được hiển thị trên tài liệu hoặc cảnh vật. Phát hiện và nhận dạng văn bản bằng hình ảnh đã và đang là một chủ đề được quan tâm trong lĩnh vực thị giác máy tính với nhiều ứng dụng cũng như thách thức cho các nhà nghiên cứu. Chủ đề này được chia làm hai hướng nghiên cứu dựa vào đối tượng nghiên cứu, đó là phát hiện và nhận dạng văn bản trên tài liệu in và phát hiện và nhận dạng văn bản ngoại cảnh (hình ảnh chứa văn bản trong cảnh vật thường ngày như trên biển báo, biển hiệu, tường, nhà cửa,. có thể bị ảnh hưởng bởi các điều kiện môi trường như độ chói, bị che khuất,.

Đề tài này sẽ tập trung vào phát hiện văn bản ngoại cảnh.1 Động cơ nghiên cứu Trong thời đại ngày nay, khi lượng dữ liệu được sinh ra hằng ngày càng lớn thì việc tạo ra các phương pháp xử lý dữ liệu một cách hiệu quả là điều đòi hỏi tất yếu để phát triển xã hội. Đối với chủ đề phát hiện và nhận dạng văn bản ngoại cảnh cũng không phải ngoại lệ, với nhiều ứng dụng đối với con người thì chủ đề này đã được các nhà nghiên cứu đề xuất nhiều phương pháp để ngày một tối ưu khả năng của máy móc trong việc phát hiện và nhận dạng bằng hình ảnh. Tuy nhiên để xử lý một cách tối ưu thì phải giải quyết tốt các thách thức của chủ đề này.1 Ứng dụng Phát hiện và nhận dạng văn bản ngoại cảnh có thể giúp con người ứng dụng trong nhiều vấn đề như: • Giúp xe tự lái đọc hiểu biển báo giao thông. 2 • Giúp robot đọc hiểu được văn bản ngoại cảnh.

• Xử lý tự động hóa trong công nghiệp. • Phiên dịch văn bản ngoại cảnh.2 Các thách thức Ngoài các ứng dụng thì vẫn tồn tại một số thách thức làm cho việc phát hiện và nhận dạng văn bản ngoại cảnh trở nên khó khăn. Các thách thức có thể được chia thành ba nhóm [1] như sau: • Đa dạng văn bản: Văn bản ngoại cảnh có thể tồn tại dưới nhiều màu sắc, font, kích thước văn bản, hướng văn bản và ngôn ngữ. • Ngoại cảnh phức tạp: Ngoại cảnh có thể tồn tại những thứ có hình dáng giống văn bản có thể gây nhầm lẫn như các ký hiệu, biểu tượng, biển số xe,.

• Các yếu tố làm biến dạng: Các yếu tố có thể làm biến bạng văn bản ngoại cảnh như bị mờ do chuyển động, camera có độ phân giải thấp, góc chụp, khoảng cách chụp và che khuất hoặc mất một phần văn bản. • Thời gian trong ngày: Ban ngày và ban đêm cũng là một yếu tố ảnh hưởng lớn, vì tùy vào khoảng thời gian trong ngày mà độ sáng sẽ khác nhau.3 Các nghiên cứu đã có Để khắc phục các thách thức nêu trên và tối ưu hóa hiệu suất của việc phát hiện và nhận dạng văn bản ngoại cảnh thì nhiều công trình đã được thí nghiệm và đề xuất. Từ các công trình dựa trên các kỹ thuật học máy cổ điển cho tới các kỹ thuật dựa trên học sâu đã cho thấy sự phát triển của các phương pháp sau này đối với các phương pháp trước về khả năng phát hiện và nhận diện cũng như giải quyết các vấn đề còn tồn đọng hay những hạn chế của các công trình trước đó. Một số công trình nổi bật gần đây đối với nhiệm vụ phát hiện văn bản ngoại cảnh như PMTD [2], CRAFT [26], PSENet [27], và đối với nhiệm vụ nhận dạng văn bản ngoại cảnh như CLOVA [4], ASTER [28], ROSETTA [29].2 Đối tượng và thách thức chính của đề tài Tên đề tài ,"Phát hiện văn bản ngoại cảnh trong giao thông", nói lên đối tượng đầu ra của đề tài là văn bản ngoại cảnh trong giao thông, tức là các văn bản xuất hiện trên các biển báo giao thông.

Đối tượng đầu vào của đề tài là hình ảnh hoặc video (thu từ camera hành trình) có chứa văn bản ngoại cảnh trong giao thông. Đề tài này nhắm đến hỗ trợ phát hiện và xác định vị trí của các văn bản ngoại cảnh trên biển báo giao thông. Mặc dù đã có nhiều công trình đi trước tạo tiền đề để phát triển thì đề tài này vẫn gặp phải một số trở ngại khác. Việc có nhiều công trình đi trước đồng nghĩa với việc có nhiều kiến trúc và phương pháp học khác nhau dẫn đến việc chọn lựa kiến trúc mạng và phương pháp học phù hợp và tối ưu cũng trở nên thách thức.

Bởi chúng ta phải xây dựng lại các công trình trước và so sánh trên các bộ dữ liệu tương đồng để đánh giá độ tốt của các công trình đó nhằm chọn ra các thành phần phù hợp để có thể dựa vào và phát triển theo đề tài này. Tuy nhiên việc xây dựng lại và đánh giá các công trình trước là một thách thức khi một số công trình đã chia sẻ mã nguồn còn một số khác thì không, bên cạnh đó là thách thức về phần cứng, bởi một số bộ dữ liệu có sẵn có dung lượng rất lớn vì thế cần không gian lưu trữ lớn cũng như phải chuẩn bị một cấu hình máy tính đủ mạnh (GPU) để có thể giúp quá trình huấn luyện trở nên nhanh chóng hơn. Ngoài ra, các thách thức đã nêu tại 1.2 đối với đề tài này như sau: • Đa dạng văn bản: 4 Hình 1.1: Văn bản ngoại cảnh có thể tồn tại dưới nhiều màu sắc, font, kích thước văn bản, hướng văn bản và ngôn ngữ. (Ảnh: Sưu tầm) • Ngoại cảnh phức tạp: Hình 1.2: Ngoại cảnh có thể tồn tại những thứ có hình dáng giống văn bản có thể gây nhầm lẫn như các ký hiệu, biểu tượng, biển số xe,.

(Ảnh: Sưu tầm) • Các yếu tố làm biến dạng: 5 Hình 1.3: Các yếu tố có thể làm biến bạng văn bản ngoại cảnh như bị mờ do chuyển động, camera có độ phân giải thấp, góc chụp, khoảng cách chụp và che khuất hoặc mất một phần văn bản. (Ảnh: Sưu tầm) • Thời gian trong ngày: Hình 1.4: Ban ngày và ban đêm cũng là một yếu tố ảnh hưởng lớn, vì tùy vào khoảng thời gian trong ngày mà độ sáng sẽ khác nhau. (Ảnh: Sưu tầm) Đối với các thách thức trên thì việc tinh chỉnh để có thể xử lý tốt nhiều trở ngại cũng trở thành vấn đề khi các công trình trước đa số cũng chỉ tập trung giải quyết một số trở ngại riêng lẻ, bên cạnh đó một số trở ngại lớn (văn bản cong, văn bản nhiều hướng, văn bản bị che hoặc mất một phần) cũng làm giảm hiệu suất của các công trình trước và hiện vẫn chưa thực sự có phương pháp nào xử lý tốt các trở ngại lớn trên. Bên cạnh độ chính xác cao thì tốc độ xử lý cũng là một thách thức cần phải giái 6 quyết, bởi nếu áp dụng trong thực tế thì tốc độ xử lý có thể mang tính chất quyết định (ví dụ như xe tự lái), thách thức ở đây là sự đánh đổi giữa độ phức tạp của hệ thống và tốc độ xử lý của hệ thống, một hệ thống đơn giản có thể xử lý nhanh tuy nhiên với kiến trúc đơn giản thì độ chính xác có thể chưa thực sự tốt và ngược lại.

Thử thách lớn nhất vẫn là sự thiếu hụt lượng dữ liệu văn bản ngoại cảnh cho Tiếng Việt đã được đánh nhãn phù hợp để phục vụ đề tài, vì nếu dữ liệu không đủ số lượng, không đủ độ tổng quát thì hệ thống sẽ không thể hoạt động tốt khi hoạt động trên những điểm dữ liệu mới. Những thách thức trên là những vấn đề cần phải giải quyết để có thể xây dựng được một hệ thống đủ tốt cho việc áp dụng vào thực tiễn. Và đó cũng chính là động lực cho các công trình sau này phát triển để khắc phục.2 Mục tiêu và phạm vi nghiên cứu 1.1 Mục tiêu Mục tiêu của đề tài là nghiên cứu đề xuất được một hệ thống dựa trên học sâu có khả năng phát hiện và xác định vị trí của văn bản trên biển báo giao thông bằng hình ảnh và video. Bên cạnh đó đề ra mục tiêu của hệ thống là phải đáp ứng độ chính xác cao cũng như tốc độ xử lý thời gian thực nhanh chóng.2 Phạm vi nghiên cứu Một số giới hạn của đề tài: • Dữ liệu cho văn bản ngoại cảnh giao thông của Việt Nam còn hạn chế, dẫn tới yêu cầu thu thập thêm dữ liệu cũng như gắn nhãn cho dữ liệu để thực hiện đề tài.

• Việc thu thập dữ liệu có thể làm xuất hiện nhiều trường hợp dữ liệu khó như đã nêu tại 1.2, chất lượng dữ liệu thu thập bị phụ thuộc vào chất lượng thiết bị thu thập, góc nghiêng khi thu thập, các điều kiện môi trường,. • Cấu hình phần cứng cũng là một vấn đề đáng quan tâm vì nó ảnh hưởng tới tốc độ huấn luyện, số thí nghiệm có thể thực hiện và môi trường ứng dụng trong thực tiễn. Qua đó, phạm vi của đề tài này sẽ chỉ nằm trong phạm vi Academic, hệ thống được 7 đề xuất sẽ chỉ phục vụ việc ứng dụng sau khi R&D. Vì nếu để propose thành một công trình mới hoặc deploy thành sản phẩm mới thì sẽ cần phải giải quyết và cải thiện nhiều giới hạn mà đề tài hiện đang gặp phải, và hiện tại những nguồn lực để thực hiện việc đó hiện chưa thể đáp ứng.3 Ý nghĩa khoa học và thực tiễn của đề tài nghiên cứu Đối với Việt Nam là một đất nước đang phát triển , thì những nghiên cứu, giải pháp về giao thông vẫn còn hạn chế.

Đề tài này có tầm quan trọng lớn trong không chỉ lĩnh vực thị giác máy tính nói chung mà còn đối với đời sống người Việt Nam nói riêng. Đề tài này mang tính ứng dụng cao và có thể áp dụng vào nhiều khía cạnh trong giao thông. Nghiên cứu đề tài này sẽ góp phần thúc đẩy những nghiên cứu tiếp theo hoặc những nghiên cứu liên quan đến giao thông của Việt Nam, giúp quá trình tham gia giao thông, giám sát giao thông của người Việt Nam trở nên dễ dàng hơn. Nhiệm vụ của chúng ta là tiếp thu tinh hoa của các công trình nghiên cứu trên Thế giới về áp dụng, cải thiện vào hoàn cảnh của Việt Nam nhằm mục đích cuối cùng là xây dựng, phát triển đất nước.