Chương 1: Giới thiệu tổng quan về bài toán nhận dạng văn bản trong ảnh chụp ngoại cảnh. Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan. Chương 3: Trình bày các phương pháp được sử dụng trong quá trình thực nghiệm. Chương 4: Trình bày về cách xây dung dit liệu, các thang đo được sử dụng để đánh giá và so sánh kết quả của các phương pháp trên tập dữ liệu đã xây dựng.
Chương 5: Kết luận về khoá luận tốt nghiệp và hướng phát triển trong tương lai CHƯƠNG 2. CƠ SỞ LÝ THUYET VÀ CÁC NGHIÊN CỨU LIÊN QUAN Trước khi đi vào nội dung chính của khóa luận, chúng tôi xin được trình bay các khái niệm, cơ sở lý thuyết của bài toán nhận dạng văn bản và một số hướng tiếp cận phổ biến cũng như các nghiên cứu liên quan. Bài toán nhận dạng văn bản trong ảnh chụp ngoại cảnh Văn bản là một hệ thống các biểu tượng được sử dụng dé ghi lai, truyén dat hoặc kế thừa văn hóa. La một trong những phat minh có anh hưởng lớn nhất của loài người, văn bản đã đóng vai trò quan trọng trong cuộc sóng con người.
Cụ thể, thông tin ngữ nghĩa phong phú và chính xác được mang theo bởi văn bản đóng vai trò quan trọng trong nhiều kịch bản ứng dụng dựa trên thị giác, như tìm kiếm hình ảnh, kiểm tra thông minh, tự động hóa công nghiệp, điều hướng robot và dịch thuật tức thì. Do đó, việc nhận dạng văn bản trong các cảnh tự nhiên đã thu hút sự chú ý của các nhà nghiên cứu và người thực hành, như cho thấy thông qua sự xuất hiện của các cuộc thi như “ICDAR Robust Reading Competitions". Nhận dạng văn bản trong các cảnh tự nhiên, còn được gọi là nhận dang văn bản cảnh (STR), thường được coi là một dạng đặc biệt của nhận dạng ký tự quang học (OCR), tức là OCR mà văn bản xuất hiện được chụp từ các. Mặc dù OCR trong ảnh chụp tài liệu đã đạt được những thành tựu đáng kể, nhưng STR vẫn day thách thức do nhiều yếu tô như phông nền phức tạp, các kiểu chữ khác nhau và điều kiện hình ảnh không hoàn hảo.
Hình dưới đây cho thay sự khác nhau giữa bai toán OCR thông thường so với bai toán Scene Text Recognition. OCR trong văn bản được scan Scene Text Recognition Jarren Wilson e Phéng nên sạch. e Phông nén phức tap. e Một màu duy nhất, kiều chữ đều, e Nhiều màu sắc, các kiểu chữ kích thước nhất quán và sắp xếp không đều, kích thước khác đồng nhất.
nhau và hướng đa dạng. e Rõ ràng và phía trước. e BỊ méo mó do ánh sáng không e_ Chiếm phan lớn hình ảnh. đồng đều, độ phân giải thấp và mờ chuyên động.
e Được chụp ngẫu nhiên trong môi trường tự nhiên của nó. So sánh bài toán OCR và STR [11] Văn bản trong hình ảnh có thê xuất hiện dưới nhiều dạng thức khác nhau, thể hiện trong Hình 2 với các ví dụ và phân loại điển hình. 10 Handwritten Text by form { Text in Images Printed Text Fat zh by script/ Chinese Text —ử z Lý Ề language So oan g = >> 7 ng AK es e eloe by generation { Graphic Text FA2/6) Dp SN Scene Text Hinh 4. Phan loai cac anh van ban Theo hình thức van ban, ta có thé phan loai thanh hai nhom co ban: van ban viết tay va văn ban in an.
Đáng chú ý là các phương pháp phân loại có thé chồng chéo lên nhau. Nhận dạng chữ viết tay thường khó khăn hơn so với chữ in do sự đa dạng về phong cách việt và vân đê các ký tự dính liên nhau. Tùy thuộc vào hệ thống chữ viết và ngôn ngữ, văn bản trong hình ảnh có thể bao gồm các ký tự khác nhau như Latinh, Trung Quốc hoặc Hindi. Các đặc điểm của văn bản, chăng hạn như loại văn bản và thứ tự đọc, cũng rất khác biệt giữa các ngôn ngữ.
Văn bản trong hình ảnh còn được phân chia thành "văn bản đồ họa" và "văn bản cảnh". Văn ban đồ họa đề cập đến văn bản được thêm vào kỹ thuật số dưới dạng lớp phủ trên video hoặc hình ảnh. Văn bản cảnh là văn bản xuất hiện trên các vật thé, được chụp trong môi trường tự nhiên của nó. Văn bản cảnh có nhiều kiểu dang đa dạng và có thé xuất hiện trên bất kỳ bề mặt nào, gây khó khăn trong việc phân biệt văn bản với nền phức tạp.
Hầu hết các phương pháp được tóm tắt trong bài viết này đều tập trung vào văn bản cảnh Latinh được in ân. 11 Nhận dạng văn bản trong cảnh tự nhiên đã thu hút sự quan tâm lớn từ cả giới học thuật và công nghiệp trong những năm gần đây do tính quan trọng và những thách thức của nó. Các nghiên cứu ban đầu chủ yếu dựa vào các đặc điểm được tạo thủ công. Khả năng thấp của những đặc điểm này hạn chế hiệu suất nhận dạng.
Với sự phát triển của học sâu, các mạng neural đã tăng đáng kể hiệu suất của các thuật toán nhận dạng văn bản cảnh. Một sỐ yếu tố chính đang thúc đây các thuật toán nhận dạng văn bản cảnh dựa trên học sâu. Yếu tố đầu tiên là sự tiến bộ trong hệ thống phan cứng. Các hệ thống máy tính có hiệu suất cao có thể huấn luyện các mạng nhận dạng quy mô lớn.
Hơn nữa, các thiết bị di động hiện đại có khả năng chạy các thuật toán phức tạp trong thời gian thực. Yếu tổ thứ hai là việc học đặc trưng tự động trong các thuật toán nhận dạng văn bản cảnh dựa trên học sâu, không chỉ giải phóng các nhà nghiên cứu khỏi công việc mệt nhọc của việc thiết kế và lựa chọn các đặc điểm được tạo thủ công, mà còn cải thiện đáng ké hiệu suất nhận dạng. Yếu tố thứ ba là nhu cầu ngày càng tăng cho các ứng dụng nhận dạng văn bản cảnh. Văn bản trong cảnh tự nhiên có thể cung cấp thông tin phong phú và chính xác, điều này có lợi cho việc hiểu cảnh.
Việc nhận dạng tự động văn bản trong cảnh tự nhiên là kinh tế có lợi trong thời đại dữ liệu lớn, điêu này thu hút sự quan tâm của các nhà nghiên cứu. Bài toán nhận dang văn bản trong ảnh ngoại cảnh có độ phan Trong quá trình quan sát các bộ dữ liệu liên quan đến bài toán Scene Text Recognition, chúng tôi nhận thấy có không ít các ảnh có độ phân giải thấp và không được chụp trong điều kiện lý tưởng. Chính vì vậy mà ảnh ảnh này có chất lượng kém như các nét chữ bị mờ, bị biến dạng hoặc bi mat đi. Hình ảnh văn bản độ phân giải thấp thường xuất hiện trong các cảnh tự nhiên như các biển hiệu, biển quảng cáo được chụp bằng điện thoại di động, từ các camera có chất lượng thấp.
Việc nhận dạng các hình ảnh văn bản độ phân giải thấp rất khó khăn vì chúng mắt thông tin chỉ tiết về nội dung, dẫn đến độ chính xác nhận dạng kém. 12 Theo đó, trong khuôn khổ của khoá luận lần này, chúng tôi sẽ tiến hành xây dựng bộ dit liệu anh văn bản có độ phân giải thấp. Dữ liệu mà chúng tôi tiến hành xây dựng sẽ dựa trên các tập dữ liệu chuẩn như ICDAR2015, SVT, IIT5K va TextZoom. Mang nơ-ron tích chập (Convoluational Neural Network) Convolutional Neural Networks [12] (CNNs) là một loại mạng nơ-ron thường được sử dụng trong xử lý ảnh và nhận diện văn bản.
Trong bài toán nhận diện văn bản trong cảnh (Scene Text Recognition), CNNs chơi một vai trò quan trọng trong việc nhận diện và hiểu được các ký tự, từ hoặc câu văn trong các bức ảnh có chứa văn bản. Mang CNN được thiết kế dé tự động học các đặc trưng và cau trúc của dit liệu ảnh thông qua việc áp dụng các bộ lọc (filters) thông qua các lớp convolutional. Điều này cho phép mạng có kha năng nhận biết các đặc điểm cụ thé trong ảnh như cạnh, góc, hoặc các đặc trưng địa phương của từng khu vực. Trong bai toán nhận diện văn bản, CNN thường được sử dụng dé phat hién cac vùng chứa van ban trong anh (text localization), sau đó chia nhỏ vùng này thành các phần nhỏ hơn để nhận diện từng ký tự hoặc từ.
Sau đó, thông qua các lớp fully connected và các kỹ thuật như Recurrent Neural Networks (RNNs) hoặc Transformer, mạng sẽ phân loại từng ký tự để xác định văn bản chính xác trong ảnh. Cấu trúc của một CNN gồm những thành phan sau: 2. Lớp tích chập Lớp tích chập là lớp quan trọng nhất trong CNN, chịu trách nhiệm trích xuất các đặc trưng từ ảnh. Lớp tích chập hoạt động băng cách quét ảnh với các bộ lọc nhỏ.
13 Mỗi bộ lọc có một kích thước nhất định và một gia tri trọng số cho mỗi pIxel trong bộ lọc. Qua trình tích chập được thực hiện như sau: 1. Đầu tiên, bộ lọc được đặt tại một điểm có định trong ảnh. Tiếp theo, các giá trị của bộ lọc được nhân với các giá trị của ảnh tại điểm đó.
Kết quả được cộng lại dé tạo ra một gia tri mới. Quá trình này được lặp lại cho tat cả các điểm trong ảnh. Kết quả của lớp tích chập là một ma trận mới, có kích thước nhỏ hơn ảnh sốc. Ma trận này chứa các đặc trưng cục bộ của ảnh, được thể hiện dưới dạng các giá trị số.
Lớp nối bó (Pooling Layer) Lớp nối bó là lớp được sử dụng dé giảm kích thước của ảnh mà không làm mat đi các thông tin quan trọng. Lớp nối bó hoạt động bằng cách tóm tắt thông tin từ một vùng nhỏ của ảnh thành một giá trị đơn lẻ. Các ham pooling phố biến bao gồm: e Max pooling: Lấy giá trị lớn nhất trong vùng nhỏ của ảnh. e Average pooling: Tính trung bình các giá tri trong vùng nhỏ của ảnh.
14 Max pooling 2x2 pooling, stride 2 Averaøe pooling Hình 5. Lớp kích hoạt (Acitivation Layer) Lớp kích hoạt là lớp được sử dụng dé tăng tính phi tuyến của mạng va cho phép học các mối quan hệ phức tạp giữa các đặc trưng. Các hàm kích hoạt phổ biến bao gồm: e ReLU: Ap dung hàm ReLU cho các giá trị đầu vào, chỉ giữ lại các giá trị dương. Có công thức sau: f (x) = max(0, x) e Sigmoid: Ap dung ham sigmoid cho các giá trị đầu vào, cho ra các giá tri từ 0 đến 1.
Có công thức sau: ƒŒœ)= 1+e* 2. Lớp hoàn toán nối tiếp (Fully-connected layer) Lớp hoàn toàn nối tiếp là lớp cuối cùng trong CNN. Lớp này kết hợp các đặc trưng đã được trích xuất thành một không gian vector duy nhất và thực hiện phân loại hoặc hồi quy tuyến tính.