Luận văn ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch

Phát triển ứng dụng nhận dạng văn bản trong hình ảnh cho người khiếm thị. Ứng dụng hướng dẫn du lịch cho người khiếm thị thông qua nhận dạng văn bản

• Tác giả: Kouadio Kouame Olivier
• Người hướng dẫn: Dr. Nayef Nibal, Ingénieur De Recherche
• Trường học: Đại Học Quốc Gia Hà Nội, Viện Quốc Tế Pháp Ngữ
• Chuyên ngành: Hệ Thống Thông Minh và Đa Phương Tiện
• Đề tài: Ứng dụng phát hiện/nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch

Ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch là một giải pháp công nghệ tiên tiến giúp người dùng có thể đọc và hiểu được văn bản trong các hình ảnh. Được thiết kế đặc biệt cho người khiếm thị, ứng dụng này cũng có ích cho những người muốn có thêm thông tin về địa điểm du lịch.

1.1 Phát hiện văn bản trong các cảnh chụp

Phát hiện văn bản trong các cảnh chụp là một trong những chức năng chính của ứng dụng. Nó giúp người dùng nhận biết và phân biệt các ký tự trong văn bản, ngay cả khi chúng được viết ở các góc độ khác nhau.

1.2 Nhận dạng văn bản trong hướng dẫn du lịch

Nhận dạng văn bản trong hướng dẫn du lịch là một tính năng quan trọng cho những người muốn biết thêm thông tin về địa điểm du lịch. Ứng dụng này giúp người dùng đọc và hiểu được các chỉ dẫn, mô tả và thông tin quan trọng về địa điểm du lịch mà họ đang tham quan.

1.3 Tích hợp công nghệ cho người khiếm thị

Ứng dụng này được thiết kế đặc biệt để hỗ trợ người khiếm thị. Nó sử dụng công nghệ tiên tiến để phát hiện và nhận dạng văn bản trong các cảnh chụp, giúp người dùng có thể đọc và hiểu được thông tin mà không cần đến sự trợ giúp của người khác.

II. Vấn đề và thách thức trong ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch

Mặc dù ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch có nhiều lợi ích, nhưng nó cũng phải đối mặt với một số vấn đề và thách thức. Một trong những vấn đề chính là độ chính xác trong phát hiện và nhận dạng văn bản, đặc biệt khi văn bản được viết ở các góc độ khác nhau hoặc khi có ánh sáng yếu.

2.1 Độ chính xác trong phát hiện và nhận dạng văn bản

Độ chính xác trong phát hiện và nhận dạng văn bản là một trong những yếu tố quan trọng để đảm bảo rằng người dùng có thể đọc và hiểu được thông tin một cách chính xác. Tuy nhiên, khi văn bản được viết ở các góc độ khác nhau hoặc khi có ánh sáng yếu, độ chính xác có thể bị giảm sút.

2.2 Tối ưu hóa tốc độ xử lý

Tốc độ xử lý là một yếu tố quan trọng khác để đảm bảo rằng người dùng có thể đọc và hiểu được thông tin một cách nhanh chóng. Tuy nhiên, khi xử lý các cảnh chụp phức tạp hoặc khi có nhiều văn bản trong một cảnh chụp, tốc độ xử lý có thể bị giảm sút.

III. Phương pháp và giải pháp cho ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch

Để giải quyết các vấn đề và thách thức trong ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch, các nhà nghiên cứu đã phát triển một số phương pháp và giải pháp. Một trong những phương pháp chính là sử dụng các thuật toán học máy để cải thiện độ chính xác trong phát hiện và nhận dạng văn bản.

3.1 Sử dụng thuật toán học máy

Sử dụng thuật toán học máy là một phương pháp hiệu quả để cải thiện độ chính xác trong phát hiện và nhận dạng văn bản. Các thuật toán học máy có thể học từ các ví dụ trước đó và điều chỉnh chính xác của chúng để phù hợp với các cảnh chụp mới.

3.2 Tối ưu hóa tốc độ xử lý

Tối ưu hóa tốc độ xử lý là một giải pháp quan trọng để đảm bảo rằng người dùng có thể đọc và hiểu được thông tin một cách nhanh chóng. Các nhà nghiên cứu đã phát triển các thuật toán và phương pháp mới để cải thiện tốc độ xử lý của ứng dụng, ngay cả khi xử lý các cảnh chụp phức tạp hoặc khi có nhiều văn bản trong một cảnh chụp.

IV. Ứng dụng thực tế của ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch

Ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch có nhiều ứng dụng thực tế. Nó có thể được sử dụng để hỗ trợ người khiếm thị đọc và hiểu được thông tin trong các cảnh chụp, hoặc để hỗ trợ người du lịch tìm hiểu thêm thông tin về địa điểm du lịch mà họ đang tham quan.

4.1 Hỗ trợ người khiếm thị đọc và hiểu thông tin

Ứng dụng này có thể được sử dụng để hỗ trợ người khiếm thị đọc và hiểu được thông tin trong các cảnh chụp. Nó giúp người dùng có thể đọc và hiểu được các chỉ dẫn, mô tả và thông tin quan trọng mà không cần đến sự trợ giúp của người khác.

4.2 Hỗ trợ người du lịch tìm hiểu thêm thông tin

Ứng dụng này cũng có thể được sử dụng để hỗ trợ người du lịch tìm hiểu thêm thông tin về địa điểm du lịch mà họ đang tham quan. Nó giúp người dùng đọc và hiểu được các chỉ dẫn, mô tả và thông tin quan trọng về địa điểm du lịch mà không cần đến sự trợ giúp của người khác.

V. Kết luận và tương lai của ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch

Ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch là một giải pháp công nghệ tiên tiến giúp người dùng có thể đọc và hiểu được văn bản trong các hình ảnh. Mặc dù nó vẫn phải đối mặt với một số vấn đề và thách thức, nhưng nó có nhiều tiềm năng để hỗ trợ người khiếm thị và người du lịch trong tương lai.

5.1 Độ chính xác và tốc độ xử lý

Độ chính xác và tốc độ xử lý là hai yếu tố quan trọng để đảm bảo rằng người dùng có thể đọc và hiểu được thông tin một cách chính xác và nhanh chóng. Các nhà nghiên cứu đang tiếp tục phát triển các phương pháp và giải pháp mới để cải thiện độ chính xác và tốc độ xử lý của ứng dụng.

5.2 Tương lai của ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch

Trong tương lai, ứng dụng phát hiện nhận dạng văn bản trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch có thể được phát triển thêm để hỗ trợ nhiều ngôn ngữ hơn và có thể được tích hợp với các thiết bị thông minh khác nhau, như điện thoại thông minh hoặc thiết bị wearable.

Nội dung chính

Tổng quan nghiên cứu

Theo ước tính của Tổ chức Y tế Thế giới, hiện có hơn 253 triệu người khiếm thị và suy giảm thị lực trên toàn cầu đang gặp rào cản lớn trong việc tiếp cận thông tin thị giác hàng ngày. Trong bối cảnh khoảng 80% lượng thông tin định hướng và tương tác trong không gian công cộng được truyền tải qua chữ viết trên các biển báo, chỉ dẫn và tài liệu, việc phát triển các hệ thống đọc chữ tự động trong ảnh cảnh chụp tự nhiên là một đòi hỏi cấp thiết. Luận văn thạc sĩ chuyên ngành Hệ thống Thông minh và Đa phương tiện của tác giả Kouadio Kouamé Olivier, được thực hiện tại Viện Quốc tế Pháp ngữ thuộc Đại học Quốc gia Hà Nội phối hợp cùng Phòng thí nghiệm L3i thuộc Đại học La Rochelle vào năm 2018, đã tập trung giải quyết bài toán phức tạp này.

Vấn đề nghiên cứu trọng tâm của đề tài là khắc phục tình trạng văn bản bị chìm lẫn trong các khung cảnh phức tạp, chữ có màu sắc đa dạng và chịu ảnh hưởng của điều kiện chiếu sáng biến đổi liên tục. Mục tiêu cụ thể là thiết kế một quy trình xử lý hoàn chỉnh dựa trên thành phần liên thông, phân loại bằng học máy có giám sát và gom cụm ký tự thành từ ngữ để phục vụ người khiếm thị và hỗ trợ hướng dẫn viên du lịch. Phạm vi nghiên cứu tập trung vào các bức ảnh ngoại cảnh tự nhiên với độ phân giải tiêu chuẩn từ 640x480 đến 1920x1080 pixel. Ý nghĩa của công trình được chứng minh qua việc cải thiện độ chính xác phát hiện ký tự lên trên 88% và giảm thiểu khoảng 30% tỷ lệ cảnh báo giả so với các phương pháp nhị phân hóa đơn kênh truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng thị giác máy tính và xử lý ảnh số hiện đại thông qua sự kết hợp của 3 mô hình lý thuyết cốt lõi. Thứ nhất là lý thuyết phân tích thành phần liên thông, cho phép gom nhóm các điểm ảnh lân cận có cùng thuộc tính không gian và màu sắc thành các vùng ứng viên ký tự tiềm năng. Thứ hai là phương pháp biến đổi độ rộng nét chữ cùng kỹ thuật vùng cực trị ổn định tối đa, đóng vai trò nền tảng so sánh để xác định tính đồng nhất hình thái học của nét chữ. Thứ ba là mô hình học máy có giám sát Máy vectơ hỗ trợ với hàm nhân RBF nhằm phân biệt chính xác giữa thành phần văn bản và phi văn bản. Tác giả cũng khảo sát cấu trúc mạng nơ-ron tích chập sâu DCNN và mô hình VGG-16 gồm 16 tầng ẩn để đối chiếu hiệu năng. Các khái niệm chính bao gồm thuật toán nhị phân hóa cục bộ Otsu, ma trận khoảng cách Euclid, thuộc tính tỷ lệ khung hình hình học và kỹ thuật xác định hộp bao định vị chữ.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu thực nghiệm gồm 500 hình ảnh cảnh chụp tự nhiên phức tạp được trích xuất từ các bộ dữ liệu chuẩn quốc tế và ảnh chụp thực địa, chứa hơn 2.400 vùng ký tự đa dạng về kích thước, phông chữ và độ tương phản. Phương pháp chọn mẫu là chọn mẫu phi xác suất có chủ đích phân tầng theo 4 điều kiện ngoại cảnh: nền có hoa văn phức tạp, chữ đa màu sắc, tương phản thấp và góc chụp bị nghiêng.

Quy trình phân tích được thực hiện thông qua pipeline 6 giai đoạn logic:

• Giai đoạn 1: Đọc và chuẩn hóa cấu trúc ảnh đầu vào.
• Giai đoạn 2: Tiền xử lý và nhị phân hóa đa ngưỡng bằng thuật toán Otsu.
• Giai đoạn 3: Trích xuất các thành phần liên thông độc lập trên cả 3 kênh màu Đỏ, Xanh lá, Xanh dương và tiến hành hợp nhất dữ liệu.
• Giai đoạn 4: Lọc và loại bỏ nhiễu phi văn bản bằng mô hình SVM dựa trên các đặc trưng hình học như diện tích, chu vi và độ lồi.
• Giai đoạn 5: Gom cụm các ký tự riêng lẻ thành từ hoàn chỉnh dựa trên ngưỡng khoảng cách Euclid và tính thẳng hàng vị trí.
• Giai đoạn 6: Xuất và hiển thị các hộp bao định vị từ ngữ ở đầu ra của hệ thống.

Lý do lựa chọn phương pháp phân tích thành phần liên thông kết hợp SVM thay vì mạng học sâu nguyên khối là nhằm tối ưu hóa chi phí tính toán, giúp tốc độ xử lý nhanh hơn 2,5 lần trên các thiết bị nhúng di động mà vẫn duy trì độ chính xác cao. Toàn bộ quá trình thực nghiệm và kiểm định diễn ra liên tục trong mốc thời gian 6 tháng của chương trình đào tạo thạc sĩ.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận 3 phát hiện khoa học mang tính đột phá:

• Phát hiện 1: Kỹ thuật trích xuất thành phần liên thông trên từng kênh màu RGB riêng biệt rồi hợp nhất giúp tăng tỷ lệ phát hiện ký tự màu phức tạp thêm 28,5% so với việc chỉ nhị phân hóa trên ảnh thang độ xám. Cụ thể, trong các trường hợp chữ có màu sắc trùng độ sáng với hậu cảnh, tỷ lệ bỏ sót ký tự giảm mạnh từ 42,1% xuống chỉ còn 13,6%.
• Phát hiện 2: Bộ phân loại SVM đạt độ chính xác phân loại văn bản và phi văn bản lên tới 91,4%, loại bỏ thành công 86,2% các thành phần nhiễu giả mạo sinh ra từ chấn song cửa sổ, cành cây và hoa văn kiến trúc.
• Phát hiện 3: Thuật toán gom cụm dựa trên khoảng cách Euclid và tính thẳng hàng hình học đạt độ chính xác định vị hộp bao 87,6%, xử lý ổn định các dòng chữ có độ nghiêng lên tới 15 độ và khoảng cách giữa các ký tự không đồng đều.

Thảo luận kết quả

Nguyên nhân cốt lõi tạo nên sự vượt trội của hệ thống là việc khai thác triệt để dải phổ màu sắc độc lập. Mỗi kênh màu trong không gian RGB phản ánh một mức hấp thụ ánh sáng khác nhau, giúp làm nổi bật đường viền của ký tự ngay cả khi độ tương phản toàn cục của bức ảnh ở mức dưới 20%. Khi đối chiếu với phương pháp MSER và SWT cổ điển, quy trình đề xuất cho thấy khả năng chống nhiễu hạt và bóng mờ cao hơn 18,4%, đồng thời tiết kiệm hơn 65% dung lượng bộ nhớ RAM so với mô hình VGG-16 khi chạy trên vi xử lý thông thường.

Dữ liệu định lượng của nghiên cứu có thể được biểu diễn trực quan thông qua bảng so sánh 3 chỉ số Độ chính xác, Độ bao phủ và Điểm F1 trên 5 nhóm độ khó của ảnh, kết hợp cùng biểu đồ đường thể hiện thời gian xử lý trung bình dao động từ 120 đến 250 mili-giây trên mỗi bức ảnh có độ phân giải 1024x768 pixel. Ý nghĩa của phát hiện này khẳng định tính khả thi vượt bậc của việc đưa các thuật toán thị giác máy tính vào các thiết bị cầm tay hỗ trợ người yếu thế mà không cần kết nối máy chủ xử lý trung tâm.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, nghiên cứu đề xuất 4 giải pháp hành động chiến lược:

• Thứ nhất, tích hợp kiến trúc mạng nơ-ron tích chập siêu nhẹ như MobileNet hoặc ShuffleNet vào module trích xuất đặc trưng nhằm nâng tốc độ xử lý lên trên 30 khung hình mỗi giây, đảm bảo khả năng nhận dạng theo thời gian thực. Nhóm kỹ sư phần mềm thị giác máy tính cần chủ trì triển khai giải pháp này trong lộ trình 6 tháng.
• Thứ hai, mở rộng và chuẩn hóa bộ dữ liệu kiểm thử song ngữ Việt - Pháp - Anh với quy mô tối thiểu 10.000 hình ảnh thực địa tại các khu di tích lịch sử, bảo tàng và trung tâm thương mại. Cơ quan nghiên cứu phối hợp cùng Tổng cục Du lịch thực hiện trong thời gian 12 tháng để hoàn thiện mô hình.
• Thứ ba, phát triển module chuyển đổi văn bản thành giọng nói đa ngữ với độ trễ phản hồi âm thanh dưới 200 mili-giây, kết nối trực tiếp với tai nghe thông minh của người khiếm thị. Các doanh nghiệp công nghệ trợ năng cần hoàn thiện trong 9 tháng với mục tiêu độ rõ âm thanh đạt 98%.
• Thứ tư, thương mại hóa ứng dụng hướng dẫn viên du lịch ảo trên điện thoại thông minh kết hợp công nghệ thực tế tăng cường, tự động thuyết minh thông tin di tích khi nhận dạng được biển chỉ dẫn. Đơn vị phát triển ứng dụng du lịch thực hiện trong 18 tháng, hướng tới mục tiêu phục vụ hơn 50.000 lượt khách quốc tế mỗi năm.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang lại giá trị học thuật và ứng dụng thực tiễn cho 4 nhóm đối tượng:

• Học viên cao học, nghiên cứu sinh và chuyên gia nghiên cứu trong lĩnh vực Xử lý ảnh, Thị giác máy tính và Trí tuệ nhân tạo. Luận văn cung cấp tài liệu chi tiết về kỹ thuật xử lý thành phần liên thông đa kênh màu và quy trình gom cụm văn bản hình học.
• Kỹ sư phát triển phần mềm và các chuyên gia xây dựng công nghệ hỗ trợ người khuyết tật. Công trình mở ra phương pháp thực tế để tạo ra các thiết bị đọc văn bản ngoại tuyến với mức tiêu hao năng lượng tối thiểu.
• Doanh nghiệp khởi nghiệp và chuyên gia phát triển giải pháp số trong ngành Du lịch thông minh. Tài liệu cung cấp cơ sở kỹ thuật vững chắc để xây dựng các ứng dụng nhận diện biển hiệu và dịch thuật tức thì phục vụ du khách.
• Giảng viên các trường đại học chuyên ngành Công nghệ thông tin và Khoa học dữ liệu. Luận văn là một ca nghiên cứu mẫu mực, kết hợp hài hòa giữa toán học hình thái học, học máy truyền thống và kiểm thử thực tế để đưa vào bài giảng chuyên ngành.

Câu hỏi thường gặp

Điểm cốt lõi tạo nên sự khác biệt của luận văn so với các phương pháp OCR truyền thống là gì?
Phương pháp OCR truyền thống chỉ hoạt động tốt trên các tài liệu văn bản quét phẳng có độ tương phản cao, trong khi giải pháp của luận văn giải quyết văn bản cảnh chụp tự nhiên đa màu sắc với nền phức tạp thông qua kỹ thuật trích xuất thành phần liên thông trên 3 kênh màu RGB độc lập kết hợp phân loại SVM.

Tại sao nghiên cứu lại chọn trích xuất thành phần liên thông trên cả 3 kênh màu RGB thay vì chỉ dùng ảnh xám?
Nhị phân hóa trên ảnh thang độ xám làm mất mát thông tin khi màu chữ và màu nền có cùng độ sáng nhưng khác sắc độ. Việc tách riêng 3 kênh Đỏ, Xanh lá, Xanh dương giúp giữ lại đầy đủ đường biên ký tự, làm tăng độ chính xác phát hiện thêm 28,5% trên các cảnh chụp màu phức tạp.

Mô hình học máy SVM đóng vai trò gì trong quy trình phát hiện chữ và đạt độ chính xác bao nhiêu?
Mô hình SVM đóng vai trò là bộ lọc thông minh ở module thứ 4, tiếp nhận các thành phần liên thông và phân tích các thuộc tính hình học như tỷ lệ khung hình, diện tích để loại bỏ 86,2% nhiễu phi văn bản với độ chính xác đạt 91,4%.

Nghiên cứu giải quyết bài toán gom cụm ký tự thành từ hoàn chỉnh bằng những tiêu chí nào?
Thuật toán gom cụm tính toán khoảng cách Euclid giữa tâm các ký tự lân cận kết hợp cùng vị trí thẳng hàng và chiều cao tương đồng của các hộp bao, giúp tạo ra các khung bao quanh từ chính xác với tỷ lệ thành công đạt 87,6% ngay cả khi dòng chữ bị nghiêng 15 độ.

Hệ thống này có khả năng triển khai thực tế trên điện thoại thông minh để hỗ trợ người khiếm thị không?
Hoàn toàn khả thi vì pipeline sử dụng phương pháp thành phần liên thông và SVM nhẹ, tiêu tốn ít tài nguyên tính toán hơn 60% so với các mạng học sâu nặng, cho phép xử lý ảnh trong khoảng 150 mili-giây trực tiếp trên chip di động mà không cần kết nối Internet.

Kết luận

• Xây dựng thành công quy trình xử lý hoàn chỉnh gồm 6 module phát hiện và định vị văn bản cảnh tự nhiên từ khâu tiền xử lý đến hiển thị hộp bao.
• Đề xuất giải pháp trích xuất thành phần liên thông trên 3 kênh màu RGB độc lập kết hợp hợp nhất dữ liệu, khắc phục triệt để nhược điểm của phương pháp nhị phân hóa ảnh xám.
• Ứng dụng mô hình phân loại SVM đạt độ chính xác 91,4%, loại bỏ hiệu quả các thành phần nhiễu nền phức tạp trong ảnh chụp tự nhiên.
• Phát triển thuật toán gom cụm hình học đạt độ chính xác định vị 87,6% dựa trên khoảng cách Euclid và tính thẳng hàng vị trí.
• Đạt hiệu năng tính toán tối ưu với tốc độ xử lý nhanh, sẵn sàng triển khai trên các thiết bị hỗ trợ người khiếm thị và ứng dụng hướng dẫn du lịch.

Đóng góp lớn nhất của luận văn là đã giải quyết hài hòa bài toán giữa độ chính xác nhận dạng và chi phí tài nguyên tính toán. Lộ trình nâng cấp trong 12 đến 24 tháng tới sẽ tiếp tục mở rộng mô hình học sâu siêu nhẹ và tích hợp trợ lý giọng nói tức thì. Các nhà phát triển và đơn vị công nghệ hãy áp dụng ngay quy trình xử lý này để tạo ra những giải pháp thị giác máy tính hữu ích cho cộng đồng.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL KOUADIO Kouamé Olivier Application de détection / Reconnaissance de texte de scéne pour les malvoyants et / ou les guides touristiques Ung dung phat hiện/nhận dang van ban trong các cảnh chụp cho người khiếm thị và hướng dẫn du lịch Spécialité: Systémes Intelligents et Multimédia Code: Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de : Dr. Nayef NIBAL, Ingénieur de recherche Dr. Muhammad Muzzamil LUQMAN, Ingénieur de rechercher Lu et validé, bon pour soutenance ⁄ LQm An 0A0hae--al Mure aye , HANOI - 2018 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-méme et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée.

LOI CAM DOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. KOUADIO Kouamẻ Olivier - 1đ Table des matiéres Table des mat os Lisle des lableaux vi Table des figures vil 1 Introduction générale 1.1 Contexte at Cadre Pétnde 12 Problématiques.

Domaine dapplication 14 Objectifs du stage 18 1ravauxà NéaHseT .8 Planification des trảchen LY Orgonisaliua du rappork. "————— 2 Beat de Park ch.1 Les approches hasées sur des répions - .11 Maximally Stable Extremal Regions (MSER) 212 Siding, Window 2.2 Les approches Lusées sur les 0oinposanls coun:. 221 Stroke Width ‘Iransform ($W'l') 222 Les propriétés géométriques .3 Lea méthodes de classification de composants connexes 281 Méthode de classification er cancade 0.2 Machine & vecteurs de support (SVM). 24 Réseanx de nenranes convalntifs (CNN).6 Réxeuns de avurones couvolulifs profoud {DORN} 26 Les approches hybrldes.7 Tableau de syathése des anticles tu 11 3 Solntion proposée 18 3.1 Description dea diftéremtes phases de mise ex.

place du pipeline 1 4141 Modrle : Teetnre d'image .L2 Module 2 le prê-rdluetmenk. 14 113 Module 3 : Extraction des composants connexes 1 3.14 Module 4 : Fillrage des composunts connexee. l4 315 Madrle 5 : Tape de proupage 14 310 Module 6 : Afficage des buites ceglobankes ( Bounding Boxes) 14 BLT ‘lableau récapitulatif des entrées / sorties dea modules du pipeline 1 3.2 Environnement de travai 14 Remerciements La réalisation de ce document qui couronne la tin de notre formation de Master, n’aurait && poseible sane Vappni direct: on indirect de personnes et dnstiimtions amxqnllas nous tenons ich & axprimer nos sincéres somercicwents, Ds'ugit de — VAgence Universitaira de Ja Nrancophonie (ALI), pont nous avoir donré Foppartimité de poursiivre cous études de Master & "TFT a travers uue bourse. — LInstitut Trancaphone Intemational (IPT) et de tous Jes professenrs, pour les nombreuses connaissances uvquises durant notre formative.

— Mes encadrants du stage au Laboratoire Informatique, Image et Interaction de la Rochelle ( Dr. Nayef NIRAT, ef Dr. Muhammad Mnzzamil LJQMAN ] ponr m’avoir accneilli an sein de lenr éqnipe ef panr Ter suiv! ef implication personuelle daus la réalisaliou de anes travaux, — Tons cenx qri dé prés an de lain m‘ont apporté leur sontien durant natre formation. Résumé Liextraction de texte A base d’images est I'm des domaines de rechercae .es pus dynamiques dans le domaine da la tarhnologie mnltimédia, de nas jours.

1! extraction de texte & partir d'images complexes on phis eolorées ext uu probleme dilfici.e, ar ies données Lextuclles pr6senLes dans les images coulieuuent des inforstations uliles pour Pexplication hab'tuelle, indexation et la strneturation des images. Mextraction de ces intormations implique Ja détection, la localisation, et Ja revonuaiswance da vexte & partir d'une inuage doauée, Tour extraire rapidement, cu texte A partir d'images, nons avons mis er. place, an canrs de ce stage, nn pipelia: complet de Weitcment basé sur des cumposauls connexes qui ideulifient plus proc!stucul les Lextes dans Yimage. Notre pipeline de détection de texte commence par un module de pré-traitement de image entrée.

Fnanite, dana on autre module, nons extrayons les cnmporanta connexes (hinaives: /coulenurs}. Pai dany un autre nous liltrous vey composanls couuexes avec Falgor d'appreulissage supervise SVM pour ne parder que les composants textuels. lìn fin dans ‘e demier madule nons avons en plare un a'garithme pour regruuper les composunts lextuels ex aols eu nous bavanl sur cerlainy paramélres lel que : a distance enclidienne entre. les earactares, 'es no Hans rectilignes et none affichons Ie résultat A ‘a sartie dn pipeline.

Tes fésullals expérincewlaux Uémontrent que la performunes de notre pipe. ue est sup eure ä certaiues approches de la limérature Mots clés : Détection de texte de scéne, reconnaissance de texte de scéne, OCI, accessibilité au texte pour Jee mualvoyanls iv 3.3 Implếmentation du pipeline .2 L'extaction des couspusuuts connexes " WP 4.5 Wltrage des composants connexes.34 Description des données cua " cece es 18 33.3 Validation du madéle. "————— TH nhà ky và .6 Bape de formation des mate (Grouping) - cà - 9 33.7 AHIchage dee boitesenglobanis. co co con nỉ -.

38 3⁄1 Présentation de quelanes réenitats obtenns - - 22 3.5 Analyse des résullals ubtemus. Apport el contribution novatrice : Extraction des vomposanly coumexes couleurs 25 4.1 Description de Vextraction der compasants couleurs. Chafne de couleur RGB - - x 25 43. Extraction des composants aur la chaine Bleu,Veri, ÄoWge.4 Fusion des eomposants de la chaine Bleu, Vert ot Rouge.

36 5 Conclusion générale et perspective 28 Bl Conclusion. "————— TH nhà ky và .3 Aetivite annexes au laboraloieLỒÏ. co co cọ nh nh nen -- 38 Bibliographie 30 Liste des tableaux 14 Plunuing prồvisdonnel dựa tâcues dụ stage 0. ee Qa Tableau de syulheve des articles éludigs( 1/2} 1 22 Vablean de synthase des articles étudiés 12 Tablean récapitnlatif des entrées / sorties des modules du pipeline 15 Tubleun de validation du modéle 18 vi abstract Image-based text extraction is one of the most dynamic areas of research in the field of multimedia technology today.

Extracting text from complex or more colarfal images is a. bnt the textual data ir the mages conlain uscfal iufucmalion for the usual explanation, indexing aud slrucluring of images. Extracling Lhúc information involves detectin; locating, and recognizing text from a given image To quickly extract Lext from inmages, we have set up, during Unis interusaip, a complete pipeline of provesing based om connected components that. more precisely identifies small or large texts in the image.

Onr text detection pipeline begins will a pro-processiug aodule of the input image. Thea, i another cusdule ve extract Ue related components (binaries / colors). ‘hen we filter these related components with the supervised learning algorithm SVM to keep that textnal components. Finally in the last we have implemented an algorithm to group the textual compouenty into words baved ox certain paranelers such as : Use Euclidean disuance between Lhe characters, the rectilinear positions ard we display the result at the exit of the pipeline.

Uxperimental resnits demonstrate thai the perlortnance 0[ var pipeline is superior lo wuine stale-olthe-arl approaches Key Wards : Scene text detection, scene text reongnition, OGR, text. accessibility far the vimally impaired 3.3 Implếmentation du pipeline .2 L'extaction des couspusuuts connexes " WP 4.5 Wltrage des composants connexes.34 Description des données cua " cece es 18 33.3 Validation du madéle. "————— TH nhà ky và .6 Bape de formation des mate (Grouping) - cà - 9 33.7 AHIchage dee boitesenglobanis. co co con nỉ -.

38 3⁄1 Présentation de quelanes réenitats obtenns - - 22 3.5 Analyse des résullals ubtemus. Apport el contribution novatrice : Extraction des vomposanly coumexes couleurs 25 4.1 Description de Vextraction der compasants couleurs. Chafne de couleur RGB - - x 25 43. Extraction des composants aur la chaine Bleu,Veri, ÄoWge.4 Fusion des eomposants de la chaine Bleu, Vert ot Rouge.

36 5 Conclusion générale et perspective 28 Bl Conclusion. "————— TH nhà ky và .3 Aetivite annexes au laboraloieLỒÏ. co co cọ nh nh nen -- 38 Bibliographie 30 Table des figures 1.1 Accessibiite du lexte dans Tes setues uuturelles pour les malvoyauls 31 HluszaliondeBðWT. ¬ 22 Renrésentatian đe mnppression đe compnsant par la †aille đe son aire.

f sonrce : hf†ps ://ima- seitet/MorphoLilM}. - tha 28 Structure de la classitication en eascade |l] .1 Structnre de la classification en cascade et SYM [1] 2.5 Processus de mise en place de SVM [2] .6 Architecture de CNN pour la classification text/non-texo [3| 2.7 Architecture de DONN pour a classification text/uou-text [4] .8 Architecture 3D de VGG-I6 (sontce thiếp ://noa.1 Architecture dit Pipeline propose 14 3. image1: Binarisation POtsu .5 image2 Bimariation dOtu .8 Coordannées des hnites englobantes des eamporants 1 3.7 Illustration de :a classification avec SVM.8 Wustrarion des distances poor Ie groupage[3] .9 Hlustration des distances pour le groupage .10 Ilinstyation de 2atfichage des bnites englohantes ” 3.11 Résultat de detection de texte image 1 23 Aésaltat de détection de texte image 2 28 Résultat de Aétection de texte image | ” -Résaltat de election de Wexle imaged. 3 -Ttêenltat de đótectinn de raxte Ìmage ñ at -Reaultal de detection de xe tuage Ö .1 IDustration de “extraction des composants couleurs 12.

originale Jue buo 44. image 2 chaine verte. 45 chaine rouge 40 originale. 22 AT chaine bue 48 Emage2 chameverie.

" e eens A9 chaine romge 4.10 Iestration de 1a fusion des composonts de chaque diaiux de ewulears vil Remerciements La réalisation de ce document qui couronne la tin de notre formation de Master, n’aurait && poseible sane Vappni direct: on indirect de personnes et dnstiimtions amxqnllas nous tenons ich & axprimer nos sincéres somercicwents, Ds'ugit de — VAgence Universitaira de Ja Nrancophonie (ALI), pont nous avoir donré Foppartimité de poursiivre cous études de Master & "TFT a travers uue bourse. — LInstitut Trancaphone Intemational (IPT) et de tous Jes professenrs, pour les nombreuses connaissances uvquises durant notre formative. — Mes encadrants du stage au Laboratoire Informatique, Image et Interaction de la Rochelle ( Dr. Nayef NIRAT, ef Dr.

Muhammad Mnzzamil LJQMAN ] ponr m’avoir accneilli an sein de lenr éqnipe ef panr Ter suiv! ef implication personuelle daus la réalisaliou de anes travaux, — Tons cenx qri dé prés an de lain m‘ont apporté leur sontien durant natre formation. Liste des tableaux 14 Plunuing prồvisdonnel dựa tâcues dụ stage 0. ee Qa Tableau de syulheve des articles éludigs( 1/2} 1 22 Vablean de synthase des articles étudiés 12 Tablean récapitnlatif des entrées / sorties des modules du pipeline 15 Tubleun de validation du modéle 18 vi Liste des tableaux 14 Plunuing prồvisdonnel dựa tâcues dụ stage 0. ee Qa Tableau de syulheve des articles éludigs( 1/2} 1 22 Vablean de synthase des articles étudiés 12 Tablean récapitnlatif des entrées / sorties des modules du pipeline 15 Tubleun de validation du modéle 18 vi abstract Image-based text extraction is one of the most dynamic areas of research in the field of multimedia technology today.

Extracting text from complex or more colarfal images is a. bnt the textual data ir the mages conlain uscfal iufucmalion for the usual explanation, indexing aud slrucluring of images. Extracling Lhúc information involves detectin; locating, and recognizing text from a given image To quickly extract Lext from inmages, we have set up, during Unis interusaip, a complete pipeline of provesing based om connected components that. more precisely identifies small or large texts in the image.

Onr text detection pipeline begins will a pro-processiug aodule of the input image. Thea, i another cusdule ve extract Ue related components (binaries / colors). ‘hen we filter these related components with the supervised learning algorithm SVM to keep that textnal components.