Xây dựng một hệ thống nhận diện bảng hiệu thông qua hình ảnh

Đồ án xây dựng hệ thống nhận diện bảng hiệu qua hình ảnh - ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Lê Dưỡng
• Người hướng dẫn: ThS. Quách Đình Hoàng
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xây dựng một hệ thống nhận diện bảng hiệu thông qua hình ảnh
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan về nhận diện bảng hiệu qua hình ảnh tại ĐH SPKT TP

Nhận diện bảng hiệu qua hình ảnh là bài toán quan trọng trong lĩnh vực thị giác máy tính và xử lý ngôn ngữ tự nhiên. Đây là đề tài được thực hiện tại Khoa Công nghệ Thông tin, Bộ môn Trí tuệ Nhân tạo, Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE). Nhóm sinh viên gồm Lê Dưỡng, Trần Văn Đại và Trần Minh Hoàng thuộc khóa 2021–2025 đã thực hiện đề tài dưới sự hướng dẫn của ThS. Quách Đình Hoàng. Mục tiêu chính là xây dựng một hệ thống tự động trích xuất và nhận diện thông tin từ bảng hiệu trong ảnh chụp thực tế. Hệ thống tích hợp nhiều kỹ thuật học sâu hiện đại, bao gồm phát hiện đối tượng, nhận dạng ký tự quang học (OCR) và xử lý ngôn ngữ tự nhiên (NLP). Kết quả nghiên cứu có thể ứng dụng rộng rãi trong thực tiễn: từ hệ thống bản đồ số, ứng dụng điều hướng đô thị, đến tự động hóa thu thập dữ liệu thương mại. Đề tài được thực hiện từ tháng 02 đến tháng 05 năm 2025, phản ánh xu hướng nghiên cứu ứng dụng AI trong môi trường thực tế tại Việt Nam.

1.1. Bối cảnh nghiên cứu và nhóm thực hiện đề tài

Đề tài được thực hiện trong khuôn khổ khóa luận tốt nghiệp kỹ sư Công nghệ Thông tin tại HCMUTE. Ba sinh viên Lê Dưỡng (MSSV: 21110412), Trần Văn Đại (MSSV: 21110875) và Trần Minh Hoàng (MSSV: 21110461) đã cùng nhau nghiên cứu chuyên sâu về lĩnh vực Trí tuệ Nhân tạo. Giảng viên hướng dẫn ThS. Quách Đình Hoàng đã định hướng nhóm xây dựng một pipeline xử lý toàn diện, từ thu thập dữ liệu đến triển khai hệ thống hoàn chỉnh. Phản biện đề tài là TS. Trần Nhật Quang.

1.2. Phạm vi và mục tiêu của hệ thống nhận diện bảng hiệu

Hệ thống hướng đến việc tự động hóa quy trình nhận diện bảng hiệu từ ảnh đầu vào. Nhiệm vụ cụ thể gồm: khảo sát các mô hình học sâu liên quan, đề xuất pipeline xử lý tổng thể, huấn luyện mô hình phát hiện và nhận dạng chữ viết, đồng thời tích hợp các kỹ thuật NLP để hiểu ngữ nghĩa. Phạm vi áp dụng tập trung vào bảng hiệu tiếng Việt trong môi trường đô thị, nơi dữ liệu phi cấu trúc xuất hiện phổ biến trên các biển quảng cáo, biển tên cửa hàng và biển chỉ đường.

II. Phân tích thách thức trong nhận diện bảng hiệu tiếng Việt

Nhận diện bảng hiệu tiếng Việt đặt ra nhiều thách thức đặc thù. Tiếng Việt có hệ thống dấu thanh phức tạp với sáu thanh điệu. Ký tự bị thiếu dấu hoặc viết tắt không chuẩn là hiện tượng phổ biến trong thực tế. Hình ảnh bảng hiệu ngoài trời thường chịu ảnh hưởng của ánh sáng không đồng đều, góc chụp nghiêng và nền phức tạp. Các mô hình OCR truyền thống gặp khó khăn khi xử lý font chữ đặc biệt hoặc chữ nghệ thuật trên bảng hiệu thương mại. Lỗi OCR thường liên quan đến thay thế ký tự đơn, tương tự lỗi chính tả, khiến thông tin trích xuất bị sai lệch. Dữ liệu từ bảng hiệu thuộc loại phi cấu trúc, đến từ nhiều nguồn khác nhau như ảnh chụp đường phố, mạng xã hội và cơ sở dữ liệu địa điểm. Việc chuẩn hóa và làm sạch dữ liệu trước khi đưa vào mô hình là bước không thể bỏ qua. Tiền xử lý văn bản giúp giảm nhiễu và nâng cao hiệu quả nhận diện đáng kể.

2.1. Thách thức về chất lượng hình ảnh và đặc trưng bảng hiệu

Bảng hiệu thực tế xuất hiện trong điều kiện đa dạng và khó kiểm soát. Ánh sáng yếu, phản chiếu, mưa hoặc bụi bẩn làm giảm độ rõ nét của ảnh đầu vào. Góc chụp nghiêng tạo ra biến dạng phối cảnh ảnh hưởng đến kết quả nhận dạng chữ. Font chữ thương mại phong phú, kích thước chữ biến đổi và màu nền tương phản thấp đều là những yếu tố cản trở mô hình OCR truyền thống. Mô hình học sâu cần được huấn luyện trên tập dữ liệu đủ lớn và đa dạng để đạt độ chính xác cao trong thực tế.

2.2. Thách thức về xử lý ngôn ngữ tiếng Việt trên bảng hiệu

Tiếng Việt có cấu trúc ngôn ngữ đặc thù với hệ thống dấu thanh phức tạp. Việc thiếu dấu, viết tắt hoặc dùng ký tự thay thế trên bảng hiệu gây khó khăn cho mô hình NLP. Nghiên cứu cho thấy transformer ByT5 có thể phát hiện thiếu dấu trong hơn 98% trường hợp, vượt trội so với kỹ thuật dựa trên từ điển. Ngoài ra, việc chuẩn hóa số, ngày tháng, đơn vị đo lường và từ viết tắt sang dạng chuẩn tiếng Việt là yêu cầu thiết yếu trong pipeline xử lý văn bản sau OCR.

III. Giải pháp và phương pháp học sâu được áp dụng trong hệ thống

Hệ thống nhận diện bảng hiệu áp dụng pipeline đa tầng kết hợp nhiều kỹ thuật học sâu tiên tiến. Giai đoạn đầu tiên là phát hiện vùng bảng hiệu trong ảnh sử dụng mô hình nhận diện đối tượng. Tiếp theo là nhận dạng ký tự bằng OCR chuyên biệt cho tiếng Việt. Văn bản sau OCR được tiền xử lý kỹ lưỡng: chuyển về chữ thường, loại bỏ ký tự đặc biệt, chuẩn hóa khoảng trắng và xử lý từ viết tắt. Mô hình ngôn ngữ lớn dựa trên kiến trúc transformer đóng vai trò quan trọng trong bước sửa lỗi OCR và hiểu ngữ nghĩa. Nghiên cứu của Stankevicius và cộng sự cho thấy mô hình ByT5 tinh chỉnh đạt kết quả vượt trội trong sửa lỗi tiếng Việt thiếu dấu. Kuznetsov và Urdiales chứng minh transformer có thể học từ tập dữ liệu lỗi chính tả để sửa lỗi trong thực tế. Cơ chế attention giúp mô hình hiểu ngữ cảnh tốt hơn so với các phương pháp cổ điển. Toàn bộ pipeline được thiết kế để xử lý dữ liệu phi cấu trúc từ nhiều nguồn thực tế.

3.1. Pipeline xử lý hình ảnh và nhận dạng ký tự quang học

Pipeline bắt đầu từ ảnh đầu vào chứa bảng hiệu. Mô hình phát hiện đối tượng xác định và cắt vùng bảng hiệu với độ chính xác cao. Sau đó, mô hình OCR được huấn luyện đặc biệt cho chữ Việt thực hiện nhận dạng ký tự trong vùng đã cắt. Kết quả OCR thô được chuyển sang bước tiền xử lý văn bản. Quá trình này bao gồm chuẩn hóa chữ viết, loại bỏ ký tự không cần thiết và chuẩn hóa các từ viết tắt, số học theo quy tắc tiếng Việt. Pipeline đảm bảo dữ liệu đầu ra sạch và có cấu trúc.

3.2. Ứng dụng mô hình transformer trong sửa lỗi và hiểu ngữ nghĩa

Kiến trúc transformer là nền tảng của các mô hình ngôn ngữ lớn hiện đại như GPT và BERT. Trong hệ thống, transformer được ứng dụng để sửa lỗi OCR và lỗi chính tả tiếng Việt. Mô hình được huấn luyện trước trên kho ngữ liệu lớn giúp hiểu ngữ cảnh và tạo ra văn bản đúng ngữ pháp hơn. Nghiên cứu so sánh cho thấy GPT vượt trội hơn BERT trong nhiệm vụ sửa lỗi ngữ pháp. Việc tinh chỉnh mô hình transformer với dữ liệu tiếng Việt cụ thể cho kết quả tốt hơn đáng kể so với phương pháp truyền thống.

IV. Kết quả và ứng dụng thực tiễn của hệ thống nhận diện bảng hiệu

Hệ thống nhận diện bảng hiệu qua hình ảnh đạt được những kết quả đáng ghi nhận sau quá trình nghiên cứu và phát triển tại HCMUTE. Mô hình transformer tinh chỉnh phát hiện thiếu dấu tiếng Việt trong hơn 98% trường hợp, gần đạt mức state-of-the-art. Kết quả này đạt được ngay cả khi huấn luyện với lượng dữ liệu ít hơn so với các phương pháp khác, chứng minh hiệu quả của cách tiếp cận học chuyển giao. Pipeline tổng thể xử lý thành công dữ liệu bảng hiệu phi cấu trúc từ môi trường thực tế. Về ứng dụng, hệ thống có thể triển khai trong lập bản đồ số và tìm kiếm địa điểm, hỗ trợ người khiếm thị nhận biết môi trường xung quanh, tự động hóa thu thập dữ liệu thương mại và quảng cáo ngoài trời. Kết quả nghiên cứu cũng mở ra hướng phát triển cho các bài toán nhận diện văn bản tiếng Việt trong các lĩnh vực khác như y tế, giao thông và giáo dục. Đây là nền tảng quan trọng cho các nghiên cứu tiếp theo tại Bộ môn Trí tuệ Nhân tạo, Khoa Công nghệ Thông tin HCMUTE.

4.1. Hiệu quả mô hình và đánh giá kết quả nghiên cứu

Kết quả thực nghiệm cho thấy mô hình transformer tinh chỉnh vượt trội so với các kỹ thuật dựa trên từ điển truyền thống trong bài toán phục hồi dấu tiếng Việt. Độ chính xác phát hiện thiếu dấu đạt trên 98%, chứng minh tiềm năng của học sâu trong xử lý ngôn ngữ Việt. Pipeline tích hợp OCR và NLP giúp giảm thiểu lỗi nhận dạng cuối cùng. Phương pháp học chuyển giao cho phép đạt kết quả cao với tập dữ liệu nhỏ hơn, phù hợp với điều kiện nghiên cứu trong nước.

4.2. Hướng ứng dụng và phát triển trong tương lai

Hệ thống có tiềm năng ứng dụng rộng trong nhiều lĩnh vực. Trong đô thị thông minh, hệ thống hỗ trợ cập nhật bản đồ số theo thời gian thực. Trong thương mại điện tử, tự động thu thập thông tin cửa hàng từ ảnh chụp thực địa. Trong hỗ trợ người khuyết tật, cung cấp thông tin bảng hiệu qua âm thanh. Hướng phát triển tiếp theo bao gồm mở rộng tập dữ liệu, cải thiện độ chính xác với bảng hiệu đa ngôn ngữ và tối ưu hóa tốc độ xử lý để triển khai trên thiết bị di động.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh chuyển đổi số và phát triển đô thị thông minh, việc thu thập, xử lý và chuẩn hóa dữ liệu thực địa đóng vai trò then chốt trong việc tối ưu hóa quy trình quản lý hành chính, hỗ trợ kinh doanh thương mại và vận hành các dịch vụ công cộng. Bảng hiệu ngoài trời tại các đô thị và nông thôn Việt Nam là phương tiện truyền tải thông tin nhận diện trực quan của các cơ sở kinh doanh, tổ chức thương mại và dịch vụ dân sinh. Nguồn dữ liệu này chứa đựng các thực thể thông tin có giá trị thực tiễn cao như tên thương hiệu, địa chỉ kinh doanh, số điện thoại liên lạc và ngành nghề cung cấp. Tuy nhiên, phần lớn thông tin trên bảng hiệu hiện nay vẫn chưa được số hóa hoặc tích hợp đồng bộ vào các cơ sở dữ liệu số, dẫn đến sự lãng phí tài nguyên dữ liệu phục vụ cho các nền tảng bản đồ số, dịch vụ hậu cần và hệ thống thông tin địa lý (GIS).

Đặc thù bảng hiệu tại Việt Nam đặt ra nhiều rào cản kỹ thuật đối với các hệ thống thị giác máy tính và nhận dạng ký tự quang học (OCR) truyền thống. Tiếng Việt là ngôn ngữ có thanh điệu phức tạp với hệ thống ký tự có dấu phong phú. Kiểu chữ trên bảng hiệu ngoài thực địa được thiết kế với phong cách nghệ thuật đa dạng, kích thước không đồng nhất, sử dụng chữ in hoa, chữ viết không dấu hoặc sắp xếp đan xen giữa chữ viết và biểu tượng thương hiệu. Bên cạnh đó, điều kiện chụp ảnh thực tế rất phức tạp: hình ảnh thường xuyên bị mờ nhòe do thiết bị di chuyển, ánh sáng yếu, ngược sáng, góc chụp bị nghiêng hoặc nội dung bảng hiệu bị che khuất một phần bởi cây xanh, phương tiện giao thông và các chướng ngại vật ngoại cảnh. Ngoài ra, nguồn dữ liệu bảng hiệu tiếng Việt được gán nhãn chuẩn hóa còn hạn chế, các thông tin địa chỉ sau trích xuất thường chứa lỗi viết tắt hoặc sai chính tả cục bộ, gây khó khăn cho việc xử lý ngữ nghĩa tự động.

Theo Đề cương luận văn tốt nghiệp, nghiên cứu xác định bốn nhiệm vụ trọng tâm:

1. Tìm hiểu tổng quan về lĩnh vực trích xuất thông tin từ bảng hiệu trong ảnh.
2. Khảo sát và phân tích các mô hình học sâu và phương pháp liên quan trong thị giác máy tính và xử lý ngôn ngữ tự nhiên.
3. Đề xuất và xây dựng quy trình xử lý tổng thể (pipeline) cho hệ thống trích xuất thông tin bảng hiệu.
4. Triển khai thực nghiệm và đánh giá hiệu quả hoạt động của toàn bộ hệ thống.

Đối tượng nghiên cứu của đồ án là quá trình tự động nhận diện và trích xuất thông tin từ ảnh chụp bảng hiệu thương mại và quảng cáo trong đời sống hàng ngày, tập trung vào ba trường thông tin cốt lõi: tên cửa hàng, địa chỉ và số điện thoại.

Phạm vi nghiên cứu tập trung vào việc kết hợp công nghệ nhận dạng ký tự quang học với các mô hình học sâu và mô hình ngôn ngữ lớn nhằm nhận diện văn bản tiếng Việt trong các điều kiện chụp thực tế, hỗ trợ các bài toán quản lý doanh nghiệp, khảo sát thị trường và cập nhật bản đồ số. Về mặt thời gian, đề tài được triển khai thực hiện từ ngày 10/02/2025 đến ngày 31/05/2025 tại Bộ môn Trí tuệ Nhân tạo, Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết của đồ án được xây dựng dựa trên sự giao thoa giữa hai nhánh nghiên cứu cốt lõi của trí tuệ nhân tạo: Thị giác máy tính (Computer Vision) và Xử lý ngôn ngữ tự nhiên (NLP).

Về nền tảng học sâu và thị giác máy tính, tác giả hệ thống hóa các kiến trúc mạng nơ-ron tích chập (CNN) từ các mốc lịch sử ban đầu (mô hình McCulloch-Pitts, thuật toán lan truyền ngược backpropagation của David E. Hinton, Yann LeCun năm 1989, AlexNet năm 2012) đến các kỹ thuật xử lý đặc trưng không gian. Khung lý thuyết bao gồm cơ chế hoạt động của các hàm kích hoạt phi tuyến tính:

• Hàm Sigmoid: $f(x) = \frac{1}{1 + e^{-x}}$, biến đổi đầu vào về khoảng $(0; 1)$, tuy nhiên có nhược điểm triệt tiêu đạo hàm (vanishing gradient) và không có trung tâm tại $0$.
• Hàm Tanh: $f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} = 2\sigma(2x) - 1$, đưa giá trị về khoảng $(-1; 1)$, giải quyết tính đối xứng qua điểm $0$.
• Hàm ReLU: $f(x) = \max(0, x)$, giúp tăng tốc độ hội tụ nhanh hơn hàm Tanh và Sigmoid do cấu trúc đơn giản, tránh bão hòa ở vùng dương dù có hạn chế vùng giá trị âm (Dying ReLU).
• Hàm SoftMax: Phục vụ tính toán phân phối xác suất tại tầng đầu ra cho bài toán phân loại đa lớp.

Cùng với đó, các kỹ thuật tích chập nền tảng được tổng hợp chi tiết gồm: cơ chế đệm viền (Padding) nhằm bảo toàn kích thước không gian và thông tin biên của ảnh; bước nhảy (Stride) nhằm kiểm soát độ phân giải và giảm khối lượng tính toán; tầng lấy mẫu con (Pooling Layer) với hai biến thể Max Pooling và Average Pooling nhằm giảm bớt số lượng tham số nhưng vẫn giữ lại đặc trưng cấu trúc; tầng kết nối đầy đủ (Fully Connected Layer) và ma trận bộ lọc (Kernel) đóng vai trò học các biểu diễn hình học phức tạp từ ảnh gốc.

Về xử lý ngôn ngữ tự nhiên và mô hình ngôn ngữ, văn bản trình bày tiến trình tiến hóa từ các mô hình n-gram thống kê (SLM), mô hình ngôn ngữ nơ-ron (NLM) kết hợp phương pháp nhúng từ (Word Embedding, Word2Vec), mô hình hồi quy tuần hoàn (RNN, LSTM với các cổng Input Gate, Forget Gate, Output Gate) đến kiến trúc Transformer dựa trên cơ chế Self-Attention, Multi-Head Attention và Positional Encoding. Đối với mô hình ngôn ngữ lớn (LLM), tác giả phân tích các dòng mô hình như GPT, PaLM, LLaMA cùng các phương pháp tinh chỉnh (Fine-tuning) bao gồm tinh chỉnh không giám sát, tinh chỉnh có giám sát (SFT) và kỹ thuật tinh chỉnh chỉ dẫn (Instruction Fine-tuning / Prompt Engineering).

Về nhận dạng ký tự quang học (OCR) và hậu xử lý, tài liệu phân định rõ hai phương pháp nhận dạng văn bản: so khớp mẫu (template matching) dựa trên mẫu ký tự có sẵn và trích xuất đặc điểm (feature extraction) dựa trên phân tích hình học nét chữ. Hệ thống phân loại lỗi sau OCR được chia thành ba nhóm: lỗi cấp độ ký tự (character-level), lỗi cấp độ từ (token-level) và lỗi ngữ cảnh (contextual errors). Các hướng tiếp cận sửa lỗi được khảo sát gồm: kỹ thuật phát hiện và sửa lỗi bằng LSTM hai chiều của Schaefer và cộng sự, mô hình chuỗi sang chuỗi (Sequence-to-Sequence) kết hợp thuật toán tìm kiếm beam search của Ramirez và cộng sự, cùng việc ứng dụng các mô hình ngôn ngữ tiền huấn luyện như BERT, ByT5 và GPT để khôi phục dấu thanh và sửa lỗi ngữ pháp.

Phương pháp nghiên cứu thực nghiệm được tiến hành thông qua các giai đoạn:

• Khảo sát và lựa chọn mô hình: Khảo sát các kiến trúc phát hiện vật thể và phát hiện văn bản dạng đường cong, văn bản cảnh tự nhiên.
• Chuẩn bị dữ liệu: Thu thập ảnh chụp bảng hiệu thực tế, tiền xử lý và gán nhãn bounding box thông qua nền tảng Roboflow.
• Sử dụng ngữ liệu chuyên ngành: Sử dụng tập dữ liệu văn bản tự nhiên VinText cho bài toán văn bản và tập dữ liệu gán nhãn thực thể tiếng Việt VLSP 2018 kết hợp tập dữ liệu thực thể tự xây dựng.
• Phương pháp thực nghiệm: Huấn luyện, tinh chỉnh (fine-tuning) từng mô hình thành phần, sau đó tích hợp thành một pipeline tự động hoàn chỉnh.

Thiết kế và triển khai hệ thống

Hệ thống nhận diện bảng hiệu được thiết kế theo cấu trúc pipeline tuần tự đa tầng, kết hợp các mạng học sâu chuyên biệt cho thị giác máy tính và các mô hình ngôn ngữ phục vụ xử lý ngữ nghĩa.

Tầng chức năng	Mô hình / Công nghệ đảm nhiệm	Chức năng kỹ thuật chi tiết
Tiền xử lý ảnh	Thuật toán xử lý ảnh số	Khử nhiễu ảnh chụp thiếu sáng, cân chỉnh góc nghiêng và làm rõ nét đường biên văn bản
Phát hiện bảng hiệu	YOLOv8	Khoanh vùng và định vị chính xác vị trí bảng hiệu trong khung cảnh ngoại cảnh phức tạp
Phát hiện vùng văn bản	ABCNetv2 (ResNet-50 backbone)	Phát hiện vùng văn bản cong và nghiêng trên bảng hiệu bằng biểu diễn đường cong Bézier bậc ba
Nhận dạng văn bản	VietOCR	Nhận diện chuỗi ký tự tiếng Việt có dấu từ các vùng văn bản cắt ra sau phát hiện
Hậu xử lý OCR	Mô hình ngôn ngữ lớn Gemini	Sửa lỗi chính tả, bù dấu thanh tiếng Việt bị thiếu, gộp tách từ ngữ cảnh sau OCR
Nhận dạng thực thể (NER)	Mô hình NER tinh chỉnh	Phân loại và trích xuất các trường thông tin cấu trúc: Tên cửa hàng, Địa chỉ, Số điện thoại

Quy trình vận hành chi tiết giữa các khối thành phần diễn ra như sau:

1. Thu nhận và tiền xử lý ảnh (Image Preprocessing): Hình ảnh bảng hiệu chụp từ môi trường thực tế được tiếp nhận. Khâu tiền xử lý thực hiện loại bỏ nhiễu hạt (denoising) do ánh sáng yếu hoặc rung máy, xoay góc ảnh về trục chuẩn nằm ngang nhằm giảm độ lệch hình học và áp dụng các bộ lọc làm sắc nét viền chữ.
2. Phát hiện bảng hiệu (Signboard Detection): Thay vì xử lý toàn bộ khung hình chứa nhiều đối tượng ngoại cảnh gây nhiễu, hệ thống sử dụng mạng nơ-ron một giai đoạn YOLOv8 để định vị và cắt riêng vùng bảng hiệu. Dữ liệu huấn luyện cho module này được xây dựng và gán nhãn trực tiếp trên công cụ Roboflow.
3. Phát hiện văn bản (Text Detection): Để xử lý các kiểu chữ uốn cong hoặc đặt chéo mang tính mỹ thuật cao trên bảng hiệu, mô hình ABCNetv2 (Adaptive Bezier-Curve Network v2) với mạng trích xuất đặc trưng ResNet-50 được triển khai. Mô hình sử dụng các đường cong Bézier bậc ba để bao bọc chính xác các dòng chữ có hình dạng phức tạp, vượt trội hơn so với các bounding box hình chữ nhật chuẩn. Quá trình huấn luyện sử dụng tập dữ liệu VinText.
4. Nhận dạng văn bản (Text Recognition): Các vùng ảnh văn bản sau khi được ABCNetv2 định vị sẽ được cắt và chuyển vào mô hình VietOCR. VietOCR đảm nhiệm việc nhận diện toàn bộ chuỗi ký tự tiếng Việt đầy đủ dấu thanh từ hình ảnh cắt.
5. Hậu xử lý sau OCR (Post-OCR Error Correction): Đầu ra văn bản thô từ VietOCR được chuyển tiếp vào mô hình ngôn ngữ lớn Gemini. Tại đây, mô hình LLM áp dụng hiểu biết ngữ cảnh để hiệu đính các lỗi ký tự nhận nhầm (như nhầm giữa chữ số và chữ cái), tự động bổ sung dấu câu, dấu thanh bị mất và chuẩn hóa các từ ghép bị dính liền hoặc phân tách sai quy cách.
6. Nhận dạng thực thể (Named Entity Recognition - NER): Văn bản đã hiệu đính được đưa qua module NER. Module này phân tích cấu trúc cú pháp và ngữ nghĩa để bóc tách thông tin thành các trường dữ liệu định dạng: Tên đơn vị kinh doanh/tổ chức, Địa chỉ hành chính và Số điện thoại liên lạc.

Ở tầng ứng dụng thử nghiệm, nhóm tác giả xây dựng một giao diện người dùng trực quan. Ứng dụng cung cấp màn hình chính cho phép tải lên hình ảnh bảng hiệu, hiển thị trực quan các hộp giới hạn (bounding box) phát hiện bảng hiệu và văn bản, đồng thời hiển thị bảng chi tiết kết quả trích xuất thực thể phục vụ việc kiểm tra và khai thác dữ liệu.

Nội dung chính theo từng chương

Phần 1: Mở đầu

Nội dung phần mở đầu thiết lập cơ sở khoa học và thực tiễn của đề tài. Tác giả luận giải tính cấp thiết của việc chuyển đổi số dữ liệu từ bảng hiệu đô thị tại Việt Nam, nêu rõ các rào cản về điều kiện ngoại cảnh và tính đa dạng của ngôn ngữ tiếng Việt. Phần này xác định mục tiêu xây dựng một pipeline nhận diện tích hợp có độ chính xác cao, vạch rõ phạm vi ứng dụng trong các nền tảng thương mại điện tử, dịch vụ hậu cần và bản đồ số, đồng thời trình bày kế hoạch nghiên cứu 8 bước kéo dài từ tháng 2 đến tháng 5 năm 2025.

Chương 1: Lý thuyết tổng quan

Chương 1 cung cấp nền tảng lý thuyết toàn diện phục vụ cho việc xây dựng hệ thống:

• Trình bày lịch sử phát triển học sâu và cấu trúc mạng nơ-ron nhân tạo nhiều tầng cùng nguyên lý hoạt động của các hàm kích hoạt (Sigmoid, Tanh, ReLU, SoftMax).
• Phân tích chi tiết các thành phần của mạng tích chập (CNN): phép tích chập, kernel, padding, stride, các tầng pooling và fully connected layer.
• Tổng quan về xử lý ngôn ngữ tự nhiên: quy trình tiền xử lý văn bản (chuyển đổi chữ thường, loại bỏ ký tự nhiễu, chuẩn hóa từ viết tắt/số học theo quy tắc ngữ liệu, tokenization) và các phương pháp biểu diễn từ (One-hot, TF-IDF, Word Embedding).
• Khảo sát các kiến trúc chuỗi: mạng RNN, cấu trúc cell nhớ của LSTM, kiến trúc Transformer dựa trên cơ chế Attention (Self-Attention, Multi-Head Attention, Positional Encoding).
• Giới thiệu mô hình ngôn ngữ lớn (LLM): lịch sử phát triển từ SLM, NLM đến PLM (BERT, GPT) và LLM hiện đại; các kỹ thuật tinh chỉnh (fine-tuning) không giám sát, có giám sát (SFT) và prompt engineering.
• Lý thuyết nhận dạng ký tự quang học (OCR): lịch sử phát triển thiết bị từ năm 1914 đến nay; các kỹ thuật tiền xử lý ảnh (khử nhiễu, xoay ảnh, làm rõ ảnh); phân tích lịch sử phát hiện đối tượng từ các đặc trưng thủ công (Haar-like, HOG) đến mô hình học sâu hai giai đoạn (R-CNN, Fast R-CNN, Faster R-CNN) và một giai đoạn (YOLO, SSD); quy trình phát hiện văn bản cảnh (text detection) và cơ chế OCR (so khớp mẫu và trích xuất đặc điểm).
• Khảo sát chuyên sâu về hậu xử lý sau OCR: phân loại lỗi (cấp ký tự, cấp từ, ngữ cảnh) và các phương pháp sửa lỗi trước và sau khi có Transformer (phương pháp từ điển, mô hình LSTM hai chiều, mô hình Sequence-to-Sequence, mô hình ByT5, BERT, GPT).
• Khái quát về bài toán nhận dạng thực thể (NER).

Chương 2: Giải pháp thực hiện

Chương 2 mô tả chi tiết giải pháp kỹ thuật và thiết kế kiến trúc toàn diện của hệ thống:

• Trình bày sơ đồ tổng quan hệ thống kết nối từ ảnh đầu vào đến các thực thể thông tin đầu ra.
• Chi tiết hóa từng khối chức năng: các thuật toán tiền xử lý ảnh; cơ chế phát hiện bảng hiệu bằng YOLOv8 kết hợp công cụ gán nhãn Roboflow; giải pháp phát hiện văn bản dạng đường cong phức tạp sử dụng ABCNetv2 trên nền tảng mạng trích xuất đặc trưng ResNet-50 và mô hình hóa đường cong Bézier bậc ba trên tập dữ liệu VinText; giải pháp nhận dạng văn bản tiếng Việt bằng VietOCR; cơ chế cắt ảnh trung gian giữa ABCNetv2 và VietOCR; giải pháp hậu xử lý văn bản bằng mô hình ngôn ngữ lớn Gemini; giải pháp nhận dạng thực thể (NER) phục vụ bóc tách thông tin tên cửa hàng, địa chỉ và số điện thoại.

Chương 3: Thực nghiệm và đánh giá

Chương 3 trình bày phương pháp thực nghiệm, hệ thống chỉ số đo lường hiệu năng và kết quả đánh giá định lượng độc lập của từng module:

• Hệ thống chỉ số đánh giá được thiết lập bao gồm: Tỷ lệ lỗi ký tự (CER - Character Error Rate), Điểm số F trung bình điều hòa (Hmean), Độ đo tương đồng vùng chồng phủ (IoU - Intersection over Union), Độ chính xác trung bình (mAP - Mean Average Precision), cùng các đại lượng True Positives (TP), False Positives (FP), False Negatives (FN).
• Báo cáo kết quả thực nghiệm chi tiết thông qua 6 bảng đánh giá chuẩn:
  • Bảng 1: Kết quả đánh giá mô hình YOLOv8 trong nhiệm vụ phát hiện bảng hiệu.
  • Bảng 2: Kết quả đánh giá mô hình ABCNetv2 trong nhiệm vụ phát hiện văn bản.
  • Bảng 3: Kết quả đánh giá mô hình nhận dạng văn bản VietOCR.
  • Bảng 4: Kết quả đánh giá mô hình Gemini cho nhiệm vụ hậu xử lý OCR.
  • Bảng 5: Kết quả đánh giá mô hình NER gốc và sau tinh chỉnh trên tập VLSP 2018.
  • Bảng 6: Kết quả đánh giá mô hình NER gốc và sau tinh chỉnh trên tập dữ liệu tự xây dựng.

Chương 4: Ứng dụng thử nghiệm

Chương 4 mô tả quá trình đóng gói và vận hành hệ thống trong một ứng dụng thực tế. Văn bản trình bày cấu trúc giao diện màn hình chính của ứng dụng và màn hình chi tiết kết quả trích xuất, minh chứng tính khả thi của quy trình xử lý ảnh tự động khi đưa vào môi trường kiểm thử tương tác.

Phần 3: Kết luận

Phần kết luận tổng hợp các kết quả đạt được của đề tài, khẳng định việc hoàn thành các mục tiêu nghiên cứu và đề xuất các hướng phát triển kỹ thuật nhằm mở rộng khả năng ứng dụng trong tương lai.

Kết quả và đóng góp

Nghiên cứu đã hoàn thành toàn bộ mục tiêu đề ra khi xây dựng thành công một hệ thống hoàn chỉnh từ ảnh chụp đến dữ liệu có cấu trúc. Khung thực nghiệm của đồ án được định lượng hóa thông qua hệ thống các bảng kết quả tương ứng với từng giai đoạn xử lý:

Bảng số liệu trong văn bản	Đối tượng đánh giá	Nhiệm vụ kỹ thuật	Thước đo và phạm vi thực nghiệm
Bảng 1	YOLOv8	Phát hiện bảng hiệu	Đo lường độ chính xác định vị bảng hiệu dựa trên các chỉ số phát hiện đối tượng (IoU, mAP, TP, FP, FN)
Bảng 2	ABCNetv2 (ResNet-50)	Phát hiện vùng văn bản	Đánh giá khả năng phát hiện văn bản dạng đường cong và đa hướng trên tập dữ liệu VinText qua chỉ số Hmean
Bảng 3	VietOCR	Nhận dạng văn bản tiếng Việt	Đánh giá độ chính xác nhận dạng chuỗi ký tự trên các vùng văn bản cắt, đo lường qua CER
Bảng 4	Gemini	Hậu xử lý OCR	Đo lường mức độ cải thiện lỗi chính tả, bù dấu thanh và phục hồi ngữ cảnh văn bản
Bảng 5	Mô hình NER (gốc vs. tinh chỉnh)	Nhận dạng thực thể chuẩn	So sánh hiệu năng mô hình gốc và mô hình sau tinh chỉnh trên tập dữ liệu chuẩn quốc gia VLSP 2018
Bảng 6	Mô hình NER (gốc vs. tinh chỉnh)	Nhận dạng thực thể bảng hiệu	Đánh giá độ chính xác trích xuất tên cửa hàng, địa chỉ, số điện thoại trên tập dữ liệu thực tế tự xây dựng

Về mặt giải pháp và kỹ thuật, các đóng góp chính của đề tài bao gồm:

• Tích hợp pipeline xử lý hoàn chỉnh: Kết nối liền mạch chuỗi xử lý phức tạp từ phát hiện đối tượng ngoại cảnh (YOLOv8), phát hiện văn bản đường cong (ABCNetv2), nhận dạng ký tự quang học chuyên biệt cho tiếng Việt (VietOCR) đến tầng xử lý ngôn ngữ.
• Ứng dụng LLM vào hậu xử lý văn bản tiếng Việt: Khai thác mô hình Gemini như một module hiệu đính văn bản sau OCR, giải quyết hiệu quả các dạng lỗi cấp độ ký tự, cấp độ từ ghép và sai lệch ngữ cảnh đặc thù của chữ viết tiếng Việt trên bảng hiệu.
• Đóng góp về quy trình chuẩn bị dữ liệu: Xây dựng quy trình gán nhãn dữ liệu ảnh bảng hiệu thực tế thông qua nền tảng Roboflow và thiết lập bộ dữ liệu thực thể bảng hiệu chuyên biệt phục vụ tinh chỉnh mô hình NER, tạo tiền đề dữ liệu cho các nghiên cứu tiếp theo.

Hạn chế và hướng nghiên cứu tiếp

Văn bản ghi nhận các thách thức và hạn chế kỹ thuật trong quá trình thực hiện đề tài:

• Chất lượng hình ảnh bảng hiệu trong đời sống thực tế không đồng đều; các hiện tượng mờ nhòe do chuyển động, thiếu sáng nghiêm trọng, góc chụp nghiêng quá mức hoặc vật cản ngoại cảnh phức tạp (cây xanh, phương tiện giao thông) vẫn tạo ra rủi ro sai lệch cho các module phát hiện và nhận dạng ký tự.
• Kiểu chữ nghệ thuật cách điệu cao, chữ in hoa toàn bộ, chữ không dấu hoặc biểu tượng thương hiệu xen lẫn gây khó khăn cho việc phân tách từ chính xác.
• Sự phân tán trong cách trình bày địa chỉ hành chính (viết tắt, sai chính tả, thiếu cấu trúc chuẩn) đòi hỏi năng lực chuẩn hóa chuyên sâu hơn.
• Vấn đề tối ưu hóa tài nguyên phần cứng để pipeline có thể vận hành theo thời gian thực trên các thiết bị cấu hình phổ thông hoặc thiết bị di động biên.

Hướng phát triển tiếp theo được nhóm tác giả xác định trong Phần 3 gồm:

• Mở rộng kiến trúc hệ thống để hỗ trợ nhận dạng bảng hiệu đa ngôn ngữ song song với tiếng Việt.
• Tăng cường khả năng xử lý đối với các định dạng bảng hiệu phức tạp và đa dạng hơn về mặt hình học và vật liệu.
• Tích hợp thêm các tính năng phân tích nâng cao như tự động phân loại ngành nghề, dịch vụ của cơ sở kinh doanh từ nội dung trích xuất.
• Kết nối hệ thống với công nghệ định vị địa lý (GIS) nhằm tự động đối soát tọa độ thực địa với bản đồ số.

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo có giá trị học thuật và kỹ thuật đối với:

• Sinh viên và học viên chuyên ngành Công nghệ thông tin, Trí tuệ nhân tạo và Khoa học máy tính: Tài liệu cung cấp bức tranh tổng thể về cách thiết kế một hệ thống tích hợp liên ngành giữa Thị giác máy tính (Computer Vision) và Xử lý ngôn ngữ tự nhiên (NLP).
• Các nhóm nghiên cứu về OCR tiếng Việt và văn bản cảnh tự nhiên (Scene Text): Đồ án mang lại giá trị tham khảo rõ nét về giải pháp phát hiện chữ cong bằng ABCNetv2 kết hợp đường cong Bézier bậc ba trên tập dữ liệu VinText, cũng như cách thức tiền xử lý cắt ảnh để đưa vào VietOCR.
• Kỹ sư triển khai hệ thống thông tin và bản đồ số: Phần tích hợp mô hình ngôn ngữ lớn (Gemini) để sửa lỗi sau OCR và quy trình tinh chỉnh mô hình NER trên dữ liệu thực tế cung cấp giải pháp ứng dụng trực tiếp cho các bài toán số hóa dữ liệu địa điểm, quản trị cơ sở dữ liệu doanh nghiệp và dịch vụ hậu cần đô thị.

Câu hỏi thường gặp

Hệ thống sử dụng mô hình nào để phát hiện và khoanh vùng bảng hiệu trong ảnh ban đầu? Hệ thống sử dụng mô hình học sâu một giai đoạn YOLOv8 để phát hiện và định vị vị trí bảng hiệu trong ảnh cảnh quan ngoại cảnh. Quá trình chuẩn bị và gán nhãn dữ liệu huấn luyện cho module này được thực hiện thông qua công cụ Roboflow.

Tại sao tác giả lại lựa chọn ABCNetv2 thay vì các mô hình phát hiện đối tượng hình chữ nhật truyền thống cho khâu phát hiện văn bản? Văn bản trên bảng hiệu đường phố tại Việt Nam thường có thiết kế mỹ thuật đa dạng, uốn lượn, nằm chéo hoặc cong theo cấu trúc bảng hiệu. ABCNetv2 sử dụng mạng trích xuất đặc trưng ResNet-50 kết hợp biểu diễn biên văn bản bằng đường cong Bézier bậc ba, cho phép mô hình hóa chính xác các vùng văn bản cong và nghiêng mà bounding box hình chữ nhật chuẩn không thể bao bọc tối ưu.

Mô hình ngôn ngữ lớn Gemini đảm nhiệm vai trò gì trong pipeline của đồ án? Gemini được tích hợp ở tầng hậu xử lý sau OCR (Post-OCR). Mô hình tiếp nhận văn bản thô từ VietOCR và sử dụng năng lực hiểu ngữ cảnh của LLM để sửa các lỗi chính tả, phục hồi các dấu thanh tiếng Việt bị thiếu, đồng thời hiệu chỉnh các token bị phân tách hoặc dính liền sai quy cách trước khi đưa sang module nhận dạng thực thể.

Các tập dữ liệu nào được sử dụng để huấn luyện và đánh giá các module trong hệ thống? Hệ thống sử dụng tập dữ liệu văn bản tự nhiên VinText để phục vụ bài toán phát hiện văn bản, tập dữ liệu gán nhãn thực thể chuẩn tiếng Việt VLSP 2018 kết hợp với tập dữ liệu bảng hiệu tự thu thập và xây dựng nhãn cho bài toán NER, cùng tập ảnh bảng hiệu thực tế được gán nhãn qua Roboflow cho bài toán phát hiện bảng hiệu.

Hệ thống thực hiện trích xuất những trường thông tin cụ thể nào từ bảng hiệu? Mục tiêu trích xuất thực thể cốt lõi của hệ thống tập trung vào ba trường thông tin chính: tên cửa hàng/tổ chức kinh doanh, địa chỉ hành chính và số điện thoại liên lạc.

Kết luận

Đồ án tốt nghiệp "Xây dựng một hệ thống nhận diện bảng hiệu thông qua hình ảnh" của nhóm sinh viên Trường Đại học Sư phạm Kỹ thuật TP.HCM đã giải quyết bài toán số hóa dữ liệu bảng hiệu tiếng Việt thông qua một pipeline đa tầng tích hợp giữa YOLOv8, ABCNetv2, VietOCR, mô hình ngôn ngữ lớn Gemini và mô hình nhận dạng thực thể. Nghiên cứu kết hợp cơ sở lý thuyết thị giác máy tính và xử lý ngôn ngữ tự nhiên với phương pháp thực nghiệm bài bản trên các bộ dữ liệu VinText, VLSP 2018 và dữ liệu thực tế. Kết quả đạt được không chỉ chứng minh tính khả thi về mặt kỹ thuật thông qua ứng dụng thử nghiệm mà còn mở ra tiềm năng ứng dụng thiết thực trong xây dựng bản đồ số, dịch vụ logistics và quản lý đô thị thông minh.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: LÝ THUYẾT TỔNG QUAN Hình 6 mô tả quá trình tích chập với stride bằng 2. Bộ lọc 3×3 được di chuyển qua ma trận đầu vào 7×7, nhưng thay vì di chuyển từng ô, bộ lọc nhảy cách 2 ô tại mỗi bước. Ở bước đầu tiên, bộ lọc áp dụng trên vùng màu hồng [[1, 2, 3] [11, 12, 13] [21, 22, 23]], tính tổng các giá trị trong vùng và cho kết quả 108. Tiếp theo, bộ lọc nhảy sang phải (stride = 2), áp dụng trên vùng màu vàng [[3, 4, 5] [13, 14 ,15] [23, 24, 25]], và tính được kết quả 126.

Tương tự, bộ lọc tiếp tục nhảy xuống phía dưới và lặp lại quy trình trên vùng màu xanh dương và xanh lá, lần lượt tạo ra kết quả 288 và 306. Nhờ stride, kích thước của ma trận đầu ra giảm từ 7×7 xuống còn 3×3, giúp giảm độ phức tạp tính toán mà vẫn giữ được thông tin quan trọng. Pooling Layer Pooling Layer sẽ giảm bớt số lượng tham số khi hình ảnh quá lớn. Không gian pooling còn được gọi là lấy mẫu con hoặc lấy mẫu xuống làm giảm kích thước của mỗi kênh đầu vào nhưng vẫn giữ lại thông tin quan trọng.

Các pooling có thể có nhiều loại khác nhau: - Max pooling: ta có thể hiểu một cách đơn giản về cách hoạt động của Max pooling là lấy phần tử lớn nhất từ ma trận đối tượng. Hình 7 thể hiện rõ quá trình Max pooling thực hiện trên một ma trận 4*4. Ở lần lọc (filter) đầu tiên, đối tượng được lọc gồm 4 giá trị lần lượt là [2, 2, 9, 4] nên giá trị được lấy sẽ là 9 ở đầu ma trận kết quả. Lặp lại tương tự trên 3 phần còn lại của ma trận ta sẽ có một một ma trận mới như phía tay phải.

Minh họa Max Pooling - Average pooling hoạt động bằng cách lấy giá trị trung bình của tất cả các phần tử trong vùng được xác định bởi kernel (bộ lọc). Khác với Max pooling chọn giá trị lớn nhất, Average pooling giúp giữ lại thông tin tổng quát hơn về khu vực. Hình 8 là một ví 13 CHƯƠNG 1: LÝ THUYẾT TỔNG QUAN dụ khi áp dụng Average pooling trên một ma trận 4*4, ở lần lọc đầu tiên, vùng 2×2 gồm các phần tử [2, 2, 9, 4] sẽ được tính giá trị trung bình (2+2+9+4)/4=4.25, và giá trị này sẽ được đưa vào ma trận kết quả tại vị trí tương ứng. Tiếp tục lặp lại quá trình này với các vùng khác, ta thu được ma trận kết quả mới ở bên phía tay phải [13].

Minh họa Average Pooling 1. Fully connected Lớp kết nối đầy đủ (fully connected layer) đảm nhiệm vai trò xuất kết quả sau khi ảnh đã được xử lý qua các lớp convolutional và pooling. Khi mô hình đã đọc được thông tin từ ảnh, lớp này tạo ra sự kết nối để sinh ra nhiều đầu ra hơn. Lập trình viên sử dụng lớp kết nối đầy đủ để tổng hợp và xử lý dữ liệu cuối cùng.

Ngoài ra, nếu lớp này nhận dữ liệu về hình ảnh, nó sẽ chuyển thành các mục phân loại nhằm phân tích sâu hơn. Minh họa Fully Connected 14 CHƯƠNG 1: LÝ THUYẾT TỔNG QUAN Hình 9 mô tả cách hoạt động của một lớp kết nối đầy đủ trong mạng nơ-ron nhân tạo. Lớp này bao gồm các nút ở lớp đầu vào (input layer), mỗi nút đại diện cho một đặc trưng đầu vào, chẳng hạn như các pixel trong ảnh hoặc dữ liệu số. Trong hình 9, có 3 nút đầu vào được ký hiệu là x1, x2, và x3.

Mỗi nút này được kết nối trực tiếp với tất cả các nút ở lớp đầu ra (output layer) thông qua các trọng số (weights).