Thiết kế mô hình đọc biển số QR code và xác định vị trí đỗ xe sử dụng Tesseract OCR

Thiết kế mô hình đọc biển số là trọng tâm của đề tài, sử dụng Tesseract OCR để nhận… 114 trang · Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh · 2022.

• Tác giả: Bùi Minh Quang
• Người hướng dẫn: TS. Phạm Văn Khoa
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Máy tính
• Đề tài: Thiết kế mô hình đọc biển số, QR code và xác định vị trí đỗ xe bằng Tesseract OCR
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• TÓM TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. GIỚI THIỆU
• 1.2. MỤC TIÊU ĐỀ TÀI
• 1.3. PHẠM VI NGHIÊN CỨU
• 1.4. PHƯƠNG PHÁP NGHIÊN CỨU
• 1.5. BỐ CỤC QUYỂN BÁO CÁO
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. TỔNG QUAN VỀ THƯ VIỆN OPENCV
• 2.2. Kiến trúc của OpenCV
• 2.3. XỬ LÝ ẢNH VỚI OPENCV
• 2.3.1. Đọc hình ảnh từ đầu vào
• 2.3.2. Optical Character Recognition
• 2.3.3. Giới thiệu về Tesseract-orc
• 2.3.4. Kiến trúc hệ thống của Tesseract OCR
• 2.4. Khái niệm QR Code
• 2.4.1. Các phiên bản và sức chứa dữ liệu QR Code
• 2.4.2. Khả năng chịu lỗi QR Code
• 2.4.3. Kiến trúc của QR Code
• 2.4.4. Mã hóa và giải mã QR Code
• 2.4.5. Quy trình giải mã QR Code
• 2.4.6. Các loại QR Codes
• 2.5. CƠ SỞ DỮ LIỆU
• 2.5.1. Khái niệm về cơ sở dữ liệu
• 2.5.2. Cơ sở dữ liệu quan hệ
• 2.6. CÁC GIAO THỨC BỔ SUNG
• 2.6.1. Domain Name System
• 2.6.2. Dynamic Domain Name System
• 2.6.3. Hypertext Transfer Protocol Secure
• 3. CHƯƠNG 3: THIẾT KẾ MÔ HÌNH
• 3.1. THIẾT KẾ MÔ HÌNH
• 3.2. Sơ đồ khối mô hình
• 3.3. Lưu đồ và thuật toán quá trình xử lý hình ảnh
• 3.4. THIẾT KẾ PHẦN CỨNG
• 3.5. THIẾT KẾ PHẦN MỀM
• 3.5.1. Thiết kế cơ sở dữ liệu
• 3.5.2. Thiết lập và cấu hình Server
• 3.5.3. API giao tiếp với bãi xe
• 3.5.4. Ứng dụng di động
• 3.5.5. Thiết kế tổng thể
• 4. CHƯƠNG 4: KẾT QUẢ
• 4.1. KẾT QUẢ THỰC HIỆN MÔ HÌNH
• 4.2. ĐÁNH GIÁ MÔ HÌNH
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. KẾT LUẬN
• 5.2. HƯỚNG PHÁT TRIỂN
• PHỤ LỤC
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Thiết kế mô hình đọc biển số

Thiết kế mô hình đọc biển số là trọng tâm của đề tài, sử dụng Tesseract OCR để nhận diện ký tự trên biển số xe. Mô hình này kết hợp xử lý ảnh và học máy để tăng độ chính xác. OpenCV được sử dụng để tiền xử lý hình ảnh, bao gồm việc làm rõ biển số và loại bỏ nhiễu. Nhận diện ký tự quang học (OCR) được thực hiện thông qua Tesseract, một công cụ mạnh mẽ trong việc đọc văn bản từ hình ảnh. Mô hình này hướng đến việc tự động hóa quy trình đọc biển số, giảm thiểu sự can thiệp của con người.

1.1. Xử lý ảnh với OpenCV

Xử lý ảnh là bước đầu tiên trong quy trình đọc biển số. OpenCV được sử dụng để chuyển đổi hình ảnh sang dạng nhị phân, áp dụng các bộ lọc như Gaussian để làm mờ và loại bỏ nhiễu. Hình ảnh sau khi xử lý sẽ được tách biển số khỏi nền, tạo điều kiện thuận lợi cho việc nhận diện ký tự. Các hàm như cv2.imread và cv2.cvtColor được sử dụng để đọc và chuyển đổi màu sắc hình ảnh.

1.2. Nhận diện ký tự với Tesseract OCR

Tesseract OCR là công cụ chính để nhận diện ký tự từ hình ảnh đã qua xử lý. Tesseract sử dụng các mô hình học máy để nhận diện văn bản với độ chính xác cao. Quy trình bao gồm việc tách từng ký tự, phân tích cấu trúc và so sánh với cơ sở dữ liệu ký tự. Nhận diện ký tự quang học được tối ưu hóa để đọc biển số xe với các font chữ và kích thước khác nhau.

II. Ứng dụng QR code trong hệ thống đỗ xe

QR code được sử dụng để thay thế thẻ vật lý trong hệ thống đỗ xe. Mỗi người dùng sẽ có một mã QR duy nhất được lưu trữ trong ứng dụng di động. Khi vào bãi, người dùng quét mã QR để đăng ký thông tin xe. Hệ thống đỗ xe thông minh sẽ tự động lưu trữ thông tin và xác định vị trí đỗ xe. Khi ra khỏi bãi, người dùng quét lại mã QR để hoàn tất quy trình. Ứng dụng QR code giúp tăng tính tiện lợi và bảo mật cho hệ thống.

2.1. Mã hóa và giải mã QR code

Mã hóa QR code bao gồm việc tạo mã từ thông tin người dùng và xe. Giải mã QR code được thực hiện thông qua các thư viện như pyzbar hoặc opencv. Quy trình giải mã bao gồm việc quét mã, trích xuất thông tin và xác thực dữ liệu. QR code được thiết kế với khả năng chịu lỗi cao, đảm bảo việc đọc mã chính xác ngay cả trong điều kiện ánh sáng kém.

2.2. Tích hợp QR code với hệ thống đỗ xe

Hệ thống đỗ xe thông minh tích hợp QR code để quản lý thông tin xe và vị trí đỗ. Khi quét mã QR, hệ thống sẽ tự động cập nhật trạng thái xe vào cơ sở dữ liệu. Tự động hóa quy trình giúp giảm thiểu thời gian chờ đợi và tăng hiệu quả quản lý bãi xe.

III. Xác định vị trí đỗ xe

Xác định vị trí đỗ xe là một phần quan trọng trong hệ thống. Camera được sử dụng để theo dõi vị trí xe và cập nhật thông tin vào cơ sở dữ liệu. Phân tích hình ảnh từ camera giúp xác định chính xác vị trí xe đỗ. Hệ thống cũng có khả năng phát hiện xe đỗ sai vị trí và cảnh báo người dùng. Tự động hóa quy trình giúp quản lý bãi xe hiệu quả hơn.

3.1. Sử dụng camera để theo dõi vị trí xe

Camera được đặt tại các vị trí chiến lược trong bãi xe để theo dõi vị trí xe. Phân tích hình ảnh từ camera giúp xác định chính xác vị trí xe đỗ. Hệ thống sử dụng các thuật toán xử lý ảnh để nhận diện xe và cập nhật thông tin vào cơ sở dữ liệu.

3.2. Tích hợp vị trí đỗ xe với ứng dụng di động

Thông tin vị trí đỗ xe được hiển thị trên ứng dụng di động của người dùng. Khi xe vào bãi, hệ thống sẽ tự động cập nhật vị trí đỗ và hiển thị trên ứng dụng. Ứng dụng di động giúp người dùng dễ dàng tìm kiếm vị trí xe khi cần.

IV. Phát triển phần mềm và hệ thống

Phát triển phần mềm là bước quan trọng để triển khai hệ thống. Phần mềm được phát triển trên nền tảng Python, sử dụng các thư viện như OpenCV, Tesseract OCR và các công cụ khác. Hệ thống đỗ xe thông minh được thiết kế để hoạt động ổn định và hiệu quả. Các API được phát triển để giao tiếp giữa các thành phần của hệ thống, bao gồm camera, cơ sở dữ liệu và ứng dụng di động.

4.1. Thiết kế cơ sở dữ liệu

Cơ sở dữ liệu được thiết kế để lưu trữ thông tin xe, vị trí đỗ và lịch sử ra vào bãi. Cơ sở dữ liệu quan hệ được sử dụng để quản lý dữ liệu một cách hiệu quả. Các bảng dữ liệu được thiết kế để đảm bảo tính nhất quán và dễ dàng truy vấn.

4.2. Phát triển API và ứng dụng di động

API được phát triển để giao tiếp giữa các thành phần của hệ thống. Ứng dụng di động được phát triển để cung cấp giao diện người dùng thân thiện, giúp người dùng dễ dàng quản lý thông tin xe và vị trí đỗ.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh đô thị hóa và sự gia tăng nhanh chóng của các phương tiện giao thông cá nhân, nhu cầu sử dụng bãi đỗ xe ngày càng trở nên cấp thiết. Tuy nhiên, công tác quản lý tại phần lớn các bãi giữ xe hiện nay vẫn tồn tại nhiều bất cập:

• Việc sử dụng vé giấy ghi tay truyền thống dễ gây ra tình trạng phai mờ mực do ma sát, rách nát hoặc thất lạc, dẫn đến khó khăn trong việc xác minh quyền sở hữu phương tiện khi xảy ra sự cố.
• Hình thức sử dụng thẻ từ vật lý tuy có cải tiến nhưng vẫn mang rủi ro làm mất thẻ, cầm nhầm thẻ, đồng thời người gửi xe thường xuyên gặp tình trạng quên vị trí đỗ tại các bãi xe có diện tích lớn, gây mất thời gian tìm kiếm.
• Công tác giám sát an ninh phụ thuộc nhiều vào nhân lực bảo vệ và hệ thống camera quan sát thụ động, chưa tối ưu hóa được năng suất vận hành và chưa ngăn chặn triệt để nguy cơ trộm cắp hoặc phá hoại xe.

Để giải quyết các vấn đề trên, đề tài ứng dụng các thành tựu của cuộc Cách mạng Công nghiệp lần thứ tư, đặc biệt là lĩnh vực Thị giác máy tính (Computer Vision) kết hợp công nghệ nhận dạng ký tự quang học (OCR) và vi điều khiển nhúng. Mục tiêu và nhiệm vụ nghiên cứu được xác định cụ thể:

1. Mục tiêu đề tài: Thiết kế và thực thi mô hình hệ thống quản lý bãi giữ xe thông minh, thực hiện các chức năng cơ bản: tự động đọc và nhận dạng biển số xe bằng camera, số hóa vé xe thông qua mã QR trên ứng dụng điện thoại di động, và tự động xác định vị trí đỗ của từng phương tiện trong bãi.
2. Nhiệm vụ nghiên cứu:
   • Nghiên cứu cơ sở lý thuyết về xử lý ảnh số với OpenCV, nhận dạng ký tự quang học với Tesseract-OCR, cấu trúc mã hóa/giải mã QR Code, và giao thức mạng RESTful API/HTTPS.
   • Thiết kế phần cứng mô hình tích hợp máy tính nhúng Raspberry Pi 4 Model B, Camera Logitech C270, Raspberry Pi Camera Module và vi điều khiển ESP32-CAM.
   • Xây dựng hệ thống phần mềm bao gồm cơ sở dữ liệu quan hệ, máy chủ RESTful API backend và ứng dụng di động phục vụ người dùng.
   • Triển khai mô phỏng, thử nghiệm các trạng thái xe vào, xe đỗ, xe ra và đánh giá độ ổn định của hệ thống.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Quy trình tự động hóa đọc biển số xe, nhận dạng mã QR và cơ chế định vị ô đỗ xe trong bãi giữ xe thông minh.
• Phạm vi nghiên cứu: Mô hình bãi xe được thiết kế giới hạn ở quy mô một tầng; đối tượng phương tiện thử nghiệm là ô tô; biển số xe dài theo tiêu chuẩn Việt Nam, đảm bảo tính hợp pháp và độ rõ nét; xe đỗ đúng làn quy định; điều kiện môi trường có độ sáng ổn định phục vụ camera quan sát.

---

Cơ sở lý thuyết và phương pháp

Đề tài vận dụng các khung lý thuyết, công cụ phần mềm và phương pháp nghiên cứu kỹ thuật thực nghiệm:

1. Khung lý thuyết và công nghệ

• Thư viện OpenCV (Open Source Computer Vision Library): Cung cấp các công cụ xử lý ảnh thời gian thực viết bằng C/C++ và tích hợp qua giao diện Python. Đồ án sử dụng các kỹ thuật:
  • Lọc mịn Gaussian (Gaussian Smoothing): Tích chập mảng ảnh với nhân kernel kích thước 3x3 nhằm khử nhiễu từ cảm biến camera.
  • Phân đoạn ảnh bằng ngưỡng (Thresholding): Chuyển đổi ảnh xám sang ảnh nhị phân (CV_THRESH_BINARY).
  • Ngưỡng thích ứng (Adaptive Thresholding): Áp dụng phương pháp tính toán ngưỡng động theo từng vùng cục bộ (CV_ADAPTIVE_THRESH_MEAN_C hoặc CV_ADAPTIVE_THRESH_GAUSSIAN_C) để khắc phục sự phân bố ánh sáng không đồng đều ngoài trời.
  • Tìm đường viền (Contours): Sử dụng hàm cvFindContours với chế độ thu hồi RETR_LIST và phương pháp xấp xỉ CHAIN_APPROX_SIMPLE để nén các đoạn thẳng, xác định tọa độ khung viền biển số xe.
• Công cụ nhận dạng ký tự Tesseract-OCR: Động cơ OCR mã nguồn mở tích hợp mạng nơ-ron LSTM (Long Short-Term Memory) và thư viện Leptonica, giao tiếp qua wrapper Pytesseract trong Python. Hệ thống xử lý theo đường ống (pipeline) hai lượt (two-pass process) kết hợp bộ phân loại thích ứng để trích xuất chuỗi ký tự từ hình ảnh biển số đã qua phân đoạn.
• Lý thuyết mã ma trận hai chiều (QR Code): Phát minh bởi Denso Wave (1994), hỗ trợ từ Version 1 đến Version 40 (ma trận lên tới 177x177 module). Cấu trúc gồm 6 vùng chức năng: Vùng tìm kiếm (Finder Pattern với tỷ lệ module 1:1:3:1:1), Dải phân tách (Separators), Vùng thời gian (Timing Patterns), Vùng căn chỉnh (Alignment Patterns), Vùng mã hóa (Encoding Region) và Vùng tĩnh (Quiet Zone). Sử dụng thuật toán sửa lỗi Reed-Solomon với 4 cấp độ chịu lỗi (L: 7%, M: 15%, Q: 25%, H: 30%).
• Mạng máy tính và Cơ sở dữ liệu: Hệ thống cơ sở dữ liệu quan hệ lưu trữ thực thể; kiến trúc web service trao đổi dữ liệu qua RESTful API với các phương thức GET, POST; các giao thức phụ trợ DNS, DDNS và HTTPS.

2. Phương pháp nghiên cứu thực tế

• Phương pháp tổng hợp và phân tích tài liệu: Khảo sát các tài liệu kỹ thuật của OpenCV, Tesseract-OCR, quy chuẩn mã QR Code và khảo sát bố cục không gian các bãi giữ xe thực tế để xác định vị trí bố trí camera tối ưu.
• Phương pháp thiết kế và thực nghiệm kỹ thuật: Xây dựng mô hình vật lý bãi giữ xe, lập trình nhúng trên Raspberry Pi 4 và ESP32-CAM, thiết kế kiến trúc API máy chủ và lập trình ứng dụng di động; thực hiện kiểm thử chức năng theo kịch bản vận hành thực tế.

3. Nguồn dữ liệu

Dữ liệu thử nghiệm là các hình ảnh biển số xe ô tô tiêu chuẩn và dữ liệu mã QR được thu thập trực tiếp từ hệ thống camera thực nghiệm (Logitech C270, Camera Module Raspberry Pi, ESP32-CAM) trong quá trình vận hành hệ thống.

---

Thiết kế và triển khai

Hệ thống được thiết kế theo mô hình tích hợp phần cứng - phần mềm đồng bộ:

Thành phần	Thiết bị / Công nghệ	Vai trò chức năng trong hệ thống
Bộ xử lý trung tâm	Raspberry Pi 4 Model B	Điều phối luồng xử lý chính, chạy chương trình Python, xử lý ảnh OpenCV và Tesseract-OCR tại cổng bãi xe.
Camera cổng vào/ra	Logitech C270 / Camera Module	Chụp ảnh biển số xe ô tô và quét mã QR của người dùng tại khu vực cổng vào và cổng ra.
Camera vị trí đỗ	ESP32-CAM	Lắp đặt tại từng vị trí ô đỗ, chụp biển số xe sau khi đỗ và truyền hình ảnh/dữ liệu cùng địa chỉ MAC về máy chủ qua Wi-Fi/IP.
Máy chủ & CSDL	RESTful API, CSDL quan hệ	Quản lý 3 bảng dữ liệu chính: Bảng Người dùng (User), Bảng Phương tiện/Trạng thái (Vehicle/Status), Bảng Vị trí Camera (Camera Location/MAC).
Giao diện di động	Ứng dụng điện thoại thông minh	Cung cấp mã QR định danh cho người dùng, hiển thị trạng thái xe (chưa vào, đã vào, vị trí ô đỗ cụ thể) và hỗ trợ checkout.

Quy trình vận hành theo 3 trạng thái

1. Trạng thái xe vào (Check-in): Phương tiện tiến vào cổng, camera Logitech C270 chụp biển số xe. Chương trình xử lý ảnh lọc mờ Gaussian, áp dụng Adaptive Threshold và trích xuất ký tự qua Pytesseract. Đồng thời, camera quét mã QR hiển thị trên ứng dụng di động của người dùng. Hệ thống gửi Request POST tới API xe vào, kiểm tra và ghi nhận phương tiện vào bãi trong cơ sở dữ liệu.
2. Trạng thái xe đậu (Parking): Khi xe di chuyển vào vị trí ô đỗ quy định, ESP32-CAM tại vị trí đó nhận diện sự xuất hiện của xe, chụp ảnh biển số và gửi dữ liệu kèm địa chỉ MAC của camera lên hệ thống qua API. Máy chủ đối chiếu địa chỉ MAC với bảng vị trí camera để xác định chính xác tên ô đỗ, sau đó cập nhật thông tin vị trí lên giao diện ứng dụng di động của chủ phương tiện.
3. Trạng thái xe ra (Check-out): Phương tiện tiến đến cổng ra, camera chụp lại biển số và hệ thống quét mã QR trên điện thoại. API kiểm tra tính khớp nối giữa biển số và mã định danh người dùng. Nếu thông tin hợp lệ, hệ thống hoàn tất thủ tục xuất bãi, xóa thông tin vị trí đỗ trên ứng dụng và chuyển trạng thái phương tiện sang đã rời bãi.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 phân tích bối cảnh thực tiễn của sự phát triển giao thông đô thị và những hạn chế của phương pháp quản lý bãi đỗ xe truyền thống. Tác giả xác định mục tiêu trọng tâm là thực thi mô hình đọc biển số, xác định vị trí đỗ xe và thay thế vé xe vật lý bằng mã QR Code. Chương này cũng nêu rõ phạm vi giới hạn nghiên cứu đối với xe ô tô có biển số chuẩn Việt Nam trong mô hình bãi đỗ xe một tầng và phương pháp tiếp cận kết hợp lý thuyết và thực nghiệm.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày có hệ thống các nền tảng kỹ thuật được ứng dụng trong đề tài:

• Xử lý ảnh với OpenCV: Phân tích kiến trúc 5 thành phần (CV, MLL, HighGUI, CXCore, CvAux); đi sâu vào các hàm xử lý ảnh nhị phân, bộ lọc Gaussian làm mịn bằng nhân chập kernel kích thước 3x3, cơ chế tính toán ngưỡng nhị phân cục bộ của Adaptive Thresholding (CV_ADAPTIVE_THRESH_MEAN_C, CV_ADAPTIVE_THRESH_GAUSSIAN_C), và giải thuật trích xuất đường viền cvFindContours với chế độ RETR_LIST cùng kiểu xấp xỉ CHAIN_APPROX_SIMPLE.
• Nhận dạng ký tự Tesseract-OCR: Trình bày lịch sử phát triển, kiến trúc pipeline nhận dạng khối (blobs), tiến trình phân loại hai lượt (two-pass process) và cấu trúc wrapper Pytesseract trên nền tảng Python.
• Cấu trúc mã QR Code: Trình bày chuẩn ma trận từ Version 1 đến Version 40, các vùng hình học chức năng (Finder, Separator, Timing, Alignment, Quiet Zone), cơ chế sửa sai Reed-Solomon và quy trình 8 bước mã hóa dữ liệu.
• Hạ tầng kết nối: Tổng quan về cơ sở dữ liệu quan hệ, giao thức truyền thông HTTP/HTTPS, hệ thống tên miền DNS/DDNS và cấu trúc thiết kế RESTful API.

Chương 3: Thiết kế mô hình

Chương 3 chi tiết hóa giải pháp kỹ thuật của hệ thống bãi đỗ xe thông minh:

• Thiết lập sơ đồ khối tổng thể, lưu đồ luồng dữ liệu xử lý ảnh biển số và lưu đồ API cho 3 trạng thái hoạt động (xe vào, xe đậu, xe ra).
• Thiết kế phần cứng: Bố trí máy tính nhúng Raspberry Pi 4 Model B kết nối Camera Logitech C270, Camera Module Standard và mạng vi điều khiển ESP32-CAM tại các vị trí đỗ.
• Thiết kế phần mềm: Xây dựng cơ sở dữ liệu quan hệ gồm các bảng Người dùng, Phương tiện/Trạng thái và Vị trí Camera; thiết lập cấu hình máy chủ web service cung cấp các Endpoint API tương ứng cho từng trạng thái; phát triển ứng dụng di động với các giao diện đăng nhập, đăng ký, hiển thị mã QR và màn hình theo dõi vị trí ô đỗ xe.

Chương 4: Kết quả

Chương 4 công bố các kết quả vận hành thực tế của mô hình:

• Hệ thống nhận dạng chính xác biển số xe ô tô và giải mã thành công mã QR tại trạm kiểm soát vào/ra.
• Kiểm tra quá trình vận hành hệ thống và ghi nhận nhật ký (log) thông qua công cụ VNC Viewer.
• Module ESP32-CAM truyền tải ổn định dữ liệu biển số kèm địa chỉ MAC qua mạng không dây, cho phép máy chủ định vị chính xác vị trí ô đỗ của xe.
• Ứng dụng di động phản hồi tức thời: Hiển thị mã QR khi xe chưa vào bãi, cập nhật biển số cùng vị trí đỗ cụ thể khi xe đã vào vị trí, và tự động giải phóng vị trí đỗ sau khi hoàn tất thủ tục checkout.

Chương 5: Kết luận và hướng phát triển

Chương 5 tổng kết mức độ hoàn thành mục tiêu đề tài: Khẳng định tính khả thi của mô hình tích hợp hệ thống nhúng, thị giác máy tính và ứng dụng di động trong quản lý bãi đỗ xe. Đồng thời, tác giả đề xuất các giải pháp nâng cấp mô hình trong tương lai nhằm nâng cao hiệu suất nhận dạng và mở rộng quy mô ứng dụng.

---

Kết quả và đóng góp

1. Kết quả chính đạt được

• Hiện thực hóa mô hình phần cứng nhúng: Triển khai thành công mô hình bãi giữ xe kết nối giữa Raspberry Pi 4 Model B, Camera Logitech C270, Camera Module và ESP32-CAM.
• Tối ưu hóa quy trình xử lý ảnh biển số: Áp dụng thành công chuỗi thuật toán tiền xử lý gồm bộ lọc Gaussian (kernel 3x3) kết hợp Adaptive Threshold và giải thuật tìm đường viền (RETR_LIST, CHAIN_APPROX_SIMPLE) giúp Tesseract-OCR nhận dạng ký tự biển số từ ảnh đầu vào.
• Số hóa thủ tục ra vào: Loại bỏ hoàn toàn vé xe giấy và thẻ từ thông qua việc quét mã QR động được sinh ra và quản lý trên ứng dụng di động.
• Tự động hóa định vị vị trí đỗ: Nhận diện và gán chính xác vị trí xe trong bãi nhờ cơ chế đối chiếu địa chỉ MAC của ESP32-CAM với cơ sở dữ liệu máy chủ, hiển thị trực quan trên ứng dụng của người dùng.

2. Giải pháp và kiến nghị đề xuất

• Ứng dụng kỹ thuật Adaptive Threshold thay thế Threshold thông thường để khắc phục triệt để hiện tượng phân bố cường độ sáng không đồng đều và chênh lệch gradient màu trên biển số xe khi chụp ngoài trời.
• Chuẩn hóa việc truyền nhận dữ liệu giữa các thiết bị ngoại vi, vi điều khiển phân tán và ứng dụng người dùng thông qua kiến trúc RESTful API tập trung.

3. Đóng góp của đề tài

• Chứng minh tính khả thi của việc kết hợp các thư viện xử lý ảnh mã nguồn mở (OpenCV, Tesseract-OCR) trên phần cứng nhúng giá thành thấp để giải quyết bài toán giao thông thông minh.
• Đề xuất mô hình tích hợp đồng thời ba chức năng: Kiểm soát an ninh ra/vào qua biển số, thay thế thẻ giữ xe bằng mã QR di động, và tự động hóa theo dõi vị trí đỗ xe.

---

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế của đề tài

• Hệ thống được triển khai dưới dạng mô hình thực nghiệm thực thi ý tưởng với các điều kiện giả định lý tưởng (xe ô tô đỗ đúng làn, ánh sáng đủ, biển số chuẩn và rõ nét).
• Tesseract-OCR phụ thuộc nhiều vào chất lượng ảnh đầu vào; độ chính xác nhận dạng có thể suy giảm nếu biển số bị nghiêng góc lớn, mờ bẩn hoặc trong điều kiện ánh sáng quá yếu.
• Phạm vi mô hình mới chỉ dừng lại ở bãi đỗ xe ô tô quy mô một tầng, chưa hỗ trợ đa dạng các loại phương tiện khác như xe máy.

2. Hướng nghiên cứu và phát triển tiếp theo

• Mở rộng thuật toán để nhận dạng được nhiều loại biển số xe khác nhau (biển số vuông, biển số xe máy, xe tải).
• Huấn luyện bổ sung các mô hình học sâu chuyên dụng (như Convolutional Neural Networks - CNN, YOLO) để cải thiện độ chính xác và tốc độ nhận dạng ký tự trong điều kiện môi trường phức tạp hoặc ban đêm.
• Mở rộng quy mô hệ thống cho các bãi đỗ xe nhiều tầng và tích hợp thêm tính năng thanh toán phí gửi xe tự động không dùng tiền mặt trực tiếp trên ứng dụng di động.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo giá trị cho sinh viên, giảng viên và các kỹ sư thuộc các chuyên ngành Công nghệ Kỹ thuật Máy tính, Điện tử - Viễn thông, Công nghệ Thông tin và Kỹ thuật Điều khiển - Tự động hóa.

Nội dung đặc biệt hữu ích bao gồm:

• Hướng dẫn chi tiết quy trình tiền xử lý ảnh nhị phân, phân đoạn ảnh bằng Adaptive Threshold và lọc đường viền Contours với OpenCV bằng ngôn ngữ Python.
• Cách thức cấu hình và tích hợp Tesseract-OCR (qua thư viện Pytesseract) trên hệ thống máy tính nhúng Linux/Raspberry Pi.
• Thiết kế hệ thống mạng cảm biến phân tán kết hợp ESP32-CAM và máy chủ RESTful API phục vụ bài toán định vị vị trí trong các hệ thống IoT.

---

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lựa chọn phương pháp Adaptive Threshold thay vì Binary Threshold trong khâu xử lý ảnh biển số?

Trả lời: Phương pháp Binary Threshold thông thường áp dụng một giá trị ngưỡng cố định cho toàn bộ bức ảnh, dẫn đến việc mất chi tiết hoặc không phân biệt được ký tự khi ảnh chụp ngoài trời có sự phân bố cường độ sáng không đều. Adaptive Threshold tính toán giá trị ngưỡng riêng biệt cho từng vùng lân cận điểm ảnh (dựa trên giá trị trung bình hoặc hàm Gaussian), giúp phân đoạn chính xác các vùng sáng/tối cục bộ và đảm bảo chất lượng ảnh nhị phân đầu vào cho Tesseract-OCR.

2. Cơ chế nào giúp hệ thống xác định chính xác vị trí ô đỗ của phương tiện khi xe đã vào bãi?

Trả lời: Tại mỗi vị trí ô đỗ trong bãi được lắp đặt một vi điều khiển ESP32-CAM có gắn địa chỉ MAC phần cứng duy nhất. Khi xe tiến vào ô đỗ, camera ESP32 chụp biển số xe và gửi gói tin chứa biển số kèm địa chỉ MAC lên máy chủ qua API. Máy chủ đối chiếu địa chỉ MAC này với bảng vị trí camera trong cơ sở dữ liệu để xác định tên ô đỗ tương ứng, sau đó cập nhật thông tin vị trí lên ứng dụng di động của người dùng.

3. Kiến trúc nhận dạng của Tesseract-OCR hoạt động theo tiến trình như thế nào?

Trả lời: Tesseract-OCR xử lý theo đường ống (pipeline): Ảnh nhị phân đầu vào được phân tích thành các thành phần liên kết (blobs), sau đó gom thành các dòng văn bản dựa trên độ cao cố định hoặc tỷ lệ chữ. Quá trình nhận dạng thực hiện theo quy trình 2 lượt (two-pass process): Lượt đầu tiên cố gắng nhận diện từng ký tự và đưa các ký tự thỏa mãn vào bộ phân loại thích ứng để làm dữ liệu huấn luyện; lượt thứ hai chạy lại để nhận dạng các ký tự chưa được xác định ở lượt đầu. Cuối cùng, hệ thống xử lý khoảng cách và kiểm tra kích thước ký tự để trích xuất chuỗi văn bản hoàn chỉnh.

4. Hệ thống phần cứng của mô hình bao gồm những thiết bị nào và sử dụng camera gì?

Trả lời: Phần cứng của mô hình bao gồm máy tính nhúng trung tâm Raspberry Pi 4 Model B, Camera Logitech C270 (hoặc Raspberry Pi Camera Module Standard) phục vụ đọc biển số và quét mã QR tại cổng vào/ra, và các module ESP32-CAM bố trí tại từng ô đỗ xe để định vị phương tiện. Quá trình kiểm tra log và giám sát phần cứng được thực hiện thông qua phần mềm VNC Viewer.

---

Kết luận

Đồ án tốt nghiệp của nhóm tác giả Bùi Minh Quang và Trần Trung Thắng đã thiết kế và triển khai thành công mô hình bãi giữ xe thông minh tích hợp công nghệ xử lý ảnh OpenCV, nhận dạng ký tự Tesseract-OCR và hệ thống nhúng Raspberry Pi 4 kết hợp ESP32-CAM. Nghiên cứu giải quyết đồng thời bài toán số hóa quy trình kiểm soát ra/vào bằng mã QR di động và tự động định vị vị trí đỗ xe của phương tiện. Kết quả thực nghiệm khẳng định tính khả thi của mô hình, tạo tiền đề vững chắc cho việc phát triển các giải pháp bãi đỗ xe thông minh trong đô thị hiện đại.

Trích đoạn nội dung tài liệu

mở đầu, chương này sẽ đưa ra các vấn đề thực tiễn, những thứ còn tồn đọng trong một bãi giữ xe thông thường từ đó đưa ra các cách giải quyết khác nhau, vận dụng những kiến thức đã học để áp dụng vào các bài toán thực tế. Chương 2: Cơ sở lý thuyết: Chương tiếp theo sẽ trình bày chi tiết các khái niệm cơ bản nhất để người đọc có thể hình dung được, lượng kiến thức được đưa ra trong chương này là nền tảng để nắm rõ được các quy trình, thiết kế trong chương tiếp theo, các cơ sở lý thuyết được trình bày rất cơ bản, tổng quan cho người đọc về xử lý ảnh sử dụng thư viện OpenCV, QR Code và các luồng xử lý khi thực hiện mã hóa và giải mã một QR Code, tiếp đến sẽ là các khái niệm cơ bản về cơ sở dữ liệu, về khái niệm của các giao thức HTTP và HTTPS và thiết kế API theo chuẩn Restful API để giao tiếp đọc và trả dữ liệu từ server về bộ xử lý ở bãi giữ xe. Chương 3: Thiết kế mô hình: Mô hình là một phần không thể thiếu khi xây dựng một hệ thống dù lớn hay nhỏ, chương này sẽ đưa đến cho người đọc một cái nhìn tổng quan về cách hệ thống xử lý như thế nào, luồng đi của dữ liệu, luồng đi của API, thiết kế hệ thống, thiết kế server, thiết kế giao tiếp raspberry pi 4 với esp32 cam, sử dụng API để giao tiếp với server. Chương 4: Kết quả: 18 Nhóm thực hiện sẽ đánh giá mô hình thông qua mục tiêu đề tài đã được đề ra ở chương đầu tiên, các chức năng, phần cứng và phần mềm có hoạt động tốt hay không.

Đưa ra nhận xét và xác định những vấn đề đã được giải quyết ở chương đầu tiên nêu ra. Chương 5: Kết luận và hướng phát triển: Từ chương 4 nối tiếp đến chương này nhóm thực hiện sẽ đưa ra kết luận mô hình có thực hiện hóa được ở ngoài đời thực không, các sai số liệu có ảnh hưởng đến quá trình giữ xe của bãi hay không. 19 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 TỔNG QUAN VỀ THƯ VIỆN OPENCV 2.1 OpenCV là gì? OpenCV là một mã nguồn mở (open source) về thị giác máy tính. Mã nguồn này được viết bằng ngôn ngữ lập trình C và C++, nó được chạy được với cả ba hệ điều hành hiện nay là Linux, Windows và Mac OS X.

Đã có nhưng phiên bản được phát triển cho các ngôn ngữ lập trình khác như Python, Ruby, Matlab và các loại ngôn ngữ khác, trong đề tài này nhóm thực hiện việc đọc biển số sử dụng ngôn ngữ lập trình Python. Các mã nguồn liên quan sẽ được đề cập ở chương 3 phần thiết kế phần mềm. OpenCV được thiết kế để tối ưu hiệu quả tính toán và tập trung mạnh vào phần xử lý thời gian thực (real-time applications). OpenCV được tối ưu với ngôn ngữ C và xử lý được đa lõi (multicore processors).

Một trong những thành công của OpenCV chính là cung cấp những thứ cần thiết và dễ sử dụng để giúp người sử dụng xây dựng một ứng dụng thị giác phức tạp một cách nhanh chóng. OpenCV cung cấp gần 500 hàm tổng quát hết cách lĩnh vực thị giác máy tính bao gồm việc giám sát sản phẩm của nhà máy, y tế, an ninh, giao diện người dùng (user interface), hiệu chỉnh máy ảnh, v.v… Hiện nay thì thị giác máy tính (Computer Vision) và máy học (Machine Learning) sẽ đi đôi với nhau nên OpenCV có đầy đủ các chức năng với các mục đích cơ bản về máy học [1].2 Kiến trúc của OpenCV OpenCV được chia thành 5 phần cấu trúc chính, 4 trong 5 phần chính sẽ được thể hiện qua hình 2.1 bên dưới: 20 Hình 2.1: Kiến trúc cơ bản của OpenCV [1] Hình 2.1 thể hiện kiến trúc cơ bản của OpenCV. Đầu tiên là phần CV chứa những thứ cơ bản về xử lý ảnh và các thuật toán cao cấp về thị giác máy tính. Thứ hai, MLL là thư viện về máy học (Machine learning library) trong thư viện này chứa các công cụ phân loại và thống kê.

Phần tử kế tiếp sẽ là HighGUI, phần này sẽ chứa những quy trình và hàm sử dụng ngoại vi (I/O – Input/Output) để chứa và tải các hình ảnh, videos và cuối cùng sẽ là CXCore chứa những cấu trúc dữ liệu cơ bản và nội dung của nó.1 sẽ không bao gồm phần tử CvAux, phần này chủ yếu liên quan về nhận diện khuôn mặt, các phông nền nên nhóm thực hiện sẽ không nêu chi tiết quá về phần này [1].2 XỬ LÝ ẢNH VỚI OPENCV 2.1 Tổng quan OpenCV được viết bằng C++ và các phần trình bày tiếp theo sẽ đi sâu vào từng hàm bên trong để phân tích cũng như hiểu rõ hơn cấu trúc giải thuật của OpenCV viết bằng C sẽ như thế nào, qua đến chương tiếp theo nhóm sẽ sử dụng OpenCV nhưng ở ngôn ngữ Python để rút gọn thời gian viết mã lại cũng như các thư viện của OpenCV ở ngôn ngữ Python đều cung cấp đầy đủ các hàm giống như OpenCV viết bằng C++, Python OpenCV chứa bên trong là Engine gốc của OpenCV (tức là viết dưới tầng sâu là ngôn ngữ C++) và các hàm sẽ gọi nhau 21 thông qua API để giao tiếp giữa hai ngôn ngữ cũng như rút ngắn được thời gian viết mã.2 Đọc hình ảnh từ đầu vào OpenCV cung cấp cho những tính năng như đọc hình ảnh từ video và camera. Những tính năng này là một phần được cài đặt sẵn ở bên trong gói OpenCV. Đối với ngôn ngữ C một ví dụ đơn giản được trình bày dưới đây.2: Hàm đọc hình ảnh đầu vào [1] Khi biên dịch và chạy chương trình, hệ thống sẽ nhận đầu vào là hình ảnh và hiển thị nó trên màn hình. Sau đấy sẽ đợi tác động phím bấm bất kỳ từ bàn phím của người dùng, thì lúc này chương trình sẽ tắt cửa sổ và thoát chương trình.

Hàm cvLoadImage() là một hàm cấp cao xác định được nội dung sẽ tải lên dựa vào tên của file, nó cũng tự động cấp phát vùng bộ nhớ cho cấu trúc dữ liệu của hình ảnh. Lưu ý rằng cvLoadImage() có thể xử lý đọc được nhiều loại định dạng hình ảnh như BMP, DIB, JPEG, JPE, PNG, PBM, PGM, PPM, SR, RAS và TIFF. Một con trỏ (pointer) trỏ tới phần vùng chứa của cấu trúc dữ liệu hình ảnh đó. Cấu trúc này được gọi là IplImage, đây sẽ là thứ sẽ gặp thường xuyên trong OpenCV.

OpenCV sửa dụng hầu hết các cấu trúc này để xử lý tất cả các loại hình ảnh. Một hàm cao cấp tiếp theo đó là cvNamedWindow() là mở một cửa sổ ở trên màn và nội dung trong đấy sẽ chứa hình ảnh vừa được đọc. Tiếp ở trường hợp sau, cửa sổ sẽ tự điều chỉnh tự cân bằng với độ rộng của màn hình thông qua hàm cvShowImage(). Tiếp đến hàm cvWaitKey(0) yêu cầu chương trình sẽ dừng lại và đợi tác động ngoại vi (ở đây là bàn phím hoặc nhấp chuột).

Tham số có thể truyền vào khi gọi hàm có thể là số âm hoặc dương, đối với số dương truyền vào thì chương trình sẽ đợi theo đơn vị ms theo số dương đã truyền vào và sẽ tiếp túc chạy 22 chương trình nếu không có phím nào được tác động, còn đối với số 0 hoặc số âm, chương trình sẽ dừng hẵn đợi khi nào có tác động từ bàn phím thì mới tiếp tục chạy những chức năng sau. Sau khi đã đọc được hình ảnh và muốn không hiện nữa thì việc giải phóng bộ nhớ là cần thiết, OpenCV cung cấp cho ta hàm để thực hiện điều đó là hàm cvReleaseImage(&img), sau khi truyền chiếu đến tham số img và gọi hàm thì giá trị con trỏ lúc này là IplImage* sẽ được chuyển thành NULL. Việc đóng cửa sổ window giờ chỉ cần gọi hàm cvDestroyWindow() để đóng lại cửa sổ và sẽ hủy cấp phát bộ nhớ mà chương trình đã sử dụng bao gồm cả cấp phát bộ nhớ cho cấu trúc dữ liệu hình ảnh.3 Smoothing Smoothing hay còn gọi là làm mịn, hoặc có thể gọi là blurring (làm mờ) là một kỹ thuật đơn giản và sử dụng thường xuyên trong quá trình xử lý ảnh. Có rất nhiều lý do để làm mịn ảnh nhưng thường thì kỹ thuật này sẽ được dùng để loại bỏ nhiễu (noise) hoặc lỗi sọc từ camera ảnh.

Làm mịn cũng là một phần quan trọng nếu chúng ta muốn cải thiện chất lượng của ảnh theo một cách có nguyên tắc. Ở đề tài này sẽ tập trung vào làm mờ ảnh bằng bộ lọc Gaussian. Bộ lọc Gaussian (CV_GAUSSIAN), là một bộ lọc rất hữu dụng nhưng tốc độ lọc không phải là nhanh nhất. Bộ lọc Gaussian sẽ thực hiện bằng cách tích chập mỗi điểm ở ngõ vào của một cấu trúc mảng với nhân kernel của Gaussian và sau đó tổng hợp lại để tạo thành một mảng đầu ra.

Cú pháp gọi hàm theo ngôn ngữ Python là cv.3: Bộ lọc Gaussian mảng 1 chiều. [1] Hình trên thể hiện bộ lọc Gaussian ở mảng pixel một chiều, phương pháp làm mờ sửa dụng Gaussian, hai tham số đầu vào sẽ là độ rộng và cao của bộ lọc cửa sổ và một tham số tùy chọn thứ ba đó là giá trị sigma (một nữa độ rộng ở giữa giá trị tối đa) của nhân kernel Gaussian. Nếu tham số thứ 3 không có thì Gaussian sẽ tự động xác định kích thước của window thông qua công thức: 𝑛𝑥 𝜎𝑥 = ( − 1) × 0.80, 𝑛𝑦 = 𝑝𝑎𝑟𝑎𝑚2 2 Nếu muốn nhân Kernel đối xứng, có thể thêm một tham số thứ 4 để làm việc đó, trong trường hợp này thì tham số thứ 3 và tham số thứ 4 sẽ là giá trị của sigma ở trục hoành và trục tung. Nếu trong trường hợp tham số 3 và 4 được xác định giá trị nhưng tham số 1 và 2 thì không thì kích thước của cửa sổ sẽ được xác định tự động dựa trên giá trị từ sigma theo công thức ở trên.

Triển khai bộ lọc Gausian thông qua OpenCV cũng tối ưu hóa hiệu suất hơn cho nhân kernels, 3 với 3, 5 với 5 và 7 với 7, với một tham số 3 đầu vào mặc định là (0.0) sẽ cho một hiệu suất tốt hơn những nhân kernels thực hiện cách khác. Bộ lọc Gaussian hỗ trợ từ chạy từ một đến ba channel hình ảnh cho dù hình 24 ảnh có là định dạng 8-bit, 32-bit hoặc có định dạng floating-point (một định dạng biểu diễn giá trị thập phân gần đúng).4: Hình ảnh đã qua xử lý bộ lọc Gaussian. [1] Ở hình trên bên tay trái là hình ảnh gốc trước khi xử lý qua bộ lọc Gaussian, hình bên tay phải là hình ảnh sau khi đã xử lý thông qua bộ lọc Gaussian và cho ra được kết quả.