Bối cảnh và vấn đề nghiên cứu

1. Lý do chọn đề tài và bối cảnh thực tiễn

Trong ngành công nghiệp sản xuất thực phẩm, đồ uống và dược phẩm, thông tin in trên bao bì—đặc biệt là hạn sử dụng, ngày sản xuất và số lô—đóng vai trò pháp lý và an toàn thiết yếu đối với người tiêu dùng. Việc phân phối các sản phẩm hết hạn hoặc sản phẩm có thông tin in sai lệch ra thị trường có thể dẫn đến nguy cơ nghiêm trọng về sức khỏe cộng đồng và tổn hại kinh tế nặng nề cho doanh nghiệp do phải thu hồi hàng loạt.

Trong quy trình in ấn công nghiệp thực tế, các sự cố kỹ thuật như nghẽn đầu phun mực, mòn bản in hoặc sai lệch cơ học thường gây ra các lỗi in ấn nghiêm trọng: mực bị nhòe, mất nét, dính vệt mực thừa hoặc in sai lệch ký tự. Việc kiểm soát chất lượng in ấn bằng phương pháp thủ công (mắt người) bộc lộ nhiều hạn chế về thời gian, chi phí nhân sự và độ tin cậy.

Mặc dù thị trường đã có các giải pháp thương mại từ các tập đoàn công nghệ như hệ thống đọc mã OCR của Cognex hay phần mềm kiểm tra MVS-OCV của VSTECH, nhưng các hệ thống này thường đi kèm giải pháp phần cứng trọn gói (băng chuyền chuyên dụng, camera công nghiệp, cảm biến và tủ điều khiển) với giá thành rất cao. Do đó, các doanh nghiệp sản xuất và in ấn bao bì vừa và nhỏ có nhu cầu lớn về một giải pháp phần mềm độc lập, có khả năng tích hợp linh hoạt, tự động nhận diện và phát hiện lỗi in hạn sử dụng với chi phí triển khai tối ưu.

2. Mục tiêu và nhiệm vụ nghiên cứu

Mục tiêu tổng quát của đề tài là nghiên cứu, xây dựng và đánh giá một hệ thống phần mềm tự động phát hiện vùng chứa thông tin ngày tháng, nhận dạng nội dung ký tự quang học (OCR) và phát hiện vị trí lỗi in bề mặt trên bao bì sản phẩm.

Các nhiệm vụ nghiên cứu cụ thể bao gồm:

  1. Nhiệm vụ 1 (Date Detection): Nghiên cứu và huấn luyện các mô hình thị giác máy tính hiện đại để định vị và cắt vùng chứa thông tin ngày tháng năm từ ảnh chụp bao bì.
  2. Nhiệm vụ 2 (Optical Character Recognition - OCR): Nhận diện ký tự văn bản, bóc tách các thành phần ngày, tháng, năm theo 13 định dạng chuẩn và đối soát với cơ sở dữ liệu mẫu.
  3. Nhiệm vụ 3 (Defect Detection): Xây dựng và huấn luyện mô hình học sâu phân đoạn hình ảnh để phát hiện các vị trí khuyết tật in ấn (như dính mực, lem mực) tại vùng thông tin hạn sử dụng.
  4. Nhiệm vụ 4 (Tích hợp và kiểm thử hệ thống): Kết hợp các khối mô hình thành một luồng xử lý hoàn chỉnh (pipeline), đánh giá hiệu năng trên thiết bị tính toán và xây dựng giao diện web kiểm tra thời gian thực qua webcam.

3. Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các phương pháp học sâu (Deep Learning), mạng nơ-ron tích chập (CNN), các kiến trúc phát hiện đối tượng, nhận dạng ký tự quang học và mô hình phân đoạn ảnh nhằm phát hiện lỗi in ấn quang học trên bao bì sản phẩm.
  • Phạm vi dữ liệu và không gian:
    • Dữ liệu ảnh thực tế thu thập từ bao bì đồ hộp, thực phẩm, đồ uống và dược phẩm với phông chữ, định dạng và chất liệu bề mặt đa dạng (kim loại, giấy, nhựa).
    • Nghiên cứu tập trung vào 13 định dạng hiển thị ngày hết hạn phổ biến trong công nghiệp: DDMMYY, DDMMMYY, DDMMYYYY, DDMMMYYYY, YYYYMM, YYYYMMDD, YYMMDD (hệ thống quy ước nhận dạng là DDMMYY do miền giá trị ngày và năm gần nhau), MMDD, MMYYYY, MMMYYYY, MMMDDYY, MMMDDYYYY, YYYYMMMDD.
    • Phân loại dữ liệu phát hiện thành 4 lớp đối tượng: date (ngày tháng năm), due (nhãn chỉ hạn: Exp, before, by, 까지, 까지는), prod (nhãn sản xuất: Prod, 제조, 제조일자), và code (mã tùy chỉnh hoặc số lô). Trọng tâm đầu ra kiểm tra được trích xuất từ lớp date.
  • Thách thức kỹ thuật: Xử lý ảnh trong điều kiện chiếu sáng phức tạp (chói lóa, thiếu sáng), bề mặt bao bì lồi lõm hoặc biến dạng, nền bao bì phức tạp, phông chữ nét mảnh/chữ nhỏ và khoảng cách ký tự in không đồng đều.

Cơ sở lý thuyết và phương pháp nghiên cứu

1. Khung lý thuyết và mô hình sử dụng

Khóa luận vận dụng các nền tảng lý thuyết học sâu và thị giác máy tính chuyên sâu:

  • Kiến trúc tích chập nền tảng: VGGNet (VGG16, VGG19), Residual Network (ResNet50, ResNet34) giải quyết vấn đề triệt tiêu đạo hàm trong mạng sâu.
  • Mô hình phát hiện đối tượng (Object Detection): R-CNN, Faster R-CNN (với mạng đề xuất vùng - Region Proposal Network RPN) và YOLOv8 (kiến trúc một giai đoạn tối ưu hóa tốc độ và độ chính xác).
  • Bộ công cụ PaddlePaddle & PaddleDetection: Framework học sâu công nghiệp hỗ trợ các backbone như ResNet50_vd, CSPResNet, tối ưu hóa huấn luyện và suy luận.
  • Kiến trúc nhận dạng ký tự quang học (OCR):
    • Mô hình CRAFT (Character Region Awareness for Text Detection): Định vị vùng ký tự và phát hiện mối liên kết giữa các ký tự độc lập.
    • Thư viện VietOCR: Kết hợp giữa CNN và kiến trúc Transformer (TransformerOCR, AttentionOCR) trong nhận dạng chuỗi ký tự.
    • Framework PaddleOCR: Kiến trúc hai giai đoạn kết hợp thuật toán phát hiện văn bản SAST (Single-Shot Arbitrarily-Shaped Text Detector) và thuật toán nhận dạng VisionLAN (kết hợp thông tin hình ảnh và ngôn ngữ).
  • Kiến trúc phát hiện lỗi in ấn (Defect Segmentation):
    • Mạng U-Net: Cấu trúc đối xứng dạng chữ U gồm nhánh thu hẹp (contracting path) và nhánh mở rộng (expanding path) với các kết nối tắt (skip connections) giúp phân đoạn chính xác vùng biên khuyết tật ở cấp độ điểm ảnh (pixel-level).
    • Kiến trúc Mixed SegDecNet (Segmentation + Decision Net): Mô hình tích hợp từ đầu đến cuối kết hợp mạng con phân đoạn (Segmentation sub-network) và mạng con phân loại quyết định (Classification sub-network), hỗ trợ cơ chế giám sát hỗn hợp/giám sát yếu.

2. Phương pháp nghiên cứu thực nghiệm

Nghiên cứu được triển khai theo phương pháp thực nghiệm khoa học qua các giai đoạn:

  1. Chuẩn hóa và chuyển đổi dữ liệu: Chuyển đổi định dạng nhãn bounding box (tọa độ 4 góc, Pascal VOC XML, YOLO txt chuẩn hóa) và mặt nạ phân đoạn (binary mask, ellipse defect mask).
  2. Huấn luyện mô hình thành phần: Tinh chỉnh các siêu tham số (Epochs, Learning Rate, Batch Size, Optimizer) trên các tập dữ liệu thành phần tương ứng.
  3. Xây dựng và đối chuẩn luồng xử lý (Pipelines Benchmark): Xây dựng 3 luồng tích hợp độc lập và đo lường thời gian xử lý suy luận trên môi trường CPU.
  4. Logic kiểm tra lỗi tổng hợp: Kết hợp kết quả từ nhánh OCR (đối soát chuỗi ký tự với tệp dữ liệu ground truth) và nhánh Defect Segmentation (phát hiện tọa độ lỗi in do dính mực) để đưa ra quyết định nhị phân cuối cùng:
    • Thông tin khớp và không phát hiện lỗi in: Đạt chất lượng (OK).
    • Thông tin không khớp hoặc phát hiện lỗi in dính mực: Lỗi (NG).

3. Nguồn dữ liệu sử dụng

  • Bộ dữ liệu ExpDate (công khai):
    • Products-Real: 1.767 ảnh chụp thực tế bao bì thực phẩm, đồ uống và thuốc (1.102 ảnh tập huấn luyện, 665 ảnh tập kiểm tra).
    • Products-Synth: Khoảng 12.000 ảnh sản phẩm với nhãn hạn sử dụng tổng hợp phục vụ huấn luyện mô hình phát hiện vùng Date.
    • Date-Synth: 128.000 ảnh cắt vùng ngày tháng tổng hợp đa dạng kiểu phông để huấn luyện mô hình bóc tách Day-Month-Year (DMY).
    • Date-Real: Bộ dữ liệu thực nghiệm dùng để đánh giá độ chính xác nhận dạng chuỗi ngày tháng.
  • Bộ dữ liệu Date-Defect: Tạo lập 1.767 ảnh lỗi in tổng hợp từ tập Products-Real bằng công cụ can thiệp đồ họa (thêm vết dính mực nhân tạo vào vùng date), gán nhãn phân đoạn bằng phần mềm CVAT.
  • Bộ dữ liệu PRDF (Product-Real Date-Defect): Hợp nhất giữa ảnh không lỗi (Products-Real) và ảnh có lỗi (Date-Defect), chia thành các lớp ảnh gốc và ảnh mặt nạ (Class1, Class1_mask, Class1_def, Class1_def_mask) dùng cho U-Net và SegDecNet.

Thiết kế và triển khai hệ thống

1. Kiến trúc hệ thống và luồng dữ liệu

Hệ thống được thiết kế theo quy trình xử lý 4 giai đoạn tuần tự:

  • Giai đoạn 1 (Date Detection): Ảnh đầu vào từ webcam/camera được chuyển qua mạng phát hiện vùng chứa thông tin ngày tháng (date), trích xuất tọa độ và cắt ảnh con (cropped image) theo chiều ngang.
  • Giai đoạn 2 (OCR & DMY Parsing): Ảnh cắt được đưa vào nhánh nhận dạng ký tự quang học để trích xuất văn bản và phân tách thành 3 cụm bounding box tương ứng với ngày, tháng, năm dựa trên thuật toán so khớp 13 định dạng ngày chuẩn.
  • Giai đoạn 3 (Defect Detection): Đồng thời hoặc nối tiếp, ảnh con vùng date được xử lý qua mô hình phân đoạn khuyết tật nhằm tìm kiếm các điểm bất thường (vết lem mực, đốm mực thừa) trên bề mặt in.
  • Giai đoạn 4 (Decision Logic): Bộ xử lý trung tâm đối soát chuỗi ký tự nhận dạng được với tệp cơ sở dữ liệu sản xuất gốc, đồng thời kiểm tra tín hiệu từ mô hình phân đoạn lỗi để xuất tín hiệu trạng thái (OK/NG), tọa độ lỗi và thông tin ngày/tháng/năm lên giao diện.

2. Môi trường công nghệ và thông số huấn luyện

  • Môi trường phần cứng: Nền tảng Google Colab, 16GB RAM, card đồ họa GPU NVIDIA T4 và GPU NVIDIA Tesla A100.
  • Môi trường phần mềm: Ngôn ngữ lập trình Python 3; các thư viện PyTorch, PaddlePaddle-GPU, NumPy, Pandas, VietOCR, Pillow, CVAT.
  • Thiết lập siêu tham số chính:
Mô hình Số Epoch Learning Rate Thuật toán tối ưu (Optimizer) Batch Size
YOLOv8 70 0.001 Adam 16
Mixed SegDecNet 50 1.0 Adam 1

3. Thiết kế giao diện ứng dụng thời gian thực

Hệ thống được triển khai trên nền tảng giao diện web, hỗ trợ thu nhận luồng hình ảnh trực tiếp từ webcam. Giao diện trực quan hóa kết quả kiểm tra với các thành phần:

  • Bảng hiển thị kết quả OCR (Day, Month, Year).
  • Bảng hiển thị tọa độ khuyết tật in (Coordinates x, y, width, height).
  • Khung hiển thị bounding box phân định màu sắc trên ảnh chụp:
    • Màu tím: Vùng nhận diện Ngày (Day).
    • Màu xanh dương: Vùng nhận diện Tháng (Month).
    • Màu xanh lá: Vùng nhận diện Năm (Year).
    • Màu đỏ: Vùng phát hiện lỗi in / dính mực (Printing Error).

Nội dung chính theo từng chương

Chương 1. Giới thiệu và lý do chọn đề tài

Chương mở đầu phân tích vai trò của thông tin in ấn hạn sử dụng trên bao bì đối với chuỗi cung ứng thực phẩm và dược phẩm. Tác giả chỉ ra các điểm nghẽn trong công nghệ kiểm tra hiện hành tại Việt Nam: các hệ thống công nghiệp của Cognex hay VSTECH tuy hiệu quả nhưng chi phí phần cứng quá cao. Chương này đặt ra mục tiêu xây dựng giải pháp thuần phần mềm, ứng dụng học sâu để tự động hóa hoàn toàn quy trình nhận dạng ký tự quang học và kiểm tra lỗi in ấn với chi phí thấp.

Chương 2. Hướng tiếp cận và các công trình liên quan

Chương 2 tổng thuật các nghiên cứu tiền đề trong lĩnh vực OCR công nghiệp (Baek et al., 2019; Gong et al., 2021; A. An, 2022). Tác giả phân tích chi tiết các thách thức thực tế (độ tương phản, bề mặt vật liệu, biến thể phông chữ). Từ đó, đề xuất framework tổng quát gồm 3 hướng nghiên cứu thành phần: phát hiện vùng date (YOLOv8, PaddleDetection), bóc tách ký tự theo 13 định dạng, và phát hiện khuyết tật bề mặt bằng mô hình phân đoạn (U-Net, SegDecNet).

Chương 3. Cơ sở lý thuyết

Chương này cung cấp nền tảng toán học và cấu trúc mạng của các mô hình sử dụng trong đề tài:

  • Mạng tích chập CNN nền tảng, mạng VGG16/VGG19 (đạt 92,7% top-5 trên ImageNet), ResNet (152 lớp với cấu trúc Residual blocks).
  • Mô hình phát hiện đối tượng: R-CNN, Faster R-CNN (cơ chế RPN) và nguyên lý phát hiện một giai đoạn của YOLO.
  • Hệ sinh thái PaddlePaddle, bộ công cụ PaddleDetection và PaddleOCR (kết hợp kiến trúc DB, SAST và VisionLAN).
  • Mô hình phát hiện văn bản theo vùng ký tự CRAFT, mô hình TransformerOCR trong thư viện VietOCR.
  • Mạng phân đoạn hình ảnh U-Net và kiến trúc tích hợp Segmentation + Decision Net (SegDecNet).

Chương 4. Bộ dữ liệu và mô hình tiếp cận

Chương 4 trình bày chi tiết quy trình xử lý dữ liệu và thiết lập các pipeline thực nghiệm:

  • Phân tích cấu trúc bộ dữ liệu ExpDate (Products-Real, Products-Synth, Date-Synth).
  • Quy trình tạo lập bộ dữ liệu khiếm khuyết Date-Defect (1.767 ảnh) và cấu trúc thư mục dữ liệu phân đoạn PRDF.
  • Chuẩn hóa định dạng nhãn theo chuẩn YOLO txt, Pascal VOC XML, JSON và Text annotation.
  • Thiết lập 3 cấu hình pipeline kiểm thử:
    • Pipeline 1: YOLOv8 + (CRAFT + VietOCR) + U-Net.
    • Pipeline 2: YOLOv8 + PaddleOCR (SAST + VisionLAN) + U-Net.
    • Pipeline 3: PaddleDet + PaddleOCR + Mixed SegDecNet.

Chương 5. Đánh giá và kết quả

Chương 5 định nghĩa các chỉ số đo lường hiệu năng ($mAP$, $IoU$, $AUC$, $Precision$, $Recall$, $F1\text{-score}$) và công bố các kết quả thực nghiệm chi tiết cho từng mô hình thành phần và toàn bộ hệ thống pipeline. Kết quả chỉ ra Pipeline 2 (YOLOv8 + PaddleOCR + U-Net) đạt hiệu năng tổng thể tối ưu với thời gian xử lý 5 giây trên CPU, được lựa chọn để tích hợp lên ứng dụng web kiểm thử thời gian thực qua webcam.

Chương 6. Kết luận và hướng phát triển

Chương tổng kết các kết quả đạt được trong việc hiện thực hóa hệ thống kiểm tra lỗi in hạn sử dụng; chỉ ra các vấn đề kỹ thuật còn tồn đọng trong quá trình huấn luyện và đề xuất các định hướng nâng cấp trong tương lai.

Kết quả và đóng góp

1. Kết quả thực nghiệm của các mô hình thành phần

a. Nhiệm vụ phát hiện vùng chứa Date (Date Detection)

  • Mô hình YOLOv8: Huấn luyện trên tập Products-Synth với 70 epochs. Kết quả đạt $Precision = 0{,}92064$, $Recall = 0{,}85006$, $mAP_{50} = 0{,}92064$, thời gian huấn luyện mất 14 giờ 39 phút.
  • Mô hình PaddleDet (Faster R-CNN ResNet50): Chia dữ liệu huấn luyện thành 6 phần (mỗi phần 1.581 ảnh train, 396 ảnh test). Kết quả đạt chỉ số $mAP$ ổn định qua 6 lượt kiểm thử:
Lần đánh giá Lần 1 Lần 2 Lần 3 Lần 4 Lần 5 Lần 6
mAP 0,9613 0,9613 0,9613 0,9613 0,9613 0,9613
Thời gian huấn luyện 2h26p 2h18p 2h19p 2h14p 2h07p 2h10p

b. Nhiệm vụ nhận dạng ký tự quang học (OCR)

  • Mô hình CRAFT (Text Detection): Huấn luyện trên Date-Synth sử dụng backbone VGG16 pretrain, đạt $mAP = 0{,}93642$, thời gian huấn luyện là 5 giờ 22 phút.
  • Mô hình SAST (PaddleOCR Text Detection): Đạt $Precision = 0{,}83333$, $Recall = 0{,}83333$, $F1\text{-score} = 0{,}83333$, thời gian huấn luyện là 10 giờ 29 phút.
  • Mô hình VisionLAN (Text Recognition): Kích thước nhỏ gọn (~13,4 MB), kết hợp trực tiếp thông tin hình ảnh và ngôn ngữ, thời gian suy luận trên CPU là 18 giây.

c. Nhiệm vụ phát hiện lỗi in sai (Defect Detection)

  • Mô hình U-Net (Backbone ResNet34): Huấn luyện trên tập PRDF, đạt $Precision = 0{,}4435$, $Recall = 0{,}5184$, $F1\text{-score} = 0{,}5184$, thời gian huấn luyện 58 phút.
  • Mô hình Mixed SegDecNet: Đạt $AUC = 0{,}5980$, thời gian huấn luyện 1 giờ 55 phút.

2. So sánh hiệu năng các luồng xử lý (Pipelines)

Cấu hình Pipeline Thành phần tích hợp Thời gian xử lý trên CPU Đánh giá hiệu năng
Pipeline 1 YOLOv8 + (CRAFT + VietOCR) + U-Net 10 giây Tốc độ xử lý trung bình.
Pipeline 2 YOLOv8 + PaddleOCR + U-Net 5 giây Tốc độ nhanh nhất, tối ưu cho ứng dụng thực tế.
Pipeline 3 PaddleDet + PaddleOCR + Mixed SegDecNet 15 giây Thời gian xử lý lâu do độ phức tạp của SegDecNet.

3. Đóng góp của khóa luận

  • Đề xuất một quy trình tích hợp toàn diện gồm 4 giai đoạn xử lý khép kín từ định vị, nhận dạng ký tự quang học theo 13 định dạng chuẩn đến phân đoạn phát hiện lỗi dính mực trên bao bì.
  • Tự động hóa quy trình phân tích và nhận diện cấu trúc ngày tháng năm từ các định dạng in công nghiệp phức tạp mà không bị giới hạn ở các chữ số độc lập.
  • Xây dựng thành công bộ dữ liệu khiếm khuyết in ấn Date-Defect và PRDF từ ảnh thực tế phục vụ bài toán phân đoạn lỗi bề mặt.
  • Hiện thực hóa một phần mềm thử nghiệm có giao diện web trực quan, có khả năng nhận luồng hình ảnh trực tiếp từ webcam và hiển thị tọa độ lỗi cũng như kết quả OCR phân định bằng màu sắc.

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế của đề tài

  • Thời gian suy luận trên môi trường CPU: Pipeline nhanh nhất (YOLOv8 + PaddleOCR + U-Net) mất 5 giây để xử lý hoàn chỉnh một khung hình trên CPU, chưa đáp ứng hoàn toàn yêu cầu tốc độ cao của các dây chuyền đóng gói công nghiệp thời gian thực.
  • Độ chính xác của mô hình phát hiện lỗi in: Hiệu năng phát hiện khuyết tật của mạng U-Net ($F1\text{-score} = 0{,}5184$) và SegDecNet ($AUC = 0{,}5980$) còn ở mức trung bình do dữ liệu lỗi in chủ yếu là dữ liệu tổng hợp nhân tạo (dính mực), chưa phản ánh toàn diện các dạng khuyết tật thực tế như mờ nét, đứt nét, nhòe cơ học.
  • Quy ước định dạng ngày: Do miền giá trị ngày và năm gần nhau, hệ thống buộc phải quy ước định dạng YYMMDD thành DDMMYY, hạn chế tính linh hoạt đối với một số mẫu bao bì đặc thù.

2. Hướng nghiên cứu tiếp theo

  • Nghiên cứu tối ưu hóa mô hình (lượng tử hóa mô hình - Model Quantization, cắt tỉa mạng - Pruning) hoặc tận dụng các bộ xử lý tăng tốc phần cứng nhúng (Edge GPU/NPU) để giảm thời gian xử lý xuống dưới 1 giây/sản phẩm.
  • Thu thập thêm dữ liệu lỗi in thực tế từ các nhà máy sản xuất (các dạng lỗi mất nét, in lệch, mờ mực tự nhiên) để tăng cường độ chính xác cho mô hình phân đoạn lỗi.
  • Mở rộng thuật toán phân tích ngữ nghĩa để tự động nhận dạng chính xác định dạng YYMMDD mà không cần quy ước cố định.

Giá trị tham khảo

  • Đối tượng thụ hưởng:
    • Sinh viên, học viên chuyên ngành Công nghệ Thông tin, Khoa học Dữ liệu và Thị giác Máy tính đang thực hiện các đề tài nghiên cứu về OCR công nghiệp, phát hiện đối tượng và phân đoạn ảnh khuyết tật bề mặt.
    • Các kỹ sư thị giác máy (Computer Vision Engineers) tại các doanh nghiệp sản xuất bao bì, thực phẩm đang tìm kiếm giải pháp kiểm soát chất lượng in ấn (Quality Inspection) bằng phần mềm học sâu chi phí thấp.
  • Hạng mục tham khảo giá trị:
    • Quy trình tiền xử lý, gán nhãn dữ liệu và chuyển đổi đa định dạng annotation (Pascal VOC XML, YOLO txt, JSON).
    • Phương pháp xây dựng pipeline đa tầng kết hợp giữa phát hiện đối tượng, OCR và phân đoạn khuyết tật.
    • Bộ tham số thực nghiệm và phương pháp đánh giá so chuẩn giữa các framework PaddleOCR, VietOCR, CRAFT, U-Net và SegDecNet.

Câu hỏi thường gặp

1. Khóa luận giải quyết bài toán phân loại nhị phân cuối cùng cho sản phẩm dựa trên logic nào?

Hệ thống kết hợp kết quả từ hai nhánh độc lập để đưa ra nhãn chất lượng:

  • Nhận dạng thành công thông tin ngày/tháng/năm trùng khớp với dữ liệu gốc VÀ không phát hiện lỗi in dính mực $\rightarrow$ Kết luận: OK (Sản phẩm đạt chuẩn).
  • Không nhận dạng được ngày/tháng/năm hoặc nhận dạng sai lệch so với dữ liệu gốc VÀ không có lỗi in $\rightarrow$ Kết luận: NG (Sản phẩm lỗi).
  • Nhận dạng thông tin trùng khớp nhưng mô hình phân đoạn phát hiện có lỗi in/dính mực $\rightarrow$ Kết luận: NG (Sản phẩm lỗi).

2. Vì sao nhóm tác giả lại quy ước định dạng YYMMDD thành DDMMYY trong hệ thống?

Do miền giá trị số của ngày (từ 01 đến 31) và hai chữ số cuối của năm (ví dụ: 21, 22, 23) có sự trùng lặp và rất gần nhau, mô hình xử lý chuỗi ký tự khó phân biệt thứ tự nếu không có thông tin ngữ cảnh bổ sung. Do đó, nhóm tác giả đưa ra quy ước định dạng YYMMDD sẽ được xử lý mặc định thành DDMMYY để chuẩn hóa quá trình bóc tách dữ liệu ngày tháng.

3. Bộ dữ liệu PRDF phục vụ cho mô hình phát hiện lỗi in được xây dựng như thế nào?

Bộ dữ liệu PRDF được kết hợp từ 1.767 ảnh chụp thực tế trong tập Products-Real (ảnh không lỗi) và 1.767 ảnh thuộc tập Date-Defect (ảnh được can thiệp bằng công cụ chỉnh sửa đồ họa để thêm các vệt dính mực nhân tạo vào vùng date). Sau đó, toàn bộ dữ liệu được gán nhãn phân đoạn bằng công cụ CVAT để tạo ra các tập ảnh gốc và ảnh mặt nạ phân đoạn (Class1, Class1_mask, Class1_def, Class1_def_mask).

4. Trong 3 cấu hình pipeline thực nghiệm, vì sao cấu hình YOLOv8 + PaddleOCR + U-Net lại được lựa chọn để triển khai hệ thống thực tế?

Trong các thử nghiệm đo lường thời gian suy luận trên CPU, cấu hình YOLOv8 + PaddleOCR + U-Net đạt tốc độ xử lý nhanh nhất với 5 giây/ảnh (so với 10 giây của pipeline dùng CRAFT + VietOCR và 15 giây của pipeline dùng PaddleDet + SegDecNet). Đồng thời, PaddleOCR (mô hình SAST và VisionLAN) có dung lượng nhẹ (~13,4 MB) và đạt chỉ số $F1\text{-score} = 0{,}83333$, mang lại sự cân bằng tối ưu giữa hiệu năng tính toán và độ chính xác nhận dạng.

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Lê Thanh và Đinh Thị Diễm Sương đã hoàn thành việc nghiên cứu, thiết kế và thực nghiệm hệ thống kiểm tra lỗi in bao bì sản phẩm dựa trên nhận dạng ký tự quang học và học sâu. Bằng việc kết hợp hiệu quả mô hình phát hiện vùng Date (YOLOv8), bộ công cụ nhận dạng ký tự (PaddleOCR) và mô hình phân đoạn khuyết tật (U-Net), nhóm tác giả đã xây dựng thành công pipeline xử lý khép kín có khả năng bóc tách 13 định dạng ngày tháng và phát hiện lỗi in dính mực. Công trình đã được hiện thực hóa thành một ứng dụng web kiểm thử trực tiếp qua webcam với giao diện trực quan, cung cấp cơ sở thực nghiệm có giá trị tham khảo cao cho các ứng dụng thị giác máy tính trong tự động hóa công nghiệp.