Tổng quan nghiên cứu

Thị giác đóng vai trò then chốt trong nhận thức của con người khi chiếm từ 80% đến 85% lượng thông tin tiếp nhận hàng ngày. Trong bối cảnh ngành thương mại điện tử và dịch vụ giao nhận bùng nổ giai đoạn 2023 - 2024 với hàng triệu bưu kiện được vận chuyển mỗi ngày, quy trình xác thực giao hàng thành công (Proof of Delivery - P.O.D) đã trở thành một mắt xích sống còn trong hệ thống chuỗi cung ứng logistics. Vấn đề nghiên cứu trọng tâm của đề tài xuất phát từ các tranh chấp phát sinh giữa khách hàng và đơn vị vận chuyển, bao gồm tình trạng khiếu nại giao thiếu, giao sai địa chỉ hoặc gian lận đơn hàng. Quy trình kiểm tra thủ công truyền thống tốn nhiều nhân lực, dễ sai sót và gây chậm trễ trong việc giải quyết khiếu nại.

Mục tiêu cụ thể của luận văn là nghiên cứu, khảo sát và xây dựng quy trình ứng dụng thị giác máy tính (Computer Vision) kết hợp học sâu (Deep Learning) và nhận dạng ký tự quang học (OCR) để tự động hóa hoàn toàn tác vụ phân loại hình ảnh và trích xuất dữ liệu hậu kiểm đơn hàng. Nghiên cứu được thực hiện tại Trường Đại học Bách Khoa - ĐHQG TP.HCM trong khoảng thời gian hơn 4 tháng (từ tháng 9 năm 2023 đến tháng 12 năm 2023), sử dụng nguồn dữ liệu thực tế từ các đơn vị giao hàng tức thời tại khu vực TP. Hồ Chí Minh. Ý nghĩa thực tiễn của công trình thể hiện rõ qua việc giúp doanh nghiệp giảm hơn 70% thời gian tra cứu và hậu kiểm chứng từ, đồng thời nâng cao độ minh bạch và độ tin cậy của toàn bộ hệ sinh thái giao nhận.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên hai trụ cột lý thuyết nền tảng: Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) và Lý thuyết chuyển giao tri thức (Transfer Learning). Mạng CNN mô phỏng cấu trúc thị giác sinh học thông qua các tầng tích chập (Convolution Layer), tầng kích hoạt phi tuyến ReLU, tầng giảm mẫu (Pooling Layer) và tầng kết nối đầy đủ (Fully Connected Layer) nhằm tự động trích xuất các đặc trưng đa cấp độ từ ma trận điểm ảnh 3 kênh màu RGB. Khung lý thuyết Transfer Learning, được khởi xướng từ năm 1993 và hoàn thiện năm 1998, cho phép tái sử dụng tri thức đã được huấn luyện trên các tập dữ liệu quy mô lớn để áp dụng vào bài toán chuyên biệt với cỡ mẫu giới hạn.

Song song đó, mô hình nhận dạng ký tự quang học hiện đại CRAFT (Character Region Awareness for Text Detection) được tích hợp để phát hiện và khoanh vùng ký tự theo từng vùng liên kết ký tự (affinity) và điểm ký tự (character region). Các khái niệm cốt lõi được áp dụng xuyên suốt bao gồm: kỹ thuật tăng cường dữ liệu (Data Augmentation) với các phép biến đổi hình học 2D, vùng đường bao đóng (Bounding Box), phép biến đổi phối cảnh (Perspective Transformation) và cơ chế tinh chỉnh trọng số (Fine-tuning) bằng cách mở đóng băng (unfreeze) các tầng nơ-ron cuối. Nghiên cứu khảo sát chuyên sâu 7 kiến trúc mạng deep learning tiêu biểu gồm InceptionV3, ResNet152V2, InceptionResNetV2, Xception, DenseNet201, MobileNetV2 và EfficientNetB7.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm bao gồm tập hợp khoảng 10.000 hình ảnh xác nhận giao hàng thực tế từ hệ thống vận hành logistics tại Việt Nam, bao gồm 5 trường thuộc tính chính: ngày giao hàng, mã đơn hàng, mã vận hành đơn, số điện thoại tài xế và đường dẫn tải ảnh. Dữ liệu được thu thập và phân chia theo tỷ lệ chuẩn 80% cho tập huấn luyện (training set) và 20% cho tập kiểm thử, đánh giá (validation and test set) theo phương pháp chọn mẫu phân tầng ngẫu nhiên. Phương pháp này đảm bảo tính đại diện đồng đều cho các trường hợp: ảnh có thông tin đơn hàng, ảnh chụp khách hàng, ảnh chụp khu vực địa chỉ và ảnh không liên quan.

Lý do lựa chọn phương pháp phân tích chuyển giao tri thức kết hợp mở đóng băng có chọn lọc (unfreeze lần lượt 5, 10, 15, 20 layer cuối) là nhằm tối ưu hóa chi phí tính toán phần cứng, rút ngắn thời gian huấn luyện trên GPU và khắc phục triệt để hiện tượng quá khớp (overfitting) do mất cân bằng dữ liệu thực tế. Kỹ thuật Data Augmentation (lật ngang, lật dọc, biến đổi độ sáng và độ tương phản) được áp dụng để nhân bản dữ liệu đa dạng hơn 2 lần so với tập gốc. Toàn bộ quy trình thử nghiệm và đối sánh tham số được triển khai tuần tự trong 16 tuần làm việc liên tục.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã thiết lập thành công một quy trình phân tầng 4 bước với 3 mô hình phân loại chuyên biệt (cl1, cl2_top, cl2_bot) kết hợp module OCR:

Thứ nhất, ở bước phân loại nhãn tổng quát (mô hình cl1), các kiến trúc DenseNet201 và EfficientNetB7 khi áp dụng Transfer Learning với phương pháp unfreeze 5 layer cuối đạt độ chính xác kiểm thử trên 96,5%, vượt trội khoảng 8,3% so với phương pháp đóng băng hoàn toàn các tầng đặc trưng (đạt 88,2%).

Thứ hai, ở tác vụ kiểm tra tính hợp lệ của chữ ký và họ tên khách hàng (mô hình cl2_top), mô hình InceptionResNetV2 và DenseNet201 đạt độ chính xác nhận diện 94,8%, giúp giảm thiểu tỷ lệ bỏ sót các chứng từ thiếu chữ ký xuống mức dưới 5,2%.

Thứ ba, mô hình CRAFT OCR thể hiện năng lực vượt trội khi nhận dạng và trích xuất chính xác mã vận đơn (tracking number) với độ chính xác đạt trên 92,3% trên các mẫu ảnh thực tế có độ nghiêng và độ lóa sáng phức tạp.

Thứ tư, đối với các trường hợp không có chứng từ giấy (mô hình cl2_bot), việc unfreeze 10 layer cuối giúp phân loại chính xác ảnh chụp chân dung khách hàng, ảnh định vị địa chỉ và ảnh không hợp lệ với độ chính xác trung bình đạt 91,5%, loại bỏ hoàn toàn các trường hợp tải lên hình ảnh sai lệch cố ý.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình bắt nguồn từ cơ chế chia sẻ trọng số và khai thác bản đồ đặc trưng bậc cao từ các mô hình nạp sẵn (pre-trained models) được huấn luyện trên tập ImageNet với hơn 1,4 triệu hình ảnh. Kỹ thuật unfreeze từ 5 đến 10 layer cuối đã giúp mạng thích ứng hoàn hảo với các đặc trưng cục bộ đặc thù của hóa đơn vận chuyển như nếp gấp giấy, vệt mực chữ ký và độ bóng bề mặt gói hàng. Khi đối chiếu với các nghiên cứu nhận diện truyền thống sử dụng trích xuất thủ công như HOG hay SIFT (chỉ đạt độ chính xác dao động từ 72% đến 76%), giải pháp đề xuất thể hiện sự vượt bậc về cả độ ổn định lẫn tốc độ xử lý.

Về mặt trực quan hóa, toàn bộ kết quả thực nghiệm được tổng hợp chi tiết qua ma trận nhầm lẫn (Confusion Matrix) và các biểu đồ đường thể hiện quá trình hội tụ của hàm mất mát (Loss) và độ chính xác (Accuracy) sau 30 đến 50 epochs huấn luyện. Các biểu đồ so sánh cho thấy đường tiệm cận độ chính xác của phương pháp đề xuất cao hơn hẳn, đồng thời biên độ dao động sai số (validation loss) được thu hẹp tối đa, minh chứng cho tính ổn định của hệ thống khi triển khai vào môi trường vận hành thực tế.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, 4 khuyến nghị hành động cụ thể được đề xuất nhằm tối ưu hóa hoạt động logistics:

  1. Triển khai module tiền kiểm tra chất lượng ảnh trên ứng dụng di động của tài xế: Doanh nghiệp công nghệ logistics cần tích hợp thuật toán kiểm tra độ mờ, góc chụp và độ sáng ngay tại thời điểm chụp ảnh P.O.D. Mục tiêu nâng tỷ lệ ảnh đạt chuẩn ngay lần chụp đầu tiên lên trên 98%, triển khai trong vòng 3 tháng đầu năm 2024 do đội ngũ kỹ thuật ứng dụng di động chủ trì.
  2. Tự động hóa hoàn toàn luồng đối soát khiếu nại bằng pipeline OCR: Bộ phận vận hành và chăm sóc khách hàng cần tích hợp mô hình CRAFT OCR vào hệ thống quản trị đơn hàng (OMS/TMS). Mục tiêu rút ngắn thời gian xử lý khiếu nại thất lạc đơn hàng từ 48 giờ xuống dưới 15 phút, lộ trình thực hiện trong 6 tháng do phòng R&D và kỹ thuật hệ thống đảm nhiệm.
  3. Tối ưu hóa mô hình học sâu cho thiết bị biên (Edge AI): Đội ngũ kỹ sư trí tuệ nhân tạo cần thực hiện nén mô hình (model quantization) trên nền tảng MobileNetV2 để chạy trực tiếp trên smartphone của tài xế mà không cần gửi toàn bộ dữ liệu ảnh gốc về máy chủ, giúp tiết kiệm khoảng 60% băng thông và chi phí lưu trữ đám mây trong vòng 9 tháng.
  4. Chuẩn hóa quy chế bảo mật hình ảnh giao nhận: Ban quản lý chất lượng và pháp chế doanh nghiệp cần ban hành quy trình che mờ tự động (blurring) các thông tin nhạy cảm của khách hàng trên ảnh P.O.D, đảm bảo tuân thủ 100% quy định bảo vệ dữ liệu cá nhân theo Nghị định số 13/2023/NĐ-CP, hoàn thành trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

  • Doanh nghiệp vận chuyển và sàn thương mại điện tử: Cung cấp giải pháp công nghệ trực tiếp để tự động hóa khâu hậu kiểm, giảm thiểu hơn 40% chi phí nhân sự đối soát thủ công và xử lý hàng trăm nghìn đơn hàng giao nhận mỗi ngày một cách minh bạch.
  • Kỹ sư thị giác máy tính và Khoa học dữ liệu: Cung cấp tài liệu tham khảo chi tiết về kiến trúc phân loại đa tầng (hierarchical classification), kinh nghiệm fine-tuning 7 mô hình deep learning phổ biến và cách tích hợp CRAFT OCR vào bài toán công nghiệp thực tế.
  • Học viên cao học và nhà nghiên cứu công nghệ thông tin: Cung cấp phương pháp luận nghiên cứu thực nghiệm chuẩn mực, kỹ thuật xử lý dữ liệu ảnh thực tế tại Việt Nam với tỷ lệ chính xác trên 90%, làm tiền đề cho các đề tài mở rộng trong tương lai.
  • Giám đốc vận hành (COO) và Quản lý chuỗi cung ứng: Cung cấp góc nhìn chiến lược về chuyển đổi số quy trình xác nhận giao hàng, giúp nâng cao chỉ số hài lòng của khách hàng (CSAT) và giải quyết triệt để các tranh chấp vận đơn trong vòng 24 giờ.

Câu hỏi thường gặp

Ứng dụng P.O.D điện tử bằng Computer Vision mang lại hiệu quả kinh tế như thế nào?
Giải pháp giúp doanh nghiệp tự động hóa hơn 70% quy trình đối soát chứng từ, cắt giảm chi phí nhân sự hậu kiểm và giảm thiểu tổn thất tài chính do gian lận đơn hàng. Đồng thời, thời gian phản hồi khiếu nại được rút ngắn đáng kể, gia tăng uy tín thương hiệu.

Tại sao nghiên cứu lại chia nhỏ thành 3 mô hình phân loại thay vì dùng 1 mô hình duy nhất?
Việc thiết kế pipeline phân tầng giúp chia nhỏ bài toán phức tạp thành các tác vụ đơn giản: nhận diện chứng từ (cl1), kiểm tra tính đầy đủ của chữ ký (cl2_top) và phân loại ảnh hiện trường (cl2_bot), giúp độ chính xác tổng thể đạt trên 94% và dễ dàng cô lập lỗi.

Mô hình CRAFT OCR có điểm gì nổi trội so với các công cụ OCR truyền thống?
CRAFT phát hiện văn bản thông qua bản đồ nhận thức từng ký tự và vùng liên kết, cho phép nhận diện chính xác mã vận đơn ngay cả khi chữ in bị mờ, ảnh chụp bị nghiêng hoặc bề mặt gói hàng bị nhăn với độ chính xác đạt trên 92%.

Kỹ thuật Transfer Learning đóng góp gì vào thành công của đề tài?
Transfer Learning giúp tận dụng các bộ trọng số tối ưu từ tập dữ liệu lớn ImageNet, giúp mô hình đạt độ chính xác cao chỉ sau 30-50 epochs huấn luyện trên tập dữ liệu thực tế, tiết kiệm hơn 80% thời gian và tài nguyên tính toán phần cứng GPU.

Hệ thống có khả năng hoạt động trên các thiết bị di động có cấu hình khiêm tốn không?
Kiến trúc MobileNetV2 được nghiên cứu chuyên biệt cho các thiết bị di động, với kích thước nhỏ gọn và độ trễ thấp, cho phép thực thi trích xuất và phân loại ảnh trực tiếp trên thiết bị mà vẫn đảm bảo độ chính xác trên 90%.

Kết luận

  • Luận văn đã chuẩn hóa thành công quy trình phân loại ảnh và trích xuất dữ liệu hậu kiểm P.O.D theo cấu trúc phân tầng 4 bước tự động và hiệu quả.
  • Khảo sát và đối sánh toàn diện 7 kiến trúc mạng học sâu hàng đầu, xác định DenseNet201 và InceptionResNetV2 kết hợp Transfer Learning mang lại hiệu năng tối ưu nhất với độ chính xác trên 94%.
  • Ứng dụng thành công mô hình CRAFT OCR trong việc nhận dạng chính xác mã vận đơn đạt tỷ lệ trên 92,3%, phục vụ đối soát dữ liệu tự động.
  • Giúp các doanh nghiệp logistics cắt giảm hơn 70% thời gian xử lý tranh chấp giao hàng và loại bỏ nguy cơ gian lận chứng từ.
  • Đóng góp nguồn tài liệu tham khảo có giá trị cao cả về mặt lý thuyết học sâu lẫn khả năng triển khai thực tế trong ngành chuỗi cung ứng.

Trong lộ trình từ 6 đến 12 tháng tới, hướng phát triển tiếp theo của nghiên cứu là hoàn thiện hệ thống suy luận thời gian thực (real-time inference) trên môi trường sản xuất thực tế. Doanh nghiệp và các nhà nghiên cứu quan tâm có thể khai thác toàn văn công trình để áp dụng ngay các giải pháp thị giác máy tính tiên tiến vào việc tối ưu hóa quy trình giao nhận hiện đại.