Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Sự phát triển của các thiết bị thu nhận hình ảnh kỹ thuật số đã thúc đẩy sự bùng nổ của dữ liệu đa phương tiện, đặc biệt là video số trên truyền hình và Internet. Trong lĩnh vực thương mại và tiếp thị, các nhà sản xuất và quảng cáo tận dụng các video có sẵn lượng người xem lớn (phim ảnh, chương trình thể thao, sự kiện) để chèn hoặc tích hợp các đối tượng quảng cáo như biểu trưng (logo), nhãn hiệu, biển quảng cáo (billboard). Tuy nhiên, phần lớn các thao tác chèn, loại bỏ hoặc thay thế đối tượng quảng cáo hiện nay vẫn được thực hiện thủ công trong quá trình hậu xử lý. Quy trình thủ công đòi hỏi chuyên viên phải duyệt qua từng khung hình (frame), xác định vị trí phù hợp, thao tác chỉnh sửa và làm mịn vùng biên để đảm bảo tính chân thực, dẫn đến chi phí cao, tốn nhiều thời gian và không khả thi khi áp dụng cho khối lượng dữ liệu video khổng lồ.

Về mặt công nghệ thị giác máy tính, việc tự động hóa chuỗi xử lý này đối mặt với các khoảng trống kỹ thuật rõ rệt:

  • Các phương pháp dò tìm truyền thống dựa trên trích chọn điểm đặc trưng thủ công (như SIFT, SURF, Haar wavelets) có tốc độ xử lý chậm, độ chính xác không cao và suy giảm hiệu năng khi đối tượng bị biến dạng hình học hoặc thay đổi tỷ lệ.
  • Các mô hình dò tìm học sâu hai trạng thái (như R-CNN, Fast R-CNN, Faster R-CNN) cho độ chính xác phân loại tốt nhưng tốc độ tính toán chậm, không đáp ứng yêu cầu xử lý thời gian thực (>30 hình/giây) trên chuỗi khung hình video.
  • Các mô hình dò tìm một trạng thái (như YOLO, SSD) đạt tốc độ cao nhưng chủ yếu trích chọn đặc trưng mức cao ở các tầng cuối, dẫn đến độ chính xác định vị chưa tối ưu khi đối tượng quảng cáo có sự biến thiên lớn về kích thước.
  • Bài toán nhận dạng hình dáng cụ thể của đối tượng yêu cầu đối sánh trên các cơ sở dữ liệu vector đặc trưng số chiều lớn (hàng nghìn chiều); các kỹ thuật lượng tử hóa truyền thống (như PQ, OPQ, LOPQ) đòi hỏi chi phí tính toán và bộ nhớ lớn trong quá trình huấn luyện codebook.
  • Quá trình loại bỏ hoặc thay thế đối tượng để lại các vùng bị phá hủy (vùng khuyết thiếu thông tin); các kỹ thuật hoàn thiện video (video inpainting) hiện hữu gặp khó khăn trong việc duy trì tính nhất quán về không gian và thời gian khi các vùng khuyết thiếu có hình dạng và kích thước bất kỳ.

Từ những hạn chế thực tế và công nghệ nêu trên, luận án tập trung nghiên cứu, cải tiến các kỹ thuật xử lý tự động trong bài toán phát hiện và thay thế đối tượng quảng cáo trong video nhằm tối ưu hóa đồng thời tốc độ xử lý và độ chính xác.

Mục tiêu nghiên cứu

Mục tiêu cụ thể của luận án là nghiên cứu, cải tiến các kỹ thuật xử lý các vấn đề cốt lõi trong bài toán hậu xử lý và hiểu video, ứng dụng cho việc phát hiện và thay thế đối tượng quảng cáo nhằm đạt hiệu năng cao về tốc độ (>30 khung hình/giây) và độ chính xác (mAP > 80%). Luận án chia các nội dung nghiên cứu thành 4 vấn đề cụ thể:

  1. Vấn đề 1: Nghiên cứu, cải tiến mô hình dò tìm, định vị đối tượng trong video theo thời gian thực.
  2. Vấn đề 2: Nghiên cứu, cải tiến kỹ thuật đối sánh, tìm kiếm ứng dụng cho bài toán nhận dạng hình dạng của đối tượng tìm thấy trong video.
  3. Vấn đề 3: Nghiên cứu, áp dụng kỹ thuật phân vùng đối tượng dùng để trích chọn vùng hiển thị của đối tượng.
  4. Vấn đề 4: Nghiên cứu, cải tiến kỹ thuật tái tạo/hoàn thiện video sau hiệu chỉnh video.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các kỹ thuật dò tìm, nhận dạng đối tượng tự động và các kỹ thuật hoàn thiện video theo hướng tiếp cận đối tượng trên chuỗi khung hình liên tục.
  • Phạm vi dữ liệu đầu vào: Phần hình ảnh của đoạn video đã được số hóa theo định chuẩn MPEG-4 dùng cho truyền hình vô tuyến và mạng Internet, được phân tách sẵn thành chuỗi khung hình liên tiếp. Tỷ lệ khung hình chuẩn là 16:9 với độ phân giải 720p (1280 x 720 pixel) hoặc 480p (854 x 480 pixel). Luận án không đi sâu vào cấu trúc mã hóa tệp tin, trích chọn cảnh quay tự động hay việc đồng bộ tín hiệu âm thanh.
  • Phạm vi đối tượng nhận dạng và thay thế: Các hình ảnh tĩnh, hai chiều (2D) của đối tượng quảng cáo (logo, nhãn hiệu thương mại) có tính phân biệt tương đối với nền hiển thị. Kích thước đối tượng trong khung hình được giới hạn trong khoảng từ 20 pixel đến 400 pixel cho mỗi chiều.
  • Phạm vi vùng phá hủy cần hoàn thiện: Các vùng trống hình thành sau khi xóa bỏ hoặc thay thế đối tượng có hình dạng bất kỳ, nhưng tập trung chủ yếu vào các dạng khuyết tật dạng đường cong, đường thẳng, đường kẻ hoặc hình điểm có độ dày không quá lớn.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

Luận án đã hệ thống hóa các công trình liên quan trực tiếp đến từng thành phần của hệ thống phát hiện và thay thế đối tượng trong video:

Nghiên cứu phát hiện quảng cáo và can thiệp nội dung video:

  • Hussain và các cộng sự [34] đề xuất ý tưởng tự động hiểu nội dung quảng cáo và phân tích cảm nhận của người xem.
  • Feng [23] phát hiện logo trong quảng cáo truyền hình dựa trên sự kết hợp giữa đặc trưng video và âm thanh. Nghiên cứu [17] khai thác kỹ thuật khớp mẫu âm thanh để định vị quảng cáo trong chuỗi video.
  • Trong phân tích thể thao, Watve và cộng sự [84] sử dụng kỹ thuật khớp mẫu để định vị bảng quảng cáo trên sân vận động; Cai và cộng sự [13] sử dụng phép biến đổi Hough để phát hiện biển quảng cáo trên truyền hình.
  • Các ứng dụng can thiệp nội dung cụ thể: chèn hình ảnh vào video [51], thay thế biển quảng cáo ảo (virtual billboard) trong video thể thao [55], biến đổi hành vi của vận động viên [77], loại bỏ nhãn hiệu thương mại khỏi video truyền hình [89]. Các công trình này phần lớn dựa trên điểm đặc trưng cục bộ nên tốc độ xử lý chậm và độ chính xác chưa cao.

Nghiên cứu về dò tìm và nhận dạng đối tượng:

  • Dựa trên điểm đặc trưng: Haar wavelets [28] và ứng dụng của Viola-Jones [49] cho dò tìm khuôn mặt; bộ lọc Gabor trích xuất kết cấu; biểu đồ hướng gradient (HOG) tính trên lưới dày [19]; thuật toán biến đổi đặc trưng bất biến tỷ lệ SIFT của Lowe [54]; PCA-SIFT [42]; bộ dò tìm vùng hiệp biến affine SURF của Bay và cộng sự [9].
  • Dựa trên mô hình từng phần: Mô hình xác suất từng phần [85] và mô hình cấu trúc hình ảnh (pictorial structures) của Felzenszwalb và Huttenlocher [22].
  • Dựa trên mạng nơron tích chập sâu (DCNN): Mạng AlexNet của Krizhevsky và cộng sự [46], VGG16 [74], Inception [76], Residual Networks [31].
  • Mô hình dò tìm hai trạng thái: R-CNN của Girshick và cộng sự [26], Fast R-CNN [25], Faster R-CNN của Ren và cộng sự [71].
  • Mô hình dò tìm một trạng thái: YOLO của Redmon và cộng sự [68], YOLOv2 [69], YOLOv3 [70], SSD của Liu và cộng sự [52].
  • Nhận dạng logo quảng cáo: Truy vấn ảnh dựa trên SIFT [4, 40]; bộ nhóm ba đặc trưng [72]; mạng LOGO-Net của Hoi và cộng sự [33] dựa trên R-CNN/Fast R-CNN; ứng dụng SSD nhận dạng logo của Bombonato và cộng sự [12].

Nghiên cứu lượng tử hóa vector và tìm kiếm lân cận gần đúng (ANN):

  • Phương pháp lượng tử hóa tích đề các (Product Quantization - PQ) do Jégou và cộng sự đề xuất [38], tính toán khoảng cách đối xứng (SDC) và bất đối xứng (ADC).
  • Các biến thể cải tiến của PQ: Lượng tử hóa tích đề các tối ưu (OPQ) của Ge và cộng sự [24]; Lượng tử hóa tích đề các tối ưu cục bộ (LOPQ) của Kalantidis và Avrithis [41].

Nghiên cứu hoàn thiện ảnh và video (Inpainting):

  • Dựa trên lấy mẫu (Patch-based): Thuật toán tổng hợp kết cấu của Efros và Leung [21]; thuật toán PatchMatch của Barnes và cộng sự [7] và bản tổng quát hóa [6]; các cải tiến thứ tự ưu tiên ghép mẫu của Huang và cộng sự [47], Bugeau và cộng sự [8]; mở rộng sang video không gian - thời gian 3D của Wexler và cộng sự [86], Newson và cộng sự [81].
  • Dựa trên mạng DCNN 2D: Köhler và cộng sự [87]; kiến trúc Context Encoders dạng encoder-decoder của Pathak và cộng sự [64]; kết hợp lấy mẫu và DCNN độ phân giải cao của Yang và cộng sự [90]; mô hình sử dụng hàm mất mát đối kháng toàn cục và cục bộ của Iizuka và cộng sự [36]; phương pháp của Yu và cộng sự [92].
  • Dựa trên DCNN 3D cho video: Mô hình encoder-decoder tích chập 3D của Wang và cộng sự [73], Dai và các cộng sự [18]; giải pháp siêu phân giải chuỗi của Wang và cộng sự [83]; mạng lai kết hợp cấu trúc toàn cục và cục bộ của Han và cộng sự [29].

Khoảng trống nghiên cứu luận án lựa chọn giải quyết

Từ việc phân tích các hạn chế của các công trình đi trước, luận án xác định và tập trung giải quyết các khoảng trống sau:

  1. Thiếu một mô hình dò tìm đối tượng vừa đáp ứng tốc độ thời gian thực (>30 khung hình/giây), vừa đạt độ chính xác cao trên các tập dữ liệu logo biến thiên mạnh về tỷ lệ, đồng thời có khả năng trích xuất trực tiếp vector đặc trưng nhiều chiều phục vụ cho các bước xử lý kế tiếp.
  2. Chi phí bộ nhớ và thời gian huấn luyện codebook của các phương pháp lượng tử hóa hiện hành (PQ, OPQ, LOPQ) còn cao khi áp dụng trên các cơ sở dữ liệu vector đặc trưng số chiều lớn (hàng nghìn chiều).
  3. Thiếu giải pháp video inpainting có khả năng tái tạo mượt mà các vùng khuyết thiếu có hình dạng bất kỳ phát sinh sau quá trình tách bỏ đối tượng mà vẫn bảo toàn được tính nhất quán không gian và thời gian.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khái niệm cốt lõi

  • Cấu trúc phân cấp của video: Video số là sự kết hợp đồng bộ giữa dữ liệu hình ảnh và âm thanh. Phần hình ảnh được cấu thành theo thứ tự phân cấp: Khung hình (Frame - ảnh tĩnh độc lập) $\rightarrow$ Cú lia máy (Shot - chuỗi khung hình liên tục từ một thao tác camera) $\rightarrow$ Cảnh quay (Scene - tập hợp các shot liền kề mô tả cùng một ngữ nghĩa). Tần số khung hình tiêu chuẩn đạt 25 đến 30 hình/giây. Mắt người giới hạn phân biệt hình ảnh chuyển động ở mức 72 dpi; do đó dữ liệu chuẩn sử dụng độ phân giải này để giảm dung lượng lưu trữ.
  • Phân vùng ảnh: Phân biệt rõ giữa phân vùng ngữ nghĩa (semantic segmentation - phân loại điểm ảnh theo nhãn lớp chung) và phân vùng thực thể (instance segmentation - vừa phân loại điểm ảnh theo nhãn lớp, vừa phân biệt ranh giới giữa từng cá thể riêng biệt trong cùng một lớp).
  • Lượng tử hóa vector (VQ) và Lượng tử hóa tích đề các (PQ):
    • Hàm lượng tử hóa vector $Q(x, C)$ ánh xạ một vector $x \in \mathbb{R}^D$ thành một codeword $c_k \in C$ (với $k \in {1, \dots, |C|}$, trọng tâm cụm Voronoi $V_k$). Mục tiêu huấn luyện codebook $C$ dựa trên tối thiểu hóa lỗi bình phương trung bình (MSE): $$\min_{C} \sum_{x \in Z} |x - Q(x, C)|_2^2$$
    • Trong PQ, không gian $\mathbb{R}^D$ được chia thành $M$ không gian con trực giao có số chiều $D/M$. Mỗi vector $x$ được phân rã thành $M$ vector con: $x = [x^{(1)}, \dots, x^{(M)}]$. Codebook tổng thể là tích đề các $C = C^{(1)} \times \dots \times C^{(M)}$. Hàm tối thiểu hóa MSE được tách thành tổng độc lập trên từng không gian con: $$\sum_{i=1}^M \min_{C^{(i)}} \sum_{x \in Z} |x^{(i)} - Q(x, C^{(i)})|_2^2$$
    • Đo khoảng cách xấp xỉ: Luận án phân tích hai cơ chế gồm tính khoảng cách đối xứng (SDC: $d(y, x) \approx d(Q(y), Q(x))$) và tính khoảng cách bất đối xứng (ADC: $d(y, x) \approx |y - Q(x)|2^2 = \sum{m=1}^M |y^{(m)} - c_{k_m(x)}|_2^2$). ADC cho khoảng cách chính xác hơn do không lượng tử hóa vector truy vấn $y$, trong khi chi phí tra bảng tương đương SDC.

Khung phân tích hệ thống phát hiện và thay thế đối tượng (4 pha)

Hệ thống xử lý tổng thể nhận đầu vào gồm: chuỗi khung hình video, nhãn đối tượng nguồn cần tìm và đối tượng đích dùng để thay thế. Chuỗi xử lý gồm 4 pha:

  1. Pha 1 (Lấy mẫu và tạo lập chỉ mục đặc trưng nguồn): Thu thập các biến thể hình học của đối tượng nguồn và đích; sử dụng mạng DCNN trích xuất vector đặc trưng 4096 chiều; lập chỉ mục tập vector bằng kỹ thuật lượng tử hóa cụm vector con (PSVQ).
  2. Pha 2 (Dò tìm đối tượng trong từng khung hình): Áp dụng mô hình cải tiến YOLO-Adv để quét khung hình, xuất ra tọa độ bounding box và vector đặc trưng 4096 chiều của đối tượng tìm thấy.
  3. Pha 3 (Nhận dạng hình dạng đối tượng): Thực hiện tìm kiếm lân cận gần đúng (ANN) trên cây phân cụm thứ bậc kết hợp PSVQ để xác định hình dạng tương đồng nhất giữa đối tượng truy vấn và cơ sở dữ liệu mẫu; từ đó ánh xạ ra dạng biến đổi hình học tương ứng của đối tượng đích.
  4. Pha 4 (Thay thế và hoàn thiện video): Áp dụng phân vùng thực thể (Mask R-CNN) để bóc tách chính xác phần hiển thị của đối tượng nguồn; xóa bỏ đối tượng nguồn và chèn đối tượng đích; sử dụng mô hình V-RBPconv lấp đầy các vùng biên bị khuyết thiếu (video inpainting).

Phương pháp nghiên cứu thực tế

Luận án kết hợp phương pháp nghiên cứu lý thuyết (tổng hợp mô hình giải thuật toán học, mạng nơron tích chập, lý thuyết lượng tử hóa không gian vector) và phương pháp thực nghiệm mô phỏng trên máy tính số:

  • Tập dữ liệu sử dụng:
    • Dò tìm và nhận dạng logo: FlickrLogos-32, FlickrLogos-47.
    • Đánh giá lập chỉ mục vector đặc trưng và tìm kiếm ANN: ANN_GIST, VGG.
    • Phân vùng thực thể và đánh giá phân lớp: PASCAL VOC2012.
    • Đánh giá hoàn thiện ảnh và video: Places2, Free-form video inpainting dataset (FVI).
  • Công cụ, môi trường và chỉ số đo lường:
    • Phần cứng: Đánh giá trên hệ thống có cấu hình CPU và GPU (chi tiết bảng 2.1).
    • Thước đo hiệu năng: Độ chính xác trung bình (mAP), sai số bình phương trung bình (MSE), tỷ số tín hiệu cực đại trên nhiễu (PSNR), chỉ số đồng nhất cấu trúc (SSIM), khoảng cách Frechet Inception (FID), chỉ số tương đồng mẫu ảnh tri giác học được (LPIPS), tỷ lệ trùng khớp hộp bao (IoU), tốc độ khung hình xử lý trên giây (fps).

Nội dung chính theo từng chương

Chương 1: Tổng quan về bài toán phát hiện và thay thế đối tượng trong video

Chương 1 thiết lập cơ sở lý luận, hệ thống hóa các khái niệm kỹ thuật và khảo sát toàn diện các phương pháp liên quan đến chuỗi xử lý phát hiện và thay thế đối tượng trong dữ liệu đa phương tiện.

Tác giả phân tích các đặc tính kỹ thuật của video số: cấu trúc phân đoạn (frame, shot, scene), các định chuẩn truyền hình (NTSC tỷ lệ 4:3 độ phân giải 720x480 pixel; PAL 720x576 pixel; chuẩn màn ảnh rộng tỷ lệ 16:9), các thuật toán nén có mất mát thông tin (MPEG-1 cho đĩa CD dung lượng 700MB; MPEG-2 cho DVD dung lượng 4.7GB; MPEG-4 và AVI cho truyền tải mạng băng thông hẹp với tốc độ dưới 500 Kbps). Luận án giới hạn phạm vi xử lý trên các luồng video MPEG-4 độ phân giải 720p và 480p đã được phân rã thành chuỗi khung hình liên tục.

Trọng tâm của chương là việc nhận diện các trở ngại kỹ thuật tác động lên bề mặt hiển thị của đối tượng quảng cáo trong video:

  1. Biến đổi bên trong lớp (Intra-class variation): Đối tượng quảng cáo thay đổi màu sắc, độ tương phản phụ thuộc vào nền (ví dụ: hiển thị trên biển quảng cáo nền sáng khác với hiển thị trên bao bì sản phẩm nền tối) hoặc sự tồn tại của nhiều phiên bản thương hiệu khác nhau.
  2. Biến đổi về tỷ lệ (Scale variation): Kích thước vùng hiển thị của đối tượng trong khung hình có thể chênh lệch nhau lên tới 50 lần. Các đối tượng có kích thước quá nhỏ (dưới 20 pixel) gây mất mát đặc trưng nghiêm trọng.
  3. Biến đổi về hình thể và góc nhìn (Pose variation): Góc thu hình của camera tạo ra các biến đổi phối cảnh 2D trên mặt phẳng.
  4. Khuyết thiếu và che khuất (Occlusion and truncation): Đối tượng bị khung hình cắt một phần hoặc bị đối tượng khác che chắn trong cảnh quay.
  5. Bề mặt hiển thị phi phẳng: Đối tượng xuất hiện trên các bề mặt cong hoặc bị gấp nếp (ví dụ: nhãn chai bia uốn cong quanh thân chai, nếp gấp trên áo đấu thể thao).

Từ những thách thức đó, chương tổng kết hạn chế của các phương pháp truyền thống và khẳng định sự cần thiết của việc xây dựng hệ thống 4 pha dựa trên DCNN kết hợp kỹ thuật lượng tử hóa vector và video inpainting.

Chương 2: Phát hiện đối tượng trong video

Chương 2 trình bày hai đóng góp kỹ thuật cốt lõi phục vụ bài toán phát hiện đối tượng: mô hình dò tìm đối tượng cải tiến YOLO-Adv và kỹ thuật lập chỉ mục nhận dạng hình dạng PSVQ kết hợp cây phân cụm thứ bậc.

1. Mô hình dò tìm đối tượng cải tiến YOLO-Adv

Từ nền tảng của mạng dò tìm đối tượng một trạng thái YOLOv3 (chia ảnh thành lưới $S \times S$ ô, mỗi ô dự đoán $B$ bounding box với 5 tham số: tọa độ tâm $(x, y)$, kích thước $(w, h)$ tương đối và điểm tin cậy Confidence score), tác giả phát triển mô hình cải tiến YOLO-Adv với các nội dung tinh chỉnh:

  • Cải tiến trong hàm loss: Tái cấu trúc hàm mất mát để tối ưu hóa trọng số phạt đối với các đối tượng có kích thước trung bình và nhỏ, cân bằng giữa sai số tọa độ hộp bao (sử dụng độ đo IoU) và xác suất phân lớp đối tượng.
  • Cải tiến kiến trúc mạng: Điều chỉnh các tầng tích chập sâu và các kết nối tắt (residual connections), tăng cường khả năng trích xuất và kết hợp đặc trưng ở nhiều tỷ lệ phân giải khác nhau mà không làm gia tăng đột biến chi phí tính toán.
  • Trích chọn đặc trưng phục vụ nhận dạng: Mạng được thiết kế để trích xuất trực tiếp vector đặc trưng 4096 chiều giàu ngữ nghĩa của vùng đối tượng tương ứng với tọa độ bounding box phát hiện được. Vector này được sử dụng trực tiếp làm đầu vào cho pha nhận dạng hình dạng kế tiếp.
  • Thực nghiệm và đánh giá:
    • Mô hình được cài đặt và đánh giá trên phần cứng tiêu chuẩn (Bảng 2.1).
    • Dữ liệu kiểm thử sử dụng tập FlickrLogos-47 (tập dữ liệu mở rộng chú giải bao gồm 47 lớp logo thương mại).
    • Quá trình huấn luyện ghi nhận sự hội tụ ổn định của giá trị hàm loss trung bình (Hình 2.5) và chỉ số IoU liên tục tăng (Hình 2.6).
    • Kết quả so sánh định lượng (Bảng 2.2) cho thấy YOLO-Adv duy trì tốc độ xử lý thời gian thực (>30 khung hình/giây) và độ chính xác mAP đạt mức cao (>80%), vượt trội hơn so với các phiên bản gốc của YOLO và SSD trên tập dữ liệu này.

2. Kỹ thuật nhận dạng hình dạng đối tượng dựa trên PSVQ và cây phân cụm

Để nhận diện chính xác kiểu dáng, tư thế và độ biến dạng hình học của đối tượng sau khi đã định vị, luận án sử dụng chiến lược đối sánh vector đặc trưng 4096 chiều:

  • Mô hình lập chỉ mục PSVQ (Product sub-vector quantization): Khắc phục nhược điểm của PQ truyền thống (vốn chia cắt vector thành các không gian con độc lập mà bỏ qua mối tương quan giữa các nhóm chiều lân cận), PSVQ gom cụm các vector con có tính tương đồng cấu trúc trước khi thực hiện lượng tử hóa tích đề các. Giải pháp này giúp giảm đáng kể chi phí bộ nhớ lưu trữ codebook và rút ngắn thời gian huấn luyện.
  • Tìm kiếm ANN dựa trên cây phân cụm thứ bậc: Xây dựng cấu trúc cây chỉ mục phân cấp trên tập dữ liệu mã hóa PSVQ. Khi nhận vector truy vấn 4096 chiều, thuật toán duyệt cây để thu hẹp không gian tìm kiếm về một tập nhỏ các nút lá tiềm năng, sau đó áp dụng phép tính khoảng cách bất đối xứng ADC để xác định vector lân cận gần nhất theo khoảng cách Euclid.
  • Thực nghiệm và đánh giá:
    • Đánh giá chất lượng mã hóa của PSVQ thông qua sai số MSE trên các tập dữ liệu vector đặc trưng số chiều lớn như ANN_GIST và VGG (Hình 2.8, Bảng 2.4, Bảng 2.5).
    • Đánh giá tốc độ tìm kiếm và độ chính xác tra cứu ANN dưới sự thay đổi của các tham số kích thước không gian con $d$ và số lượng codeword $k$ (Hình 2.9, Hình 2.10, Hình 2.11). Kết quả chứng minh giải pháp kết hợp giữa cây phân cụm thứ bậc và PSVQ đạt tốc độ truy xuất nhanh hơn cấu trúc danh sách ngược IVFADC truyền thống trong khi vẫn duy trì độ chính xác xấp xỉ cao.

Chương 3: Thay thế đối tượng và hoàn thiện video

Chương 3 trình bày các kỹ thuật bóc tách vùng hiển thị đối tượng và tái tạo video sau khi can thiệp thay thế.

1. Phân vùng đối tượng và phát sinh mặt nạ

  • Để loại bỏ đối tượng nguồn mà không gây tổn hại đến vùng nền xung quanh, luận án áp dụng kỹ thuật phân vùng thực thể bằng mạng Mask R-CNN (Hình 3.3).
  • Mạng tiếp nhận vùng quan tâm (RoI) được định vị từ pha dò tìm, tiến hành phân loại điểm ảnh nhị phân để trích xuất mặt nạ chính xác của phần hiển thị đối tượng (Hình 3.1, Hình 3.2).
  • Thử nghiệm trên tập dữ liệu chuẩn PASCAL VOC2012 (Hình 3.5) và bảng so sánh 3.1 cho thấy mô hình phân vùng thực thể bóc tách đường biên đối tượng chính xác hơn so với các phương pháp phân vùng ngữ nghĩa truyền thống, loại bỏ triệt để các pixel của đối tượng nguồn khỏi khung hình.

2. Mô hình hoàn thiện video V-RBPconv

Sau khi bóc tách đối tượng nguồn và chèn đối tượng đích, sự không tương đồng hoàn toàn về hình học để lại các vùng biên bị khuyết thiếu (vùng mặt nạ phá hủy có dạng đường cong, đường kẻ hoặc điểm ngẫu nhiên). Luận án đề xuất mô hình V-RBPconv:

  • Kiến trúc mạng nền tảng RBPconv: Xây dựng dựa trên các tầng tích chập sâu kết hợp khối residual cải tiến (Hình 3.8, Hình 3.9), được tối ưu hóa chuyên biệt cho nhiệm vụ tái tạo cấu trúc và kết cấu cục bộ của ảnh.
  • Kiến trúc mô hình video inpainting V-RBPconv: Mở rộng RBPconv sang chuỗi khung hình video (Hình 3.7) bằng cách tích hợp các cơ chế lan truyền thông tin theo trục thời gian, khắc phục hiện tượng nhấp nháy (flickering) giữa các khung hình liên tiếp. Mô hình có khả năng xử lý mặt nạ dạng tự do (free-form masks) với độ dày và kích thước biến thiên bất kỳ.
  • Thực nghiệm và đánh giá định tính, định lượng:
    • Đánh giá trên tập dữ liệu ảnh chuẩn Places2 (Bảng 3.2): So sánh đối chứng giữa các mô hình CA (Contextual Attention), Pconv (Partial Convolution), EC (EdgeConnect) và mô hình RBPconv đề xuất. Kết quả định lượng (PSNR, SSIM, LPIPS) chứng minh RBPconv vượt trội về độ sắc nét kết cấu và giảm thiểu vết mờ tại vùng tái tạo (Hình 3.11).
    • Đánh giá trên tập dữ liệu video khuyết thiếu FVI (Bảng 3.3): So sánh V-RBPconv với các mô hình video inpainting tiêu biểu gồm EC, CombCN và 3DGated (Hình 3.6). Kết quả định lượng (FID, PSNR, SSIM) và so sánh trực quan (Hình 3.12) khẳng định V-RBPconv tái tạo vùng khuyết thiếu mượt mà, bảo toàn được tính kết cấu không gian và tính nhất quán thời gian của chuỗi cảnh quay.

Kết quả và những đóng góp mới

Các đóng góp mới về mặt khoa học và kỹ thuật

Luận án đã công bố các kết quả nghiên cứu qua các bài báo khoa học (từ CT1 đến CT6), bao gồm 3 đóng góp chính:

  1. Mô hình dò tìm đối tượng cải tiến YOLO-Adv: Cải tiến kiến trúc mạng và hàm mất mát của mô hình dò tìm một trạng thái YOLOv3; nâng cao độ chính xác phát hiện đối tượng quảng cáo (mAP > 80%) trong khi duy trì tốc độ xử lý theo thời gian thực (>30 fps); tích hợp khả năng xuất đồng thời tọa độ bounding box và vector đặc trưng 4096 chiều mà không cần qua bước tiền xử lý ảnh (CT1).
  2. Kỹ thuật lập chỉ mục và tìm kiếm hình dạng đối tượng PSVQ kết hợp cây phân cụm thứ bậc: Phát triển giải thuật lượng tử hóa tích đề các cụm vector (Product sub-vector quantization) cho các cơ sở dữ liệu vector đặc trưng số chiều lớn; tối ưu hóa cấu trúc cây phân cấp giúp tăng tốc độ tìm kiếm lân cận gần đúng (ANN) theo khoảng cách Euclid, giảm thiểu chi phí bộ nhớ lưu trữ codebook và thời gian huấn luyện (CT2, CT3, CT4, CT6).
  3. Mô hình hoàn thiện video V-RBPconv: Cải tiến kiến trúc mạng tích chập dựa trên RBPconv với các khối residual cải tiến; giải quyết hiệu quả bài toán lấp đầy vùng khuyết thiếu có hình dạng và kích thước bất kỳ (free-form mask); duy trì tính kết cấu không gian và sự mượt mà nhất quán theo trục thời gian của video đầu ra (CT5).

Bảng tổng hợp các giải pháp kỹ thuật đề xuất trong luận án

Pha xử lý trong hệ thống Phương pháp / Mô hình đề xuất Mô hình cơ sở / Phương pháp đối chứng Tập dữ liệu thực nghiệm Kết quả hiệu năng chính
Dò tìm đối tượng YOLO-Adv YOLO, YOLOv2, YOLOv3, SSD FlickrLogos-47 Tốc độ >30 fps (thời gian thực), mAP > 80%, xuất trực tiếp vector 4096 chiều
Nhận dạng hình dạng PSVQ kết hợp Cây phân cụm thứ bậc PQ, OPQ, LOPQ, IVFADC ANN_GIST, VGG Giảm lỗi tái tạo MSE, giảm thời gian huấn luyện codebook, tăng tốc tra cứu ANN
Phân vùng thực thể Mask R-CNN Phương pháp phân vùng ngữ nghĩa PASCAL VOC2012 Tách chính xác đường biên thực thể đối tượng nguồn
Hoàn thiện ảnh RBPconv CA, Pconv, EC Places2 Cải thiện các chỉ số định lượng PSNR, SSIM, LPIPS; ảnh sắc nét
Hoàn thiện video V-RBPconv EC, CombCN, 3DGated FVI (Free-form video inpainting) Bảo toàn tính nhất quán thời gian, giảm rung giật (flicker), tối ưu chỉ số FID, PSNR

Kiến nghị và khả năng ứng dụng thực tiễn

  • Ứng dụng trong truyền hình số và tiếp thị thương mại: Tự động phát hiện, thống kê tần suất xuất hiện của các nhãn hàng trong các chương trình trực tiếp hoặc video theo yêu cầu.
  • Ứng dụng trong phát sóng thể thao: Tích hợp hoặc thay thế các biển quảng cáo ảo (virtual billboard) xung quanh sân vận động phù hợp với từng khu vực địa lý phát sóng mà không cần lắp đặt biển hiệu vật lý.
  • Ứng dụng trong công nghiệp điện ảnh và hậu kỳ video: Hỗ trợ tự động hóa việc xóa bỏ các biểu trưng, nhãn hiệu thương mại không mong muốn hoặc các đối tượng lạ xuất hiện trong cảnh quay sau khi ghi hình.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được ghi nhận từ văn bản

  • Chưa xây dựng mô hình học sâu đầu-cuối thống nhất: Hệ thống phát hiện và thay thế đối tượng đề xuất vẫn là sự kết hợp của 4 pha xử lý tương đối độc lập (dò tìm, nhận dạng vector, phân vùng, hoàn thiện video), chưa tích hợp thành một kiến trúc duy nhất để huấn luyện tối ưu hóa toàn cục.
  • Giới hạn không gian và hình học của đối tượng: Đối tượng quảng cáo được giới hạn là hình ảnh tĩnh phẳng 2 chiều (2D), kích thước nằm trong khoảng từ 20 đến 400 pixel; hệ thống chưa tối ưu cho các vật thể 3D phức tạp có sự thay đổi góc quay đa chiều lớn.
  • Giả định dữ liệu đầu vào: Luận án giả định phần hình ảnh của video MPEG-4 đã được phân đoạn sẵn thành chuỗi khung hình liên tục; chưa tích hợp module tự động phát hiện chuyển cảnh (shot boundary detection) hoặc xử lý phân đoạn video trực tiếp từ luồng nén.
  • Xử lý âm thanh: Hệ thống chỉ tập trung vào phần dữ liệu hình ảnh, hoàn toàn chưa đề cập đến việc đồng bộ hoặc xử lý lại tín hiệu âm thanh tương ứng khi đối tượng bị thay thế.
  • Đặc thù vùng khuyết thiếu: Mô hình V-RBPconv được tối ưu tốt nhất cho các vùng khuyết thiếu dạng đường kẻ, đường cong hoặc điểm mảnh sinh ra do chênh lệch biên giữa hai đối tượng; đối với các vùng phá hủy kích thước quá lớn, độ phân giải cao, chi tiết kết cấu tái tạo vẫn có thể xuất hiện vết mờ cục bộ.

Hướng nghiên cứu tiếp

  • Nghiên cứu mô hình học sâu hợp nhất có khả năng tối ưu hóa từ đầu đến cuối (end-to-end) cho toàn bộ quy trình phát hiện, phân vùng và thay thế đối tượng trong video.
  • Mở rộng thuật toán để nhận dạng và bóc tách các đối tượng 3D biến dạng phi tuyến tính trên các bề mặt chuyển động phức tạp.
  • Phát triển module tự động phân đoạn cảnh quay trực tiếp trên luồng nén và tích hợp công nghệ tổng hợp âm thanh đồng bộ với hình ảnh sau hiệu chỉnh.

Giá trị tham khảo

Đối tượng thụ hưởng

  • Nghiên cứu sinh và học viên cao học ngành Khoa học máy tính, Thị giác máy tính: Tài liệu cung cấp cơ sở phương pháp luận chi tiết về việc tinh chỉnh mô hình dò tìm một trạng thái, lý thuyết lượng tử hóa không gian vector nhiều chiều và các kỹ thuật xử lý chuỗi khung hình video bằng DCNN.
  • Kỹ sư phát triển hệ thống đa phương tiện và xử lý ảnh/video: Cung cấp kiến trúc hệ thống 4 pha chi tiết, giải pháp kết hợp giữa tìm kiếm ANN và mạng nơron tích chập để giải quyết bài toán thời gian thực trên phần cứng GPU thương mại.
  • Đơn vị truyền thông, đài truyền hình và doanh nghiệp quảng cáo: Cung cấp cơ sở công nghệ để xây dựng các giải pháp tự động hóa chèn biển quảng cáo ảo, kiểm duyệt nhãn hiệu thương mại và phân tích nội dung tiếp thị số.

Các nội dung có giá trị tham khảo chuyên sâu

  • Chương 2: Là tài liệu tham khảo chi tiết về kỹ thuật điều chỉnh hàm loss của YOLOv3 để dò tìm vật thể nhỏ/vừa, cùng kỹ thuật toán học lượng tử hóa cụm vector con PSVQ kết hợp cấu trúc cây phân cấp trong bài toán tìm kiếm ảnh theo nội dung (CBIR).
  • Chương 3: Cung cấp khung kiến trúc và quy trình đánh giá định lượng cho bài toán video inpainting với các tập dữ liệu chuẩn như Places2 và FVI, đặc biệt là cách sử dụng khối residual cải tiến để duy trì tính nhất quán thời gian.

Câu hỏi thường gặp

1. Luận án lựa chọn cải tiến mô hình dò tìm nào và vì sao không chọn Faster R-CNN?

Luận án lựa chọn cải tiến mô hình YOLOv3 (tạo thành mô hình YOLO-Adv). Mô hình Faster R-CNN thuộc nhóm mô hình hai trạng thái (sử dụng mạng đề xuất vùng Region Proposal Network); mặc dù đạt độ chính xác phân loại cao nhưng tốc độ xử lý chậm, không khả thi cho bài toán xử lý video thời gian thực. Ngược lại, họ mô hình YOLO là mô hình một trạng thái, thống nhất các bước dò tìm và định vị vào một mạng nơron duy nhất, cho phép xử lý luồng khung hình với tốc độ lớn hơn 30 khung hình/giây.

2. Kỹ thuật lập chỉ mục PSVQ giải quyết hạn chế gì của kỹ thuật PQ truyền thống?

Kỹ thuật lượng tử hóa tích đề các (Product Quantization - PQ) chia vector thành các không gian con trực giao độc lập, bỏ qua mối quan hệ tương quan cấu trúc giữa các chiều lân cận, đồng thời phát sinh chi phí tính toán và bộ nhớ lớn khi huấn luyện các codebook trên vector số chiều cao. PSVQ (Product sub-vector quantization) gom cụm các vector con trước khi lượng tử hóa, giúp giảm dung lượng codebook cần lưu trữ, giảm thời gian huấn luyện và khi kết hợp với cây phân cụm thứ bậc sẽ tăng tốc độ tìm kiếm lân cận gần đúng (ANN) theo khoảng cách bất đối xứng ADC.

3. Đối tượng nghiên cứu trong video được giới hạn bởi những tham số hình học nào?

Đối tượng nghiên cứu được giới hạn là các hình ảnh tĩnh, hai chiều (2D) của các đối tượng quảng cáo (logo, nhãn hiệu thương mại). Về kích thước hiển thị, đối tượng nằm trong khoảng từ 20 pixel đến 400 pixel cho mỗi chiều trên các khung hình có độ phân giải 1280 x 720 pixel (720p) hoặc 854 x 480 pixel (480p) theo tỷ lệ khung hình 16:9.

4. Tại sao hệ thống cần sử dụng cả Mask R-CNN và V-RBPconv trong pha thay thế đối tượng?

Mask R-CNN được sử dụng để phân vùng thực thể, bóc tách chính xác từng pixel thuộc về đối tượng nguồn để loại bỏ nó mà không làm mất thông tin vùng nền xung quanh. Tuy nhiên, khi chèn đối tượng đích vào vị trí đó, do hai đối tượng không trùng khớp hoàn toàn về hình học và kích thước, các khoảng trống khuyết thiếu (dạng viền, đường cong hoặc điểm) sẽ xuất hiện. Lúc này, mô hình V-RBPconv đóng vai trò lấp đầy các khoảng trống này (video inpainting) dựa trên ngữ cảnh không gian của khung hình và tính nhất quán thời gian của các khung hình lân cận.

5. Những tập dữ liệu chuẩn nào được sử dụng để đánh giá thực nghiệm các mô hình trong luận án?

Luận án sử dụng các tập dữ liệu sau cho từng nhiệm vụ:

  • FlickrLogos-32 và FlickrLogos-47: Dùng để huấn luyện và kiểm thử mô hình dò tìm đối tượng quảng cáo YOLO-Adv.
  • ANN_GIST và VGG: Dùng để đánh giá chất lượng mã hóa MSE và tốc độ tìm kiếm ANN của kỹ thuật PSVQ.
  • PASCAL VOC2012: Dùng để kiểm thử hiệu năng phân lớp và phân vùng thực thể của Mask R-CNN.
  • Places2 và FVI (Free-form video inpainting): Dùng để so sánh định tính và định lượng (PSNR, SSIM, FID, LPIPS) hiệu năng hoàn thiện ảnh của RBPconv và hoàn thiện video của V-RBPconv.

Kết luận

Luận án tiến sĩ đã giải quyết bài toán phát hiện và thay thế đối tượng quảng cáo trong chuỗi khung hình video số thông qua việc xây dựng hệ thống xử lý gồm 4 pha kỹ thuật chuyên biệt. Các đóng góp trọng tâm bao gồm mô hình dò tìm YOLO-Adv đạt tốc độ thời gian thực (>30 fps) đi kèm khả năng trích xuất vector đặc trưng 4096 chiều, kỹ thuật lập chỉ mục nhận dạng hình dạng PSVQ kết hợp cây phân cụm thứ bậc cho phép tối ưu hóa không gian tìm kiếm ANN, cùng mô hình V-RBPconv giúp tái tạo mượt mà các vùng biên khuyết thiếu theo trục không gian - thời gian. Toàn bộ các giải thuật đề xuất đều được kiểm chứng thực nghiệm trên các bộ dữ liệu tiêu chuẩn (FlickrLogos-47, ANN_GIST, VGG, Places2, FVI), cung cấp cơ sở khoa học và giải pháp công nghệ giá trị cho lĩnh vực hậu xử lý video và truyền thông đa phương tiện.