Tổng quan luận án

Sự gia tăng nhanh chóng của các thiết bị di động và ứng dụng đa phương tiện đã tạo ra các kho dữ liệu ảnh số quy mô lớn trong nhiều lĩnh vực thực tiễn như y tế, hệ thống thông tin địa lý (GIS), thư viện số, giáo dục và giải trí. Vấn đề truy xuất chính xác và nhanh chóng hình ảnh tương tự trong các cơ sở dữ liệu lớn trở thành nhiệm vụ trọng tâm trong thị giác máy tính.

Hai phương pháp tìm kiếm ảnh truyền thống tồn tại những giới hạn kỹ thuật riêng:

  • Tìm kiếm ảnh dựa trên văn bản (Text-Based Image Retrieval - TBIR): Dựa vào từ khóa và chú thích thủ công, dễ dẫn đến thiếu chính xác do tính chủ quan trong nhận thức của người gán nhãn.
  • Tìm kiếm ảnh dựa trên nội dung (Content-Based Image Retrieval - CBIR): Trích xuất các đặc trưng thị giác cấp thấp (màu sắc, kết cấu, hình dạng) để lập chỉ mục. Hạn chế cốt lõi của CBIR là chưa thể hiện được khái niệm ngữ nghĩa cấp cao, dẫn đến sự tồn tại của "khoảng cách ngữ nghĩa" (semantic gap) giữa đặc trưng điểm ảnh cấp thấp và cách con người cảm nhận nội dung hình ảnh.

Khoảng trống nghiên cứu được luận án xác định bao gồm ba vấn đề chính:

  1. Lựa chọn phương pháp trích xuất đặc trưng cấp thấp phù hợp để lập chỉ mục dữ liệu nhỏ gọn nhưng đủ biểu diễn nội dung hình ảnh.
  2. Thiết kế cấu trúc lưu trữ và giải thuật học máy có khả năng quản lý, phân cụm và tìm kiếm hiệu quả trên các tập dữ liệu lớn với chi phí tính toán thấp.
  3. Nghiên cứu phương pháp thu hẹp khoảng cách ngữ nghĩa, trong đó tiếp cận dựa trên ontology là hướng đi khả thi nhưng các nghiên cứu trước đây chủ yếu dừng lại ở mô hình lý thuyết hoặc thử nghiệm trên tập ảnh nhỏ, quy trình xây dựng ontology đa số làm thủ công và phụ thuộc chuyên gia.

Mục tiêu chung của luận án là nghiên cứu các phương pháp nhằm nâng cao hiệu quả tìm kiếm dữ liệu ảnh theo tiếp cận ngữ nghĩa, tập trung vào nâng cao độ chính xác. Luận án xác định ba mục tiêu cụ thể:

  1. Nghiên cứu cấu trúc cây phân cụm cân bằng và đề xuất các nguyên tắc xây dựng cây phân cụm (C-Tree) cho bài toán tìm kiếm ảnh.
  2. Nghiên cứu các mô hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa trên đồ thị cụm láng giềng, mạng SOM kết hợp và dựa trên ontology nhằm nâng cao độ chính xác.
  3. Nghiên cứu tính hiệu quả của các mô hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa cho các tập ảnh thực nghiệm.

Đối tượng và phạm vi nghiên cứu của luận án:

  • Đối tượng nghiên cứu: Các cây phân cụm và các thuật toán phân cụm; cấu trúc dữ liệu lưu trữ đặc trưng nội dung hình ảnh; các thuật toán tạo cấu trúc dữ liệu và tìm kiếm ảnh; ontology; các tập dữ liệu ảnh phổ biến.
  • Phạm vi nghiên cứu: Cấu trúc cây phân cụm cân bằng C-Tree và thuật toán xây dựng; các phương pháp cải tiến cây phân cụm bằng đồ thị cụm láng giềng (Graph-CTree) và mạng nơ-ron tự tổ chức (SgC-Tree); ontology và truy vấn SPARQL; thực nghiệm trên bốn tập dữ liệu ảnh chuẩn gồm COREL, WANG, ImageCLEF và Stanford Dogs.

Tổng quan tài liệu và vị trí của luận án

Trong các nghiên cứu về CBIR, việc trích xuất đặc trưng cấp thấp tập trung vào ba nhóm chính:

  • Đặc trưng màu sắc: Được biểu diễn qua các không gian màu như RGB, HSV, YCbCr, CIELab; các lược đồ màu (Color Histogram), mô men màu (Color Moments), bộ mô tả màu chủ đạo DCD (Dominant Color Descriptor) và bộ mô tả cấu trúc màu CSD (Color Structure Descriptor) theo chuẩn MPEG-7.
  • Đặc trưng kết cấu: Phân tích dựa trên ma trận đồng xuất hiện mức xám GLCM (Gray-Level Co-occurrence Matrix), biểu đồ định hướng Gradient HOG (Histograms of Oriented Gradients), mẫu nhị phân cục bộ LBP (Local Binary Patterns), các biến đổi Wavelet (DWT), bộ lọc Gabor, đạo hàm Gauss DoG (Difference of Gaussian) và Laplace Gauss LoG (Laplace of Gaussian).
  • Đặc trưng hình dạng: Biểu diễn dựa trên đường biên (bộ lọc Sobel, Canny, đường cong Bezier, B-spline) hoặc dựa trên vùng (biến đổi Hough, mô men Zernike, Pseudo-Zernike).

Về cấu trúc tổ chức và chỉ mục dữ liệu:

  • Cấu trúc cây B-Tree do Rudolf Bayer và Edward M. McCreight đề xuất năm 1970 là cấu trúc cân bằng hiệu quả trên bộ nhớ ngoài, tuy nhiên chỉ xử lý trên khóa đơn chiều.
  • Để lưu trữ dữ liệu đa chiều, các biến thể phân cụm đa chiều như R-Tree, KD-Tree, quad-Tree, M-Tree và S-Tree đã được phát triển.
  • Các kỹ thuật học sâu (DNN, CNN, RNN) cho kết quả trích xuất đặc trưng sâu tự động nhưng cấu trúc phức tạp, đòi hỏi chi phí tính toán cao, thời gian huấn luyện dài và hoạt động như hộp đen gây khó khăn trong việc diễn giải.

Về tìm kiếm ảnh theo tiếp cận ngữ nghĩa (SBIR):

  • Hướng tiếp cận học máy: Sử dụng học không giám sát hoặc bán giám sát để liên kết đặc trưng cấp thấp với các từ vựng thị giác và lớp ngữ nghĩa. Phương pháp này vẫn phụ thuộc vào văn bản chú thích đi kèm và chưa thể hiện rõ quan hệ ngữ cảnh cấp cao giữa các đối tượng.
  • Hướng tiếp cận ontology: Sử dụng các mô hình tri thức định dạng RDF, RDFS và OWL để mô tả tường minh khái niệm, thuộc tính và mối quan hệ. Đa số công trình trước đây xây dựng ontology thủ công trên tập ảnh quy mô hẹp, thiếu cơ chế bổ sung và cập nhật tự động khi mở rộng dữ liệu.

Khoảng trống được luận án giải quyết:

  • Thiết kế cây phân cụm cân bằng C-Tree chuyên biệt cho vector đặc trưng ảnh đa chiều, đảm bảo tính cân bằng và lưu trữ hiệu quả trên bộ nhớ ngoài.
  • Cải tiến cây C-Tree bằng cách tích hợp đồ thị cụm láng giềng và mạng SOM nhằm khắc phục hiện tượng phân cụm sai lệch tại biên giữa các nút lá.
  • Xây dựng quy trình bán tự động tạo khung ontology và cơ chế tự động sinh truy vấn SPARQL từ tập từ vựng thị giác để truy xuất ngữ nghĩa cấp cao.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án kết hợp phương pháp nghiên cứu lý thuyết và phương pháp thực nghiệm:

  • Phương pháp lý thuyết: Nghiên cứu cấu trúc cây cân bằng, giải thuật phân cụm K-means, giải thuật phân loại k-láng giềng gần nhất (k-NN), mạng nơ-ron tự tổ chức SOM (Self Organizing Map), mô hình dữ liệu ngữ nghĩa RDF/OWL và ngôn ngữ truy vấn SPARQL.
  • Phương pháp thực nghiệm: Lập trình cài đặt các cấu trúc và mô hình tìm kiếm trên nền tảng .NET Framework 4.8 bằng ngôn ngữ C#; sử dụng phần mềm Matlab 2015 để vẽ đồ thị phân tích; sử dụng công cụ Protégé và OntoGraf để mô hình hóa và kiểm tra ontology; đo đạc hiệu suất trên hệ thống máy tính trang bị vi xử lý Intel Core i7-8750H CPU 2.70GHz, RAM 8GB, hệ điều hành Windows 10 Professional.

Về biểu diễn dữ liệu, luận án đề xuất bộ vector đặc trưng kết hợp 81 chiều, tích hợp các thành phần màu sắc, kết cấu và hình dạng.

STT Thành phần đặc trưng Phương pháp trích xuất Số chiều
1 Đặc trưng màu sắc Bộ mô tả màu chủ đạo MPEG-7 DCD 25
2 Ảnh đường nét Phép lọc tần số cao 9
3 Nâng cao cường độ ảnh Phép lọc Gaussian 9
4 Cường độ điểm ảnh láng giềng Phân tích láng giềng cục bộ 9
5 Cường độ của đối tượng Phân đoạn đối tượng 9
6 Cường độ của hình nền Phân đoạn vùng nền 9
7 Diện tích đối tượng Tính toán số lượng điểm ảnh đối tượng 1
8 Hình dạng đường biên Trích xuất biên đối tượng 1
9 Vị trí tương đối của đối tượng Tọa độ đối tượng theo trục X và trục Y 2
10 Vị trí tương đối của hình nền Tọa độ nền theo trục X và trục Y 2
11 Chu vi đối tượng Đo lường đường bao đối tượng 1
12 Chu vi đối tượng theo Sobel Phép lọc Sobel phát hiện biên 1
13 Cường độ láng giềng theo Sobel Tính toán cường độ điểm ảnh lọc Sobel 1
14 Chu vi đối tượng theo Laplacian Phép lọc Laplacian 1
15 Đường nét ảnh theo Laplacian Phép lọc Laplacian 1
Tổng Vector đặc trưng kết hợp Tích hợp màu sắc, kết cấu, hình dạng 81

Dữ liệu thực nghiệm được triển khai trên bốn kho dữ liệu chuẩn:

Tên tập ảnh Số lượng ảnh Số thư mục Số lượng lớp Kích thước Đặc điểm cấu trúc
COREL 1.000 10 10 - Đơn đối tượng (10 chủ đề, 100 ảnh/chủ đề)
WANG 10.800 80 80 - Đơn đối tượng (100 đến 545 ảnh/chủ đề)
ImageCLEF 20.000 39 276 1,64 GB Đa đối tượng (99.535 vùng phân đoạn, ~5 vùng/ảnh)
Stanford Dogs 20.580 120 120 778 MB Nhận dạng chi tiết (120 giống chó, thuộc ImageNet)

Các chỉ số đánh giá định lượng sử dụng trong luận án:

  • Độ chính xác (Precision): Tỷ lệ giữa số ảnh liên quan được tìm thấy trong $k$ kết quả đầu tiên trên tổng số ảnh truy xuất.
  • Độ phủ (Recall): Tỷ lệ giữa số ảnh liên quan được truy xuất trên tổng số ảnh liên quan có trong cơ sở dữ liệu.
  • Độ dung hòa (F-measure): Trung bình điều hòa giữa Precision và Recall.
  • Độ chính xác trung bình MAP (Mean Average Precision): Trung bình giá trị Average Precision qua tập các truy vấn.
  • Đường cong đặc tính hoạt động máy thu ROC (Receiver Operating Characteristic), diện tích dưới đường cong ROC (AUC) và đường cong Precision-Recall (PR curve).
  • Thời gian tìm kiếm trung bình tính bằng mili-giây (ms).

Nội dung chính theo từng chương

Chương 1. Tổng quan tìm kiếm ảnh theo ngữ nghĩa

Chương 1 hệ thống hóa cơ sở lý thuyết về tìm kiếm ảnh theo nội dung (CBIR) và tìm kiếm ảnh theo ngữ nghĩa (SBIR). Nội dung phân tích tập trung vào các kỹ thuật trích xuất đặc trưng cấp thấp:

  • Kỹ thuật phân vùng tạo mặt nạ đối tượng và mặt nạ nền dựa trên độ tương phản.
  • Kỹ thuật dò biên bằng bộ lọc LoG và bộ lọc Sobel để bổ trợ tính toán các thuộc tính chu vi, diện tích và vị trí tương đối nhằm bù trừ sai số phân đoạn.
  • Cấu trúc bộ vector đặc trưng kết hợp 81 chiều.

Chương này trình bày bản chất của "khoảng cách ngữ nghĩa" và kiến trúc tổng thể của hệ thống SBIR gồm hai khối chức năng chính:

  • Khối 1 (học máy): Trích xuất đặc trưng cấp thấp, lưu trữ dữ liệu trên cấu trúc chỉ mục, tìm kiếm tập ảnh tương đồng nội dung và sử dụng phân lớp để suy diễn từ vựng thị giác đại diện cho ảnh.
  • Khối 2 (ontology): Xây dựng mô hình dữ liệu RDF/OWL cho tập ảnh, bổ sung dữ liệu bán tự động và tự động chuyển hóa từ vựng thị giác thành câu truy vấn SPARQL để truy xuất ngữ nghĩa cấp cao.

Cuối chương trình bày thông tin chi tiết về môi trường thực nghiệm phần cứng, phần mềm, bốn tập dữ liệu chuẩn và các công thức toán học xác định các thước đo hiệu năng.

Chương 2. Tìm kiếm ảnh trên cây C-Tree

Chương 2 đề xuất cấu trúc cây phân cụm cân bằng C-Tree (Balanced Clustering Tree) phát triển từ nguyên lý cây B-Tree nhằm phục vụ lưu trữ và tra cứu vector đặc trưng đa chiều trên bộ nhớ ngoài.

Đặc tính cấu trúc của cây C-Tree:

  • Gồm nút gốc $root$, các nút trong $I$ và các nút lá $L$. Mọi nút lá đều có cùng độ sâu (đảm bảo tính cân bằng tuyệt đối). Chiều cao cây tăng trưởng theo hướng từ lá lên gốc.
  • Nút lá $L$ chứa tối đa $M$ phần tử dữ liệu: $L = {ED_i, 1 \le i \le M}$, với cấu trúc phần tử $ED_i = \langle f, ID, file, cla \rangle$ ($f$ là vector đặc trưng 81 chiều, $ID$ là mã định danh, $file$ là tệp chú thích XML, $cla$ là danh sách các nhãn phân lớp).
  • Nút trong $I$ có ít nhất 2 nút con và chứa tối đa $N$ phần tử trọng tâm: $I = {EC_j, 2 \le j \le N}$, với $EC = \langle f_c, isNextLeaf, link \rangle$ ($f_c$ là vector trọng tâm của nút con, $isNextLeaf$ là biến cờ kiểm tra nút kế tiếp, $link$ là đường dẫn liên kết).

Ba nguyên tắc thao tác cơ bản trên cây C-Tree:

  1. Thao tác thêm phần tử: Duyệt từ nút gốc theo nhánh có khoảng cách Euclid nhỏ nhất tới trọng tâm cho đến khi gặp nút lá phù hợp. Độ phức tạp tính toán là $O(M \times \log_M n)$.
  2. Thao tác tách nút: Khi số phần tử tại nút lá vượt quá $M$ (hoặc nút trong vượt quá $N$), áp dụng thuật toán K-means với $k=2$. Chọn phần tử xa trọng tâm nhất làm tâm cụm mới thứ nhất ($N_L$), chọn phần tử xa $N_L$ nhất làm tâm cụm mới thứ hai ($N_R$). Phân bố lại các phần tử và cập nhật trọng tâm đệ quy lên nút cha. Độ phức tạp là $O(M \times \log_M n)$.
  3. Thao tác xóa phần tử: Xóa phần tử tại nút lá và cập nhật lại trọng tâm; nếu số phần tử bằng 1 thì gán giá trị đặc trưng $f = null$. Đối với nút trong, xóa phần tử $EC$ đồng thời xóa nút con tương ứng và cập nhật lan truyền lên nút gốc.

Luận án xây dựng mô hình hệ tìm kiếm ảnh SBIR_CT qua hai pha:

  • Pha tiền xử lý: Trích xuất vector 81 chiều, tạo mẫu dữ liệu $ED$ và nạp vào cây C-Tree.
  • Pha truy vấn: Trích xuất đặc trưng ảnh truy vấn $I_Q$, định hướng tìm kiếm trên cây C-Tree bằng khoảng cách Euclid để lấy tập ảnh tương tự $SI$. Áp dụng thuật toán k-NN (với ngưỡng tần suất $\gamma$) để trích xuất tập từ vựng thị giác $W$ biểu diễn ngữ nghĩa dự đoán cho ảnh đầu vào.
Chỉ số thực nghiệm COREL WANG ImageCLEF Stanford Dogs
Tham số nút lá ($M$) / nút trong ($N$) Phù hợp tập ảnh Phù hợp tập ảnh Phù hợp tập ảnh Phù hợp tập ảnh
Thời gian huấn luyện cây C-Tree (giây) 5.387,402 - 26.889,28 -
Tỷ lệ mẫu lấy độ chính xác cao nhất (P@) 76,39% - - -
Độ chính xác tìm kiếm trung bình (Precision) 0,607222 0,588999 0,606217 0,570385
Độ phủ trung bình (Recall) - 0,622721 - -
Độ chính xác trung bình MAP - - - 0,304300
Thời gian tìm kiếm trung bình (ms) 19,91437 - - 48,06000

Kết quả cho thấy thời gian tìm kiếm của C-Tree ở mức mili-giây trên toàn bộ các tập dữ liệu, khẳng định tính hiệu quả của cấu trúc cây phân cụm cân bằng trong việc tối ưu số lần truy xuất đĩa.

Chương 3. Các phương pháp cải tiến cây C-Tree

Mặc dù cây C-Tree có tốc độ tìm kiếm nhanh, việc phân hoạch cứng nhắc giữa các nút lá dẫn đến hiện tượng các phần tử ảnh có nội dung tương đồng nhưng bị tách vào hai nút lá liền kề sẽ bị bỏ sót khi truy vấn. Chương 3 đề xuất hai mô hình cải tiến:

  1. Đồ thị cụm láng giềng Graph-CTree (Neighbor Graph on C-Tree):
    • Xây dựng thêm một lớp liên kết đồ thị kết nối các nút lá láng giềng có khoảng cách trọng tâm thỏa mãn ngưỡng tương tự.
    • Khi tìm kiếm, hệ thống truy xuất nút lá mục tiêu đồng thời mở rộng không gian tìm kiếm sang các nút lá láng giềng thông qua tập tin danh sách láng giềng, khắc phục lỗi phân cụm tại biên.
  2. Mô hình kết hợp SgC-Tree (SOM-Graph-CTree):
    • Tích hợp mạng nơ-ron tự tổ chức SOM với đồ thị cụm láng giềng trên nền cây C-Tree (grSOM).
    • Sử dụng cơ chế tự tổ chức của bản đồ đặc trưng SOM để ánh xạ và lắp ghép các cụm của Graph-CTree lên lưới nơ-ron, bảo toàn cấu trúc không gian tô-pô của dữ liệu đặc trưng.

Các hệ tìm kiếm ảnh tương ứng được cài đặt gồm SBIR_grCT và SBIR_SgC. Kết quả thực nghiệm so sánh trên bốn tập ảnh COREL, WANG, ImageCLEF và Stanford Dogs chứng minh mô hình SgC-Tree đạt độ chính xác (Precision), độ phủ (Recall) và diện tích dưới đường cong AUC cao hơn so với cấu trúc C-Tree đơn lẻ và mô hình Graph-CTree.

Chương 4. Tìm kiếm ảnh dựa vào Ontology

Chương 4 hoàn thiện hệ thống tìm kiếm ảnh theo tiếp cận ngữ nghĩa OnSBIR (Semantic-Based Image Retrieval on Ontology).

Quy trình xây dựng và làm giàu ontology:

  • Luận án thiết kế mô hình tạo khung ontology bán tự động cho tập ảnh mục tiêu bằng ngôn ngữ OWL/RDF.
  • Cấu trúc ontology mô tả các phân lớp khái niệm (classes), quan hệ phân cấp (subClassOf), các thuộc tính kiểu dữ liệu (owl:DatatypeProperty) và thuộc tính đối tượng (owl:ObjectProperty).
  • Xây dựng từ điển ngữ nghĩa và sử dụng các công cụ Protégé, OntoGraf để hiển thị trực quan cấu trúc tri thức dưới dạng đồ thị RDF/XML và định dạng N3.
  • Cơ chế bổ sung dữ liệu bán tự động cho phép nạp các cá thể ảnh mới, liên kết nhãn vùng ảnh phân đoạn và ánh xạ các thuộc tính ngữ cảnh (tiêu đề, địa điểm, thời gian lấy từ tệp XML chú thích) vào khung ontology sẵn có.

Mô hình hệ tìm kiếm OnSBIR:

  1. Ảnh truy vấn đầu vào được trích xuất đặc trưng và xác định tập ảnh tương tự nội dung dựa trên cấu trúc SgC-Tree đã đề xuất ở Chương 3.
  2. Hệ thống suy diễn tập từ vựng thị giác đại diện cho ảnh.
  3. Từ tập từ vựng thị giác này, hệ thống tự động sinh câu lệnh truy vấn SPARQL tương ứng.
  4. Thực thi câu lệnh SPARQL trên cơ sở tri thức ontology để truy xuất tập các ảnh cùng khái niệm ngữ nghĩa và trích xuất thông tin diễn giải cấp cao.

Thực nghiệm hệ thống OnSBIR trên các tập ảnh cho thấy độ chính xác tìm kiếm được cải thiện so với phương pháp chỉ dựa trên đặc trưng thị giác cấp thấp thuần túy, đặc biệt trên tập ảnh đa đối tượng ImageCLEF.

Kết quả và những đóng góp mới

Luận án đã đạt được các đóng góp về mặt lý luận khoa học và giải pháp thực tiễn như sau:

Về mặt lý luận khoa học:

  1. Đề xuất cấu trúc cây phân cụm cân bằng C-Tree đa nhánh, tăng trưởng chiều cao từ hướng gốc, chuyên biệt cho việc lưu trữ và tổ chức dữ liệu vector đặc trưng ảnh đa chiều trên bộ nhớ ngoài. Xác lập ba nguyên tắc toán học và thuật toán thực thi cho các thao tác thêm phần tử, tách nút bằng K-means ($k=2$) và xóa phần tử/nút trên cây.
  2. Đề xuất hai mô hình cải tiến cấu trúc cây phân cụm: Đồ thị cụm láng giềng Graph-CTree nhằm liên kết các cụm nút lá lân cận, và mô hình kết hợp SgC-Tree tích hợp mạng tự tổ chức SOM với Graph-CTree (grSOM), giải quyết hiện tượng mất mát dữ liệu tương đồng tại vùng biên giữa các nút lá.
  3. Đề xuất phương pháp xây dựng khung ontology bán tự động cho dữ liệu ảnh và phương pháp bổ sung dữ liệu làm giàu cơ sở tri thức; thiết lập cơ chế chuyển đổi tự động từ tập từ vựng thị giác trích xuất bằng thuật toán k-NN sang câu lệnh truy vấn ngữ nghĩa SPARQL.

Về mặt thực tiễn và giải pháp ứng dụng:

  1. Thiết kế bộ vector đặc trưng kết hợp 81 chiều nhỏ gọn, tích hợp đặc trưng màu sắc chủ đạo MPEG-7 DCD cùng các phép lọc kết cấu (LoG, Sobel, Gaussian) và hình dạng (Laplacian), giúp giảm chi phí tính toán trong quá trình đối sánh.
  2. Cài đặt hoàn chỉnh các hệ thống tìm kiếm SBIR_CT, SBIR_grCT, SBIR_SgC và OnSBIR trên nền tảng .NET/C#.
  3. Cung cấp dữ liệu thực nghiệm toàn diện trên bốn tập ảnh chuẩn quốc tế (COREL, WANG, ImageCLEF, Stanford Dogs), chứng minh sự cải thiện về độ chính xác và duy trì thời gian tìm kiếm ở mức mili-giây.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án:

  • Thời gian huấn luyện và xây dựng cây C-Tree ban đầu còn dài khi kích thước dữ liệu và số lượng phân lớp tăng cao (thực nghiệm trên tập ImageCLEF mất 26.889,28 giây).
  • Đối với bài toán phân loại chi tiết (fine-grained image retrieval) như tập ảnh Stanford Dogs, độ chính xác tìm kiếm (MAP đạt 0,3043) thấp hơn so với các tập ảnh phong cảnh và đối tượng thông thường, do các đặc trưng thị giác cấp thấp chưa phân biệt triệt để sự tương đồng cao giữa các giống chó.
  • Việc xây dựng khung ontology ban đầu vẫn mang tính bán tự động, vẫn cần sự can thiệp định nghĩa cấu trúc lớp từ người quản trị.

Hướng nghiên cứu tiếp:

  • Tối ưu hóa thuật toán tách nút và phân cụm để rút ngắn thời gian xây dựng cấu trúc chỉ mục trên các tập dữ liệu lớn.
  • Nâng cao mức độ tự động hóa hoàn toàn trong quy trình sinh khung ontology và liên kết thực thể từ dữ liệu ảnh đa phương tiện.
  • Nghiên cứu kết hợp chọn lọc các biểu diễn đặc trưng sâu nhằm nâng cao độ chính xác trên các tập dữ liệu phân loại chi tiết.

Giá trị tham khảo

Nội dung và kết quả nghiên cứu của luận án có giá trị tham khảo cho các đối tượng:

  • Nghiên cứu sinh và học viên cao học chuyên ngành Khoa học máy tính, Hệ thống thông tin: Tham khảo cách thức thiết kế cấu trúc dữ liệu cây cân bằng đa chiều, kỹ thuật phân cụm kết hợp đồ thị láng giềng và mạng SOM trong bài toán chỉ mục dữ liệu đa phương tiện (Chương 2 và Chương 3).
  • Giảng viên và nhà nghiên cứu trong lĩnh vực Xử lý ảnh và Web ngữ nghĩa (Semantic Web): Tham khảo mô hình tích hợp giữa đặc trưng thị giác cấp thấp với ontology OWL/RDF và kỹ thuật tự động hóa truy vấn SPARQL (Chương 4).
  • Kỹ sư phát triển phần mềm và hệ thống tìm kiếm: Ứng dụng quy trình trích xuất vector kết hợp 81 chiều và cấu trúc cây C-Tree để xây dựng các hệ thống quản trị, tra cứu hình ảnh phục vụ các kho lưu trữ chuyên ngành như y tế, bảo tàng số hoặc thư viện số.

Câu hỏi thường gặp

1. Bộ vector đặc trưng kết hợp do tác giả đề xuất gồm bao nhiêu chiều và cấu thành từ những nhóm đặc trưng nào?

Bộ vector đặc trưng kết hợp gồm 81 chiều, được trích xuất từ 15 thành phần thuộc ba nhóm: màu sắc (25 chiều từ bộ mô tả màu chủ đạo MPEG-7 DCD); kết cấu (9 chiều từ phép lọc tần số cao, 9 chiều từ phép lọc Gaussian, 9 chiều cường độ láng giềng, 9 chiều cường độ đối tượng, 9 chiều cường độ hình nền); hình dạng và vị trí (1 chiều diện tích, 1 chiều hình dạng đường biên, 2 chiều tọa độ đối tượng X-Y, 2 chiều tọa độ nền X-Y, 1 chiều chu vi, 1 chiều chu vi theo Sobel, 1 chiều cường độ láng giềng theo Sobel, 1 chiều chu vi theo Laplacian, 1 chiều đường nét theo Laplacian).

2. Cấu trúc cây C-Tree được định nghĩa toán học như thế nào và các nút trong cây lưu trữ thông tin gì?

Cây C-Tree là cây phân cụm đa nhánh cân bằng, mọi nút lá đều có cùng độ sâu. Nút lá $L$ chứa tối đa $M$ phần tử dữ liệu $ED = \langle f, ID, file, cla \rangle$, trong đó $f$ là vector đặc trưng ảnh, $ID$ là mã định danh ảnh, $file$ là tệp chú thích và $cla$ là các phân lớp nhãn của ảnh. Nút trong $I$ chứa tối đa $N$ phần tử trọng tâm $EC = \langle f_c, isNextLeaf, link \rangle$, trong đó $f_c$ là vector trọng tâm của nút con liên kết, $isNextLeaf$ xác định nút kế tiếp có phải nút lá hay không, và $link$ là đường dẫn liên kết thư mục. Dữ liệu ảnh chỉ lưu tại nút lá; nút trong chỉ làm nhiệm vụ điều hướng.

3. Thao tác tách một nút trên cây C-Tree được thực hiện theo nguyên tắc nào khi nút bị đầy?

Khi số phần tử tại nút lá vượt quá $M$ (hoặc nút trong vượt quá $N$), thao tác tách nút được kích hoạt dựa trên thuật toán K-means với $k=2$. Hệ thống chọn phần tử xa trọng tâm hiện tại nhất làm tâm cụm mới thứ nhất ($N_L$), sau đó chọn phần tử xa $N_L$ nhất làm tâm cụm mới thứ hai ($N_R$). Các phần tử còn lại được phân bổ vào hai cụm mới theo khoảng cách Euclid gần nhất. Tâm của hai nút mới được đưa lên nút cha; nếu nút cha bị đầy, quá trình tách tiếp tục đệ quy lên phía gốc.

4. Hiệu suất tìm kiếm của hệ thống SBIR_CT trên bốn tập dữ liệu thực nghiệm đạt kết quả ra sao?

Độ chính xác trung bình (Precision) của hệ thống SBIR_CT lần lượt là: COREL đạt 0,607222; WANG đạt 0,588999; ImageCLEF đạt 0,606217; Stanford Dogs đạt 0,570385 (với MAP đạt 0,304300). Thời gian tìm kiếm trung bình của hệ thống đạt 19,91437 ms trên tập COREL và 48,06000 ms trên tập Stanford Dogs. Thời gian huấn luyện cây C-Tree dao động từ 5.387,402 giây (tập COREL) đến 26.889,28 giây (tập ImageCLEF).

5. Cơ chế truy vấn ngữ nghĩa trong hệ tìm kiếm OnSBIR diễn ra như thế nào?

Hệ tìm kiếm OnSBIR tích hợp cấu trúc chỉ mục SgC-Tree với cơ sở tri thức ontology. Khi nhận ảnh truy vấn, hệ thống trích xuất vector đặc trưng và đối sánh trên mô hình SgC-Tree để truy xuất tập ảnh tương đồng nội dung. Thuật toán k-NN được áp dụng trên tập ảnh này để chọn ra các nhãn có tần suất xuất hiện cao vượt ngưỡng $\gamma$, hình thành tập từ vựng thị giác. Tập từ vựng này được hệ thống tự động biên dịch thành câu lệnh truy vấn chuẩn SPARQL để truy vấn trực tiếp trên ontology OWL/RDF, trả về danh sách các hình ảnh cùng khái niệm ngữ nghĩa cấp cao và các thông tin chú thích ngữ cảnh liên quan.

Kết luận

Luận án "Nâng cao hiệu quả tìm kiếm dữ liệu ảnh theo tiếp cận ngữ nghĩa" của tác giả Nguyễn Thị Uyên Nhi đã giải quyết vấn đề thu hẹp khoảng cách ngữ nghĩa trong tìm kiếm ảnh thông qua việc kết hợp cấu trúc dữ liệu phân cụm với công nghệ Web ngữ nghĩa. Đề tài đã xây dựng thành công cấu trúc cây phân cụm cân bằng C-Tree, phát triển các mô hình mở rộng Graph-CTree và SgC-Tree, đồng thời thiết lập quy trình tạo khung và làm giàu ontology bán tự động kết nối với cơ chế sinh truy vấn SPARQL trong hệ thống OnSBIR. Các kết quả thực nghiệm trên bốn tập dữ liệu chuẩn COREL, WANG, ImageCLEF và Stanford Dogs đã cung cấp đầy đủ luận cứ định lượng khẳng định tính đúng đắn và hiệu quả của các mô hình đề xuất về cả độ chính xác lẫn tốc độ tìm kiếm.