Hệ Thống Lưu Trữ và Phân Tích Hình Ảnh Dựa Trên Machine Learning

Khóa luận trình bày hệ thống lưu trữ và phân tích hình ảnh dựa trên các mô hình máy học, ứng dụng trong công nghệ thông tin hiện đại.

• Tác giả: Bùi Quốc Huy
• Người hướng dẫn: PGS. TS Nguyễn Đình Thuận
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Hệ Thống Lưu Trữ và Phân Tích Hình Ảnh Dựa Trên Machine Learning
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: ĐẶT VẤN ĐỀ
• 1.1. Đối tượng và phạm vi nghiên cứu
• 1.2. Mục tiêu đề tài
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN, CƠ SỞ LÝ THUYẾT
• 2.1. Giới thiệu về phân tích hình ảnh
• 2.2. Các phương pháp phân tích
• 2.2.1. Phân tích hình ảnh định tính
• 2.2.2. Phân tích hình ảnh định lượng
• 2.2.3. Tính chất của thị giác máy tính
• 2.3. Các kỹ thuật và lý thuyết
• 2.3.1. Mô hình Convolutional Neural Network (CNN)
• 2.3.2. Mô hình Graph Neural Network (GNN)
• 2.3.3. Kiến trúc ResNet50 và U2Net
• 2.3.4. Mô hình Approximate Nearest Neighbors (ANN)
• 2.3.5. Mô hình Natural Language Processing (NLP)
• 2.3.6. Các phương pháp đo khoảng cách giữa hai vector
• 2.3.6.1. Phương pháp Euclidean Distance
• 2.3.6.2. Phương pháp Dot product
• 2.3.7. Các thuật toán tìm kiếm xấp xỉ
• 2.3.7.1. Thuật toán Locality-Sensitive Hashing (LSH)
• 2.3.7.2. Thuật toán K-Nearest Neighbors (KNN)
• 2.3.7.3. Thuật toán Metric-tree
• 2.3.8. Các thuật toán ẩn thông tin số trong hình ảnh
• 2.3.8.1. Thuật toán Least Significant Bit (LSB)
• 2.3.8.2. Thuật toán JPEG steganography
• 2.3.8.3. Thuật toán JPEG compression
• 3. CHƯƠNG 3: NỘI DUNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU
• 3.1. Tập dữ liệu huấn luyện
• 3.2. Bài toán nhận diện và tìm kiếm khuôn mặt bằng CNN kết hợp GNN
• 3.3. Bài toán tìm kiếm hình ảnh tương đồng sử dụng mô hình ANN
• 3.4. Bài toán tìm kiếm đối tượng trong ảnh bằng ResNet50 kết hợp U2Net
• 3.5. Bài toán tìm kiếm theo câu lệnh văn bản sử dụng Natural Language Processing (NLP)
• 3.6. Bài toán ẩn thông tin số bằng thuật toán Least Significant Bit (LSB)
• 4. CHƯƠNG 4: GIẢI PHÁP ĐỀ XUẤT
• 4.1. Bài toán tìm kiếm hình ảnh theo khuôn mặt bằng CNN và GNN
• 4.2. Bài toán tìm kiếm hình ảnh tương đồng sử dụng mô hình ANN
• 4.3. Bài toán tìm kiếm đối tượng trong ảnh bằng ResNet50 kết hợp U2Net
• 4.4. Bài toán tìm kiếm theo câu lệnh văn bản sử dụng Natural Language Processing (NLP)
• 4.5. Bài toán ẩn thông tin số bằng thuật toán Least Significant Bit (LSB)
• 5. CHƯƠNG 5: KẾT QUẢ ĐÁNH GIÁ
• 5.1. Bộ dữ liệu đánh giá
• 5.2. Độ chính xác cao (Precision)
• 5.3. Kết quả và đánh giá
• 5.3.1. Kết quả bài toán tìm kiếm hình ảnh theo khuôn mặt bằng CNN và GNN
• 5.3.2. Kết quả bài toán tìm kiếm hình ảnh tương đồng sử dụng mô hình ANN
• 5.3.3. Kết quả bài toán tìm kiếm đối tượng trong ảnh bằng ResNet50 kết hợp U2Net
• 5.3.4. Kết quả chạy thực tế trên ứng dụng
• 6. CHƯƠNG 6: XÂY DỰNG HỆ THỐNG
• 6.1. Quy trình xây dựng hệ thống
• 6.2. Xây dựng giao diện trang Web
• 7. CHƯƠNG 7: TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN
• 7.1. Kết quả đạt được
• 7.2. Hướng phát triển
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC ĐỊNH NGHĨA
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Tổng quan về Hệ Thống Lưu Trữ và Phân Tích Hình Ảnh Dựa Trên Machine Learning

Hệ thống lưu trữ và phân tích hình ảnh dựa trên Machine Learning đang trở thành một công cụ quan trọng trong nhiều lĩnh vực. Với sự phát triển nhanh chóng của công nghệ, việc quản lý và phân tích hình ảnh đã trở nên dễ dàng hơn bao giờ hết. Hệ thống này không chỉ giúp lưu trữ hình ảnh mà còn cho phép phân tích và truy vấn hình ảnh một cách hiệu quả. Các mô hình trí tuệ nhân tạo như mạng nơ-ron và học sâu đã được áp dụng để cải thiện độ chính xác và tốc độ xử lý.

1.1. Định nghĩa và vai trò của hệ thống lưu trữ hình ảnh

Hệ thống lưu trữ hình ảnh là một giải pháp công nghệ cho phép lưu trữ, quản lý và truy xuất hình ảnh một cách hiệu quả. Vai trò của nó trong việc hỗ trợ các ngành như y tế, an ninh và truyền thông là rất quan trọng.

1.2. Lợi ích của việc áp dụng Machine Learning trong phân tích hình ảnh

Việc áp dụng Machine Learning trong phân tích hình ảnh mang lại nhiều lợi ích như tăng cường độ chính xác trong nhận diện đối tượng, giảm thiểu thời gian xử lý và cải thiện khả năng tìm kiếm hình ảnh tương đồng.

II. Những thách thức trong việc lưu trữ và phân tích hình ảnh

Mặc dù có nhiều lợi ích, nhưng việc lưu trữ và phân tích hình ảnh cũng gặp phải nhiều thách thức. Các vấn đề như dữ liệu lớn, tính bảo mật và độ chính xác trong phân tích là những yếu tố cần được xem xét. Đặc biệt, việc xử lý một lượng lớn hình ảnh có thể dẫn đến khó khăn trong việc duy trì hiệu suất của hệ thống.

2.1. Vấn đề về dữ liệu lớn trong phân tích hình ảnh

Khi số lượng hình ảnh tăng lên, việc lưu trữ và xử lý chúng trở nên khó khăn hơn. Các giải pháp như lưu trữ đám mây và phân tán dữ liệu cần được áp dụng để giải quyết vấn đề này.

2.2. Tính bảo mật và quyền riêng tư trong lưu trữ hình ảnh

Bảo mật dữ liệu hình ảnh là một vấn đề quan trọng, đặc biệt là trong các lĩnh vực nhạy cảm như y tế. Cần có các biện pháp bảo vệ dữ liệu để đảm bảo quyền riêng tư của người dùng.

III. Phương pháp chính trong hệ thống lưu trữ và phân tích hình ảnh

Để xây dựng một hệ thống hiệu quả, nhiều phương pháp đã được phát triển. Các mô hình như Convolutional Neural Network (CNN) và Graph Neural Network (GNN) đã chứng minh được hiệu quả trong việc phân tích hình ảnh. Những phương pháp này không chỉ giúp nhận diện đối tượng mà còn cho phép phân loại và tìm kiếm hình ảnh một cách chính xác.

3.1. Mô hình Convolutional Neural Network CNN

CNN là một trong những mô hình phổ biến nhất trong phân tích hình ảnh. Nó giúp nhận diện các đặc điểm trong hình ảnh một cách tự động và hiệu quả.

3.2. Mô hình Graph Neural Network GNN

GNN cho phép xây dựng mối quan hệ giữa các đối tượng trong hình ảnh, từ đó cải thiện khả năng phân tích và tìm kiếm hình ảnh tương đồng.

IV. Ứng dụng thực tiễn của hệ thống lưu trữ và phân tích hình ảnh

Hệ thống lưu trữ và phân tích hình ảnh có nhiều ứng dụng thực tiễn trong các lĩnh vực như y tế, an ninh và truyền thông. Ví dụ, trong y tế, hệ thống này có thể giúp nhận diện bệnh lý từ hình ảnh X-quang hoặc MRI. Trong an ninh, nó có thể được sử dụng để nhận diện khuôn mặt trong các video giám sát.

4.1. Ứng dụng trong y tế

Hệ thống phân tích hình ảnh y tế giúp bác sĩ chẩn đoán bệnh nhanh chóng và chính xác hơn thông qua việc nhận diện các dấu hiệu bất thường trong hình ảnh.

4.2. Ứng dụng trong an ninh

Trong lĩnh vực an ninh, hệ thống này giúp nhận diện và theo dõi các đối tượng khả nghi, từ đó nâng cao hiệu quả bảo vệ an ninh công cộng.

V. Kết luận và tương lai của hệ thống lưu trữ và phân tích hình ảnh

Hệ thống lưu trữ và phân tích hình ảnh dựa trên Machine Learning đang mở ra nhiều cơ hội mới cho các ngành công nghiệp. Tương lai của hệ thống này hứa hẹn sẽ tiếp tục phát triển với sự cải tiến của công nghệ và các mô hình học máy. Việc tích hợp các công nghệ mới như trí tuệ nhân tạo và Internet of Things (IoT) sẽ tạo ra những bước tiến lớn trong việc quản lý và phân tích hình ảnh.

5.1. Xu hướng phát triển công nghệ trong phân tích hình ảnh

Công nghệ phân tích hình ảnh sẽ tiếp tục phát triển với sự xuất hiện của các mô hình học sâu mới, giúp cải thiện độ chính xác và tốc độ xử lý.

5.2. Tác động của trí tuệ nhân tạo đến ngành công nghiệp

Trí tuệ nhân tạo sẽ có tác động lớn đến cách thức mà các ngành công nghiệp quản lý và sử dụng hình ảnh, từ đó tạo ra những cơ hội mới cho sự phát triển.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong thời đại số hóa, sự gia tăng nhanh chóng của dữ liệu hình ảnh tạo ra những thách thức lớn đối với công tác quản lý, phân loại và truy vấn dữ liệu, đặc biệt là trong lĩnh vực nhiếp ảnh và sáng tạo nội dung số. Các nhiếp ảnh gia và người dùng quản lý kho ảnh quy mô lớn thường xuyên đối mặt với các vấn đề thực tiễn cụ thể:

1. Phương thức tìm kiếm khuôn mặt khách hàng trong kho dữ liệu cá nhân.
2. Phương thức phân loại hình ảnh tự động theo từng đối tượng xuất hiện bên trong.
3. Phương thức tìm kiếm các hình ảnh có đặc điểm tương đồng với một hình ảnh tải về từ nguồn khác.
4. Phương thức định danh chủ sở hữu hình ảnh mà không làm biến đổi hình thái, màu sắc hay giảm chất lượng hiển thị (khắc phục nhược điểm làm hỏng chất lượng ảnh của giải pháp đóng dấu watermark truyền thống).

Nhằm giải quyết các bài toán trên, khóa luận đặt ra các mục tiêu nghiên cứu cụ thể:

• Mục tiêu 1: Phát triển mô hình nhận diện khuôn mặt cá nhân và xây dựng mạng đồ thị liên kết nhằm phân tích mối quan hệ giữa các đối tượng.
• Mục tiêu 2: Xây dựng hệ thống đề xuất hình ảnh tương đồng dựa trên cấu trúc điểm ảnh và màu sắc.
• Mục tiêu 3: Nhận diện sự vật, đối tượng trong ảnh, tự động gán nhãn và đồng bộ vào kho dữ liệu Elasticsearch nhằm tối ưu hóa tốc độ truy vấn.
• Mục tiêu 4: Tích hợp mô hình xử lý ngôn ngữ tự nhiên (NLP) để bóc tách câu lệnh văn bản, hỗ trợ thực hiện nhiều tiêu chí truy vấn trong một lần tìm kiếm.
• Mục tiêu 5: Xây dựng hệ thống xác minh và định danh chủ sở hữu bằng phương pháp ẩn thông tin số (steganography) mà không làm biến đổi kích thước, màu sắc hay chất lượng ảnh.
• Mục tiêu 6: Hiện thực hóa các giải pháp trên một nền tảng website có giao diện tương tác trực quan.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các thuật toán và mô hình học máy, học sâu ứng dụng trong phân tích hình ảnh, xử lý ngôn ngữ tự nhiên và kỹ thuật giấu tin số.
• Phạm vi áp dụng: Hệ thống quản lý, phân loại và truy xuất hình ảnh phục vụ ngành nhiếp ảnh, thiết kế và sáng tạo nội dung.
• Phạm vi công nghệ và kỹ thuật:
  • Nhận diện và so sánh khuôn mặt: Mạng nơ-ron tích chập (Convolutional Neural Network - CNN), kiến trúc ResNet, khoảng cách Euclidean.
  • Xây dựng đồ thị liên kết khuôn mặt: Mạng nơ-ron đồ thị (Graph Neural Network - GNN).
  • Tìm kiếm ảnh tương đồng: Mô hình Approximate Nearest Neighbors (ANN), thuật toán K-Nearest Neighbors (KNN), kỹ thuật Locality-Sensitive Hashing (LSH), tích vô hướng (Dot Product).
  • Nhận diện đối tượng trong ảnh: Mô hình ResNet50 kết hợp U2Net và hệ thống lưu trữ Elasticsearch.
  • Xử lý câu lệnh văn bản: Kỹ thuật xử lý ngôn ngữ tự nhiên (NLP), phân loại từ loại (POS tagging).
  • Định danh hình ảnh: Thuật toán giấu tin bit ít quan trọng nhất (Least Significant Bit - LSB).
  • Nền tảng xây dựng ứng dụng: Spring Boot, ReactJS, Python.
  • Độ đo đánh giá: Độ chính xác (Accuracy), Độ chính xác cao (Precision), Độ nhớ (Recall), Điểm F1 (F1-Score).

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết thông qua việc phân tích định tính (phân loại màu sắc qua histogram, cấu trúc hình học, độ nhám/thô, phân loại đối tượng) và phân tích định lượng (xử lý ảnh số, thống kê độ sáng/màu sắc, đo lường đặc trưng, mạng nơ-ron sâu).

1. Khung lý thuyết và các mô hình học máy

• Mạng nơ-ron tích chập (CNN): Cấu trúc gồm lớp tích chập (Convolutional Layer) áp dụng kernel $K$ lên ảnh $I$ để tạo feature map $S(i,j) = (I * K)(i,j) = \sum \sum I(m,n) * K(i-m, j-n)$; lớp gộp (Pooling Layer) dạng Max Pooling $R(i,j) = \max S(is+m, js+n)$ hoặc Average Pooling để giảm chiều tính toán; lớp duỗi (Flatten Layer) $V = \text{Flatten}(S)$; và lớp kết nối đầy đủ (Fully Connected Layer) $Y = \sigma(WX + b)$ phục vụ phân loại.
• Mạng nơ-ron đồ thị (GNN): Biểu diễn dữ liệu dưới dạng đồ thị $G = (V, E)$ với $V$ là tập hợp nút (đối tượng/khuôn mặt) và $E$ là tập hợp cạnh (mối quan hệ). GNN thực hiện truyền và cập nhật thông tin giữa các nút lân cận qua nhiều lớp để trích xuất đặc trưng cấu trúc liên kết.
• Kiến trúc ResNet50 và U2Net: ResNet50 có 50 lớp (gồm 48 residual blocks và 2 lớp kết nối đầy đủ), sử dụng các kết nối tắt (residual connections) để khắc phục hiện tượng triệt tiêu đạo hàm (vanishing gradient). U2Net sử dụng kiến trúc encoder-decoder tích hợp cơ chế chú ý (attention mechanism) và có khả năng tiếp nhận đặc trưng đầu ra từ ResNet50 để thực hiện phân đoạn hình ảnh.
• Mô hình tìm kiếm láng giềng xấp xỉ (ANN): Sử dụng phép chiếu ngẫu nhiên Gaussian (Gaussian Random Projection) theo công thức $z = R(x)$ để giảm chiều dữ liệu nhiều chiều về không gian vector thu gọn, kết hợp cấu trúc cây nhị phân để tăng tốc độ truy vấn các mẫu tương đồng.
• Mô hình xử lý ngôn ngữ tự nhiên (NLP): Áp dụng quy trình gồm tách câu (Sentence segmentation), tách từ (Tokenization), loại bỏ từ dừng (Stop words removal) và gán nhãn từ loại (Part-of-Speech - POS tagging). Hệ thống tập trung bóc tách các nhóm từ loại: Danh từ (NN, NNS, NNP, NNPS), Đại từ (PRP, PRP$), Động từ (VB, VBG, VBD, VBN, VBP, VBZ), Tính từ (JJ, JJR, JJS), Trạng từ (RB, RBR, RBS), Giới từ và Liên từ (IN).
• Phương pháp đo khoảng cách vector:
  • Khoảng cách Euclidean: $D(A,B) = \sqrt{\sum_{i=1}^n (A_i - B_i)^2}$, dùng so sánh vector đặc trưng khuôn mặt trong không gian đồng nhất.
  • Tích vô hướng (Dot Product): $A \cdot B = \sum_{i=1}^n A_i B_i$, dùng đo lường sự tương đồng giữa các vector đặc trưng hình ảnh có kích thước và mảng màu phức tạp.
• Kỹ thuật ẩn thông tin số (Steganography): Thuật toán LSB thay thế các bit ít quan trọng nhất trong cấu trúc byte của ảnh màu 24-bit (mỗi pixel chứa 3 bits thông tin trên 3 kênh RGB) kết hợp khóa bí mật phân tán vị trí nhúng pixel, so sánh với các kỹ thuật JPEG steganography và JPEG compression.

2. Tổng hợp nghiên cứu liên quan

Năm	Tác giả	Tên công trình	Mô hình / Kỹ thuật chính	Nội dung trọng tâm
2004	Ting Liu và cộng sự	An Investigation of Practical Approximate Nearest Neighbor Algorithms	ANN, LSH, Metric-tree, SR-tree, k-NN	Đánh giá thuật toán k-NN và ANN, cho thấy tốc độ tăng đến 31 lần so với LSH truyền thống trong tìm kiếm xấp xỉ.
2005	T. Morkel, J. Eloff, M. Olivier	An overview of image steganography	LSB, JPEG steganography, JPEG compression	Phân tích các kỹ thuật giấu tin; xác định LSB có dung lượng nhúng và khả năng tàng hình cao.
2007	Thanos Athanasiadis và cộng sự	Semantic Image Segmentation and Object Labeling	Watershed, Recursive Shortest Spanning Tree	Phân tích ngữ nghĩa hình ảnh và kết nối khoảng cách giữa đặc trưng cấp thấp với ngữ nghĩa đối tượng.
2015	Haoxiang Li, Zhe Lin và cộng sự	A convolutional neural network cascade for face detection	Convolutional Neural Networks (CNNs)	Nhận diện khuôn mặt dưới nhiều điều kiện biến đổi; đạt tốc độ 14 FPS trên CPU VGA và 100 FPS trên GPU.
2019	Zonghan Wu và cộng sự	A Comprehensive Survey on Graph Neural Networks	Graph Neural Networks (GNN)	Hệ thống hóa 4 nhóm GNN: đồ thị hồi quy, tích chập, bộ tự mã hóa và không gian - thời gian.
2020	Jie Zhou và cộng sự	Graph neural networks: A review of methods and applications	Graph Neural Networks (GNN)	Đánh giá biến thể GNN và chỉ ra 4 thách thức mở: tính mạnh mẽ, khả năng giải thích, tiền huấn luyện, cấu trúc phức tạp.
2020	Zhang Mingyuan và cộng sự	Efficient Attention: Attention with Linear Complexities	Dot Product	Đề xuất cơ chế chú ý tuyến tính tương đương Dot Product, giảm độ phức tạp tính toán và tối ưu bộ nhớ.
2023	Chen Gao và cộng sự	A Survey of Graph Neural Networks for Recommender Systems	Graph Neural Networks (GNN)	Ứng dụng cấu trúc nút và cạnh của GNN trong việc xây dựng hệ thống gợi ý đa phương tiện.
2023	Patrice Kisanga và cộng sự	Network Anomaly Detection Using a Graph Neural Network	Graph Neural Networks (GNN)	Sử dụng GNN phát hiện bất thường trên dữ liệu hoạt động mạng (DDoS, TOR).

3. Nguồn dữ liệu sử dụng

Khóa luận sử dụng các tập dữ liệu phục vụ huấn luyện và đánh giá:

• Face Detection Dataset: Dùng huấn luyện mô hình nhận diện khuôn mặt.
• Caltech-101: Cung cấp tập nhãn đa dạng cho bài toán phân loại và nhận diện vật thể.
• Cityscapes: Tập dữ liệu ảnh đô thị phục vụ phân đoạn và nhận diện đối tượng.
• Diverse Driving Dataset for Heterogeneous Multitask Learning: Cung cấp dữ liệu nhận diện đa tác vụ và phân tích ngữ cảnh.

Thiết kế và triển khai

Hệ thống được thiết kế theo kiến trúc phân tầng tích hợp giữa nền tảng web và các module dịch vụ máy học:

[ Giao diện Web (ReactJS) ]
[ Hệ thống Backend (Spring Boot & Python Services) ]
[ CNN + GNN ]   [ ResNet50 + U2Net ]   [ ANN + LSH + DotProd ]   [ NLP (POS) & LSB ]
(Khuôn mặt)      (Nhãn đối tượng)        (Ảnh tương đồng)        (Truy vấn & Bản quyền)
[ Cơ sở dữ liệu: Elasticsearch & Database lưu trữ thuộc tính ]

1. Quy trình xử lý các bài toán kỹ thuật

• Nhận diện và liên kết khuôn mặt: Hình ảnh tải lên được trích xuất vector khuôn mặt bằng CNN. Khoảng cách Euclidean được áp dụng để xác thực độ tương đồng giữa các vector. Sau đó, GNN thiết lập mạng đồ thị giữa các khuôn mặt dựa trên độ tương quan về khoảng cách, vị trí các bộ phận, giúp giảm thời gian phân tích trong các lần truy vấn tiếp theo.
• Tìm kiếm hình ảnh tương đồng: ResNet50 thực hiện trích xuất đặc trưng của ảnh thành vector. Vector được giảm chiều bằng phương pháp Gaussian Random Projection và lưu trong cấu trúc cây nhị phân LSH. Độ tương đồng giữa vector truy vấn và kho dữ liệu được xác định thông qua tích vô hướng (Dot Product).
• Nhận diện và gán nhãn đối tượng: Mô hình kết hợp ResNet50 và U2Net thực hiện phân đoạn, nhận diện đối tượng thuộc các nhóm (phong cảnh, trang phục, bộ phận cơ thể) và tạo tệp log/CSV thuộc tính. Toàn bộ nhãn được đồng bộ vào kho lưu trữ Elasticsearch nhằm phục vụ truy xuất tốc độ cao.
• Tìm kiếm qua câu lệnh văn bản: Module NLP nhận chuỗi truy vấn của người dùng, thực hiện tách từ và gán nhãn từ loại (POS tagging). Hệ thống bóc tách các danh từ, tính từ, động từ để chuyển đổi thành cấu trúc truy vấn đa điều kiện trên Elasticsearch.
• Định danh và bảo vệ bản quyền: Thông tin định danh chủ sở hữu được chuyển thành dạng bit và nhúng trực tiếp vào các bit ít quan trọng nhất (LSB) của các pixel ảnh kết hợp khóa bí mật, đảm bảo ảnh không đổi màu sắc, kích thước hay dung lượng hiển thị.

2. Thiết kế chức năng và giao diện hệ thống

Khóa luận xây dựng hệ thống ca sử dụng (Use Case) và biểu đồ tuần tự (Sequence Diagram) chi tiết cho các phân hệ:

• Phân hệ người dùng và dự án: Đăng ký, đăng nhập, quản lý thông tin cá nhân, tạo thư mục/dự án, di chuyển ảnh, xóa ảnh/dự án, gắn sao yêu thích, quản lý thùng rác, công khai hình ảnh.
• Phân hệ phân tích và tìm kiếm: Tìm kiếm hình ảnh tương đồng, tìm kiếm theo khuôn mặt, tìm kiếm theo nhãn đối tượng, tìm kiếm bằng câu lệnh văn bản NLP, xem biểu đồ phân tích dữ liệu hình ảnh.
• Phân hệ quản trị mô hình: Tính năng thiết lập hẹn giờ huấn luyện lại mô hình (model training scheduling) và nhúng/trích xuất thông tin ẩn số LSB.
• Giao diện ứng dụng: Hệ thống giao diện web bao gồm trang chủ, trang khám phá tổng quan, trang chi tiết hình ảnh, trang chọn và tìm kiếm khuôn mặt, trang quản lý công việc/dự án, trang tải lên công khai, trang biểu đồ phân tích và trang cài đặt hệ thống.

Nội dung chính theo từng chương

Chương 1: Tổng quan đề tài

Trình bày lý do hình thành ý tưởng nghiên cứu xuất phát từ nhu cầu thực tiễn của ngành nhiếp ảnh. Xác định 6 mục tiêu cụ thể, 4 câu hỏi nghiên cứu trọng tâm, đối tượng sử dụng và phạm vi kỹ thuật áp dụng trong toàn bộ khóa luận.

Chương 2: Các công trình nghiên cứu liên quan

Khảo sát và tổng hợp 9 công trình khoa học tiêu biểu trong và ngoài nước giai đoạn 2004–2023. Phân tích ưu điểm, nhược điểm của các nghiên cứu về thuật toán tìm kiếm xấp xỉ (LSH, k-NN), kỹ thuật giấu tin số (LSB, JPEG steganography), mô hình nhận diện đối tượng (Watershed, CNN cascade), các khảo sát toàn diện về mạng nơ-ron đồ thị (GNN) và cơ chế tính toán tích vô hướng (Dot Product).

Chương 3: Cơ sở lý thuyết

Thiết lập nền tảng toán học và cấu trúc của các mô hình: công thức tích chập và gộp của CNN; định nghĩa đồ thị $G=(V,E)$ trong GNN; kiến trúc 50 lớp của ResNet50 và cơ chế encoder-decoder của U2Net; công thức chiếu ngẫu nhiên Gaussian trong ANN; cấu trúc từ loại POS trong NLP; công thức khoảng cách Euclidean và Dot Product; nguyên lý của các thuật toán LSH, Metric-tree, LSB và nén ảnh JPEG.

Chương 4: Giải pháp đề xuất

Đề xuất 5 giải pháp kỹ thuật cụ thể:

1. Giải pháp nhận diện và liên kết khuôn mặt kết hợp CNN, khoảng cách Euclidean và mạng đồ thị GNN.
2. Giải pháp tìm kiếm ảnh tương đồng sử dụng ResNet50, giảm chiều Gaussian, cây LSH và tích vô hướng Dot Product.
3. Giải pháp phân đoạn và gán nhãn đối tượng tự động bằng mô hình lai ResNet50 - U2Net kết hợp lưu trữ Elasticsearch.
4. Giải pháp truy vấn hình ảnh bằng ngôn ngữ tự nhiên thông qua bóc tách từ loại POS.
5. Giải pháp định danh quyền sở hữu ảnh bằng kỹ thuật giấu tin LSB có khóa bí mật.

Chương 5: Nội dung và phương pháp nghiên cứu

Trình bày chi tiết quá trình xử lý dữ liệu từ các tập Face Detection, Caltech-101, Cityscapes và Diverse Driving Dataset. Thiết lập bảng thuộc tính chuẩn bị huấn luyện, cấu trúc tệp dữ liệu CSV nhận diện đối tượng, quy trình trích xuất đặc trưng và bảng quy định tham số bóc tách ngữ nghĩa từ loại cho mô hình NLP.

Chương 6: Kết quả đánh giá

Mô tả các tập dữ liệu thử nghiệm và thiết lập hệ thống độ đo đánh giá gồm Accuracy, Precision, Recall và F1-Score. Trình bày kết quả thực nghiệm của từng bài toán: bài toán khuôn mặt (CNN + GNN), bài toán tương đồng (ANN), bài toán nhận diện đối tượng (ResNet50 + U2Net), và kết quả vận hành thực tế các chức năng tìm kiếm trên giao diện ứng dụng web.

Chương 7: Xây dựng hệ thống

Hiện thực hóa toàn bộ giải pháp thành hệ thống phần mềm. Chi tiết hóa các biểu đồ Use Case, Sequence Diagram cho từng luồng nghiệp vụ, xây dựng cấu trúc bảng cơ sở dữ liệu và triển khai toàn bộ hệ thống màn hình giao diện web tương tác.

Chương 8: Tổng kết và hướng phát triển

Đánh giá mức độ hoàn thành so với mục tiêu ban đầu, tổng kết các kết quả kỹ thuật và ứng dụng đã đạt được, đồng thời nêu rõ các hạn chế tồn tại và đề xuất định hướng phát triển trong tương lai.

Kết quả và đóng góp

1. Kết quả chính

• Xây dựng hoàn chỉnh quy trình nhận diện khuôn mặt kết hợp trích xuất đặc trưng CNN, đo khoảng cách Euclidean và tạo lập đồ thị liên kết khuôn mặt GNN.
• Hiện thực hóa cơ chế tìm kiếm ảnh tương đồng dựa trên vector đặc trưng ResNet50, giảm chiều ngẫu nhiên Gaussian, lập chỉ mục bằng cây nhị phân LSH và so khớp bằng tích vô hướng Dot Product.
• Tích hợp thành công mô hình lai ResNet50 và U2Net để tự động nhận diện, phân đoạn các nhóm đối tượng (phong cảnh, trang phục, bộ phận cơ thể) và lập chỉ mục tìm kiếm trên Elasticsearch.
• Triển khai thành công module NLP bóc tách cấu trúc từ loại (POS tagging), hỗ trợ chuyển đổi câu lệnh văn bản tự nhiên thành truy vấn tìm kiếm hình ảnh đa điều kiện.
• Ứng dụng thành công thuật toán LSB cho phép giấu chuỗi thông tin định danh chủ sở hữu vào các bit ít quan trọng nhất của ảnh 24-bit, bảo toàn nguyên vẹn kích thước, định dạng và chất lượng hình ảnh hiển thị.
• Hoàn thiện ứng dụng web hoàn chỉnh với đầy đủ các phân hệ quản lý ảnh, dự án, thùng rác, công khai, phân tích dữ liệu và thiết lập lịch huấn luyện tự động.

2. Đóng góp của đề tài

• Tích hợp mạng nơ-ron đồ thị (GNN) vào bài toán quản lý khuôn mặt, giúp mô hình hóa và lưu trữ mối quan hệ giữa các đối tượng thay vì chỉ so khớp vector độc lập ở từng lần truy vấn.
• Kết hợp giảm chiều dữ liệu ngẫu nhiên với cấu trúc cây nhị phân LSH và tích vô hướng Dot Product, tạo ra giải pháp tìm kiếm láng giềng xấp xỉ phù hợp cho dữ liệu hình ảnh phức tạp.
• Cung cấp giải pháp định danh bản quyền ảnh số vô hình thông qua thuật toán LSB có khóa bảo mật, thay thế giải pháp đóng dấu watermark vốn làm suy giảm giá trị thẩm mỹ của tác phẩm nhiếp ảnh.

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế

• Mô hình tìm kiếm láng giềng xấp xỉ (ANN) tồn tại mức độ chệch nhất định trong kết quả tính toán do bản chất của thuật toán xấp xỉ.
• Việc tinh chỉnh các tham số thuật toán (số chiều giảm của vector, số lượng cây trong cấu trúc LSH) đòi hỏi hiểu biết sâu về dữ liệu và tiêu tốn tài nguyên thử nghiệm.
• Hiệu suất xử lý của mạng nơ-ron đồ thị (GNN) phụ thuộc nhiều vào quy mô và cấu trúc đồ thị; xử lý đồ thị có kích thước quá lớn hoặc cấu trúc phức tạp có thể làm tăng chi phí tính toán.
• Thuật toán giấu tin LSB yêu cầu cơ chế quản lý và chia sẻ khóa bí mật an toàn giữa các bên để đảm bảo tính toàn vẹn và bảo mật của thông tin nhúng.

2. Hướng nghiên cứu tiếp

• Tối ưu hóa cấu trúc và thuật toán huấn luyện GNN nhằm nâng cao tốc độ xử lý khi quy mô tập dữ liệu nút và cạnh tăng trưởng lớn.
• Nghiên cứu cải tiến giải thuật giảm chiều và cấu trúc cây nhị phân để giảm thiểu độ chệch của mô hình ANN mà vẫn duy trì tốc độ truy vấn cao.
• Nâng cao khả năng phân tích ngữ cảnh phức tạp của module NLP đối với các câu lệnh truy vấn dài và đa tầng nghĩa.
• Mở rộng tập dữ liệu huấn luyện và danh mục nhãn nhận diện đối tượng cho mô hình ResNet50 kết hợp U2Net.

Giá trị tham khảo

• Đối tượng tham khảo: Sinh viên, học viên cao học và kỹ sư thuộc các ngành Hệ thống thông tin, Công nghệ thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo; các nhà phát triển hệ thống quản lý tài nguyên số (Digital Asset Management - DAM) và ứng dụng thị giác máy tính.
• Nội dung giá trị:
  • Quy trình tích hợp đa mô hình học máy (CNN, GNN, ResNet50, U2Net, ANN, NLP) vào một kiến trúc phần mềm hoàn chỉnh (Chương 4, 5, 7).
  • Phương pháp xây dựng hệ thống gợi ý và tìm kiếm vector tương đồng dựa trên phép chiếu ngẫu nhiên Gaussian và Dot Product (Chương 3, 4).
  • Thiết kế luồng nghiệp vụ chi tiết (Use Case, Sequence Diagram) cho hệ thống quản trị, phân tích và tìm kiếm hình ảnh nâng cao (Chương 7).

Câu hỏi thường gặp

1. Tại sao đề tài sử dụng tích vô hướng (Dot Product) thay vì khoảng cách Euclidean để tìm kiếm hình ảnh tương đồng tổng quát?

Khoảng cách Euclidean hoạt động hiệu quả khi so sánh các vector trên dữ liệu có kích thước nhỏ và thuộc tính đồng nhất (như so sánh khuôn mặt). Tuy nhiên, đối với bài toán tìm kiếm hình ảnh tương đồng tổng quát có sự biến động lớn về màu sắc, kích thước và đối tượng, tích vô hướng (Dot Product) biểu diễn sự tương tác đa chiều giữa hai vector linh hoạt hơn và phản ánh chính xác mức độ tương đồng của các đặc trưng cấp cao.

2. Vai trò của mạng nơ-ron đồ thị (GNN) trong bài toán khuôn mặt là gì?

CNN trích xuất đặc trưng và phân tích từng khuôn mặt riêng lẻ, nhưng không lưu giữ mối liên hệ giữa các đối tượng. GNN khắc phục điều này bằng cách biểu diễn mỗi khuôn mặt thành một nút (node) và mức độ tương quan đặc trưng (kích thước, vị trí, hình dạng các bộ phận) thành các cạnh (edges), tạo thành mạng đồ thị liên kết. Cấu trúc này giúp hệ thống hiểu mối quan hệ giữa các khuôn mặt và giảm thiểu thời gian phân tích, truy vấn trong các lần tìm kiếm tiếp theo.

3. Vì sao phương pháp ẩn tin LSB được lựa chọn thay thế cho watermark truyền thống?

Đóng dấu watermark làm xuất hiện các ký hiệu trực tiếp trên ảnh, làm thay đổi cấu trúc thị giác và suy giảm chất lượng thẩm mỹ của hình ảnh gốc. Thuật toán LSB nhúng dữ liệu định danh vào bit ít quan trọng nhất của các kênh màu RGB (ảnh 24-bit chứa được 3 bits/pixel) kết hợp khóa bí mật. Phương pháp này bảo vệ quyền sở hữu mà hoàn toàn không làm biến đổi hình dạng, kích thước, màu sắc hay chất lượng cảm quan của bức ảnh.

4. Thành phần xử lý ngôn ngữ tự nhiên (NLP) thực hiện nhiệm vụ gì trong hệ thống?

Module NLP thực hiện tách câu, tách từ và gán nhãn từ loại (POS tagging) trên câu lệnh văn bản của người dùng. Bằng cách phân loại chính xác các danh từ (NN, NNS, NNP, NNPS), tính từ (JJ, JJR, JJS), động từ (VB, VBG, VBD...) và giới từ, hệ thống bóc tách các tiêu chí mong muốn và chuyển hóa thành cấu trúc truy vấn đa điều kiện trên cơ sở dữ liệu Elasticsearch.

5. Nền tảng công nghệ nào được sử dụng để xây dựng ứng dụng thực tế?

Hệ thống được phát triển với sự kết hợp của:

• Backend & Machine Learning: Spring Boot, Python cùng các thư viện học máy chuyên sâu.
• Frontend: ReactJS xây dựng giao diện người dùng tương tác.
• Lưu trữ & Truy vấn: Elasticsearch phục vụ lưu trữ chỉ mục và tìm kiếm nhãn đối tượng tốc độ cao.

Kết luận

Khóa luận tốt nghiệp của Bùi Quốc Huy và Võ Hoàng Nhật đã xây dựng thành công hệ thống phần mềm lưu trữ và phân tích hình ảnh đa năng dựa trên việc tích hợp các mô hình máy học chuyên sâu. Đề tài giải quyết đồng thời các bài toán nhận diện khuôn mặt, gợi ý ảnh tương đồng, gán nhãn đối tượng, truy vấn bằng ngôn ngữ tự nhiên và bảo vệ bản quyền bằng kỹ thuật ẩn tin số. Kết quả nghiên cứu cung cấp một giải pháp kỹ thuật hoàn chỉnh, đáp ứng nhu cầu quản lý và truy xuất dữ liệu trong ngành nhiếp ảnh và sáng tạo nội dung số, đồng thời đóng góp tài liệu tham khảo giá trị cho việc triển khai ứng dụng AI trong kỹ thuật phần mềm.

Trích đoạn nội dung tài liệu

Đặt vấn đề Trong thời đại số hóa hiện nay, hình ảnh không chỉ là một phương tiện ghi chép mà còn trở thành một phần tất yếu của cuộc sống, giúp chúng ta ghi lại những khoảnh khắc đáng nhớ, chia sẻ cảm xúc và giao tiếp trải nghiệm tuyệt vời. Tuy nhiên, với số lượng hình ảnh mỗi ngày, việc quản lý và tương tác với chúng trở thành một thách thức không nhỏ nhất là đối với nhiếp ảnh gia hoặc người dùng có nhu cầu quản lý hình anh với số lượng lớn. Nắm bắt được van dé mà các nghiếp anh gia gặp phải và tự đặt những câu hỏi: e Làm sao tim khuôn mặt khách hàng trong kho dữ liệu của chính mình? e Làm sao dé phân loại các hình anh theo đối tượng có bên trong hình anh? e Làm sao dé tìm hình ảnh tương đồng với hình vừa tải về ở một nơi khác? e Làm sao đề hình ảnh được định danh mà không bị phát hiện bang mắt thường? Sự kết hợp của mô hình máy học và trí tuệ nhân tạo đã mở ra một hướng giải quyết cho van dé này. Các đối tượng co bản như trang phục, phong cảnh trong bức ảnh đều có thê được nhận diện, phân loại và gán nhãn một cách tự động.

Cung cấp các phương tiện tìm kiêm như: e - Nhận diện và tìm kiếm theo khuôn mặt e Tìm kiếm các mối liên hệ với khuôn mặt e Đề xuất các hình ảnh đặc điểm tương đồng về cấu trúc, màu sắc, điểm anh e Tìm kiếm theo nhãn chỉ tiết từng đối tuongj có trong hình anh và thậm chí là tìm kiếm dựa trên việc phân tích, bóc tách văn bản từ người đùng. Ngoài vấn đề giải quyết các bài toán tìm kiếm, bài toán định danh hình ảnh cũng đang được quan tâm với những ngành nghề mang tính sáng tạo cao. Các công cụ ân thông tin hiện hành như watermark đang được áp dụng. Nhưng đối với hình ảnh sử dụng watermark là một phương án khá tệ vì hình ảnh không còn giữ được chat lượng ban dau.

Do đó giải pháp ấn thông tin số được triển khai để giải quyết bài toán định danh hình ảnh nhưng không làm thay đổi các yếu tố về màu sắc, kích cỡ, chất lượng hình ảnh. Với đầu vào là nguồn dữ liệu hình ảnh từ người dùng cung cấp, hình ảnh sẽ được nghiên cứu và khai thác dé phát triển một ứng dụng có khả năng tạo ra những đầu ra đáp ứng những nhu cầu tìm kiếm khác nhau. Những kết quả nay được trình bày một cách trực quan thông qua nên tang website thân thiện với người dùng. Mục tiêu đề tài Trước hết, mục tiêu phát triển một mô hình nhận diện khuôn mặt dé nhận diện hình ảnh cá nhân.

Bên cạnh đó xây dựng hệ thống tìm kiếm dựa trên mạng đồ thị liên kết các khuôn mặt, tạo nên tảng cho việc hiệu rõ các môi quan hệ giữa các đôi tượng. Mục tiêu tiép theo là xây dựng hệ thông đê xuât hình ảnh có đặc điêm tương đông về câu trúc điềm ảnh và mau sắc. Dé xuât các ý tưởng phù hợp với nhu câu ma người dùng đang quan tâm đến. Đồng thời hướng đến việc nhận diện sự vật và đôi tượng trong ảnh, gan nhãn và lưu trữ vào kho đữ liệu Elastic Search.

Mục tiêu là tối ưu hóa tốc độ truy vấn và cung cấp cơ sở dữ liệu có câu trúc đê thuận tiện cho việc tim kiêm thông tin. Thêm vào đó, tích hợp xử lý ngôn ngữ tự nhiên (NLP) dé hiểu và xử lý văn bản người dùng. Mục tiêu này giúp hệ thống nắm bắt ý định của người dùng và thực hiện phương thức truy vấn phù hợp. Cuối cùng là xây dựng hệ thống xác minh và định danh chủ sở hữu hình ảnh băng phương pháp ấn thông tin số.

Thông báo thông tin về bản quyền cho người sử dụng hình ảnh và chủ sở hữu hình ảnh. Tóm lại, mục tiêu chính của đề tài là xây dựng một hệ thống giải quyết các vấn đề thiết yếu và giảm bớt khối lượng công việc về truy xuất đối tượng trong ảnh, cải thiện trải nghiệm người dùng và khả năng tương tác với dữ liệu hình ảnh thông qua các cách khác nhau. - Đối tượng và phạm vi nghiên cứu Nhằm phục vụ các nhu cầu quản lý, truy vấn hình ảnh cho ngành nghề nhiếp ảnh. Bên cạnh đó phục vụ thêm về nhu cầu thiết kế và cung cấp ý tưởng sáng tạo nội dung.

Trong đề tài này, phạm vi nghiên cứu hướng đến: Bài toán nhận diện khuôn mặt: Face Recognition (Convolutional Neural Network) , kiến trúc ResNet. Bài toán so sánh độ tương đồng khuôn mặt: Convolutional Neural Network (CNN). Bài toán xây dựng mang đồ thị liên kết mối quan hệ giữa các khuôn mặt: Graph Neural Network (GNN). Bài toán truy van các hình ảnh tương đồng: Approximate Nearest Neighbors (ANN), K-Nearest Neighbors (KNN).

Bài toán nhận diện sự vật đối tượng trong ảnh: Res2Ne, U2Net, Elastic Search. Bài toán xử lý ngôn ngữ tự nhiên: Natural Language Processing (NLP). Sử dụng độ đo dé đánh giá các mô hình: Độ chính xác (Accuracy), độ chính xác cao (Precision), độ nhớ (Recall), Điểm F1 (F1-Score). Sử dụng các kiến thức xây dựng website: Spring Boot, ReactJS, Python, các frameworks và thư viện liên quan.

CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Dựa vào các đặc diém, từ khóa liên quan về các thử nghiệm liên quan đên dự đoán, học máy, học sâu, v.v Dựa trên bài báo liên quan trong những năm gân đây làm tiên dé dé thực hiện nghiên cứu này và thể hiện chi tiết qua Bang 2. Vào năm 2004, bài báo An Investigation of Practical Approximate Nearest Neighbor Algorithms [21] đã đề cập phương pháp Locality Sensitive Hashing (LSH) như một phương pháp thành công của việc tìm kiếm gần nhất xấp xỉ và đặt câu hỏi liệu các phương pháp truyền thống có còn đánh bại được phương pháp mới này hay không. Tác giả giới thiệu một phương pháp đo lường sự chồng chéo giữa các điểm dữ liệu và các thuật toán tìm kiếm xấp xi KNN cho thấy tăng tốc lên đến 31 lần so với LSH. Các thuật toán khác nhau được lần lượt đánh giá bao gom ca LSH, Metric-tree, SR- tree được chạy và so sánh với KNN dé đánh giá hiệu suất và độ chính xác của mỗi phương pháp.

Kết quả và tốc độ khi áp dụng phương pháp KNN từ đó lựa chọn ANN làm hệ thống đề xuất tương đồng cho nghiên cứu này. Kết hợp với cau trúc liên GNN dé tạo nên các nút và mỗi nút sẽ gắn theo các hình ảnh tương đồng của chính nó. Từ đó có thê mở rộng xa hơn nữa bài toán đề xuất, bên cạnh đó kết hợp với bài toán truy xuất đối tượng trong ảnh sẽ đảm bảo dữ liệu luôn ở trạng thái sẵn sàng khi người dùng có yêu câu truy xuât. Vào năm 2005, ý tưởng và thực tiễn che giấu thông tin đã có lịch sử lâu đời.

Trong cuốn Lịch sử, sử gia Hy Lạp Herodotus viết của một nhà quý tộc, Histaeus, người cần liên lạc với con rễ của mình ở Hy Lạp. Anh ta cạo đầu một người của những nô lệ đáng tin cậy nhất của mình và xăm thông điệp đó lên da đầu của nô lệ. Khi tóc của nô lệ mọc lại nô lệ đã được gửi đi với thông điệp ân [23]. Ngày nay steganography chủ yếu được sử dụng trên máy tính với dữ liệu số là kênh phân phối tốc độ cao.

Steganography khác với mật mã ở chỗ mật mã tập trung vào việc lưu giữ nội dung của một thông điệp bí mật, steganography tập trung vào việc giữ bí mật sự tồn tại của một thông điệp [25]. Steganography và mật mã đều là cách dé bảo vệ thông tin khỏi các bên không mong muốn nhưng không phải công nghệ nào cũng hoàn hảo và có thé bị xâm phạm. Một khi sự hiện diện của thông tin ẩn được tiết lộ hoặc thậm chí bị nghi ngờ, mục đích của steganography bị đánh bại một phan [25]. Do đó, sức mạnh của kỹ thuật giấu tin có thé được khuếch đại bằng cách kết hợp với thuật toán mã hóa phức tạp khác.

Trong bài báo này tác giả đề cập tới các thuật toán Least Significant Bit (LSB), JPEG steganography, JPEG compression. Tác giả đề cập với các phương pháp che dấu thông tin bằng sử dụng các bit dư không sử dụng tới dé thay đôi hoặc chèn các nội dung dưới dạng bit [20]. Đối với phương pháp LSB cho thấy hiệu quả của vượt trội về mức độ tàng hình và sức chứa tốt hơn đáng kể so với hai phương pháp JPEG steganography, JPEG compression. Vào năm 2007, tác gia Thanos Athanasiadis và các cộng sự cũng đóng góp công trình nghiên cứu dé tài nhận diện đối tượng trong ảnh [3].

Họ sử dụng các thuật toán Watershed và Recursive Shortest Spanning Tree đề tập trung vào phân tích ngữ nghĩa của ảnh, nghiên cứu này đóng góp vào phân tích đa phương tiện được hỗ trợ bởi kiến thức và kết nối khoảng cách giữa ngữ nghĩa và đặc trưng hình ảnh cấp thấp. Trong quá trình này, việc sử dụng kiến thức ngữ cảnh điều chỉnh lại kết quả gán nhãn của quá trình phát trién vùng ngữ nghĩa. Điều này thực hiện bằng cách thay đôi mức độ liên quan của các đôi tượng được nhận diện. Vào năm 2015, Những thành tựu về trí tuệ nhân tạo đã làm cho các nghiên cứu về xử lý ảnh được cải thiện về độ chính xác và hiệu suất.

Có rất nhiều các nghiên cứu đã được thực hiện với việc áp dụng nhiều mô hình dự báo khác nhau. Trong đó, nghiên cứu cua các tác gia Haoxiang Li và Zhe Lin đã thực hiện dựa trên mô hình Convolutional Neural Networks (CNNs) [2]. Mục tiêu của nghiên cứu là xử lý các thách thức lớn trong việc phát hiện khuôn mặt, như độ biến đổi lớn về góc độ, biéu cảm và ánh sáng, đồng thời giữ cho mô hình có hiệu suất tính toán cao. Kết quả thực nghiệm cho thấy rằng phương pháp đề xuất chạy ở 14 FPS trên một lõi CPU đối với hình ảnh độ phân giải VGA và 100 FPS khi sử dụng GPU, đồng thời đạt được hiệu suất phát hiện hàng đầu trên hai bộ dữ liệu thử nghiệm phô biến về phát hiện khuôn mặt.

Vào năm 2019, Nghiên cứu trong bài báo A Comprehensive Survey on Graph Neural Networks cung cấp một cái nhìn tổng quan toàn diện về mạng lưới thần kinh đồ thị (GNN) trong lĩnh vực khai thác dữ liệu và học máy [9]. Đề xuất một nguyên tắc phân loại mới để phân chia nơron đồ thị tiên tiến nhất mạng thành bốn loại, cụ thé là đồ thi thần kinh hồi quy mạng, mạng thần kinh đồ thị tích chập, bộ mã hóa đồ thị tự động và mạng thần kinh đồ thị không gian-thời gian.