Tổng quan nghiên cứu

Trong bối cảnh bùng nổ dữ liệu đa phương tiện, đặc biệt là hình ảnh kỹ thuật số, việc quản lý và truy xuất hình ảnh trở thành một thách thức lớn. Theo báo cáo của ngành, mỗi ngày có khoảng 8.95 triệu ảnh và video được chia sẻ trên Instagram, với mỗi người tạo ra ít nhất 1.000 ảnh mỗi năm, dẫn đến tổng số lượng hình ảnh kỹ thuật số lên tới hàng nghìn tỷ. Sự gia tăng này đòi hỏi các hệ thống tìm kiếm ảnh phải không chỉ nhanh mà còn chính xác và hiệu quả. Tuy nhiên, các phương pháp tìm kiếm truyền thống dựa trên văn bản đi kèm hoặc đặc trưng nội dung ảnh vẫn còn nhiều hạn chế, như độ chính xác thấp khi mô tả sai hoặc thiếu sót, cũng như khó khăn trong việc xử lý các truy vấn mang tính ngữ nghĩa phức tạp.

Luận văn thạc sĩ này tập trung nghiên cứu và phát triển mô hình phân lớp ngữ nghĩa hình ảnh dựa trên mạng nơ-ron tích chập (CNN) kết hợp với kỹ thuật ontology nhằm nâng cao hiệu quả và độ chính xác trong tìm kiếm ảnh theo ngữ nghĩa. Mục tiêu cụ thể là xây dựng một hệ thống phân loại và truy xuất hình ảnh sử dụng mô hình CNN để trích xuất đặc trưng và phân lớp ảnh, đồng thời áp dụng domain ontology để mô tả và khai thác các mối quan hệ ngữ nghĩa giữa các chủ đề ảnh. Nghiên cứu được thực hiện trên bộ dữ liệu ImageNet trong giai đoạn 2019-2020 tại Trường Đại học Bà Rịa - Vũng Tàu, với ý nghĩa quan trọng trong việc ứng dụng công nghệ học sâu và web ngữ nghĩa vào các lĩnh vực như nông nghiệp thông minh, y tế thông minh và giao thông thông minh, góp phần thúc đẩy chuyển đổi số trong cách mạng công nghiệp 4.0.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính:

  1. Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): CNN là mô hình học sâu được thiết kế đặc biệt để xử lý dữ liệu hình ảnh. Kiến trúc CNN bao gồm các lớp tích chập, hàm kích hoạt ReLU, lớp lấy mẫu (pooling) và lớp kết nối đầy đủ (fully connected). Lớp tích chập giúp trích xuất đặc trưng không gian của ảnh thông qua các bộ lọc (kernel), trong khi lớp pooling giảm kích thước dữ liệu và tránh hiện tượng quá khớp. Hàm kích hoạt ReLU đảm bảo tính phi tuyến, giúp mạng học được các đặc trưng phức tạp. Các kiến trúc CNN phổ biến như LeNet-5, AlexNet, VGG-16 được nghiên cứu để lựa chọn mô hình phù hợp cho bài toán phân lớp ảnh.

  2. Ontology và tìm kiếm ngữ nghĩa (Semantic Search): Ontology là tập hợp các thuật ngữ, khái niệm và mối quan hệ trong một lĩnh vực cụ thể, giúp máy tính hiểu và xử lý thông tin theo ngữ nghĩa. Trong tìm kiếm ảnh, ontology hỗ trợ mô tả các mối quan hệ ngữ nghĩa giữa các chủ đề ảnh, từ đó nâng cao độ chính xác và khả năng mở rộng của hệ thống truy xuất. Các ngôn ngữ xây dựng ontology như RDF, OWL và ngôn ngữ truy vấn SPARQL được áp dụng để phát triển hệ thống tìm kiếm ảnh theo ngữ nghĩa.

Các khái niệm chính bao gồm: đặc trưng toàn cục và cục bộ của ảnh, trích xuất đặc trưng, mạng nơ-ron nhân tạo, học sâu, hàm kích hoạt ReLU, dropout, pooling, ontology, web ngữ nghĩa, và truy vấn SPARQL.

Phương pháp nghiên cứu

Nghiên cứu sử dụng bộ dữ liệu hình ảnh ImageNet với quy mô lớn, bao gồm hàng nghìn nhãn và hàng triệu ảnh, làm nguồn dữ liệu chính để huấn luyện và đánh giá mô hình. Cỡ mẫu cụ thể là khoảng hàng chục nghìn ảnh được chọn lọc để huấn luyện và kiểm thử.

Phương pháp chọn mẫu là chọn ngẫu nhiên có kiểm soát từ bộ dữ liệu ImageNet nhằm đảm bảo tính đại diện và đa dạng của các chủ đề ảnh. Quá trình huấn luyện mô hình CNN được thực hiện với các kỹ thuật tối ưu như dropout để tránh overfitting, điều chỉnh batch size và learning rate phù hợp.

Phân tích dữ liệu dựa trên các chỉ số đánh giá như độ chính xác (accuracy), ma trận nhầm lẫn (confusion matrix), và precision theo từng chủ đề ảnh. Quá trình nghiên cứu được thực hiện trong khoảng thời gian từ tháng 1 đến tháng 12 năm 2020, tại Trường Đại học Bà Rịa - Vũng Tàu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả phân lớp ảnh bằng CNN: Mô hình CNN được huấn luyện trên bộ dữ liệu ImageNet đạt độ chính xác phân lớp trung bình khoảng 85%, với một số chủ đề ảnh đạt precision lên tới 90%. Việc sử dụng dropout với tỷ lệ 0.5 giúp giảm tỷ lệ lỗi từ khoảng 15% xuống còn dưới 10%, cho thấy hiệu quả trong việc tránh overfitting.

  2. Ảnh hưởng của batch size: Thay đổi batch size trong quá trình huấn luyện ảnh hưởng rõ rệt đến kết quả phân lớp. Batch size 32 cho kết quả tốt nhất với độ chính xác tăng khoảng 3% so với batch size 16 hoặc 64, đồng thời giảm thời gian huấn luyện.

  3. Tích hợp ontology nâng cao truy xuất ngữ nghĩa: Việc kết hợp domain ontology vào hệ thống tìm kiếm giúp cải thiện độ chính xác truy xuất ảnh theo ngữ nghĩa lên khoảng 12% so với phương pháp tìm kiếm dựa trên meta-data hoặc nội dung ảnh truyền thống. Hệ thống có khả năng mở rộng và đa dạng hóa kết quả tìm kiếm, phù hợp với các truy vấn phức tạp.

  4. Kết quả thực nghiệm truy xuất ảnh: Các trường hợp thực nghiệm với từ khóa truy vấn như “Dog”, “Monkey”, “Animal” cho thấy hệ thống trả về các ảnh liên quan chính xác, giảm thiểu ảnh không liên quan so với các phương pháp trước đây. Biểu đồ precision và confusion matrix minh họa rõ sự cải thiện về độ chính xác và khả năng phân biệt các chủ đề ảnh.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện hiệu quả phân lớp và truy xuất ảnh là do mô hình CNN tận dụng được khả năng trích xuất đặc trưng tự động và sâu sắc từ dữ liệu ảnh, vượt trội hơn hẳn các phương pháp truyền thống dựa trên đặc trưng thủ công. Kỹ thuật dropout và điều chỉnh batch size giúp mạng tránh hiện tượng quá khớp và tăng tốc độ huấn luyện.

Việc tích hợp ontology giúp hệ thống hiểu được các mối quan hệ ngữ nghĩa giữa các chủ đề ảnh, từ đó nâng cao khả năng truy vấn chính xác và đa dạng hóa kết quả. So với các nghiên cứu trước đây chỉ tập trung vào trích xuất đặc trưng hoặc tìm kiếm dựa trên meta-data, nghiên cứu này đã kết hợp thành công hai hướng tiếp cận, tạo ra hệ thống tìm kiếm ảnh ngữ nghĩa hiệu quả hơn.

Dữ liệu có thể được trình bày qua các biểu đồ precision theo từng chủ đề ảnh, ma trận nhầm lẫn thể hiện tỷ lệ phân lớp chính xác và sai lệch, cũng như bảng so sánh độ chính xác giữa các phương pháp khác nhau.

Đề xuất và khuyến nghị

  1. Tăng cường huấn luyện mô hình CNN với dữ liệu đa dạng hơn: Động từ hành động là mở rộng bộ dữ liệu huấn luyện với các chủ đề ảnh phong phú hơn nhằm nâng cao độ chính xác phân lớp, dự kiến thực hiện trong 6 tháng tiếp theo, do nhóm nghiên cứu và các trung tâm dữ liệu đảm nhiệm.

  2. Phát triển và cập nhật domain ontology liên tục: Đề xuất xây dựng quy trình cập nhật ontology theo xu hướng và nhu cầu thực tế, nhằm duy trì tính chính xác và khả năng mở rộng của hệ thống tìm kiếm ngữ nghĩa, thực hiện định kỳ hàng quý, do nhóm chuyên gia ngữ nghĩa và CNTT phối hợp thực hiện.

  3. Tối ưu hóa thuật toán huấn luyện và truy xuất: Áp dụng các kỹ thuật tối ưu mới như learning rate scheduling, augmentation dữ liệu và cải tiến kiến trúc mạng để giảm thời gian huấn luyện và tăng hiệu suất truy xuất, triển khai trong vòng 3 tháng, do nhóm phát triển phần mềm đảm nhận.

  4. Ứng dụng hệ thống vào các lĩnh vực thực tiễn: Khuyến nghị triển khai thử nghiệm hệ thống trong các lĩnh vực như nông nghiệp thông minh, y tế thông minh và giao thông thông minh để đánh giá hiệu quả thực tế và thu thập phản hồi người dùng, tiến hành trong 12 tháng, phối hợp với các đơn vị chuyên ngành.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin: Luận văn cung cấp kiến thức chuyên sâu về mạng nơ-ron tích chập và ứng dụng trong phân loại ảnh, hỗ trợ phát triển các đề tài nghiên cứu liên quan đến học sâu và thị giác máy tính.

  2. Chuyên gia phát triển hệ thống tìm kiếm ảnh: Các kỹ thuật trích xuất đặc trưng, xây dựng ontology và tích hợp mô hình CNN giúp cải thiện hiệu quả tìm kiếm ảnh, phù hợp cho việc phát triển các sản phẩm thương mại hoặc nghiên cứu ứng dụng.

  3. Doanh nghiệp trong lĩnh vực nông nghiệp, y tế và giao thông: Hệ thống truy xuất ảnh ngữ nghĩa có thể ứng dụng trong nhận dạng nông sản, phân loại hình ảnh y tế hoặc giám sát giao thông, giúp nâng cao hiệu quả quản lý và phân tích dữ liệu.

  4. Nhà quản lý và hoạch định chính sách về chuyển đổi số: Luận văn cung cấp cơ sở khoa học và công nghệ để thúc đẩy ứng dụng trí tuệ nhân tạo và web ngữ nghĩa trong các lĩnh vực kinh tế xã hội, hỗ trợ xây dựng chiến lược phát triển công nghệ thông tin.

Câu hỏi thường gặp

  1. Mạng nơ-ron tích chập (CNN) là gì và tại sao nó phù hợp cho phân loại ảnh?
    CNN là mô hình học sâu chuyên biệt cho xử lý dữ liệu hình ảnh, sử dụng các lớp tích chập để tự động trích xuất đặc trưng không gian. Nó phù hợp vì khả năng học các đặc trưng phức tạp và giảm thiểu số lượng tham số so với mạng nơ-ron truyền thống, giúp tăng độ chính xác phân loại.

  2. Ontology đóng vai trò gì trong tìm kiếm ảnh theo ngữ nghĩa?
    Ontology mô tả các khái niệm và mối quan hệ trong lĩnh vực cụ thể, giúp hệ thống hiểu và xử lý thông tin theo ngữ nghĩa. Trong tìm kiếm ảnh, ontology hỗ trợ mô tả mối liên hệ giữa các chủ đề ảnh, nâng cao độ chính xác và khả năng mở rộng của truy vấn.

  3. Làm thế nào để tránh hiện tượng overfitting khi huấn luyện mô hình CNN?
    Các kỹ thuật như dropout (loại bỏ ngẫu nhiên nơ-ron trong quá trình huấn luyện), điều chỉnh batch size, sử dụng dữ liệu tăng cường (data augmentation) và regularization được áp dụng để giảm overfitting, giúp mô hình tổng quát hóa tốt hơn trên dữ liệu mới.

  4. Tại sao cần kết hợp cả trích xuất đặc trưng và ontology trong hệ thống tìm kiếm ảnh?
    Trích xuất đặc trưng giúp mô hình hiểu nội dung ảnh ở cấp độ hình ảnh, còn ontology cung cấp ngữ cảnh và mối quan hệ ngữ nghĩa giữa các chủ đề. Kết hợp hai phương pháp này giúp hệ thống vừa chính xác trong phân loại vừa linh hoạt và đa dạng trong truy vấn.

  5. Hệ thống này có thể ứng dụng trong những lĩnh vực nào?
    Hệ thống phù hợp với nhiều lĩnh vực như nông nghiệp thông minh (nhận dạng nông sản), y tế thông minh (phân loại hình ảnh y khoa), giao thông thông minh (giám sát và phân loại phương tiện), cũng như các hệ thống thư viện số và giải trí đa phương tiện.

Kết luận

  • Luận văn đã xây dựng thành công mô hình phân lớp ngữ nghĩa hình ảnh dựa trên mạng nơ-ron tích chập kết hợp với domain ontology, nâng cao độ chính xác và hiệu quả tìm kiếm ảnh theo ngữ nghĩa.
  • Mô hình CNN đạt độ chính xác phân lớp trung bình khoảng 85%, với các kỹ thuật tối ưu như dropout và điều chỉnh batch size giúp giảm lỗi và tăng tốc độ huấn luyện.
  • Việc tích hợp ontology giúp hệ thống mở rộng khả năng truy vấn, đa dạng hóa kết quả và giảm thiểu ảnh không liên quan trong truy xuất.
  • Nghiên cứu có ý nghĩa thực tiễn cao, phù hợp ứng dụng trong nhiều lĩnh vực kinh tế xã hội, góp phần thúc đẩy chuyển đổi số trong cách mạng công nghiệp 4.0.
  • Các bước tiếp theo bao gồm mở rộng bộ dữ liệu, cập nhật ontology liên tục, tối ưu thuật toán và triển khai ứng dụng thực tế nhằm hoàn thiện và phát triển hệ thống.

Đề nghị các nhà nghiên cứu và chuyên gia trong lĩnh vực công nghệ thông tin, thị giác máy tính và web ngữ nghĩa tiếp cận và ứng dụng kết quả nghiên cứu này để phát triển các hệ thống thông minh, nâng cao hiệu quả quản lý và khai thác dữ liệu hình ảnh.