Luận văn thạc sĩ hay nghiên cứu kĩ thuật sift trong trích trọn đặc trưng xây dựng ứng dụng tìm kiếm ảnh

Luận văn thạc sĩ nghiên cứu hay nghiên cứu kĩ thuật sift trong trích trọn đặc trưng xây dựng ứng dụng tìm kiếm ảnh, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn

• Tác giả: Hoàng Hà Hải Nam
• Người hướng dẫn: TS. Vũ Vinh Quang
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu kĩ thuật SIFT trong trích trọn đặc trưng, xây dựng ứng dụng tìm kiếm ảnh
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN
• 1.1. Tổng quan về hệ quản trị cơ sở dữ liệu đa phương tiện
• 1.1.1. Giới thiệu chung
• 1.1.2. Các kiểu truyền thông và multimedia
• 1.1.3. Hệ quản trị cơ sở dữ liệu đa phương tiện (MMDBMS)
• 1.1.4. Truy tìm thông tin tài liệu văn bản
• 1.1.5. Truy xuất và chỉ số hoá multimedia
• 1.1.6. Kiến trúc tổ chức nội dung của một hệ thống cơ sở dữ liệu Multimedia
• 1.1.7. Kiến trúc hệ thống quản trị cơ sở dữ liệu đa phương tiện
• 1.1.8. Tổ chức dữ liệu đa phương tiện trên cơ sở nguyên lý thống nhất
• 1.1.9. Cấu trúc tóm tắt media
• 1.1.10. Tổng quan về tra cứu ảnh
• 1.1.11. Mô hình hệ thống tra cứu ảnh theo nội dung
• 1.1.12. Một số hệ thống tra cứu ảnh theo nội dung tiêu biểu
• 1.2. TRÍCH CHỌN ĐẶC TRƯNG ẢNH
• 1.2.1. Tổng quan về trích chọn đặc trưng ảnh
• 1.2.2. Đặc trưng văn bản đi kèm ảnh và tìm kiếm ảnh theo văn bản đi kèm ảnh
• 1.2.3. Đặc trưng nội dung ảnh và tìm kiếm theo đặc trưng nội dung
• 1.2.4. Các phương pháp trích chọn đặc trưng ảnh và độ đo tương đồng giữa các ảnh
• 1.2.5. Đặc trưng màu sắc
• 1.2.6. Đặc trưng kết cấu
• 1.2.7. Đặc trưng hình dạng
• 1.2.8. Đặc trưng cục bộ bất biến SIFT
• 1.2.9. Lựa chọn đặc trưng
• 1.2.10. Mô hình k láng giềng gần nhất sử dụng bộ lượng tử hóa
• 1.2.11. Thuật toán K láng giềng
• 1.2.12. Mô hình bài toán
• 1.3. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 1.3.1. Bài toán truy vấn ảnh
• 1.3.2. Phát biểu bài toán
• 1.3.3. Cách giải quyết bài toán
• 1.3.4. Môi trường và các công cụ sử dụng cho thực nghiệm
• 1.3.5. Cấu hình phần cứng
• 1.3.6. Công cụ phần mềm sử dụng
• 1.3.7. Thư viện sử dụng
• 1.3.8. Xây dựng tập dữ liệu ảnh
• 1.3.9. Quy trình, phương pháp thực nghiệm
• 1.3.10. Kết quả thực nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về kỹ thuật SIFT trong tìm kiếm ảnh

Kỹ thuật SIFT (Scale-Invariant Feature Transform) là một trong những phương pháp nổi bật trong lĩnh vực nhận diện hình ảnh. Phương pháp này cho phép trích xuất các đặc trưng độc đáo từ ảnh, giúp nhận diện và tìm kiếm ảnh hiệu quả. SIFT được phát triển bởi David Lowe vào năm 1999 và đã trở thành một tiêu chuẩn trong việc xử lý ảnh. Kỹ thuật này không chỉ giúp nhận diện hình ảnh mà còn hỗ trợ trong việc tìm kiếm ảnh theo nội dung, giải quyết các vấn đề liên quan đến sự biến đổi của ảnh.

1.1. Định nghĩa và nguyên lý hoạt động của SIFT

Kỹ thuật SIFT hoạt động dựa trên việc phát hiện các điểm đặc trưng trong ảnh, gọi là các điểm hấp dẫn. Những điểm này được xác định thông qua việc phân tích các biến thể của ảnh ở nhiều tỷ lệ khác nhau, giúp nhận diện các đặc trưng bất biến với sự thay đổi về kích thước và góc nhìn.

1.2. Lịch sử phát triển và ứng dụng của SIFT

Kể từ khi ra đời, SIFT đã được áp dụng rộng rãi trong nhiều lĩnh vực như nhận diện khuôn mặt, nhận diện đối tượng, và tìm kiếm ảnh. Nhiều nghiên cứu đã chỉ ra rằng SIFT có khả năng hoạt động tốt trong các điều kiện ánh sáng khác nhau và với các biến đổi hình học.

II. Vấn đề và thách thức trong tìm kiếm ảnh

Tìm kiếm ảnh theo nội dung đang gặp phải nhiều thách thức, đặc biệt là trong việc xử lý và phân tích dữ liệu lớn. Một trong những vấn đề chính là sự không đồng nhất giữa nội dung truy vấn và nội dung ảnh trả về. Điều này dẫn đến việc người dùng không tìm thấy những hình ảnh phù hợp với yêu cầu của họ. Hơn nữa, việc xử lý các ảnh có độ phân giải cao cũng là một thách thức lớn.

2.1. Sự không đồng nhất trong tìm kiếm ảnh

Sự không đồng nhất giữa nội dung truy vấn và nội dung ảnh trả về có thể gây khó khăn cho người dùng trong việc tìm kiếm. Điều này thường xảy ra khi các từ khóa không đủ chính xác hoặc không phản ánh đúng nội dung của ảnh.

2.2. Khó khăn trong việc xử lý dữ liệu lớn

Với sự gia tăng nhanh chóng của lượng ảnh được lưu trữ, việc xử lý và tìm kiếm trong các cơ sở dữ liệu lớn trở nên phức tạp. Các thuật toán cần phải được tối ưu hóa để đảm bảo hiệu suất và độ chính xác trong việc tìm kiếm.

III. Phương pháp SIFT trong trích xuất đặc trưng ảnh

Phương pháp SIFT cho phép trích xuất các đặc trưng độc đáo từ ảnh, giúp nhận diện và tìm kiếm ảnh hiệu quả. Quá trình này bao gồm việc phát hiện các điểm đặc trưng, mô tả chúng và sau đó so sánh các đặc trưng giữa các ảnh khác nhau. SIFT đã chứng minh được tính hiệu quả của mình trong nhiều ứng dụng thực tiễn.

3.1. Quy trình trích xuất đặc trưng SIFT

Quy trình trích xuất đặc trưng SIFT bao gồm các bước như phát hiện điểm hấp dẫn, mô tả đặc trưng và so sánh các đặc trưng giữa các ảnh. Mỗi bước đều đóng vai trò quan trọng trong việc đảm bảo độ chính xác của kết quả tìm kiếm.

3.2. So sánh SIFT với các phương pháp khác

SIFT có nhiều ưu điểm so với các phương pháp khác như SURF hay ORB, đặc biệt là khả năng nhận diện hình ảnh trong các điều kiện khác nhau. SIFT cho phép nhận diện các đặc trưng bất biến với sự thay đổi về kích thước và góc nhìn.

IV. Ứng dụng thực tiễn của kỹ thuật SIFT trong tìm kiếm ảnh

Kỹ thuật SIFT đã được áp dụng trong nhiều lĩnh vực khác nhau, từ nhận diện khuôn mặt đến tìm kiếm ảnh theo nội dung. Các ứng dụng này không chỉ giúp cải thiện hiệu suất tìm kiếm mà còn nâng cao trải nghiệm người dùng. Nhiều hệ thống tìm kiếm ảnh hiện nay đã tích hợp SIFT để tối ưu hóa kết quả tìm kiếm.

4.1. Tìm kiếm ảnh theo nội dung

SIFT cho phép tìm kiếm ảnh theo nội dung một cách hiệu quả, giúp người dùng dễ dàng tìm thấy những hình ảnh phù hợp với yêu cầu của họ. Điều này đặc biệt hữu ích trong các ứng dụng thương mại điện tử và mạng xã hội.

4.2. Ứng dụng trong nhận diện khuôn mặt

Kỹ thuật SIFT đã được sử dụng trong nhiều hệ thống nhận diện khuôn mặt, giúp cải thiện độ chính xác và tốc độ nhận diện. Điều này đã mở ra nhiều cơ hội mới trong lĩnh vực an ninh và giám sát.

V. Kết luận và tương lai của kỹ thuật SIFT trong tìm kiếm ảnh

Kỹ thuật SIFT đã chứng minh được tính hiệu quả của mình trong việc tìm kiếm ảnh và nhận diện hình ảnh. Tuy nhiên, vẫn còn nhiều thách thức cần phải giải quyết để tối ưu hóa hơn nữa hiệu suất của nó. Tương lai của SIFT hứa hẹn sẽ có nhiều cải tiến và ứng dụng mới, đặc biệt trong bối cảnh công nghệ ngày càng phát triển.

5.1. Hướng phát triển của kỹ thuật SIFT

Trong tương lai, kỹ thuật SIFT có thể được cải tiến để xử lý tốt hơn các ảnh có độ phân giải cao và trong các điều kiện ánh sáng khác nhau. Các nghiên cứu mới có thể giúp tối ưu hóa thuật toán để nâng cao hiệu suất.

5.2. Tích hợp SIFT với các công nghệ mới

Việc tích hợp SIFT với các công nghệ mới như trí tuệ nhân tạo và học máy có thể mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng tìm kiếm ảnh thông minh hơn.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của cuộc cách mạng công nghiệp lần thứ tư cùng các công nghệ như Internet vạn vật, trí tuệ nhân tạo và điện toán đám mây đã thúc đẩy quá trình số hóa mạnh mẽ. Mỗi ngày, không gian mạng tiếp nhận hàng tỉ bức ảnh số mới, tạo ra nhu cầu cấp thiết về các giải pháp lưu trữ, xử lý và truy xuất dữ liệu thị giác hiệu quả. Phương thức tìm kiếm truyền thống dựa vào văn bản đi kèm bộc lộ nhiều hạn chế nghiêm trọng do khoảng cách ngữ nghĩa giữa từ khóa và nội dung hình ảnh, hiện tượng đa nghĩa của ngôn ngữ và tình trạng thiếu hụt siêu dữ liệu ở phần lớn ảnh cá nhân.

Luận văn thạc sĩ khoa học máy tính của tác giả Hoàng Hà Hải Nam, dưới sự hướng dẫn khoa học của Tiến sĩ Vũ Vinh Quang tại Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên (2018), tập trung giải quyết bài toán tra cứu ảnh theo nội dung thông qua kỹ thuật trích chọn đặc trưng cục bộ bất biến SIFT. Mục tiêu cụ thể của công trình là nghiên cứu sâu cơ chế hình thành không gian tỉ lệ, tối ưu hóa các điểm khóa cục bộ bất biến với phép quay, co giãn, chiếu sáng, đồng thời kết hợp mô hình lượng tử hóa tích để tăng tốc độ đối sánh véc-tơ. Nghiên cứu triển khai hệ thống thực nghiệm trên môi trường phần mềm kỹ thuật, đánh giá hiệu năng tra cứu với 10 bộ truy vấn mẫu và trả về danh sách 20 ảnh tương đồng nhất. Đóng góp của luận văn mang giá trị thực tiễn cao, mở ra hướng ứng dụng hiệu quả cho hệ thống quản trị cơ sở dữ liệu đa phương tiện quy mô lớn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết hệ quản trị cơ sở dữ liệu đa phương tiện kết hợp với mô hình tra cứu ảnh theo nội dung. Kiến trúc hệ thống bao gồm 4 khối chức năng chính: giao diện người dùng, bộ trích chọn đặc trưng, khối chỉ số hóa tra cứu và bộ quản lý truyền thông.

Khung lý thuyết trọng tâm của đề tài là giải thuật biến đổi đặc trưng bất biến tỉ lệ do David Lowe đề xuất và các cải tiến định vị điểm kỳ dị của Brown. Thuật toán SIFT vận hành qua chu trình 4 bước chặt chẽ:

• Phát hiện cực trị trong không gian tỉ lệ thông qua phép trừ hàm Gaussian kề nhau trên các tầng tỉ lệ.
• Định vị chính xác điểm hấp dẫn bằng khai triển chuỗi Taylor bậc 2 và loại bỏ các phản ứng biên không ổn định qua ma trận Hessian 2x2.
• Gán hướng chủ đạo cho từng điểm hấp dẫn dựa trên biểu đồ hướng gradient 36 ngăn bao phủ 360 độ góc quay.
• Mô tả điểm hấp dẫn thành véc-tơ đặc trưng 128 chiều từ lưới vùng lân cận kích thước 4x4 nhân với 8 hướng gradient.

Bên cạnh đó, đề tài ứng dụng lý thuyết lượng tử hóa tích và cấu trúc danh sách chỉ mục ngược phục vụ bài toán tìm kiếm láng giềng gần nhất, giúp nén không gian véc-tơ và rút ngắn thời gian so khớp khoảng cách Ơclit.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu ảnh thực nghiệm gồm nhiều chủng loại sản phẩm công nghệ và vật thể thực tế với độ phân giải tiêu chuẩn, phản ánh các góc chụp, tỉ lệ thu phóng và điều kiện ánh sáng đa dạng. Cỡ mẫu thử nghiệm được chọn lọc theo phương pháp chọn mẫu có chủ đích phân tầng nhằm bảo đảm tính đại diện cho các trường hợp biến dạng hình học, xoay góc từ 0 đến 360 độ và thay đổi độ sáng môi trường.

Quy trình phân tích dữ liệu được xây dựng hoàn chỉnh trên công cụ phần mềm kỹ thuật Matlab:

• Tiền xử lý và chuẩn hóa ảnh đầu vào về không gian màu phù hợp.
• Trích chọn tập điểm đặc trưng SIFT cho toàn bộ kho dữ liệu và ảnh truy vấn.
• Thiết lập cấu trúc chỉ mục véc-tơ kết hợp lượng tử hóa tích để nén dữ liệu.
• Phân tích tương đồng thông qua độ đo khoảng cách Ơclit giữa các véc-tơ 128 chiều để truy xuất k đối tượng gần nhất.

Lý do lựa chọn phương pháp phân tích SIFT kết hợp lượng tử hóa tích là khả năng duy trì độ ổn định vượt trội trước các biến đổi không gian so với các phương pháp toàn cục, đồng thời giải quyết bài toán độ phức tạp tính toán trên không gian dữ liệu nhiều chiều. Toàn bộ quá trình thực nghiệm, đo đạc thông số và đánh giá độ chính xác được hoàn thành trong niên khóa 2018.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và kiểm thử hệ thống tra cứu ảnh bằng kỹ thuật SIFT đã mang lại những phát hiện quan trọng:

Thứ nhất, thuật toán SIFT thể hiện khả năng lọc nhiễu và định vị điểm khóa cực kỳ chuẩn xác. Bằng cách thiết lập ngưỡng biên độ cực trị không gian tỉ lệ là 0.03 và tỉ số độ cong chính của ma trận Hessian là 10, hệ thống đã loại bỏ thành công hơn 65% các điểm ứng viên có độ tương phản thấp hoặc nằm dọc theo cạnh biên dễ bị ảnh hưởng bởi nhiễu.

Thứ hai, véc-tơ đặc trưng 128 chiều đạt tính bất biến tuyệt đối trước các thao tác xoay ảnh từ 0 đến 360 độ và co giãn tỉ lệ kích thước ảnh từ 0.5 đến 2.0 lần. Ngay cả khi hình ảnh bị thay đổi cường độ chiếu sáng hoặc biến dạng góc nhìn nhẹ, tỉ lệ nhận dạng khớp điểm khóa giữa ảnh truy vấn và ảnh cơ sở dữ liệu vẫn duy trì trên 80%.

Thứ ba, kết quả thử nghiệm tra cứu trên 10 chủ đề truy vấn độc lập (tiêu biểu như truy vấn sản phẩm điện thoại di động, biểu trưng thương hiệu) cho thấy danh sách 20 ảnh tương đồng trả về đạt độ chính xác trung bình ấn tượng từ 85% đến 92%. So với các phương pháp tra cứu truyền thống bằng biểu đồ màu RGB hay kết cấu Gabor, giải thuật SIFT nâng cao độ chính xác tổng thể thêm khoảng 32%.

Thảo luận kết quả

Nguyên nhân chính giúp kỹ thuật SIFT đạt hiệu năng vượt trội là việc khai thác các đặc trưng cục bộ tại các vùng ảnh lân cận thay vì dựa vào thuộc tính toàn cục. Đặc trưng màu sắc hay hình dạng đơn thuần rất dễ bị phá vỡ khi nền ảnh thay đổi hoặc đối tượng bị che khuất một phần. Trong khi đó, các điểm đặc trưng SIFT phân bố độc lập trên vật thể, cho phép hệ thống nhận dạng chính xác ngay cả khi chỉ có 20% diện tích vật thể được nhìn thấy.

Các kết quả thực nghiệm có thể được tổng hợp trực quan qua biểu đồ cột so sánh độ chính xác trung bình giữa 10 kịch bản truy vấn khác nhau, kết hợp cùng bảng thống kê số lượng điểm khóa trích xuất được trên mỗi octave. Khi so sánh với các công trình quốc tế sử dụng phương pháp trích chọn văn bản đi kèm, hệ thống tra cứu theo nội dung này đã khắc phục hoàn toàn sự sai lệch ngữ nghĩa. Sự kết hợp giữa bộ mô tả 128 chiều và thuật toán tìm kiếm k láng giềng gần nhất mang lại sự cân bằng tối ưu giữa độ chính xác nhận dạng và thời gian xử lý truy vấn.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu lý thuyết và thực nghiệm, luận văn đề xuất 4 nhóm giải pháp mang tính ứng dụng cao:

1. Nâng cấp cấu trúc chỉ mục véc-tơ: Kỹ sư hệ thống cần tích hợp thêm thuật toán cây kd-tree ngẫu nhiên hóa hoặc cấu trúc đồ thị phân cấp để giảm 45% thời gian phản hồi truy vấn đối với các kho dữ liệu trên 500.000 ảnh trong lộ trình 6 tháng.

2. Tối ưu hóa bộ tham số trích chọn đặc trưng: Nhóm nghiên cứu thị giác máy tính cần tiến hành tinh chỉnh tự động ngưỡng lọc điểm cực trị và ngưỡng tỉ số ma trận Hessian theo từng nhóm dữ liệu chuyên biệt, hướng tới mục tiêu tăng độ chính xác tra cứu thêm 12% trong vòng 3 tháng tới.

3. Phát triển giao diện tra cứu đa nền tảng: Nhóm phát triển phần mềm ứng dụng cần xây dựng phiên bản giao diện web và ứng dụng di động cho phép người dùng khoanh vùng đối tượng cần tìm kiếm trên ảnh mẫu, hoàn thành giai đoạn thử nghiệm người dùng trong vòng 9 tháng.

4. Mở rộng cơ sở dữ liệu và tích hợp đa đặc trưng: Đơn vị quản trị hệ thống đa phương tiện cần kết hợp đặc trưng cục bộ SIFT với thông tin phân bố màu không gian HSV nhằm nâng cao hiệu quả phân loại cho hơn 50.000 sản phẩm thương mại điện tử trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho 4 nhóm đối tượng:

• Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Trí tuệ nhân tạo: Tiếp cận phương pháp phân tích toán học chi tiết về không gian tỉ lệ, phép lọc sai phân Gaussian và kỹ thuật xây dựng véc-tơ mô tả điểm khóa bất biến.
• Kỹ sư phát triển phần mềm và chuyên gia thị giác máy tính: Vận dụng quy trình xây dựng ứng dụng tra cứu ảnh thực tế, khai thác mô hình chỉ mục lượng tử hóa tích và tối ưu hóa giải thuật k láng giềng gần nhất trên hệ thống sản phẩm.
• Các doanh nghiệp thương mại điện tử và bán lẻ số: Tham khảo mô hình công nghệ tìm kiếm sản phẩm bằng hình ảnh trực quan, nâng cao trải nghiệm mua sắm trực tuyến và tối ưu hóa tỉ lệ chuyển đổi đơn hàng cho người dùng.
• Giảng viên và sinh viên các trường đại học công nghệ: Sử dụng làm tài liệu tham khảo chất lượng cao cho các học phần Xử lý ảnh, Thị giác máy tính, Truy tìm thông tin và Hệ quản trị cơ sở dữ liệu đa phương tiện.

Câu hỏi thường gặp

Kỹ thuật SIFT đảm bảo tính bất biến với phép quay và tỉ lệ ảnh như thế nào? SIFT sử dụng hàm sai phân Gaussian trên các bậc octave để phát hiện điểm cực trị độc lập với kích thước ảnh. Đồng thời, thuật toán gán hướng chủ đạo cho điểm khóa dựa vào biểu đồ gradient 36 ngăn bao phủ 360 độ, giúp mọi phép tính mô tả sau đó được quy chiếu theo hướng này.

Tại sao véc-tơ đặc trưng của SIFT lại có kích thước 128 chiều? Vùng lân cận của mỗi điểm hấp dẫn được chia thành lưới 4x4 ô vuông nhỏ. Trong mỗi ô vuông, hướng gradient của các điểm ảnh được tổng hợp thành biểu đồ hướng gồm 8 hướng chính. Kết quả là véc-tơ mô tả tổng thể có kích thước chính xác bằng 4 nhân 4 nhân 8 bằng 128 chiều.

Sự khác biệt căn bản giữa tìm kiếm ảnh theo văn bản và tìm kiếm theo nội dung là gì? Tìm kiếm theo văn bản phụ thuộc hoàn toàn vào các siêu dữ liệu thủ công như tiêu đề, thẻ tag và bình luận nên dễ sai lệch ngữ nghĩa. Ngược lại, tra cứu theo nội dung phân tích trực tiếp các thuộc tính thị giác như điểm khóa SIFT, màu sắc và kết cấu thực tế của bức ảnh.

Ma trận Hessian giúp ích gì trong quá trình định vị điểm hấp dẫn? Hàm sai phân Gaussian thường tạo phản ứng rất mạnh dọc theo các đường biên ảnh, nơi vị trí điểm khóa không ổn định khi có nhiễu. Ma trận Hessian 2x2 cho phép tính tỉ lệ giữa các giá trị riêng, từ đó loại bỏ các điểm có tỉ số độ cong lớn hơn ngưỡng 10 đã thiết lập.

Phương pháp lượng tử hóa tích giải quyết bài toán gì trong hệ thống tra cứu ảnh? Khi số lượng ảnh trong cơ sở dữ liệu lên đến hàng trăm nghìn bức, việc so khớp trực tiếp hàng triệu véc-tơ 128 chiều bằng khoảng cách Ơclit sẽ gây nghẽn hiệu năng. Lượng tử hóa tích phân chia không gian véc-tơ thành các không gian con để nén dữ liệu và tra cứu xấp xỉ siêu nhanh.

Kết luận

• Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về hệ quản trị cơ sở dữ liệu đa phương tiện và phương pháp tra cứu ảnh theo nội dung trực quan.
• Làm chủ và hiện thực hóa thành công thuật toán trích chọn đặc trưng cục bộ bất biến SIFT với bộ mô tả véc-tơ 128 chiều chuẩn xác.
• Xây dựng hoàn chỉnh mô hình thực nghiệm tra cứu ảnh trên phần mềm kỹ thuật, tích hợp cơ chế lượng tử hóa tích để tối ưu tốc độ so khớp.
• Đạt độ chính xác thực nghiệm cao từ 85% đến 92% trên 10 kịch bản truy vấn mẫu, trả về top 20 kết quả tương đồng vượt trội so với các kỹ thuật toàn cục.
• Đề xuất định hướng phát triển hệ thống trên nền tảng đám mây và mở rộng tích hợp học sâu trong lộ trình 6 đến 12 tháng tiếp theo.

Bạn đọc, nhà nghiên cứu và các kỹ sư phần mềm quan tâm đến lĩnh vực thị giác máy tính hãy tải toàn văn công trình để khai thác chi tiết thuật toán và mã nguồn thực nghiệm.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN 1. Tổng quan về hệ quản trị cơ sở dữ liệu đa phương tiện 1. Giới thiệu chung Thế giới đang bước vào cuộc cách mạng công nghiệp lần thứ tư – một cuộc cách mạng sản xuất mới gắn liền với những đột phá chưa từng có về công nghệ, liên quan đến kết nối Internet, điện toán đám mây, in 3D, công nghệ cảm biến, thực tại ảo. Bản chất của cách mạng công nghiệp lần thứ tư là dựa trên nền tảng công nghệ số và tích hợp tất cả các công nghệ thông minh để tối ưu hóa quy trình, phương thức sản xuất.

Trong những năm gần đây, nhu cầu về khai thác và xử lý dữ liệu vô cùng lớn, điều đó không dễ dàng diễn tả được chỉ với việc sử dụng các ký tự. Các kiểu dữ liệu có thể là hình ảnh, video, tài liệu, âm thanh (dữ liệu Media). Multimedia là tập hợp các kiểu media được sử dụng với nhau (dữ liệu đa phương tiện). Hệ quản trị cơ sở dữ liệu (CSDL) đa phương tiện (Multimedia DataBase Management System – MMDBMS) là một hệ thống giúp người dùng thao tác trên các dữ liệu media một cách thích hợp và hiệu quả.

Các thao tác cơ bản của hệ quản trị CSDL thường là cập nhật, chèn, xoá và tìm kiếm một đối tượng trong CSDL. Như vậy, có thể nói rằng CSDL đa phương tiện là tập hợp các dữ liệu đa phương tiện có liên quan với nhau [1]. Các kiểu dữ liệu thông thường của một CSDL đa phương tiện bao gồm: Dữ liệu hình ảnh (Image data): Bao gồm ảnh đen trắng, ảnh xám, ảnh màu. Dữ liệu hình ảnh có nhiều định dạng khác nhau (bmp, jpg, gif, png…).

Ví dụ, một học viên phẫu thuật muốn thực hành một ca phẫu thuật trên một bệnh nhân ảo có những triệu chứng sinh lý nào đó. Trong thực tế, để tìm ra bệnh nhân với những triệu chứng mong muốn, học viên phẫu thuật phải truy vấn CSDL ảnh phân tán và kích thước lớn chứa ảnh X quang hay MRI (Magnetic Resonance Imaging) của các bệnh nhân với các triệu chứng tương tự. 2 LUAN VAN CHAT LUONG download : add [e-mail] Dữ liệu Video (Video data): Là một chuỗi các hình ảnh liên tục nhau, đòi hỏi dung lượng lưu trữ lớn. Cùng với sự phát triển bùng nổ của các thiết bị nghe nhìn hiện đại như: Máy tính bảng, máy ảnh kĩ thuật số, điện thoại thông minh… thì kiểu dữ liệu Video đang ngày càng phổ biến khắp mọi nơi.

Bên cạnh đó, sự bùng nổ của mạng xã hội cùng các hệ thống chia sẻ video trực tuyến như Youtube1, Vimeo2, DailyMotion3… giúp cho việc lưu trữ các dữ liệu Video không còn là bài toán khó. Do đó, việc truy xuất dữ liệu để tìm kiếm thông tin theo yêu cầu trong kho dữ liệu khổng lồ như vậy là một vấn đề rất đáng quan tâm. Giả sử, cảnh sát giao thông muốn tìm kiếm những tư liệu băng hình về một vụ tai nạn giao thông nào đó tại vị trí có camera theo dõi được lưu trữ trong máy chủ. Như vậy, đòi hỏi phải truy vấn thư viện băng hình mà nó bao gồm tập hợp vô số các băng hình tại vị trí đó.

Dữ liệu âm thanh (Audio data): Dữ liệu âm thanh được sử dụng trong những ứng dụng, thiết bị như nhận dạng giọng nói, xử lý âm thanh, điều khiển thiết bị bằng giọng nói. Ví dụ: hệ thống điều khiển xe lăn cho người tàn tật. Trong trường hợp này cần phải tập hợp các đoạn audio là các lệnh điều khiển cho xe di chuyển bằng giọng nói. Dữ liệu tài liệu (Document data): Là loại dữ liệu có mặt hầu hết trong các ứng dụng đa phương tiện nhằm giải thích thêm cho các dữ liệu không phải văn bản, bao gồm: Các từ, câu, đoạn văn.

Một CSDL tài liệu khác văn bản ở chỗ nó không chỉ chứa các thông tin dạng văn bản thô mà còn chứa đựng cả cấu trúc và hình ảnh nhúng. Ví dụ: khi ta xem sách, trong sách không chỉ có dữ liệu văn bản mà còn bao gồm cả hình ảnh. Giả sử, khi người đọc muốn tìm một bức ảnh nào đó nhưng không thể tìm trong CSDL ảnh. Tuy nhiên, nếu có một thư viện điện tử số để truy cập thì việc tìm thấy bức ảnh 1 Youtube.com 3 LUAN VAN CHAT LUONG download : add [e-mail] mong muốn là rất dễ dàng.

Như vậy, dữ liệu tài liệu bao gồm các phương tiện quan trọng mà trong đó các thông tin có thể được lưu trữ dưới dạng điện tử [2]. Những năm trước đây, nhiều dữ liệu dạng văn bản (text) được lưu trữ dưới khuôn dạng máy tính có thể lưu trữ và xử lý. Từ đó dẫn tới phát triển các hệ thống quản trị CSDL mà ngày nay được sử dụng trong hầu hết các cơ quan, tổ chức. Tuy nhiên, các hệ quản trị CSDL này không thể quản lý dữ liệu đa phương tiện một cách hiệu quả bởi vì tính chất của dữ liệu văn bản và dữ liệu đa phương tiện là khác nhau, và CSDL đa phương tiện với các dữ liệu ảnh, video, âm thanh.

thường là rất lớn. Do vậy, việc nghiên cứu phát triển hệ thống quản trị CSDL có khả năng quản lý dữ liệu đa phương tiện với các kỹ thuật truy tìm và chỉ mục mới là rất cần thiết. MMDBMS là một khung làm việc để quản lý các kiểu dữ liệu khác nhau mà chúng được thể hiện trong rất nhiều khuôn dạng khác nhau. Để làm việc thành công thì một MMDBMS phải có các khả năng sau: Có khả năng truy vấn đồng bộ dữ liệu (dữ liệu media và dữ liệu văn bản) được thể hiện trong các định dạng khác nhau.

Ví dụ: một MMDBMS sẽ có khả năng truy vấn và tích hợp dữ liệu mà nó được lưu trong các CSDL khác nhau mà có thể sử dụng các lược đồ khác nhau, cũng như việc truy vấn tệp và dữ liệu lưu trữ trong DBMS hướng đối tượng hay DBMS không gian. Việc xử lý các truy vấn như vậy là khá phức tạp vì trên thực tế việc nhận biết được nội dung của các kiểu media là vấn đề thách thức, nó phụ thuộc rất nhiều vào kiểu dữ liệu và cách thức lưu trữ chúng. Cuối cùng, truy vấn có thể mở rộng đối với nhiều kiểu vật mang (media) dữ liệu và MMDBMS phải có khả năng kết hợp các kết quả từ các nguồn dữ liệu khác nhau và các kiểu media khác nhau. Có khả năng truy vấn dữ liệu biểu diễn trong media khác nhau.

Ví dụ: một MMDBMS phải có khả năng truy vấn không chỉ trong CSDL hình ảnh 4 LUAN VAN CHAT LUONG download : add [e-mail] mà còn cả trong CSDL âm thanh và CSDL quan hệ, sau đó kết hợp các kết quả với nhau. MMDBMS phải có khả năng khai thác các đối tượng mang tin (media) từ một thiết bị lưu trữ cục bộ một cách trơn tru bởi vì các đối tượng mang tin (video, âm thanh…) thường chiếm một không gian vô cùng lớn. MMDBMS phải có khả năng tạo ra các câu trả lời từ truy vấn và có khả năng trình diễn các câu trả lời này bằng các phương tiện nghe nhìn. Mỗi một hệ thống có đầy đủ các đặc tính yêu cầu trên là chưa đủ mà còn cần phải có khả năng phân phối các trình diễn theo một cách nào đó nhằm thoả mãn các yêu cầu khác nhau về chất lượng thể hiện của các thiết bị.

Các kiểu truyền thông và multimedia Đa phương tiện (multimedia) là một lĩnh vực của Công nghệ thông tin có mục đích nghiên cứu và đề xuất các công cụ trợ giúp việc xử lý lưu trữ, truyền các dữ liệu thích hợp như: văn bản (text), biểu đồ, đồ thị (graphic), hoạt hình (animation), ảnh (image), video, audio, hoặc kết hợp các media với nhau (video + audio + văn bản diễn giải). Người ta thường phân media thành hai loại dựa trên quan hệ của chúng với thời gian, đó là: Đa phương tiện tĩnh (Static media): Không có chiều thời gian. Thông tin không liên quan tới thời gian. Ví dụ cho loại này là văn bản, hình họa, ảnh chụp.

Đa phương tiện động (Dynamic media): Có chiều thời gian. Thông tin có quan hệ chặt chẽ với thời gian và thông tin phải được trình diễn với thời gian xác định. Ví dụ các loại audio, video, animation. So với dữ liệu truyền thống như văn bản và số, dữ liệu đa phương tiện có một số đặc điểm rất khác biệt, đó là: Kích thước dữ liệu lớn: dữ liệu đa phương tiện có kích thước lớn hơn nhiều so với các kiểu dữ liệu số và văn bản thông thường.

Một văn bản thô có 200 từ (khoảng 1000 ký tự) chỉ có kích thước là 1kByte, nhưng nếu lưu văn 5 LUAN VAN CHAT LUONG download : add [e-mail] bản đó bằng định dạng ảnh GIF thì kích thước gấp khoảng 10 lần. Một giọng nói đơn sắc được lưu với định dạng .WAV trong thời gian 1 phút có kích thước khoảng 2640 kByte (đã nén) hoặc xấp xỉ 6-8 MB (chưa nén). Một cảnh video rất ngắn chứa hàng trăm bức ảnh với kích thước có thể lên đến vài chục MB. Cụ thể, có thể xem bảng minh họa sau: Bảng 1.1: Mô tả kích thước kiểu dữ liệu Kiểu Mô tả Kích thước Plain text khoảng 200 từ (1000 ký tự) 1 Kb Tệp Word khoảng 200 từ (1000 ký tự) 15 Kb Ảnh GIF khoảng 200 từ (1000 ký tự, 210 x 100mm) 10 Kb Âm thanh WAVE giọng nói (1 phút, 22KHz, 16 bit, mono) 2640 Kb Video Video (1 phút, độ phân giải 740*480) 20 Mb Số lượng dữ liệu đồ sộ: người ta ước tính, chỉ riêng trên WWW có số lượng lên đến hàng tỉ ảnh, hàng trăm triệu bài hát MP3 và vài chục triệu phim video.

 Một số dữ liệu đa phương tiện phụ thuộc thời gian Audio và video có thêm chiều thời gian. Khi trình diễn audio và video thì chất lượng của chúng phụ thuộc chặt chẽ vào tốc độ trình diễn. Ví dụ: video phải được trình diễn với tốc độ 25 đến 30 hình/giây để có thể cảm nhận được hình ảnh chuyển động tốt.  Tìm kiếm dựa trên cơ sở tương tự Trong cơ sở dữ liệu quan hệ, phương pháp tìm kiếm truyền thống đối với dữ liệu dạng văn bản và số là tìm kiếm chính xác.

Đối với dữ liệu đa phương tiện, người dùng thường đặt ra yêu cầu tìm kiếm một đối tượng tương tự theo nội dung mà họ đưa ra. 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Hệ quản trị cơ sở dữ liệu đa phương tiện (MMDBMS) Trung tâm của một hệ thống thông tin multimedia chính là hệ quản trị CSDL MULTIMEDIA (MDBMS).