MỞ ĐẦU Trong những năm gần đây bài toán về khai thác, xử lý và quản lý dữ liệu ngày càng có ý nghĩa quan trọng trong lĩnh vực công nghệ thông tin. Với sự phát triển không ngừng của công nghệ thông tin, ngày càng có nhiều kiểu dữ liệu ra đời như dữ liệu hình ảnh, dữ liệu âm thanh, dữ liệu video, dữ liệu tài liệu, dữ liệu viết tay. Cùng với nó là nhu cầu về quản lý, khai thác và xử lý nó được đặt ra. Các kiểu dữ liệu trên đây chỉ là một phần trong rất nhiều hình thức biểu hiện của dữ liệu phát sinh tự nhiên trong các ứng dụng khác nhau.
Từ những dữ liệu mới phát sinh trên, ta thấy rằng cơ sở dữ liệu truyền thống không thể quản lý các kiểu dữ liệu này được. Do đó cần phải có một hệ thống quản lý tất cả các loại dữ liệu media và CSDL đa phương tiện được hình thành đó là hệ thống quản trị CSDL đa phương tiện (MMDBMS -Multimedia Database Management System). Mặt khác trong các CSDL truyền thống, mối quan tâm hiệu suất chính là tính hiệu quả (có thể trả lời kết quả trong bao lâu). Trong MMDBMS, hiệu quả và hơn nữa, hiệu quả truy tìm (khả năng tìm ra các mục liên quan và khả năng loại bỏ các mục không liên quan) cũng rất quan trọng.
Trong thời gian qua lĩnh vực MMDBMS phát triển vô cùng nhanh chóng. Vào giữa những năm 90 của thế kỷ XX, xuất hiện các hệ thống MMDBMS thương mại, được xây dựng từ đầu. Thí dụ: MediaDB (nay gọi là MediaWay), JASMIN và ITASCA. Chúng có khả năng quản lý các loại dữ liệu khác nhau và có cơ chế truy tìm, chèn, cập nhật dữ liệu.
Một số trong chúng bị biến mất trên thị trường sau vài năm thương mại. Một số trong chúng được nâng cấp theo tiến bộ của công nghệ phần cứng, phần mềm và thay đổi ứng dụng. Thí dụ MediaWay có khả năng hỗ trợ rất nhiều kiểu dữ liệu khác nhau từ ảnh, video đến các tài liệu PowerPoint. Sau đó là sự xuất hiện các hệ thống thương mại với khả năng quản lý nội dung đa phương tiện nhờ có khả năng hỗ trợ kiểu dữ liệu phức hợp cho các kiểu media khác nhau.
Tiệm cận hướng đối tượng cho khả năng định nghĩa các kiểu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4 dữ liệu và các thao tác mới phù hợp với các kiểu media mới như video, ảnh và audio. Do vậy các MMDBMS thương mại được sử dụng rộng rãi là trên cơ sở DBMS quan hệ-mở rộng (ORDBMS). Informix bán trên thị trường ORDBMS từ 1996-1998. Các công việc tiếp theo là mở rộng dịch vụ tìm kiếm (chủ yếu theo tiêu chí tương tự) video, audio và các công cụ trình diễn, duyệt.
Tiếp theo là các dự án đang thực hiện (hoặc vừa mới kết thúc). Các dự án này chủ yếu tập trung vào các ứng dụng giàu nội dung ngữ nghĩa. Phần lớn chúng được xây dựng trên các chuẩn MPEG mới (MPEG-7 và MPEG-21). Như vậy MMDBMS cần có khả năng hỗ trợ các kiểu dữ liệu đa phương tiện, hơn nữa phải có khả năng thực hiện các chức năng thông thường của DBMS truyền thống như tạo lập CSDL, mô hình hóa dữ liệu, truy tìm, xâm nhập, tổ chức dữ liệu và độc lập dữ liệu.
Trong khuôn khổ của luận văn này, một số vấn đề cơ bản của hệ quản trị cơ sở dữ liệu đa phương tiện, cụ thể là CSDL văn bản được trình bày theo cấu trúc như sau: Chƣơng 1: Khái quát về CSDL đa phƣơng tiện Trong chương này trình bày khái quát về mô hình dữ liệu đa phương tiện, kiến trúc tổng quát của CSDL đa phương tiện. Chƣơng 2: Một số kỹ thuật truy vấn văn bản trên cơ sở nội dung trong CSDL đa phƣơng tiện Chương này trình bày một số phương pháp nén dữ liệu văn bản, lập chỉ mục văn bản, truy vấn thông tin trong CSDL và khảo sát một số công cụ tìm kiếm hiện có. Chƣơng 3: Xây dựng ứng dụng thử nghiệm để truy tìm văn bản Tập trung nghiên cứu và cài đặt thử nghiệm một số phương pháp tìm kiếm theo nội dung trong cơ sở dữ liệu đa phương tiện, cụ thể là dữ liệu văn bản. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5 Chƣơng 1: KHÁI QUÁT VỀ CƠ SỞ DỮ LIỆU ĐA PHƢƠNG TIỆN 1.
Khái quát về cơ sở dữ liệu đa phƣơng tiện[1] Chúng ta đang sống trong kỷ nguyên mà công nghệ thông tin phát triển như vũ bão và máy tính là thiết bị xử lý biểu tượng (symbolic) - các thiết bị có đầu vào là các biểu tượng theo luật alphabet và đầu ra là tập các biểu tượng của cùng dạng trên. Tuy nhiên, trong những năm gần đây xuất hiện nhu cầu vô cùng lớn về khả năng khai thác và xử lý dữ liệu với số lượng khổng lồ mà nó là điều không dễ dàng diễn tả chỉ với việc sử dụng các ký tự. Các kiểu dữ liệu đó là ảnh, video, tài liệu, âm thanh (dữ liệu Media). Multimedia là tập hợp các kiểu media được sử dụng với nhau (dữ liệu đa phương tiện).
Hệ quản trị CSDL đa phương tiện (Multimedia DataBase Management System-MMDBMS) là một hệ thống giúp người dùng thao tác trên các dữ liệu media một cách thích hợp và hiệu quả. Các thao tác cơ bản của hệ quản trị CSDL thường là chèn, cập nhật, xoá và tìm kiếm một đối tượng trong CSDL. Như vậy ta có thể nói rằng CSDL đa phương tiện là tập hợp các đối tượng phương tiện với các kiểu khác nhau. Sau đây là một số kiểu dữ liệu được đề cập đến: - Dữ liệu hình ảnh (Image data): Ví dụ một học viên phẫu thuật muốn thực hành một ca phẫu thuật trên một bệnh nhân ảo có những triệu chứng sinh lý nào đó.
Trong thực tế để tìm ra bệnh nhân với những triệu chứng mong muốn, học viên phẫu thuật phải truy vấn cơ sở dữ liệu (CSDL) ảnh phân tán và kích thước lớn chứa ảnh X quang hay MRI (Magnetic Resonance Imaging) của các bệnh nhân với các triệu chứng tương tự. Không phải trường hợp nào các triệu chứng cũng dễ dàng được mô tả bằng các văn bản, trong một số trường hợp nó sẽ là dễ dàng hơn cho học viên phẫu thuật nếu có thể trình diễn hình ảnh của loại mẫu (pattern) mà anh ta đang tìm kiếm trong các ảnh X quang của bệnh nhân. Trong cả hai trường hợp một CSDL hình ảnh phải tồn tại. Ta có thể truy vấn trên cơ sở nhiều tiêu chí khác nhau.
Vài chục năm gần đây việc sử dụng CSDL ảnh đã LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6 mang lại hiệu quả to lớn trong các lĩnh vực khác nhau của cuộc sống như việc lưu trữ ảnh hộ chiếu, ảnh chụp X quang và ảnh cắt lớp trong các bệnh viện, cơ quan NASA lưu trữ các ảnh của trái đất. - Dữ liệu Video (Video data): Giả sử một ai đó mong muốn có những bài giảng bằng băng hình về một chủ đề kỹ thuật nào đó. Như vậy đòi hỏi phải truy vấn thư viện băng hình mà nó bao gồm tập hợp vô số các băng hình với nội dung kỹ thuật. - Dữ liệu âm thanh (Audio data): Tình huống tương tự như trên, các sinh viên học từ xa muốn có các đoạn audio bài giảng của giáo viên.
Hoặc các sinh viên ngoại ngữ muốn có các đoạn audio các cuộc đàm thoại. Trong trường hợp này cần phải tập hợp các đoạn audio theo một chủ đề nào đó cho thuận tiện. - Dữ liệu tài liệu (Document data): Các đoạn văn bản, các từ, câu, đoạn văn, chương.là một CSDL văn bản truyền thống. Một CSDL tài liệu khác văn bản ở chỗ nó không chỉ chứa các thông tin dạng văn bản thô mà còn chứa đựng cả cấu trúc và hình ảnh nhúng.
Ví dụ, dữ liệu tài liệu được tạo ra, chèn và phục hồi nhờ sử dụng các ngôn ngữ đánh dấu chuẩn như HTML hay SGML. Trong các trường hợp như vậy cấu trúc của tài liệu có thể được khai thác dựa trên mục lục dữ liệu. Hoặc khi ta xem sách, trong sách không chỉ chứa dữ liệu văn bản mà còn chứa cả hình ảnh (có thể là hình vẽ hay các bức ảnh). Giả sử người đọc muốn tìm một bức ảnh nào đó nhưng không thể tìm trong CSDL ảnh.
Tuy nhiên nếu có một thư viện điện tử số để truy cập thì việc tìm thấy bức ảnh mong muốn là rất dễ dàng. Như vậy, dữ liệu tài liệu bao gồm các phương tiện quan trọng mà trong đó các thông tin có thể được lưu trữ dưới dạng điện tử. Những năm trước đây khi nhiều dữ liệu dạng văn bản (text) được lưu trữ dưới khuôn dạng máy tính có thể đọc. Từ đó dẫn tới phát triển các hệ thống quản trị CSDL mà ngày nay được sử dụng trong hầu hết các tổ chức, cơ quan.
Tuy nhiên, các hệ quản trị CSDL này không thể quản lý dữ liệu đa phương tiện một cách có hiệu quả bởi vì các tính chất dữ liệu văn bản và dữ liệu đa phương tiện là khác nhau, và CSDL đa phương tiện với các dữ liệu ảnh, video, âm thanh. thường là rất lớn. Do vậy, việc nghiên cứu phát triển hệ thống quản trị CSDL có LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 7 khả năng quản lý dữ liệu đa phương tiện với các kỹ thuật truy tìm và chỉ mục mới là rất cần thiết. MMDBMS là một khung làm việc để quản lý các kiểu dữ liệu khác nhau mà chúng được thể hiện trong rất nhiều khuôn dạng khác nhau.
Để làm việc thành công thì một MMDBMS phải có các khả năng sau: +Có khả năng truy vấn đồng bộ dữ liệu (dữ liệu media và dữ liệu văn bản) được thể hiện trong các định dạng khác nhau. Thí dụ: một MMDBMS sẽ có khả năng truy vấn và tích hợp dữ liệu mà nó được lưu trong các CSDL khác nhau (ví dụ: PARADOX, DBASE…) mà có thể sử dụng các lược đồ khác nhau, cũng như việc truy vấn tệp phẳng và dữ liệu lưu trữ trong DBMS hướng đối tượng hay DBMS không gian. Việc xử lý các truy vấn như vậy là khá phức tạp vì trên thực tế việc nhận biết được nội dung (content) của các kiểu media là vấn đề thách thức và nó phụ thuộc rất nhiều vào kiểu dữ liệu và cách thức lưu trữ chúng. Cuối cùng, truy vấn có thể mở rộng đối với nhiều kiểu vật mang (media) dữ liệu và MMDBMS phải có khả năng kết hợp các kết quả từ các nguồn dữ liệu khác nhau và các kiểu media khác nhau.
+ Có khả năng truy vấn dữ liệu biểu diễn trong media khác nhau.