Chương 1. Giới thiệu tổng quan về cơ sở dữ liệu đa phương tiện, xếp hạng tài liệu và các yếu tố cơ bản phục vụ cho việc tìm kiếm thông tin. Khái quát về một hệ thống truy tìm thông tin (IR) tiêu biểu và cụ thể là truy tìm tài liệu văn bản. Đề cập đến vấn đề chỉ mục tài liệu và thước đo hiệu năng.
Nghiên cứu một số mô hình tìm kiếm như: Boolean, không gian vectơ, phân cụm, dựa trên xác suất, phản hồi phù hợp và LSI. Cài đặt thực nghiệm mô hình LSI. Nội dung luận văn đi từ tổng quan về cơ sở dữ liệu đa phương tiện, hệ thống tìm kiếm đa phương tiện đến kỹ thuật chỉ mục, xử lý tài liệu, trích lọc thông tin đến chi tiết vấn đề tìm kiếm trên tài liệu văn bản. Đặc biệt, nghiên cứu các mô hình tìm kiếm và đi sâu nghiên cứu mô hình LSI- tìm kiếm văn bản trên cơ sở nội dung.
TIEU LUAN MOI download : skknchat@gmail.com 11 CHƢƠNG 1 - TỔNG QUAN 1.1 Khái quát về cơ sở dữ liệu (CSDL) đa phƣơng tiện [1] [10] [12] 1.1 Giới thiệu Trên thế giới tồn tại một lượng rất lớn dữ liệu số, các dữ liệu từ tivi, internet, qua phương tiện truyền thông hay có được từ nhiều phương tiện khác nhau như máy quay (video) kỹ thuật số. Các dòng dữ liệu số càng ngày càng tăng, các loại dữ liệu đa phương tiện kết hợp của dữ liệu hình ảnh, âm thanh, văn bản… Hiện nay, chúng ta đều biết internet đang được phát triển như thế nào, rõ ràng trong quá trình tương tác và trao đổi thông tin, người sử dụng có xu hướng chủ yếu xử lý trên kiểu dữ liệu đa phương tiện và chúng ta thấy được sự phát triển của kiểu dữ liệu này trong cuộc sống hiện đại. Tầm quan trọng của việc sử dụng thông tin sẽ dần dần thay đổi từ thông tin dạng số và rõ tới thông tin ở dạng đa phương tiện: dữ liệu hình ảnh, âm thanh và tài liệu văn bản. Vì thế, đa phương tiện là thông điệp cho xã hội thông tin ngày nay.
Sự tương tác của người sử dụng tự nhiên hơn với thông tin và các thiết bị truyền thông, trong phạm vi rộng sẽ tạo ra một xã hội có giá trị về mọi mặt. Vì thế, có thể dự đoán được đa phương tiện sẽ thâm nhập vào tất cả các hệ thống thông tin, từ công việc hàng ngày tới thương mại, công việc văn phòng chuyên nghiệp, giao tiếp với khách hàng, giáo dục, khoa học, trong nghệ thuật và được truyền đi rộng rãi qua internet. Đa phương tiện có thể trở thành dạng giao tiếp tự nhiên, nhưng nó không hoàn toàn tự do. Ngữ nghĩa của một thông điệp trong thông tin số và xác thực hơn là dòng bit của hình ảnh và âm thanh.
Trong đó, tín hiệu hình ảnh biểu thị cái gì, ý nghĩa của văn bản và nói gì về âm thanh là không dễ dàng lập luận với một máy tính. Những điều thuộc về ngữ nghĩa đó cần được xử lý từ dữ liệu thô bằng việc tổ chức, chuyển đổi, phân tích và phân lớp. Khai thác đa phương tiện (multimedia) đầy đủ yêu cầu sử dụng video, tranh ảnh, âm thanh và ngôn ngữ. Nó bao gồm sự tương tác của máy với dạng đa phương thức.
Thêm vào đó, kiến thức và sự hiểu biết về các dạng đa phương tiện sẽ có được hiểu biết về bản chất của các dòng thông tin đa phương tiện. Các hệ thống thông tin đa phương tiện sẽ lưu và cung cấp truy cập đến các dòng dữ liệu, hệ thống ứng dụng thông tin trên tất cả các dạng. Trong phạm vi vấn đề này, đa phương tiện có thể được mô tả như mọi ứng dụng của dữ liệu thông tin trên một máy tính qua các dạng như hình ảnh, ngôn ngữ tự nhiên và âm thanh. Một số mô hình ứng dụng đa phương tiện như các thiết bị điện tử, hệ thống lưu trữ các kho chứa đa phương tiện lớn, sử dụng các tài liệu điện tử của đa phương tiện, y TIEU LUAN MOI download : skknchat@gmail.com 12 tế điện tử và chính phủ điện tử.
Ứng dụng đa phương tiện trở thành một phần không thể thiếu của các công việc trong nhiều cụm kinh tế. Ví dụ: phân tích hệ thống thông tin đa phương tiện sử dụng để giám sát, thu thập chứng cớ tòa án và an ninh chung… Việc phát sinh khối kiến thức đa phương tiện và kiến thức kỹ thuật được dùng để lưu trữ việc tạo hình ảnh, phim và âm thanh có thể được sử dụng trong di sản văn hóa và nền công nghiệp giải trí. Có rất nhiều định nghĩa khác nhau về CSDL đa phương tiện: Theo nghiên cứu EURESCOM thì CSDL đa phương tiện là một CSDL có hiệu năng cao, sức chứa lớn với khả năng hỗ trợ các kiểu dữ liệu đa phương tiện cũng như các kiểu dữ liệu chữ số cơ bản khác và nó có thể quản lý một khối lượng rất lớn thông tin đa phương tiện. Dữ liệu âm thanh (audio data): Tín hiệu âm thanh bao gồm tiếng nói, âm nhạc, tiếng động và mọi sự kết hợp các âm thanh khác nhau.
Việc lưu lại một bài diễn thuyết, một cuộc đàm thoại, các đoạn audio theo một chủ đề nào đó có ý nghĩa rất lớn trong thực tế. Ví dụ, qua đài phát thanh chúng ta có thể thu thập được nhiều thông tin với các chủ đề khác nhau, có thể tìm kiếm các bài hát trên internet, thu thập các đoạn audio bài giảng trong đào tạo từ xa, học ngoại ngữ qua các đoạn audio. Dữ liệu hình ảnh (image data): Dữ liệu ảnh có thể được dùng để lưu trữ dấu vân tay, nhận dạng khuôn mặt trong điều tra tội phạm; ảnh thẻ trong quản lý nhân sự; trong những yêu cầu lưu lại hình ảnh như dữ liệu ảnh cổ vật, hiện tượng thiên nhiên, trái đất… Hơn nữa, trong y học cần có một cơ sở dữ liệu ảnh để có thể truy vấn các triệu trứng để tìm ra những căn bệnh tương tự không chỉ bằng văn bản mà bằng cả hình ảnh, ảnh chụp X quang, ảnh chụp cắt lớp. Trong thời gian gần đây, việc sử dụng CSDL ảnh đã mang lại hiệu quả to lớn trong nhiều lĩnh vực khác nhau của đời sống, kinh tế và xã hội.
Dữ liệu video (video data): Video giống như một tập các hình ảnh ở các thời điểm được sắp xếp, biểu diễn theo một chuỗi thời gian nhất định. Trên thực tế chính là chuyển động của các điểm ảnh từ trạng thái này sang trạng thái khác, hay là sự chuyển động của mỗi đối tượng riêng lẻ được phân tách từ dữ liệu video. Dữ liệu video được ứng dụng nhiều trong công nghệ giải trí (phim ảnh, clip âm nhạc.), trong đào tạo từ xa (qua những video bài giảng). Nhiều phòng chức năng có nhiệm vụ lưu trữ và thu thập các video (tư liệu lịch sử, tư liệu khai quật khảo cổ học của địa phương hay quốc gia.) để nhằm phát triển khả năng trở thành bộ nhớ tiểu sử tự động (autobiographic memory).
Dữ liệu văn bản (text data): Sự biểu diễn cơ bản của văn bản là cách tiếp cận với “túi các từ” (bag – of – words). Theo thống kê, đến năm 2005 toàn bộ văn bản trên mạng có thể đã lên tới hàng chục TB. Các dữ liệu văn bản tiêu biểu như: Các trang web, tiêu đề bài viết, các bản báo cáo, bài báo được công bố hàn lâm, các ứng dụng hỗ TIEU LUAN MOI download : skknchat@gmail.com 13 trợ nghiên cứu, các trang tài liệu, bách khoa toàn thư, thư mục, chép sử, thư điện tử, các bản sao xét xử của toà án, kho thư viện. Điều quan trọng là khối lượng dữ liệu văn bản ngày càng lớn và được sử dụng lưu trữ tài liệu trong mọi cơ quan tổ chức.
Vì thế, quan tâm đến xử lý văn bản là rất cần thiết. Thực tế, tập văn bản sách trong một thư viện của một trường đại học nhỏ cũng có thể chứa đến 100GB lưu trữ, hay một nhà nghiên cứu trong 10 năm có đến 10MB tập văn bản, và cũng nhà nghiên cứu đó trong 10 năm lưu trữ tài liệu thư điện tử có thể chiếm đến 100MB. Ngoài ra còn dùng các miêu tả bằng văn bản cho hình ảnh hay video, người ta có thể chèn các thuộc tính, các đoạn thuyết minh, chú thích cho các đối tượng đó.2 Mục tiêu chính Theo cách nhìn trên đây ta nhận thấy CSDL đa phương tiện bao gồm năm mục tiêu chính như sau: - Hỗ trợ các kiểu dữ liệu (Type=Structure+Operations) đa phương tiện: các phương tiện (media) khác nhau và các thao tác thông thường cũng như các thao tác đặc biệt mà kiểu dữ liệu thông thường không có như tiến, lùi, dừng. - Có khả năng quản lý số lượng lớn các đối tượng đa phương tiện: đề cập đến không gian lưu trữ của CSDL.
- Hỗ trợ hiệu năng cao, sức chứa cao và quản trị lưu trữ hiệu quả - Có các khả năng của hệ CSDL truyền thống - Có khả năng truy tìm thông tin đa phương tiện.3 Mô hình dữ liệu đa phương tiện Mô hình dữ liệu MIRS (Multimedia Information Retrieval System) hình thành trên nền tảng nguyên tắc hướng đối tượng và phân cấp đa tầng. Tầng đối tượng Đối tượng bao gồm một hay nhiều mục media với các quan hệ không gian và thời gian xác định, như với một đối tượng đa phương tiện là một trang bao gồm một vài hình ảnh và âm thanh kèm theo. Nhiệm vụ mấu chốt là làm thế nào để chỉ ra các quan hệ không gian và thời gian. Quan hệ không gian được đặc tả bởi kích thước và vị trí cửa sổ hiển thị của mỗi mục.
Phương pháp chung đặc tả thời gian là đặc tả trên cơ sở trục thời gian, trong đó thời gian bắt đầu và độ dài mỗi mục được xác định trên cơ sở đồng hồ chung. Phương pháp khác là mô hình điều khiển theo sự kiện. TIEU LUAN MOI download : skknchat@gmail.com 14 Không gian Thời gian Tổng hợp Tầng đối tượng Văn bản Hình ảnh Âm thanh Video Tầng kiểu media Thô Nén Tầng khuôn mẫu media Đa mức Màu JPEG JPIG DPCM xám Hinh 1.1 Mô hình dữ liệu đa phương tiện Tầng loại media Tầng này bao gồm các loại media như văn bản, hình ảnh, audio và video. Các loại này được suy diễn từ lớp media trừu tượng chung.
Tại mức này, các đặc trưng và thuộc tính được đặc tả. Ví dụ loại media ảnh: kích thước, biểu đồ màu, các đối tượng chính chứa trong nó. được đặc tả. Các đặc trưng này được sử dụng trực tiếp vào tìm kiếm và tính toán khoảng cách.
Tầng khuôn mẫu media Tầng này đặc tả khuôn mẫu, trong đó dữ liệu được lưu trữ. Thông thường, media có nhiều khuôn mẫu, ví dụ ảnh có thể là nén hay ảnh thô.