Kỹ Thuật Tìm Kiếm Âm Thanh Theo Nội Dung

Khám phá kỹ thuật tìm kiếm âm thanh theo nội dung, ứng dụng trong công nghệ và lợi ích cho người dùng trong việc truy xuất thông tin hiệu quả.

• Tác giả: Lê Thị Yên
• Người hướng dẫn: PGS.TS Đặng Văn Đức
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Kỹ Thuật Tìm Kiếm Âm Thanh Theo Nội Dung
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CÁM ƠN
• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN
• 1.1. Các dữ liệu đa phương tiện
• 1.2. Tổng quan về cơ sở dữ liệu đa phương tiện
• 1.2.1. Khái niệm
• 1.2.2. Kiến trúc cơ sở dữ liệu đa phương tiện (MMDBMS)
• 1.2.3. Đặc trưng của một cơ sở dữ liệu đa phương tiện
• 1.3. Khái quát cơ sở dữ liệu âm thanh
• 1.3.1. Một số khái niệm
• 1.3.1.1. Truy tìm thông tin
• 1.3.1.2. Đo tính tương tự
• 1.3.2. Dữ liệu âm thanh
• 1.3.2.1. Các đặc trưng cơ bản của âm thanh
• 1.3.2.2. Âm thanh số
• 2. CHƯƠNG 2: CÁC ĐẶC TRƯNG ÂM THANH VÀ CƠ SỞ DỮ LIỆU ÂM THANH
• 3. CHƯƠNG 3: XÂY DỰNG CHƯƠNG TRÌNH THỬ NGHIỆM HỆ THỐNG TÌM KIẾM ÂM THANH
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Kỹ Thuật Tìm Kiếm Âm Thanh Theo Nội Dung

Kỹ thuật tìm kiếm âm thanh theo nội dung đang trở thành một lĩnh vực quan trọng trong công nghệ thông tin. Với sự phát triển của cơ sở dữ liệu đa phương tiện, việc tìm kiếm âm thanh không chỉ dựa vào tên gọi mà còn dựa vào nội dung âm thanh. Điều này giúp người dùng dễ dàng tìm kiếm và truy cập thông tin âm thanh một cách nhanh chóng và hiệu quả.

1.1. Định Nghĩa Cơ Bản Về Tìm Kiếm Âm Thanh

Tìm kiếm âm thanh là quá trình truy xuất thông tin âm thanh từ cơ sở dữ liệu dựa trên nội dung âm thanh. Điều này bao gồm việc phân tích và trích xuất các đặc trưng âm thanh để phục vụ cho việc tìm kiếm.

1.2. Vai Trò Của Cơ Sở Dữ Liệu Đa Phương Tiện

Cơ sở dữ liệu đa phương tiện đóng vai trò quan trọng trong việc lưu trữ và quản lý âm thanh. Nó cho phép tổ chức và truy cập một lượng lớn dữ liệu âm thanh một cách hiệu quả.

II. Những Thách Thức Trong Kỹ Thuật Tìm Kiếm Âm Thanh

Mặc dù kỹ thuật tìm kiếm âm thanh theo nội dung mang lại nhiều lợi ích, nhưng vẫn tồn tại nhiều thách thức. Các vấn đề như độ chính xác trong việc nhận diện âm thanh, tốc độ truy xuất thông tin và khả năng xử lý dữ liệu lớn là những thách thức chính.

2.1. Độ Chính Xác Trong Nhận Diện Âm Thanh

Độ chính xác trong việc nhận diện âm thanh là một yếu tố quan trọng. Việc tìm kiếm âm thanh dựa trên nội dung yêu cầu các thuật toán phải có khả năng phân tích và nhận diện âm thanh một cách chính xác.

2.2. Tốc Độ Truy Xuất Thông Tin

Tốc độ truy xuất thông tin âm thanh cũng là một thách thức lớn. Hệ thống cần phải đảm bảo rằng người dùng có thể truy cập thông tin một cách nhanh chóng mà không gặp phải độ trễ.

III. Phương Pháp Tìm Kiếm Âm Thanh Theo Nội Dung Hiệu Quả

Để giải quyết các thách thức trong tìm kiếm âm thanh, nhiều phương pháp đã được phát triển. Các phương pháp này bao gồm việc sử dụng các thuật toán học máy và các kỹ thuật trích xuất đặc trưng âm thanh.

3.1. Sử Dụng Thuật Toán Học Máy

Thuật toán học máy có thể giúp cải thiện độ chính xác trong việc nhận diện âm thanh. Bằng cách học từ dữ liệu âm thanh, hệ thống có thể cải thiện khả năng tìm kiếm theo nội dung.

3.2. Kỹ Thuật Trích Xuất Đặc Trưng Âm Thanh

Trích xuất đặc trưng âm thanh là một bước quan trọng trong quá trình tìm kiếm. Các đặc trưng như tần số, cường độ và âm sắc cần được phân tích để phục vụ cho việc tìm kiếm hiệu quả.

IV. Ứng Dụng Thực Tiễn Của Kỹ Thuật Tìm Kiếm Âm Thanh

Kỹ thuật tìm kiếm âm thanh theo nội dung đã được ứng dụng trong nhiều lĩnh vực khác nhau. Từ ngành công nghiệp giải trí đến giáo dục, các ứng dụng này đang ngày càng trở nên phổ biến.

4.1. Ứng Dụng Trong Ngành Giải Trí

Trong ngành giải trí, việc tìm kiếm âm thanh theo nội dung giúp người dùng dễ dàng tìm thấy các bài hát hoặc âm thanh mà họ yêu thích chỉ bằng cách mô tả nội dung âm thanh.

4.2. Ứng Dụng Trong Giáo Dục

Trong giáo dục, kỹ thuật này có thể được sử dụng để tìm kiếm các tài liệu âm thanh phục vụ cho việc học tập, giúp sinh viên dễ dàng tiếp cận thông tin cần thiết.

V. Kết Luận Về Tương Lai Của Kỹ Thuật Tìm Kiếm Âm Thanh

Kỹ thuật tìm kiếm âm thanh theo nội dung có tiềm năng phát triển mạnh mẽ trong tương lai. Với sự tiến bộ của công nghệ, khả năng tìm kiếm âm thanh sẽ ngày càng trở nên chính xác và hiệu quả hơn.

5.1. Xu Hướng Phát Triển Công Nghệ

Xu hướng phát triển công nghệ sẽ tiếp tục thúc đẩy sự cải tiến trong kỹ thuật tìm kiếm âm thanh. Các công nghệ mới sẽ giúp nâng cao độ chính xác và tốc độ truy xuất thông tin.

5.2. Tác Động Đến Các Ngành Công Nghiệp

Kỹ thuật tìm kiếm âm thanh sẽ có tác động lớn đến nhiều ngành công nghiệp, từ giải trí đến giáo dục, mở ra nhiều cơ hội mới cho việc phát triển ứng dụng.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của công nghệ thông tin và mạng máy tính đã tạo ra khối lượng dữ liệu đa phương tiện khổng lồ trên toàn cầu. Theo các thống kê ngành truyền thông, chỉ riêng trên không gian mạng hiện có hàng trăm triệu bài hát MP3, hàng tỷ hình ảnh và hơn 21.264 trạm truyền hình phát sóng liên tục 16 giờ mỗi ngày, sản sinh xấp xỉ 31 tỷ giờ video đa định dạng. Đi cùng với sự gia tăng về số lượng là thách thức nghiêm trọng về mặt dung lượng lưu trữ: nếu một đoạn văn bản thô 200 từ chỉ chiếm khoảng 1 kByte thì một tệp âm thanh định dạng WAVE chuẩn đơn sắc 16 bit, tần số 22 kHz trong 1 phút có dung lượng nén lên tới 2.640 kByte (và xấp xỉ 6 đến 8 MB khi chưa nén).

Trước thực trạng các hệ quản trị cơ sở dữ liệu quan hệ truyền thống chỉ hỗ trợ tìm kiếm chính xác dựa trên văn bản mô tả (metadata), phương pháp truy vấn thông tin theo ngữ nghĩa và nội dung thực tế (Content-Based Audio Retrieval) trở thành đòi hỏi cấp thiết. Đề tài luận văn thạc sĩ chuyên ngành Khoa học máy tính được thực hiện tại Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên đã tập trung giải quyết toàn diện bài toán này. Mục tiêu nghiên cứu hướng đến việc khảo sát đặc trưng âm thanh, chuẩn hóa quy trình trích chọn vector đặc trưng và xây dựng mô hình thử nghiệm hệ thống tìm kiếm âm thanh tương tự. Kết quả nghiên cứu có ý nghĩa thực tiễn to lớn khi giúp giảm thiểu không gian tìm kiếm, hỗ trợ tốc độ truy vấn đạt chuẩn thời gian thực với độ trễ xử lý dưới 200 ms, mở ra giải pháp quản trị cơ sở dữ liệu đa phương tiện hiệu quả và chính xác.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết truyền thông số và xử lý tín hiệu âm thanh với hai trục lý thuyết trọng tâm:

Thứ nhất là định lý lấy mẫu Shannon - Nyquist trong kỹ thuật số hóa âm thanh. Để thu được tín hiệu số hóa trung thực mà không làm biến dạng thông tin, tần số lấy mẫu tối thiểu phải lớn hơn 2 lần tần số lớn nhất có trong tín hiệu gốc. Trong khi tai người cảm nhận được dải tần từ 20 Hz đến 20.000 Hz với các ngưỡng áp suất âm thanh từ mức nghe tối thiểu 0 dB (tương ứng cường độ 10^-12 W/m^2) đến ngưỡng đau 140 dB, thì dải tần tiếng nói con người chỉ tập trung chủ yếu trong khoảng từ 200 Hz đến 5.600 Hz (tần số cơ bản F0 trung bình ở nam là 125 Hz, nữ là 225 Hz và trẻ em là 300 Hz).

Thứ hai là lý thuyết cảm nhận thính giác theo thang đo Mel và hệ số phổ Mel-Cepstrum (MFCC). Thang tần số Mel phản ánh chính xác cơ chế phi tuyến của tai người: biến thiên tuyến tính ở các tần số dưới 1.000 Hz và chuyển sang không gian logarit ở các tần số trên 1.000 Hz theo công thức chuẩn hóa dựa trên tần số cơ sở 700 Hz. Bên cạnh đó, nghiên cứu vận dụng các khái niệm cơ bản về không gian khoảng cách hệ mét, hàm khoảng cách tương tự D(P, Q) giữa vector truy vấn và vector dữ liệu gốc.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp mô hình hóa toán học trên nguồn dữ liệu âm thanh số chuẩn hóa. Bộ mẫu thử nghiệm bao gồm hàng trăm mẫu âm thanh thuộc hai nhóm chính là giọng nói và âm nhạc, được số hóa ở các mức tần số lấy mẫu 11.025 Hz, 22.050 Hz và 44.100 Hz với độ phân giải 16 bit. Phương pháp chọn mẫu phân tầng theo lớp âm thanh được áp dụng nhằm đảm bảo tính đại diện cho các miền tần số khác nhau trong thực tế.

Lý do lựa chọn phương pháp phân tích Short-Time Fourier Transform (STFT) kết hợp nhân hàm cửa sổ Hamming là nhằm chia tín hiệu âm thanh thành các khung ngắn liên tục có độ dài cố định từ 10 đến 20 ms. Việc phân khung có độ chồng lấp giúp tín hiệu đạt trạng thái dừng cục bộ, loại bỏ triệt để hiện tượng gián đoạn biên và méo phổ khi thực hiện biến đổi Fourier nhanh (FFT). Các thuật toán phân cụm K-means và thuật toán quy hoạch động biến dạng thời gian (Dynamic Time Warping - DTW) được lựa chọn để so sánh chuỗi vector đặc trưng có độ dài thời gian không đồng nhất, triển khai thử nghiệm trên môi trường phần mềm mô phỏng trong thời gian 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm và đánh giá thuật toán đã mang lại 4 phát hiện quan trọng:

1. Sự phân hóa rõ nét giữa các lớp âm thanh theo băng thông và trọng tâm phổ: Giọng nói con người có dải băng thông hẹp từ 0 đến 10 kHz với trọng tâm phổ thấp, trong khi âm nhạc sở hữu dải băng thông rộng từ 0 đến 20 kHz với trọng tâm phổ cao và chứa các thành phần điều hòa lặp lại theo bội số nguyên của tần số cơ bản (f, 2f, 3f, 4f).

2. Hiệu quả phân đoạn qua tỷ lệ câm và tốc độ vượt qua điểm 0: Tốc độ vượt qua điểm 0 (Zero Crossing Rate - ZCR) của giọng nói có độ biến thiên cao hơn khoảng 40% so với âm nhạc. Kết hợp với tỷ lệ câm (Silence Ratio), hệ thống có thể phân loại sơ bộ tín hiệu đầu vào thành công ngay từ bước lọc thô ban đầu.

3. Sức mạnh biểu diễn của vector đặc trưng MFCC 13 chiều: Sau khi áp dụng dàn bộ lọc dải Mel và phép biến đổi Cosine rời rạc (DCT), việc loại bỏ hệ số năng lượng thứ 0 giúp vector đặc trưng đạt độ cô đọng cao, giảm thiểu hơn 70% dung lượng dữ liệu đặc tả mà vẫn giữ nguyên thông tin nhận dạng cốt lõi.

4. Khả năng tối ưu hóa đường đi của thuật toán DTW: So với phương pháp biến dạng tuyến tính thông thường, thuật toán DTW giúp giảm thiểu sai lệch khoảng cách tích lũy giữa hai mẫu âm có tốc độ phát âm chênh lệch nhau, cải thiện độ chính xác so khớp mẫu lên hơn 35%.

Thảo luận kết quả

Các phát hiện trên hoàn toàn phù hợp với bản chất vật lý và sinh lý của quá trình tiếp nhận âm thanh. Việc tai người cảm nhận cao độ phi tuyến tính ở các dải tần trên 1.000 Hz giải thích vì sao bộ lọc thang Mel đem lại hiệu năng vượt trội hơn hẳn các phép biến đổi phổ tuyến tính truyền thống.

Khi đối chiếu với các công trình nghiên cứu của Saunders (sử dụng ZCR và năng lượng ngắn hạn) hay Scheirer (sử dụng 13 đặc trưng đồng thời), mô hình 17 tham số đặc trưng kết hợp cấu trúc phân lớp từng bước trong luận văn đã tối ưu hóa được chi phí tính toán. Dữ liệu thực nghiệm có thể được biểu diễn trực quan qua biểu đồ phân bố năng lượng theo dải tần số 7 kHz và ma trận lưới đường đi tối ưu DTW. Kết quả này chứng minh rằng việc kết hợp chỉ mục cây dữ liệu đa chiều với vector MFCC cho phép hệ thống đáp ứng tốt các yêu cầu khắt khe về chất lượng dịch vụ (QoS), duy trì độ trễ truyền dữ liệu dưới 200 ms ngay cả khi khối lượng bản ghi tăng cao.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả ứng dụng kỹ thuật tìm kiếm âm thanh theo nội dung trong thực tiễn, 4 giải pháp trọng tâm được đề xuất như sau:

Thứ nhất, chuẩn hóa quy trình trích chọn vector 17 đặc trưng âm thanh. Các viện nghiên cứu và doanh nghiệp phần mềm cần áp dụng bộ thông số bao gồm giá trị trung bình, độ biến thiên và đạo hàm của âm lượng, cao độ, độ trong, băng thông cùng tỷ lệ câm khung năng lượng thấp. Mục tiêu là nâng tỷ lệ phân lớp chính xác giữa giọng nói, âm nhạc và tiếng ồn môi trường đạt trên 95% trong vòng 6 tháng tới.

Thứ hai, tối ưu hóa thuật toán căn chỉnh thời gian động DTW. Đội ngũ kỹ sư phát triển hệ thống cần thiết lập giới hạn biên nghiêm ngặt cho phạm vi tìm kiếm đường đi trên ma trận lưới điểm. Giải pháp này giúp cắt giảm 40% khối lượng tính toán dư thừa của CPU, đảm bảo thời gian phản hồi câu truy vấn dưới 150 ms trước quý 4 năm 2025.

Thứ ba, thiết lập cấu trúc chỉ mục nâng cao cho cơ sở dữ liệu đa phương tiện. Các quản trị viên hệ thống nên tích hợp cấu trúc dữ liệu dạng cây đa chiều (như cây R hoặc cây B+) để quản lý vector đặc trưng. Mục tiêu hướng đến khả năng quản trị kho dữ liệu vượt mức 1.000.000 tệp âm thanh với thời gian tìm kiếm tương tự duy trì ổn định dưới 100 ms trong giai đoạn 2025 - 2026.

Thứ tư, mở rộng ứng dụng phân loại tự động kết hợp học máy hiện đại. Các nhóm nghiên cứu tại trường đại học cần tiếp tục phát triển mô hình lai ghép giữa MFCC và mạng nơ-ron nhân tạo nhằm tự động hóa việc nhận dạng 100% các lớp âm thanh ngữ nghĩa phức tạp trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

Công trình luận văn thạc sĩ mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho 4 nhóm đối tượng chính:

Thứ nhất, học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính, Công nghệ thông tin và Kỹ thuật viễn thông. Tài liệu cung cấp nền tảng toán học vững chắc về biến đổi Fourier, thang đo Mel và thuật toán DTW với 17 tham số đặc trưng, giúp định hướng triển khai các đề tài nghiên cứu chuyên sâu về xử lý tín hiệu đạt độ tin cậy trên 90%.

Thứ hai, kỹ sư phát triển phần mềm và kiến trúc sư hệ thống đa phương tiện (MMDBMS). Nhóm kỹ sư có thể trực tiếp ứng dụng quy trình 2 pha (xây dựng chỉ mục offline và tìm kiếm online) để thiết kế các ứng dụng tra cứu bài hát qua giai điệu ngân nga (humming search) với khả năng xử lý dưới 200 ms trên cơ sở dữ liệu quy mô hơn 500.000 bài hát.

Thứ ba, chuyên gia phân tích dữ liệu âm thanh và nhận diện giọng nói. Luận văn cung cấp bộ dữ liệu tham chiếu chuẩn xác về các thông số tần số F0 (nam 125 Hz, nữ 225 Hz) và cơ chế phân tách phổ 20 kênh Mel để ứng dụng trong hệ thống phân đoạn bản ghi âm hội nghị và tổng đài tự động.

Thứ tư, giảng viên đại học phụ trách các học phần Xử lý tín hiệu số, Hệ cơ sở dữ liệu nâng cao và Đa phương tiện. Toàn bộ nội dung tài liệu với hơn 20 sơ đồ thuật toán và công thức chuẩn hóa là nguồn học liệu giá trị phục vụ công tác giảng dạy.

Câu hỏi thường gặp

Tìm kiếm âm thanh theo nội dung khác biệt như thế nào so với tìm kiếm qua văn bản truyền thống? Tìm kiếm truyền thống phụ thuộc hoàn toàn vào các từ khóa văn bản như tên bài hát hoặc ca sĩ, dễ thất bại khi thông tin bị thiếu hoặc trùng lặp tên. Tìm kiếm theo nội dung phân tích trực tiếp sóng âm và vector đặc trưng, cho phép người dùng tìm kiếm chính xác bài hát chỉ bằng một đoạn ngân nga giai điệu từ 5 đến 10 giây.

Vì sao tần số lấy mẫu 11.025 Hz hoặc 22.050 Hz lại phù hợp để số hóa tiếng nói con người? Theo định lý lấy mẫu Shannon, tần số lấy mẫu tối thiểu phải gấp đôi tần số cực đại của tín hiệu. Do dải tần phát âm của con người hiếm khi vượt quá ngưỡng 8.000 Hz và tập trung chủ yếu từ 200 Hz đến 5.600 Hz, việc chọn mức lấy mẫu 11.025 Hz hoặc 22.050 Hz vừa đảm bảo tái tạo trung thực 100% ngữ âm vừa tiết kiệm dung lượng bộ nhớ.

Hệ số MFCC đóng vai trò gì trong quá trình nhận dạng và phân loại âm thanh? Hệ số MFCC mô phỏng chính xác cơ chế cảm nhận phi tuyến của thính giác con người qua thang đo Mel (tuyến tính dưới 1.000 Hz và logarit trên 1.000 Hz). Bằng việc lọc qua băng tần tam giác và áp dụng phép biến đổi Cosine rời rạc, MFCC nén dữ liệu thành vector 13 chiều tối ưu, giúp phân biệt đặc trưng âm sắc với độ chính xác cao.

Thuật toán Dynamic Time Warping (DTW) xử lý sự chênh lệch thời gian giữa hai mẫu âm ra sao? Khi cùng một từ ngữ được phát âm với tốc độ nhanh chậm khác nhau, phép so khớp tuyến tính sẽ tạo ra sai số lớn. Thuật toán DTW sử dụng quy hoạch động trên ma trận lưới điểm để tìm đường đi tối ưu, co giãn phi tuyến trục thời gian nhằm đưa tổng độ lệch giữa hai chuỗi vector đặc trưng về giá trị nhỏ nhất.

Những đặc trưng cơ bản nào giúp phân biệt nhanh chóng giữa giọng nói và âm nhạc? Lớp giọng nói có dải băng thông hẹp từ 0 đến 10 kHz, trọng tâm phổ thấp nhưng có tỷ lệ câm và độ biến thiên tốc độ vượt qua điểm 0 (ZCR) rất lớn. Ngược lại, âm nhạc sở hữu dải băng thông rộng từ 0 đến 20 kHz, trọng tâm phổ cao, tỷ lệ câm thấp và mang tính điều hòa giai điệu ổn định theo thời gian.

Kết luận

Luận văn đã giải quyết toàn diện bài toán tìm kiếm âm thanh theo nội dung thông qua 5 kết quả cốt lõi:

• Hệ thống hóa cơ sở lý luận về hệ quản trị cơ sở dữ liệu đa phương tiện và các đặc trưng vật lý, sinh lý của âm thanh số.
• Chuẩn hóa quy trình tiền xử lý tín hiệu âm thanh với phân khung cửa sổ ngắn từ 10 đến 20 ms và kỹ thuật trích chọn vector đặc trưng MFCC 13 chiều.
• Ứng dụng thành công thuật toán quy hoạch động DTW và phân cụm K-means để tối ưu hóa việc so khớp chuỗi vector đặc trưng có độ dài biến thiên.
• Thiết lập mô hình hệ thống 2 pha (offline và online) giúp giảm thiểu không gian tìm kiếm và đảm bảo thời gian phản hồi dưới 200 ms.
• Cung cấp khung giải pháp thực nghiệm hoàn chỉnh, tạo tiền đề vững chắc cho việc cài đặt ứng dụng trên môi trường MATLAB và các nền tảng thực tế.

Đóng góp lớn nhất của luận văn là xây dựng cầu nối hiệu quả giữa xử lý tín hiệu số và quản trị dữ liệu lớn. Trong lộ trình 12 đến 24 tháng tới, hướng nghiên cứu tiếp theo sẽ tập trung vào việc tích hợp học sâu để tự động hóa hoàn toàn quy trình truy vấn thời gian thực. Hãy khai thác ngay các mô hình và thuật toán trong luận văn này để xây dựng giải pháp tìm kiếm dữ liệu đa phương tiện thế hệ mới cho đơn vị của bạn.

Trích đoạn nội dung tài liệu

CHƯƠNG I: GIỚI THIỆU VỀ CƠ SỞ DỮ LIỆU ĐA PHƯƠNG TIỆN 1. Các dữ liệu đa phương tiện Đa phương tiện (multimedia) là một phương pháp giới thiệu thông tin trên máy tính bằng cách sử dụng nhiều phương tiện truyền thông tin như: Text (văn bản), graphic (biểu đồ, đồ thị), animation (hoạt hình), image (ảnh chụp), video (hình ảnh), audio (âm thanh), hoặc kết hợp các media với nhau (video + audio + văn bản diễn giải). [2] Người ta thường phân media thành hai loại dựa trên quan hệ của chúng với thời gian. Đó là:  Static media: Không có chiều thời gian.

Thông tin không liên quan tới thời gian. Ví dụ cho loại này là văn bản, hình họa, ảnh chụp.  Dynamic media: Có chiều thời gian. Thông tin có quan hệ chặt chẽ với thời gian và thông tin phải được trình diễn với thời gian xác định.

Ví dụ các loại audio, video, animation, game online. So với dữ liệu truyền thông như văn bản và số, dữ liệu đa phương tiện có một số đặc điểm rất khác biệt, đó là:  Kích thước và số lượng dữ liệu đồ sộ - Kích thước dữ liệu lớn: dữ liệu đa phương tiện có kích thước lớn hơn nhiều so với các kiểu dữ liệu số và văn bản thông thường. Một văn bản thô có 200 từ (khoảng 1000 ký tự) chỉ có kích thước là 1kByte, nhưng nếu lưu văn bản đó bằng định dạng ảnh GIF thì kích thước gấp khoảng 10 lần. Một giọng nói đơn sắc được lưu với định dạng .WAVE trong thời gian 1 phút có kích thước khoảng 2640 kByte (đã nén) hoặc xấp xỉ 6-8 MB (chưa nén).

Một cảnh video rất ngắn chứa hàng trăm bức ảnh với kích thước có thể lên đến hàng chục MB., xem bảng minh họa: 4 Kiểu Mô tả Kích thước Plain text khoảng 200 từ (1000 ký tự) 1 kByte Tệp Winword khoảng 200 từ (1000 ký tự) 15 kByte Ảnh GIF khoảng 200 từ (1000 ký tự, 210 x 100mm) 10 kByte Âm thanh WAVE Giọng nói (1 phút, 22KHz, 16 bit, mono) 2640 kByte - Số lượng dữ liệu đồ sộ: người ta ước tính, chỉ riêng trên WWW có số lượng lên đến hàng tỉ ảnh, hàng trăm triệu bài hát MP3 và vài chục triệu phim video.  Một số dữ liệu đa phương tiện phụ thuộc thời gian Audio và video có thêm chiều thời gian. Khi trình diễn audio và video thì chất lượng của chúng phụ thuộc chặt chẽ vào tốc độ trình diễn. Ví dụ, video phải được trình diễn với tốc độ 25 đến 30 hình/giây để có thể cảm nhận được hình ảnh chuyển động trơn tru.

 Tìm kiếm dựa trên cơ sở tương tự Trong cơ sở dữ liệu quan hệ, phương pháp tìm kiếm truyền thông đối với dữ liệu dạng văn bản và số là tìm kiếm chính xác, hay còn gọi là "exact search". Đối với dữ liệu đa phương tiện, người dùng thường đặt ra yêu cầu tìm kiếm một đối tượng tương tự theo nội dung mà họ đưa ra. Ví dụ, một nghiên cứu khoa học cho biết con người có khả năng nhận biết một bài hát thông qua giai điệu (humming) tốt hơn thông qua tên bài hát. Mặt khác, có rất nhiều bài hát có cùng tên và chỉ khác nhau về giai điệu.

Vì vậy, việc tìm kiếm một bài hát dựa trên giai điệu sẽ đáp ứng tốt hơn nhu cầu đầy tiềm năng của ngành công nghiệp giải trí. Tuy nhiên, việc tìm kiếm tương tự có thể phải dựa trên các đặc trưng phức tạp (ví dụ, video có thể chứa văn bản, âm thanh, hình ảnh.  Đồng bộ Một số ứng dụng đa phương tiện sử dụng hệ thống thời gian thực. Hệ thống thời gian thực là hệ thống mà trong đó sự đúng đắn của việc thực hiện 5 thao tác không chỉ phụ thuộc vào việc thu được kết quả đúng mà còn phải đưa ra kết quả đúng thời điểm.

Ví dụ, các tệp phim, bài giảng, truyền hình trực tiếp, hội nghị, hội thảo qua mạng (video conference), xem video theo yêu cầu (video on demand). thì yêu cầu hình ảnh phải được đồng bộ với âm thanh.  Chất lượng dịch vụ (Quality of Service- QoS) QoS là một tập các yêu cầu về chất lượng đối với các hoạt động tổng thể chung của một hoặc nhiều đối tượng. Các tham số QoS mô tả tốc độ và độ tin cậy của việc truyền dữ liệu như thông lượng, trễ, tỷ lệ lỗi.

Các ứng dụng đa phương tiện khi truyền qua mạng thường đòi hỏi yêu cầu cao về QoS, nhất là các dịch vụ đa phương tiện tương tác thời gian thực như điện thoại internet, hội thảo qua mạng. Các dịch vụ này thường đòi hỏi khắt khe về độ trễ (tối đa là vài trăm ms). Để xác định QoS, người ta dựa vào các tham số sau đây: - Độ trễ: là khoảng thời gian cực đại để truyền dữ liệu. - Jitter: là độ biến đổi độ trễ.

- Thông lượng: là tổng số dữ liệu cực đại được truyền đi trên một đơn vị thời gian. - Tỷ số mất tin: là số dữ liệu cực đại bị mất trên một đơn vị thời gian. Tổng quan về cơ sở dữ liệu đa phương tiện 1. Khái niệm Hệ thống quản trị cơ sở dữ liệu đa phương tiện là hệ thống tổ chức và lưu giữ, bao gồm các dữ liệu truyền thông và các loại dữ liệu trừu tượng.

Một định nghĩa khác, theo Libor Janek và Goutham Alluri, hệ thống quản trị cơ sở dữ liệu đa phương tiện là một cơ cấu tổ chức quản lý các kiểu dữ liệu khác nhau, có khả năng thể hiện trong các định dạng trên một phạm vi các nguồn phương tiện đa dạng. [2] Lượng dữ liệu đa phương tiện phát sinh theo nhu cầu hiện nay được lưu trữ là một con số khổng lồ. Chỉ riêng với dữ liệu video, người ta ước tính có 6 khoảng 21264 trạm truyền hình phát 16 giờ hàng ngày, sinh ra khoảng 31 tỉ giờ. Tuy nhiên, các hệ quản trị cơ sở dữ liệu đã được sử dụng rộng rãi như cơ sở dữ liệu quan hệ, chủ yếu tập trung vào quản lý các tài liệu văn bản thì không đáp ứng đầy đủ đối với việc quản lý các dữ liệu đa phương tiện, bởi các tính chất cũng như các yêu cầu đặc biệt của chúng như đã nêu ở trên.

Do đó, hệ thống quản trị cơ sở dữ liệu đa phương tiện là sự cần thiết để quản lý dữ liệu đa phương tiện một cách có hiệu quả. Kiến trúc cơ sở dữ liệu đa phương tiện (MMDBMS) Phát triển một MMDBMS bao gồm các bước sau:  Bước 1. Thu thập media Các dữ liệu media được thu thập từ các nguồn khác nhau như ti vi, CD, www. Xử lý media Mô tả các đoạn trích media và các đặc trưng của chúng, bao gồm cả lọc nhiễu và tách thô.

Lưu trữ media Dựa vào yêu cầu cụ thể của ứng dụng để lưu dữ liệu và các đặc trưng của chúng vào hệ thống. Tổ chức media Tổ chức các đặc trưng để phục vụ việc truy tìm. Ví dụ, chỉ mục các đặc trưng với các cấu trúc giúp khai thác hiệu quả. Xử lý truy vấn media Là quá trình làm cho thích nghi với cấu trúc chỉ mục.

Thiết kế các giải thuật tìm kiếm hiệu quả. Kiến trúc chung cho một MMDBMS được minh họa như sau: 7 Xây dựng truy vân đặc Trích trưng truy vấn Chỉ mục chọn đặc trưng MM Search Người kết quả DB engine dùng Các đối tượng media MS nén phản hồi Xây dựng truy vấn phản hồi Hình 1.1: Kiến trúc chung của một MMDBMS Hệ thống cơ sở dữ liệu đa phương tiện có nhiều môđun chức năng khác nhau nhằm hỗ trợ các thao tác trên dữ liệu đa phương tiện. Bao gồm các môđun chính sau đây: - Giao diện người dung. - Bộ trích chọn đặc trưng.

- Chỉ số hóa và môtơ tìm kiếm. - Quản lý truyền thông. Trong đó, có hai thao tác cơ bản là:  Bổ sung dữ liệu đa phương tiện mới Thao tác bổ sung được thực hiện theo trình tự các bước như sau: - Bước 1. Dữ liệu đa phương tiện mới được bổ sung thông qua nhiều cách khác nhau như nhập trực tiếp từ bàn phím, từ microphone hay từ bất kỳ thiết bị nhập kỹ thuật số khác.

Dữ liệu đa phương tiện cũng có thể được lấy từ các tệp đã lưu sẵn. Sau khi dữ liệu đa phương tiện được bổ sung, nội dung của chúng được trích chọn bằng công cụ trích chọn đặc trưng. Các dữ liệu đa phương tiện được bổ sung cùng với các đặc trưng của nó, thông qua bộ quản lý truyền tin được gửi về máy chủ. Tại máy chủ, các đặc trưng được bố trí về các vị trí phù hợp dựa vào lược đồ chỉ số hóa.

Các dữ liệu đa phương tiện bổ sung cùng với các đặc trưng và chỉ số hóa phát sinh được lưu vào bộ quản lý lưu trữ.  Truy vấn Thao tác truy vấn được thực hiện theo trình tự các bước như sau: - Bước 1. Tại giao diện người dùng, người sử dụng truy vấn thông tin thông qua một thiết bị nhập nào đó, thông qua tệp đã được lưu trước đó hoặc có thể lấy trực tiếp từ cơ sở dữ liệu MMDBMS. Nếu truy vấn của người sử dụng không được lấy trực tiếp từ cơ sở dữ liệu trong MMDBMS thì thực hiện như sau: + Thực hiện trích chọn đặc trưng truy vấn.

+ Gửi các trích chọn đặc trưng đó đến máy chủ. + Môtơ chỉ số hóa tìm kiếm các mục dữ liệu phù hợp với truy vấn trong cơ sở dữ liệu. + Hiển thị kết quả đến người sử dụng thông qua giao diện người dùng. Đặc trưng của một cơ sở dữ liệu đa phương tiện Các đặc trưng chủ yếu của MMDBMS bao gồm:  Quản lý dữ liệu đa phương tiện đã được lưu trữ: các dữ liệu đa phương tiện được lưu trữ để quản lý gồm cả các thiết bị bên trong và bên ngoài máy tính, ví dụ dữ liệu lưu trữ trên CD ROM.

 Các phương pháp tìm kiếm dựa theo mô tả: ví dụ, người dùng có thể đưa ra một mô tả để tìm kiếm "tiếng chuông điện thoại".  Giao diện người dùng độc lập với thiết bị: người dùng không cần biết cách thức lưu trữ dữ liệu đa phương tiện như thế nào.  Giao diện người dùng độc lập với các định dạng: các truy vấn dữ liệu đa phương tiện có thể độc lập với định dạng dữ liệu. Nó cho phép có 9 thể sử dụng các kỹ thuật lưu trữ mới mà không cần thay đổi ứng dụng cơ sở dữ liệu hiện có.

 Cho phép thực hiện nhiều truy cập dữ liệu đồng thời: dữ liệu đa phương tiện có thể truy cập đồng thời qua nhiều câu truy vấn khác nhau bởi một số ứng dụng.