Ebook Fundamentals of Multimedia Part 1: Giới thiệu đa phương tiện và các ứng dụng cơ bản

Khám phá những kiến thức nền tảng về multimedia trong phần 1 của ebook. Hiểu rõ các khái niệm cốt lõi, nguyên lý cơ bản và ứng dụng.

• Tác giả: Ze-Nian Li
• Trường học: Simon Fraser University
• Chuyên ngành: Khoa học máy tính
• Đề tài: Fundamentals of Multimedia
• Loại tài liệu: Sách
• Năm xuất bản: 2004
• Địa điểm: Upper Saddle River

Tóm tắt

I. Tổng quan về Fundamentals of Multimedia Khám phá nền tảng thiết yếu

Trong kỷ nguyên số hóa, đa phương tiện (Multimedia) đã trở thành một phần không thể thiếu trong mọi khía cạnh của đời sống, từ giải trí, giáo dục đến truyền thông và kinh doanh. Việc nắm vững kiến thức cơ bản về đa phương tiện là điều kiện tiên quyết để hiểu rõ cách thức thông tin được truyền tải, xử lý và tương tác trong một thế giới ngày càng trực quan và động. Bài viết này sẽ đi sâu vào Fundamentals of Multimedia, cung cấp cái nhìn tổng quan về các khái niệm cốt lõi, từ định nghĩa đến các thành phần cấu tạo nên một hệ thống đa phương tiện hoàn chỉnh. Đặc biệt, tài liệu "Fundamentals of Multimedia" của Ze-Nian Li và Mark S. Drew là nguồn tham khảo uy tín, cung cấp cái nhìn sâu sắc về lĩnh vực này. Hiểu được định nghĩa đa phương tiện và các yếu tố cấu thành không chỉ giúp định hình tư duy về công nghệ mà còn mở ra cánh cửa cho việc phát triển các ứng dụng sáng tạo. Đây là bước đầu tiên trong hành trình khám phá và làm chủ thế giới đa phương tiện cơ bản đầy tiềm năng, giúp người đọc xây dựng nền tảng vững chắc cho việc tiếp cận các kỹ thuật tiên tiến hơn. Việc trang bị kiến thức Fundamentals of Multimedia cũng là yếu tố quan trọng để giải quyết các thách thức kỹ thuật và thiết kế trong môi trường số.

1.1. Định nghĩa Fundamentals of Multimedia Khám phá cốt lõi

Fundamentals of Multimedia được hiểu là tập hợp các kiến thức nền tảng về việc kết hợp nhiều dạng phương tiện truyền thông như văn bản, hình ảnh, âm thanh, video và đồ họa động để tạo ra một trải nghiệm thông tin toàn diện. Theo Ze-Nian Li và Mark S. Drew, đa phương tiện không chỉ đơn thuần là sự tổng hợp các yếu tố này mà còn liên quan đến khả năng tương tác và đồng bộ hóa chúng. Định nghĩa đa phương tiện nhấn mạnh vào tính tương tác và phi tuyến tính, cho phép người dùng kiểm soát luồng thông tin và trải nghiệm theo cách riêng. Điều này khác biệt hoàn toàn so với các phương tiện truyền thống mang tính tuyến tính, như một cuốn sách hay một bộ phim được xem từ đầu đến cuối mà không có sự lựa chọn. Việc nắm vững định nghĩa này là chìa khóa để hiểu rõ bản chất của các hệ thống và ứng dụng đa phương tiện.

1.2. Các thành phần chính của Đa phương tiện Nền tảng cấu thành

Để xây dựng một sản phẩm đa phương tiện hoàn chỉnh, việc hiểu rõ các thành phần cơ bản là rất quan trọng. Các thành phần đa phương tiện chính bao gồm văn bản (text), hình ảnh (images), âm thanh (audio), video và đồ họa (graphics/animation). Mỗi thành phần có đặc điểm và vai trò riêng: văn bản cung cấp thông tin chi tiết, hình ảnh và đồ họa minh họa trực quan, âm thanh tạo cảm xúc và không khí, trong khi video truyền tải thông điệp động một cách mạnh mẽ. Sự kết hợp hài hòa và hiệu quả của những yếu tố này tạo nên sức mạnh của kiến thức cơ bản về đa phương tiện. Ví dụ, một bài thuyết trình hiệu quả cần tích hợp cả văn bản súc tích, hình ảnh minh họa phù hợp và âm thanh nền sống động để truyền tải thông điệp một cách rõ ràng và hấp dẫn nhất. Việc tối ưu hóa từng thành phần góp phần nâng cao chất lượng tổng thể của trải nghiệm đa phương tiện.

II. Ngôn ngữ Tích hợp Đa phương tiện SMIL Giải pháp đồng bộ hóa nội dung

Khi tìm hiểu về Fundamentals of Multimedia, một khái niệm quan trọng không thể bỏ qua là Ngôn ngữ Tích hợp Đa phương tiện Đồng bộ hóa (SMIL). Đây là một công cụ mạnh mẽ, được thiết kế đặc biệt để giải quyết thách thức trong việc đồng bộ hóa và trình bày các loại phương tiện khác nhau theo thời gian. Trong bối cảnh các ứng dụng đa phương tiện ngày càng phức tạp, yêu cầu về sự phối hợp nhịp nhàng giữa video, âm thanh và hình ảnh trở nên cấp thiết. SMIL, một ứng dụng cụ thể của XML, cung cấp một khuôn khổ tiêu chuẩn để tác giả định nghĩa cách các yếu tố phương tiện tương tác với nhau và với người dùng. Nó không chỉ đơn thuần là hiển thị các thành phần riêng lẻ mà còn cho phép xây dựng một trải nghiệm liền mạch, nơi các yếu tố được sắp xếp theo trình tự thời gian và phản ứng với các hành động của người dùng. Việc hiểu rõ SMIL là chìa khóa để phát triển các ứng dụng đa phương tiện tiên tiến, đặc biệt trong các lĩnh vực như truyền hình trực tuyến, giáo dục điện tử và quảng cáo số, nơi đồng bộ hóa đa phương tiện đóng vai trò quyết định chất lượng trải nghiệm.

2.1. SMIL là gì Cơ chế hoạt động và ứng dụng ban đầu

SMIL (Synchronized Multimedia Integration Language), phát âm là “smile”, là một ứng dụng của XML cho phép chỉ định sự tương tác theo thời gian giữa bất kỳ loại phương tiện và đầu vào của người dùng. Như tài liệu gốc đã đề cập, SMIL "cho phép xác định tương tác theo thời gian giữa bất kỳ loại phương tiện và đầu vào người dùng." Điều này có nghĩa là SMIL cung cấp một ngôn ngữ đánh dấu để mô tả cách video, âm thanh, hình ảnh và văn bản được phát cùng lúc hoặc theo một trình tự nhất định. Ví dụ, nó có thể được sử dụng để hiển thị một video trực tuyến được đồng bộ hóa với một trình chiếu slide, cả hai đều phản ứng với điều hướng của người dùng qua slide hoặc video. SMIL ra đời nhằm giải quyết nhu cầu xuất bản các bài trình bày đa phương tiện bằng một ngôn ngữ đánh dấu, tương tự như cách HTML cung cấp cho tài liệu văn bản. Mục tiêu là tạo ra các trải nghiệm đa phương tiện động và tương tác cao.

2.2. Lợi ích của SMIL trong trình bày Đa phương tiện Đồng bộ hóa trải nghiệm

Lợi ích chính của SMIL nằm ở khả năng đồng bộ hóa đa phương tiện một cách hiệu quả và linh hoạt. Thay vì phải sử dụng các công cụ lập trình phức tạp để điều khiển thời gian của từng yếu tố, SMIL cho phép các nhà phát triển định nghĩa các mối quan hệ thời gian một cách dễ dàng thông qua cú pháp dựa trên XML. Điều này giúp đơn giản hóa quá trình tác giả đa phương tiện và giảm thiểu lỗi. Khả năng "tích hợp động các loại phương tiện và tương tác người dùng" (Ze-Nian Li và Mark S. Drew) mở ra nhiều ứng dụng, từ các bài giảng trực tuyến có video minh họa và chú thích đồng bộ, đến các quảng cáo tương tác nơi âm thanh và hình ảnh thay đổi theo phản hồi của người dùng. SMIL đóng vai trò thiết yếu trong việc tạo ra các trải nghiệm đa phương tiện phong phú và gắn kết, nâng cao mức độ tham gia của người xem.

III. Siêu văn bản và Siêu phương tiện Hypermedia Mở rộng kết nối thông tin

Khi đào sâu vào Fundamentals of Multimedia, không thể không nhắc đến khái niệm siêu văn bản (Hypertext) và sự phát triển của nó thành siêu phương tiện (Hypermedia). Đây là những khái niệm cốt lõi định hình cách chúng ta tương tác và điều hướng trong thế giới thông tin số ngày nay. Siêu văn bản, với cơ chế liên kết phi tuyến tính, đã phá vỡ cấu trúc đọc tuần tự truyền thống, cho phép người đọc khám phá thông tin theo một cách linh hoạt hơn. Sự xuất hiện của siêu phương tiện đã mở rộng khả năng này, không chỉ giới hạn ở văn bản mà còn bao gồm tất cả các thành phần đa phương tiện khác như hình ảnh, âm thanh và video. Tuy nhiên, cùng với những lợi ích to lớn, siêu phương tiện cũng đặt ra những thách thức đáng kể, đặc biệt khi phải quản lý và duy trì các hệ thống thông tin quy mô lớn. Việc hiểu rõ cách thức hoạt động của Hypertext & Hypermedia là nền tảng để thiết kế các giao diện người dùng trực quan và hệ thống quản lý nội dung hiệu quả, một phần quan trọng của kiến thức cơ bản về đa phương tiện.

3.1. Từ Hypertext đến Hypermedia Tiến hóa của liên kết nội dung

Siêu văn bản (Hypertext) là một cơ chế cho phép "truyền đạt ý tưởng mà không cần sử dụng cơ chế siêu phương tiện" ban đầu chỉ dùng văn bản, theo Bush's Memex (Ze-Nian Li và Mark S. Drew). Nó cho phép người đọc chuyển từ một phần văn bản này sang phần khác thông qua các liên kết (hyperlinks), tạo ra một mạng lưới thông tin phi tuyến tính. Siêu phương tiện (Hypermedia) là bước tiến hóa tiếp theo, mở rộng khái niệm siêu văn bản để bao gồm các thành phần đa phương tiện khác ngoài văn bản. Trong siêu phương tiện, các liên kết không chỉ kết nối các đoạn văn bản mà còn có thể dẫn đến hình ảnh, âm thanh, video hoặc các tài liệu đa phương tiện khác. Điều này cho phép tạo ra các trải nghiệm thông tin phong phú và đa dạng hơn, phản ánh tốt hơn "quá trình tư duy liên tưởng của con người" (Ze-Nian Li và Mark S. Drew). Ví dụ điển hình là các trang web hiện đại, nơi người dùng có thể nhấp vào hình ảnh để xem video liên quan hoặc nghe một đoạn âm thanh. Các khái niệm này là trụ cột của kiến thức cơ bản Đa phương tiện.

3.2. Thách thức khi quản lý Siêu phương tiện quy mô lớn Cần phương pháp mới

Mặc dù siêu phương tiện mang lại lợi ích lớn về khả năng liên kết và truy cập thông tin, việc quản lý các hệ thống siêu phương tiện quy mô lớn lại đặt ra nhiều thách thức. Như tài liệu gốc chỉ ra, "trong khi việc quản lý một vài nút thông tin là khả thi về mặt tinh thần, một khi vấn đề trở nên lớn, chúng ta cần trợ lý tự động." Khi số lượng thông tin, liên kết và các thành phần đa phương tiện tăng lên đáng kể, việc duy trì tính nhất quán, tìm kiếm các liên kết và neo (anchors) trở nên phức tạp. Đặc biệt là khi không chỉ xét đến văn bản mà còn cả hình ảnh và video. Vấn đề chính tập trung vào khả năng mở rộng (scalability) đối với tập dữ liệu lớn, khả năng duy trì (maintainability), việc bổ sung tài liệu (addition of material) và khả năng tái sử dụng (reusability). Điều này đòi hỏi các phương pháp quản lý thông tin tiên tiến, vượt ra ngoài khả năng của các công cụ xử lý văn bản đơn thuần.

IV. Giải pháp quản lý dữ liệu Đa phương tiện lớn Vai trò của cơ sở dữ liệu

Để đối phó với những thách thức trong việc quản lý các hệ thống siêu phương tiện quy mô lớn, kiến thức cơ bản về đa phương tiện chỉ ra rằng việc áp dụng các phương pháp cơ sở dữ liệu là không thể thiếu. Khi một tập dữ liệu trở nên quá lớn, các công cụ quản lý thông thường không còn đủ hiệu quả. "Một khi tập dữ liệu trở nên lớn, chúng ta nên sử dụng các phương pháp cơ sở dữ liệu," (Ze-Nian Li và Mark S. Drew) điều này nhấn mạnh sự chuyển dịch sang một cách tiếp cận có hệ thống hơn. Cơ sở dữ liệu cung cấp một khung làm việc có cấu trúc để lưu trữ, truy xuất và quản lý các thành phần đa phương tiện và mối quan hệ giữa chúng. Điều này không chỉ giải quyết vấn đề về dung lượng mà còn cải thiện đáng kể hiệu suất và độ tin cậy của hệ thống. Hiểu được vai trò của cơ sở dữ liệu đa phương tiện là một phần quan trọng trong việc làm chủ Fundamentals of Multimedia, đặc biệt đối với các nhà phát triển và kiến trúc sư hệ thống, những người phải thiết kế các giải pháp bền vững cho nội dung số.

4.1. Tại sao cần cơ sở dữ liệu cho Đa phương tiện Scalability và duy trì

Nhu cầu sử dụng cơ sở dữ liệu cho đa phương tiện phát sinh từ ba yếu tố chính: khả năng mở rộng (scalability), khả năng duy trì (maintainability) và việc bổ sung tài liệu (addition of material). Với một lượng lớn dữ liệu đa phương tiện bao gồm văn bản, hình ảnh, âm thanh và video, việc lưu trữ và truy cập hiệu quả đòi hỏi một kiến trúc mạnh mẽ. Cơ sở dữ liệu cho phép "quản lý hiệu quả các tập dữ liệu lớn" (Ze-Nian Li và Mark S. Drew) bằng cách cung cấp các cơ chế lập chỉ mục, truy vấn và quản lý giao dịch. Điều này đảm bảo rằng hệ thống có thể mở rộng để chứa thêm dữ liệu mà không làm giảm hiệu suất, đồng thời dễ dàng cập nhật và sửa đổi nội dung. Hơn nữa, việc sử dụng cơ sở dữ liệu còn giúp duy trì tính toàn vẹn của dữ liệu và đảm bảo rằng các mối liên kết siêu phương tiện vẫn hoạt động chính xác.

4.2. Tối ưu hóa Publishing và khả năng tái sử dụng Hướng tiếp cận hiện đại

Một lợi ích quan trọng khác của việc áp dụng cơ sở dữ liệu trong Fundamentals of Multimedia là khả năng tối ưu hóa giai đoạn "xuất bản" (publishing) và tăng cường khả năng tái sử dụng nội dung. Thông tin trong cơ sở dữ liệu "phải được thiết lập theo cách mà giai đoạn 'xuất bản', trình bày cho người dùng, có thể được thực hiện kịp thời (just-in-time), trình bày thông tin theo một chế độ xem do người dùng định nghĩa từ một cấu trúc thông tin trung gian" (Ze-Nian Li và Mark S. Drew). Điều này có nghĩa là nội dung đa phương tiện có thể được lắp ráp và trình bày theo các cách khác nhau dựa trên nhu cầu cụ thể của từng người dùng hoặc ứng dụng, mà không cần phải tạo ra các phiên bản nội dung riêng biệt. Khả năng tái sử dụng này giúp tiết kiệm thời gian, công sức và nguồn lực, đồng thời đảm bảo tính nhất quán của nội dung trên nhiều nền tảng và thiết bị khác nhau, nâng cao hiệu quả của tác giả đa phương tiện.

V. Ứng dụng thực tiễn của Kiến thức cơ bản Đa phương tiện Từ lý thuyết đến hành động

Việc nắm vững Fundamentals of Multimedia không chỉ dừng lại ở lý thuyết mà còn mở ra vô số cơ hội trong các ứng dụng thực tiễn. Kiến thức cơ bản về đa phương tiện là nền tảng cho sự đổi mới trong nhiều lĩnh vực, từ giải trí, giáo dục đến truyền thông và y tế. Các khái niệm như SMIL, siêu phương tiện và quản lý dữ liệu lớn đều có vai trò quan trọng trong việc định hình cách chúng ta tương tác với công nghệ hàng ngày. Từ việc xem video trực tuyến, duyệt web với các liên kết đa dạng, đến sử dụng các ứng dụng học tập tương tác, tất cả đều là minh chứng cho sức mạnh của đa phương tiện cơ bản. Bài viết này đã cung cấp một cái nhìn tổng thể về các yếu tố cốt lõi, nhưng hành trình khám phá lĩnh vực này vẫn còn rất dài. Hiểu được ứng dụng đa phương tiện và những xu hướng phát triển mới là chìa khóa để tiếp tục đổi mới và tạo ra các giải pháp sáng tạo, đóng góp vào sự phát triển không ngừng của công nghệ số. Đây là lúc biến những kiến thức Fundamentals of Multimedia thành những giá trị thiết thực.

5.1. Các ví dụ về ứng dụng Đa phương tiện trong đời sống Tác động của Fundamentals of Multimedia

Từ kiến thức cơ bản về đa phương tiện, các ứng dụng đã lan tỏa khắp mọi ngóc ngách của đời sống. Trong giáo dục, đa phương tiện được sử dụng để tạo ra các bài giảng tương tác, e-learning với video, hình ảnh và âm thanh minh họa, giúp nâng cao hiệu quả học tập. Trong giải trí, ngành công nghiệp game, phim ảnh và âm nhạc hoàn toàn dựa trên các thành phần đa phương tiện để tạo ra trải nghiệm sống động. Các trang web, ứng dụng di động và mạng xã hội là ví dụ điển hình của việc sử dụng siêu phương tiện để kết nối thông tin và người dùng một cách phi tuyến tính. Ngay cả trong y tế, hình ảnh y khoa 3D và các mô phỏng phẫu thuật tương tác cũng là những ứng dụng đa phương tiện quan trọng. Sự phổ biến của các công nghệ đa phương tiện đã chứng minh tầm quan trọng của việc nắm vững Fundamentals of Multimedia trong việc thiết kế và phát triển các giải pháp sáng tạo.

5.2. Tương lai phát triển của Đa phương tiện Xu hướng mới và thách thức

Tương lai của đa phương tiện hứa hẹn nhiều đổi mới đáng kể, tiếp tục mở rộng dựa trên kiến thức cơ bản về đa phương tiện. Các xu hướng như thực tế ảo (VR), thực tế tăng cường (AR), video 360 độ và trí tuệ nhân tạo (AI) trong xử lý đa phương tiện đang định hình một thế giới thông tin ngày càng nhập vai và thông minh. Thách thức lớn nhất là làm thế nào để quản lý và phân phối hiệu quả lượng dữ liệu khổng lồ mà những công nghệ này tạo ra, đồng thời đảm bảo trải nghiệm người dùng liền mạch và hấp dẫn. "Sự phức tạp của không gian thông tin" như đã thấy trong hình 2.13 của tài liệu gốc, vẫn là một vấn đề cần giải quyết bằng các phương pháp quản lý dữ liệu tiên tiến hơn. Việc tiếp tục nghiên cứu và ứng dụng các nguyên tắc của Fundamentals of Multimedia sẽ là chìa khóa để vượt qua những thách thức này và khai thác tối đa tiềm năng của các công nghệ đa phương tiện trong tương lai.

Nội dung chính

Tổng quan về giáo trình

Fundamentals of Multimedia là giáo trình học thuật do hai tác giả Ze-Nian Li và Mark S. Drew thuộc Khoa Khoa học Máy tính (School of Computing Science), Đại học Simon Fraser (Simon Fraser University, Canada) biên soạn, được nhà xuất bản Pearson Education / Prentice Hall ấn hành năm 2004 (mã chuẩn quốc tế ISBN: 0-13-127256-X).

Về vị trí trong chương trình đào tạo, giáo trình được thiết kế phục vụ cho học phần Hệ thống Đa phương tiện (Multimedia Systems) hoặc Công nghệ Đa phương tiện (Multimedia Computing) ở cấp độ đại học năm thứ ba, năm thứ tư và bậc sau đại học thuộc khối ngành Khoa học Máy tính và Kỹ thuật Máy tính. Theo phân tích của tác giả trong lời nói đầu (Preface), đa phương tiện trong khoa học máy tính đã phát triển từ một lĩnh vực ứng dụng dọc (vertical application area) trở thành một lĩnh vực ứng dụng ngang (horizontal application area), giao thoa trực tiếp với đồ họa máy tính, xử lý ảnh, thị giác máy tính, cơ sở dữ liệu, hệ thống thời gian thực, hệ điều hành và mạng truyền thông.

Mục tiêu học tập của giáo trình tập trung vào việc cung cấp các nguyên lý kỹ thuật và toán học cốt lõi chi phối cách dữ liệu đa phương tiện được thu nhận, biểu diễn, nén, truyền tải và truy vấn. Thay vì chỉ hướng dẫn sử dụng các phần mềm thương mại đơn thuần, giáo trình tập trung giúp người học nắm vững bản chất thuật toán và cơ chế vận hành bên dưới của các định dạng và giao thức.

Cấu trúc giáo trình gồm 18 chương, được phân bổ thành 3 phần chính:

• Phần I: Tác quyền và Biểu diễn Dữ liệu Đa phương tiện (Multimedia Authoring and Data Representations) gồm Chương 1 đến Chương 6.
• Phần II: Nén Dữ liệu Đa phương tiện (Multimedia Data Compression) gồm Chương 7 đến Chương 14.
• Phần III: Truyền thông và Truy vấn Đa phương tiện (Multimedia Communication and Retrieval) gồm Chương 15 đến Chương 18.

Điểm đặc trưng của giáo trình là sự kết hợp có hệ thống giữa lý thuyết nền tảng (lý thuyết thông tin, xử lý tín hiệu số, mô hình thị giác và màu sắc) với các tiêu chuẩn công nghiệp hiện hành (như chuẩn W3C SMIL, các tiêu chuẩn nén ảnh JPEG/JPEG2000, chuẩn video H.261, MPEG-1/2/4/7/21 và giao thức truyền phát thời gian thực RTSP/RTP).

---

Nội dung kiến thức cốt lõi

Các chương và chủ đề chính

Cấu trúc nội dung giáo trình được triển khai theo tiến trình logic từ biểu diễn dữ liệu đơn lẻ, tích hợp tác quyền, thuật toán nén chuyên sâu cho đến phân phối qua mạng và truy vấn nâng cao:

• Chương 1 & 2 (Tổng quan, Tác quyền và Công cụ Đa phương tiện): Trình bày lịch sử phát triển của siêu văn bản (Hypertext) và siêu phương tiện (Hypermedia) từ bài báo nền tảng của Vannevar Bush về hệ thống Memex (1945), dự án Xanadu của Ted Nelson (1965), hệ thống NLS của Douglas Engelbart (1968), đến mạng World Wide Web của Tim Berners-Lee (1989). Chương này phân loại các mô hình tác quyền đa phương tiện (Authoring Metaphors) bao gồm: mô hình kịch bản (Scripting Language như OpenScript trong Toolbook), mô hình trình chiếu (Slide Show trong PowerPoint), mô hình phân cấp (Hierarchical), mô hình lưu đồ biểu tượng (Iconic/Flow-control trong Authorware), mô hình khung (Frames trong Quest), mô hình thẻ (Card trong HyperCard, HyperStudio), và mô hình dòng thời gian/bảng tổng phổ (Cast/Score/Scripting trong Macromedia Director, Flash). Chương 2 cũng trình bày quy trình sản xuất (storyboarding, flowcharting, prototyping) và các phép toán chuyển cảnh video (như phép pha trộn Cross Dissolve $D = (1-\alpha(t))A + \alpha(t)B$, Dither Dissolve, Wipes và trượt khung hình).
• Chương 3 & 4 (Biểu diễn Dữ liệu Đồ họa, Ảnh và Màu sắc): Khảo sát cấu trúc ảnh mức xám 8-bit, ảnh màu 8-bit sử dụng bảng tra màu (Color Lookup Tables - LUTs), ảnh màu 24-bit và các định dạng tệp (PS, PDF, PICT). Chương 4 phân tích cơ sở vật lý và quang học: độ nhạy phổ của mắt người, hàm phối màu CIE, biểu đồ sắc độ CIE Chromaticity Diagram, hiệu chỉnh Gamma và chuyển đổi giữa các không gian màu hiển thị và in ấn (RGB, CMY, CMYK) cùng các không gian màu dùng trong truyền hình và video kỹ thuật số (YUV, YIQ, YCbCr).
• Chương 5 & 6 (Khái niệm Cơ bản về Video và Âm thanh Số): Trình bày các tiêu chuẩn tín hiệu video (NTSC, PAL, SECAM, CCIR standards, HDTV). Chương 6 đi sâu vào kỹ thuật số hóa âm thanh: tần số lấy mẫu, lượng tử hóa tuyến tính và phi tuyến, tỷ số tín hiệu trên nhiễu (SNR) và tỷ số tín hiệu trên nhiễu lượng tử (SQNR), cấu trúc thông điệp của giao diện nhạc cụ kỹ thuật số MIDI, cùng các kỹ thuật mã hóa PCM, DPCM và mã hóa dự đoán không mất mát (Lossless Predictive Coding).
• Chương 7 & 8 (Các Thuật toán Nén Dữ liệu Không mất mát và Mất mát): Trình bày nền tảng lý thuyết thông tin Shannon, các thuật toán mã hóa độ dài biến thiên (Shannon-Fano, Huffman, Adaptive Huffman), mã hóa Run-Length, mã hóa theo từ điển (họ thuật toán LZW), lý thuyết Rate-Distortion, lượng tử hóa vô hướng đều và không đều, biến đổi Cosine rời rạc (DCT), biến đổi Karhunen-Loève (KLT), lý thuyết Wavelet (CWT, DWT), cùng các cấu trúc cây số không nhúng (Embedded Zerotree Wavelet - EZW) và phân vùng tập hợp trong cây phân cấp (SPIHT).
• Chương 9, 10, 11, 12 (Các Tiêu chuẩn Nén Ảnh và Video): Phân tích chi tiết từng bước trong chuẩn nén ảnh tĩnh JPEG, JPEG2000 (dựa trên Wavelet, kỹ thuật EBCOT và Region-of-Interest Coding), JPEG-LS và chuẩn ảnh nhị phân JBIG/JBIG2. Về video, giáo trình phân tích kỹ thuật bù chuyển động (Motion Compensation), ước lượng vector chuyển động, cấu trúc khung hình nội suy (I-frame, P-frame, B-frame) trong H.261, MPEG-1, MPEG-2 (hỗ trợ quét xen kẽ Interlaced Video), MPEG-4 (mã hóa đối tượng hình ảnh VOP, lưới 2D/3D mesh, synthetic objects, profiles and levels) và chuẩn mô tả siêu dữ liệu MPEG-7.
• Chương 13 & 14 (Nén Âm thanh và Tiêu chuẩn MPEG Audio): Khảo sát các kỹ thuật ADPCM, mã hóa dự đoán tuyến tính (LPC), vocoder kích thích lai (Hybrid Excitation Vocoders), đường cong đẳng âm (Equal-Loudness Relations), mô hình âm học tâm lý (Psychoacoustics) và các tầng nén âm thanh MPEG (MPEG Layers, bao gồm MP3).
• Chương 15, 16, 17 & 18 (Truyền thông Mạng, Ứng dụng Không dây và Truy vấn Nội dung): Trình bày các giao thức mạng đa phương tiện (QoS, RTP/RTCP, RSVP, RTSP), truyền tải video qua mạng ATM/IP, cơ chế phân phối Video-on-Demand (VoD), kỹ thuật mã hóa thích ứng lỗi trên mạng không dây 3G (CDMA, TDMA/GSM, FEC), và các giải pháp truy vấn ảnh/video theo nội dung (Content-Based Retrieval - CBR) thông qua phân tích hệ thống C-BIRD (Color and Texture, Illumination Invariance, Object Model Search) cùng các dự án tại UC Santa Barbara, Columbia University, UC Berkeley và MIT (Photobook/FourEyes).

Kiến thức nền tảng được xây dựng

Giáo trình thiết lập hệ thống lý thuyết liên ngành dựa trên ba trụ cột:

1. Lý thuyết Thông tin và Xử lý Tín hiệu Số: Khái niệm entropy, mô hình Rate-Distortion, các phép biến đổi trực giao (DCT, DWT, KLT) và các phương pháp lượng tử hóa tín hiệu liên tục sang miền rời rạc.
2. Mô hình Hóa Cảm nhận Sinh học (Human Perception Models): Độ nhạy phổ của tế bào nón trên võng mạc người (hệ màu CIE XYZ), hiệu ứng che lấp âm thanh (auditory masking) và đường cong nhạy cảm thính giác được ứng dụng trực tiếp trong mã hóa MPEG Audio.
3. Mô hình Đồng bộ Hóa và Cấu trúc Tài liệu Phân tán: Cấu trúc dữ liệu dạng cây và đồ thị biểu diễn luồng siêu văn bản, cú pháp giao thức HTTP, định dạng XML/XHTML và mô hình đồng bộ tài nguyên theo thời gian (các thẻ seq, par, excl trong chuẩn W3C SMIL 2.0).

Kỹ năng phát triển cho người học

• Kỹ năng Kỹ thuật: Lập trình thao tác trực tiếp với dữ liệu điểm ảnh (pixel manipulation), chuyển đổi ma trận không gian màu, tính toán vector chuyển động trong nén video, và thiết lập kịch bản tích hợp đa phương tiện bằng SMIL hoặc các ngôn ngữ kịch bản chuyên dụng (Lingo, OpenScript).
• Kỹ năng Phân tích: Đánh giá định lượng hiệu suất nén dựa trên tỷ số nén (compression ratio), độ méo dạng tín hiệu (distortion/PSNR), phân tích cú pháp cấu trúc luồng bít (bitstream syntax) của các chuẩn quốc tế ISO/IEC và ITU-T.
• Kỹ năng Thực hành Hệ thống: Cài đặt các thuật toán xử lý và truyền thông đa phương tiện cơ bản bằng các ngôn ngữ lập trình bậc cao (C/C++, Java, MATLAB), thiết kế giao diện tương tác và tối ưu hóa tài nguyên hiển thị dựa trên các tham số phần cứng đồ họa.

---

Phương pháp giảng dạy và học tập

Giáo trình được xây dựng dựa trên kinh nghiệm giảng dạy thực tế của các tác giả tại Đại học Simon Fraser từ năm 1996 cho cả học phần đại học năm thứ ba và các chuyên đề sau đại học.

Phương pháp tiếp cận sư phạm (Pedagogical Approach)

Nội dung kết hợp giữa cơ sở toán học chặt chẽ và cài đặt thuật toán thực tế. Các tác giả sử dụng ký hiệu dấu hoa thị (*) tại các mục nâng cao (chẳng hạn như biến đổi KLT, biến đổi Wavelet liên tục, thuật toán EBCOT trong JPEG2000, hoặc Vocoder kích thích lai trong nén tiếng nói). Cấu trúc này cho phép giảng viên linh hoạt điều chỉnh đề cương cho học phần đại học một học kỳ (bỏ qua các phần đánh dấu *) hoặc sử dụng đầy đủ nội dung cho các khóa học nâng cao ở bậc sau đại học.

Bài tập và đồ án thực hành

Hệ thống câu hỏi và bài tập cuối mỗi chương (Exercises) được thiết kế theo nhiều cấp độ:

• Bài tập tính toán giải thuật: Yêu cầu người học thực hiện từng bước các giải thuật như xây dựng cây Huffman, tính toán hệ số biến đổi DCT 2D, chuyển đổi tọa độ màu từ RGB sang YUV/YCbCr.
• Bài tập tư duy thiết kế hệ thống: Đặt ra các vấn đề kỹ thuật thực tế (ví dụ: bài tập thiết kế hệ thống truyền tải vector mùi hương qua mạng Internet, thiết kế cơ chế hợp nhất cảm biến âm thanh và hình ảnh để theo dõi đối tượng trong hội nghị truyền hình).
• Đồ án môn học (Course Projects): Hướng dẫn sinh viên tự xây dựng ứng dụng đa phương tiện hoàn chỉnh hoặc phát triển các module phần mềm độc lập thay vì chỉ sử dụng các mẫu dựng sẵn.

Tài nguyên hỗ trợ và đánh giá

Nhà xuất bản Pearson Prentice Hall và các tác giả cung cấp hệ thống tài nguyên bổ trợ:

• Website giáo trình lưu trữ mã nguồn minh họa (ví dụ chương trình Visual Basic khảo sát tương quan giữa độ tương phản màu chữ và màu nền $(R,G,B) \rightarrow (1-R, 1-G, 1-B)$), các bộ hình ảnh và video mẫu, cùng danh mục liên kết nghiên cứu mở rộng (Further Exploration) được cập nhật định kỳ.
• Tài nguyên dành riêng cho giảng viên (Course Instructor Resources) bao gồm đề cương môn học mẫu (one-semester course syllabus), slide bài giảng điện tử, ngân hàng câu hỏi thi, đề thi mẫu kèm đáp án chi tiết cho toàn bộ bài tập trong sách.

---

Điểm nổi bật và cập nhật kỹ thuật

Giáo trình phản ánh các bước tiến công nghệ và tiêu chuẩn kỹ thuật số trong giai đoạn chuyển đổi quan trọng của ngành khoa học máy tính:

• Bao quát các chuẩn nén thế hệ mới: Phân tích kỹ thuật chi tiết của chuẩn JPEG2000 (dựa trên biến đổi Wavelet và mã hóa lũy tiến), chuẩn nén video dựa trên đối tượng MPEG-4 (phân tách dòng dữ liệu thành các mặt phẳng đối tượng video - VOPs, hỗ trợ mô hình hóa đồ họa 2D/3D), chuẩn mô tả cấu trúc dữ liệu MPEG-7 và khung tích hợp đa phương tiện MPEG-21.
• Chuẩn hóa ngôn ngữ đa phương tiện trên Internet: Cập nhật kiến trúc tài liệu XML 1.0, các lược đồ XML Schema, XSL/XSLT và chuẩn ngôn ngữ đồng bộ hóa đa phương tiện W3C SMIL 2.0 (tích hợp các profile như Basic Profile, XHTML+SMIL).
• Khảo sát hệ thống công cụ công nghiệp thực tế: Đưa ra danh mục và nguyên lý của hàng loạt công cụ phần mềm chuyên dụng:
  • Biên tập âm thanh và MIDI: Cakewalk Pro Audio, Cubase, Sound Forge, Cool Edit, Pro Tools.
  • Đồ họa và xử lý ảnh: Adobe Photoshop, Adobe Illustrator, Macromedia Fireworks, Macromedia Freehand.
  • Dựng và biên tập video: Adobe Premiere, Adobe After Effects, Apple Final Cut Pro.
  • Hoạt họa và kết xuất 3D: Maya, Softimage XSI, 3D Studio Max, Pixar RenderMan, cùng các thư viện đồ họa lập trình như OpenGL, DirectX, Java3D.
• Nghiên cứu ứng dụng hiện đại: Đề cập đến các hướng nghiên cứu công nghệ chuyên sâu bao gồm: bắt chuyển động 3D (3D motion capture), nhận dạng và tổng hợp chuyển động môi từ âm thanh (speech-driven facial animation), truyền thông không dây băng rộng 3G, hệ thống giám sát sức khỏe từ xa qua mạng (như dự án Electronic Housecall của Georgia Tech) và hệ thống tìm kiếm ảnh theo nội dung (C-BIRD, FourEyes, Photobook).

---

Đối tượng sử dụng giáo trình

Giáo trình Fundamentals of Multimedia hướng tới các nhóm đối tượng cụ thể trong môi trường học thuật và công nghiệp:

• Sinh viên bậc Đại học: Sinh viên năm thứ ba và năm thứ tư thuộc các chuyên ngành Khoa học Máy tính, Kỹ thuật Phần mềm, Kỹ thuật Máy tính, Công nghệ Thông tin hoặc Hệ thống Thông tin. Giáo trình cung cấp kiến thức nền tảng để theo học các chuyên ngành hẹp về đồ họa máy tính, xử lý tín hiệu số, truyền thông mạng và thị giác máy tính.
• Học viên Cao học và Nghiên cứu sinh: Sử dụng Phần II và Phần III của tài liệu để nghiên cứu chuyên sâu về lý thuyết nén dữ liệu nâng cao, các giao thức phân phối nội dung chất lượng cao trên mạng có độ trễ/băng thông hạn chế, và các thuật toán trích xuất đặc trưng hình ảnh phục vụ truy vấn dữ liệu lớn.
• Giảng viên Đại học: Sử dụng sách làm giáo trình chính (main textbook) để xây dựng đề cương bài giảng, thiết kế bài tập thực hành phòng máy và cấu trúc các đồ án môn học kéo dài một học kỳ.
• Kỹ sư Phần mềm và Chuyên viên Kỹ thuật: Các kỹ sư phát triển ứng dụng xử lý âm thanh, video, truyền phát trực tuyến (streaming) hoặc phát triển trò chơi điện tử cần một tài liệu tham khảo chuẩn mực về cấu trúc luồng bít, không gian màu và giải thuật nén dữ liệu.

Điều kiện tiên quyết (Prerequisites): Người học cần có kiến thức lập trình vững chắc (bằng một trong các ngôn ngữ như C, C++, Java), hiểu biết về cấu trúc dữ liệu và giải thuật cơ bản, cùng nền tảng toán học đại học bao gồm đại số tuyến tính (ma trận, phép biến đổi không gian), giải tích và xác suất thống kê cơ bản.

---

Câu hỏi thường gặp

1. Giáo trình này phù hợp với ai?

Giáo trình được thiết kế cho sinh viên đại học năm 3–4, học viên cao học chuyên ngành Khoa học Máy tính, Kỹ thuật Máy tính và các kỹ sư phát triển phần mềm cần hiểu sâu về cơ chế kỹ thuật và toán học của hệ thống đa phương tiện.

2. Cần kiến thức nền tảng nào trước khi học?

Người học cần nắm vững kỹ năng lập trình (C/C++, Java), cấu trúc dữ liệu căn bản (danh sách, cây, đồ thị), các khái niệm toán học về đại số ma trận, giải tích và nguyên lý cơ bản của mạng máy tính.

3. Giáo trình này có điểm gì khác biệt so với các sách dạy đa phương tiện thông thường?

Sách không tập trung vào việc hướng dẫn thao tác trên giao diện người dùng của phần mềm đồ họa, mà phân tích sâu các nguyên lý khoa học máy tính đằng sau các công cụ: cấu trúc dữ liệu, thuật toán nén (Huffman, DCT, Wavelet), biến đổi không gian màu và giao thức truyền thông mạng.

4. Làm thế nào để tự học giáo trình này một cách hiệu quả?

Người học nên tiếp cận tuần tự qua ba phần của sách. Trong lần đọc đầu tiên, có thể bỏ qua các mục nâng cao có đánh dấu hoa thị (*). Cần kết hợp đọc lý thuyết với việc tự viết mã nguồn cài đặt lại các thuật toán mẫu và thực hiện các bài tập giải thuật ở cuối mỗi chương.

5. Giáo trình có tài liệu bổ trợ và mã nguồn đi kèm không?

Giáo trình đi kèm website chính thức cung cấp các đoạn mã nguồn minh họa (như chương trình Visual Basic về độ tương phản màu sắc), hình ảnh mẫu, dữ liệu giải thuật và danh mục liên kết nghiên cứu chuyên sâu (Further Exploration). Đối với giảng viên, nhà xuất bản cung cấp bộ slide, đề thi mẫu và lời giải bài tập chi tiết.

---

Kết luận

Giáo trình Fundamentals of Multimedia của Ze-Nian Li và Mark S. Drew là tài liệu học thuật chuẩn mực, hệ thống hóa toàn diện các khía cạnh cốt lõi của công nghệ đa phương tiện từ góc nhìn khoa học máy tính.

Lộ trình tiếp cận được đề xuất bắt đầu từ việc nắm vững cách biểu diễn dữ liệu văn bản, ảnh, âm thanh, video và màu sắc (Chương 1–6), tiến tới làm chủ các thuật toán nén không mất mát, mất mát và các tiêu chuẩn công nghiệp JPEG/MPEG (Chương 7–14), và hoàn thiện bằng việc nghiên cứu hạ tầng truyền thông mạng cùng các kỹ thuật truy vấn dữ liệu số nâng cao (Chương 15–18). Người học có thể khai thác thêm các tài liệu nghiên cứu gốc được trích dẫn trong mục References của từng chương cùng hệ thống tài nguyên trực tuyến để mở rộng kiến thức chuyên ngành.

Trích đoạn nội dung tài liệu

Fundamentals of Multimedia Ze-Nian Li and Mark S.ol of Computing Science Simon Fraser University Pearson Education International If you purchased this book within the United States or Canada you should be aware that it has been wrongfully imported without the approval of the Publisher or the Author. Vice President and Editorial Director. Horlon Senior Acquisitions Editor: Kme Hargeft Editorial Assistant: JHichael Giacobbe Vice President and Director of Production and nbnufacturing. ESM: David He Riccardi Executive Managing Editor: Vince 0 'Brien Managing Editor: Camille Tre11facosle Production Editor: Im'iIl Zacker Director of Creati ve Services: Palll Belfallli Art Director and Cover Manager: Jayne Come Cover Designer: Suzanne Behnke Managing Editor.

AV Management and Production: Patricia Bums Art Editor: Gregory Dulfes Manufacturing Manager: Tmdy Piscio/li Manufacturing Buyer: Lisa ,HcDowell Marketing 1\Ianager: Pamela Sha./ler © 2004 by Pearson Education, Inc. Pearson Prentice Hall Pearson Education, Inc. Upper Saddle River, NJ 07458 All rights reserved. No part of this book may be reproduced in any format or by any means, without permission in writing frnm the publisher.

Images of Lena that appear in Figures 3.3, are reproduced by special permission of Playboy magazine. Copyright 1972 by Playboy. The author and publisher of this book have used their best efforts in preparing this book. These elforts include the development, research, and testing of the theories and programs to determine their etl'ectiveness.

The author and publisher make no warranty of any kind. expressed or implied, with regard to these programs or the documentation contained in this book. The author and publisher shall not be liable in any event for incidental or consequential damages in connection with, or arising out of, the furnishing, performance, or use of these programs. Printed in the United States of America 10 9 8 7 6 5 4 3 ISBN 0-13-127256-X Pearson Education LTD.

Pearson Education AUstralia PTY, Limited Pearson Education Singapore, Pte. Ltd Pearson Education North Asia Ltd Pearson Education Canada, Ltd. Pearson Educaci6n de Mexico, S,A. Pearson Education -- Japan Pearson Education Malaysia, Pte.

Ltd Pearson Education, Upper Saddle River, New Jersey To my mom, and my wife Yansin. Ze-Nian To Noah, James (Ira), Eva, and, especially, to fenna. Mark List of Trademarks The following is a list of products noted in this text that arc trademarks or registered trademarks their associated companies. 3D Studio Max is a registered trademark of Autodesk, Inc.

After Effects, Illustrator, Photoshop, Premiere, and Cool Edit are registered trademarks of Adobe Systems, Inc. Authorware, Director, Dreamweaver, Fireworks, and Freehand are registered trademarks, and Flash and Soundedit are trademarks of Macromedia, Inc., in the United States and/or other countries. Cakewalk Pro Audio is a trademark of Twelve Tone Systems, Inc. CorelDRAW is a registered trademark of Corel and/or its subsidiaries in Canada, the United States and/or other countries.

Cubase is a registered trademark of Pinnacle Systems. DirectX, Internet Explorer, PowerPoint, Windows, Word, Visual Basic, and Visual C++ are registered trademarks of Microsoft Corporation in the United States and/or other countries. Gifcon is a trademark of Alchemy Mindworks Corporation. HyperCard and Final Cut Pro are registered trademarks of Apple Computer, Inc.

HyperStudio is a registered trademark of Sunburst Technology. Java Media Framework and Java 3D are trademarks of Sun Microsystems, Inc., in the United States and other countries. Jell-O is a registered trademark of Kraft Foods Incorporated. MATLAB is a trademark of The MathWorks, Inc.

Maya and OpenGL are registered trademarks of Silicon Graphics Inc. Ivlosaic is a registered trademark of National Center for Supercomputing Applications (NCSA). Netscape is a registered trademark of Netscape Communications Corporation in the U. and other countries.

Playstation 15 a registered trademark of Sony Corporation. Pro Tools is a registered trademark of Avid Technology, Inc. Quest Multimedia Authoring System is a registered trademark of Allen Communication Learning Services. RenderMan is a registered trademark of Pixar Animation Studios.

Slinky is a registered trademark of Slinky Toys. Softirnage XSI is a registered trademark of Avid Technology lnc. Sound Forge is a registered trademark of Sonic Foundry. • WinZip is a registered trademark WinZip Computing, Inc.

Contents Preface xiv I Multimedia Authoring and Data Representations 1 1 Introduction to Mullimedia 3 1.1 What is Multimedia? 3 1.1 Components of Multimedia 3 1.2 Multimedia Research Topics and Projects 4 1.2 Multimedia and Hypermedia 5 1.1 History of Mu1timedia 5 1.2 Hypermedia and Multimedia 7 1.3 World Wide Web 8 1.1 History ofthe WWW 8 1.2 HyperText Transfer Protocol (HTTP) 9 1.3 HyperText Markup Language (HTML) 10 1.4 Extensible Markup Language (XML) 11 1.5 Synchronized Multimedia Integration Language (SMIL) 12 1.4 Overview of Mu1timedia Software Tools 14 1.1 Music Sequencing and Notation 14 1.3 Graphics and Image Editing 15 1.6 Mu1timedia Authorjng 17 1.7 References 19 2 l\Iultimedia Authoring and Tools 20 2.1 Multimedia Authoring Metaphors 21 2.2 Some Useful Editing and Authoring Tools 37 2.2 Animation and Interactions 54 2.3 VR1vfL Specifics 54 2.6 References 59 V vi 3 Graphics and hnage Data Representations 60 3.1 GraphicslImage Data Types 60 3.2 8-Bit Gray·Level Images 61 3.3 Image Data Types 64 3.4 24~Bit Color Images 64 3.5 8-Bit Color Images 65 3.6 Color Lookup Tables (LUTs) 67 3.2 Popular File Formats 71 3.6 Graphics Animation Files 77 3.7 PS and PDF 78 3.10 Macintosh PAINT and PICT 78 3.5 References 81 4 Color in Image and Video 82 4.1 Light and Spectra 82 4.3 Spectral Sensitivity of the Eye 84 4.7 Color-Matching Functions 89 4.8 CIE Chromaticity Diagram 91 4.9 Color Monitor Specifications 94 4.10 Out-of-Gamut Colors 95 4.11 White-Point Correction 96 4.12 XYZ to RGB Transform 97 4.13 Transform with Gamma Correction 97 4.15 More Color-Coordinate Schemes 100 4.16 Munsell Color Naming System 100 4.2 Color'Models in Images 100 4.1 RGB Color Model for CRT Displays 100 4.2 Subtractive Color: CMY Color Model 101 4.3 Tr1!nsformation from RGB to CMY 101 4.4 Undercolor Removal: CMYK System 102 4.3 Color Models in Video 104 4.1 Video Color Transforms 104 4.2 YUV Color Model 104 vii 4.3 YIQ Color Model 105 4.4 YCbCr Color Model 107 4.6 References III 5 Fundamental Concepts in Video 112 5.1 Types of Video Signals 112 5.2 CCIR Standards for Digital Video 120 5.3 High Definition TV (HDTV) 122 5.6 References 125 6 Basics of Digital Audio 126 6.1 Digitization of Sound 126 6.1 What Is Sound? 126 6.4 Signal-to-Noise Ratio (SNR) 131 6.5 Signal-to-Quantization-Noise Ratio (SQNR) 131 6.6 Linear and Nonlinear Quantization 133 6.8 Audio Quality versus Data Rate 136 6.2 MIDI: Musical Instrument Digital Interface 139 6.2 Hardware Aspects of MIDI 142 6.3 Structure of MIDI Messages 143 6.5 MIDI-to-WAV Conversion 147 6.3 Quantization and Transmission of Audio 147 6.1 Coding of Audio 147 6.2 Pulse Code Modulation 148 6.3 Differential Coding of Audio 150 6.4 Lossless Predictive Coding 151 6.6 References 163 viii II lVlultimedia Data Compression 165 7 Lossless Compression Algorithms 167 7.2 Basics of Infonnation Theory 168 7.3 Run-Length Coding 171 7.4 Variable-Length Coding (VLC) 171 7.1 Shannon-Fano Algorithm 171 7.3 Adaptive Huffman Coding 176 7.5 Dictionary-Based Coding 181 7.7 Lossless Image Compression 191 7.1 Differential Coding of Images 191 7.10 References 197 8 Lossy Compression Algorithms 199 8.3 The Rate-Distortion Theory 200 8.1 Uniform Scalar Quantization 201 8.2 Nonunifonn Scalar Quantization 204 8.1 Discrete Cosine Transfonn (DCT) 207 8.2 Karhunen-Loeve Transform* 220 8.6 Wavelet-Based Coding 222 8.2 Continuous Wavelet Transfonn* 227 8.3 Discrete Wavelet Transfonn* 230 8.8 Embedded Zerotree of Wavelet Coefficients 241 8.1 The Zerotree Data Structure 242 8.2 Successive Approximation Quantization 244 8.9 Set Partitioning in Hierarchical Trees (SPIHT) 247 8.12 References 252 9 Image Compl'ession Standards 253 9.1 The JPEG Standard 253 9.1 Main Steps in IPEG Image Compression 253 9.3 A Glance at the JPEG Bitstream 265 9.2 The JPEG2000 Standard 265 9.1 Main Steps of IPEG2000 Image Compression* 267 ix 9.2 Adapting EBCOT to JPEG2000 275 9.3 Region-of-Interest Coding 275 9.4 Comparison of JPEG and JPEG2000 Performance 277 9.3 The JPEG-LS Standard 277 93.4 Near-Lossless Mode 281 9,4 Bilevel Image Compression Standards 282 9.1 The JBIG Standard 282 9.2 The JBIG2 Standard 282 9.7 References 287 10 Basic Video Compression Techniques 288 10.1 Introduction to Video Compression 288 10.2 Video Compression Based on Motion Compensation 288 10.3 Search for Motion Vectors 290 10.1 Intra-Frame (I-Frame) Coding 297 10.2 Inter-Frame (P-Frame) Predictive Coding 297 10.261 Encoder and Decoder 298 10.5 A Glance at the H.261 Video Bitstream Syntax 301 10.1 Motion Compensation in H.8 References 310 11 MPEG Video Coding I - MPEG-1 and 2 312 1L 1 Overview 312 lL2 MPEG-1 312 11.1 Motion Compensation in MPEG-l 313 11.2 Other Major Differences from H.3 MPEG-l Video Bitstream 318 11.1 Supporting Interlaced Video 320 11.3 Other Major Differences from MPEG-l 329 11.6 References 331 x 12 MPEG Video Coding 11- MPEG-4, 7, and Beyond 332 12.2 Object-Based Visual Coding in MPEGA 335 12.1 VOP-Based Coding vs. Frame-Based Coding 335 12.5 Static Texture Coding 346 12.7 Global Motion Compensation 348 12.3 Synthetic Object Coding in MPEG-4 349 12.1 2D Mesh Object Coding 349 12.2 3D Model-based Coding 354 12.4 :tvlPEG-4 Object types, Profiles and Levels 356 12.2 Baseline Profile Features 360 12.3 Main Profile Features 360 12.4 Extended Profile Features 361 12.2 Description Scheme CDS) 365 12.3 Description Definition Language CDDL) 368 12.10 References 371 13 Basic Audio Compl'ession Techniques 374 13.1 ADPCM in Speech Coding 374 13.4 Linear Predictive Coding 380 13.6 Hybrid Excitation Vocoders* 389 13.6 References 393 14 MPEG Audio Compl'ession 395 14.1 Equal-Loudness Relations 396 14.1 MPEG Layers 405 xi 14.2 MPEG AudIo Strategy 406 14.3 MPEG Audio Compression Algorithm 407 14.3 Other Commercial Audio Codecs 415 14.4 The Future: MPEG-7 and MPEG-21 415 14.7 References 417 III Multimedia Communication and Retrieval 419 15 Computer and Multimedia Networks 421 15.1 Basics of Computer and Multimedia Networks 421 15.1 OSI Network Layers 421 15.1 Basics of Multiplexing 425 ]5.2 Integrated Services Digital Network (ISDN) 427 15.3 Synchronous Optical NETwork (SONET) 428 15.4 Asymmetric Digital Subscriber Line (ADSL) 429 15.3 LAN and WAN 430 15.1 Local Area Networks (LANs) 431 15.2 Wide Area Networks (WANs) 434 15.3 Asynchronous Transfer Mode (ATM) 435 15.4 Gigabit and lO-Gigabit Ethernets 438 15.5 Common Peripheral Interfaces 441 15.8 References 442 16 Multimedia Network Communications and Applications 443 16.1 Quality of Multimedia Data Transmission 443 16.1 Quality of Service (QoS) 443 16.2 Multimedia over IP 447 ]6.3 Real Time Control Protocol (RTCP) 451 16.4 Resource ReSerVation Protocol (RSVP) 451 16.5 Real·Time Streaming Protocol (RTSP) 453 16.3 Multimedia over ATM Networks 459 16.1 Video Bitrates over ATM 459 16.2 ATM Adaptation Layer (AAL) 460 16.3 1vIPEG-2 Convergence to ATM 461 16.4 Multicast over ATM 462 xii 16.4 Transport of MPEG-4 462 16.1 DMIF in MPEG-4 462 16.2 MPEG-4 over IP 463 16.5 Media~on-Demand (MOD) 464 16.2 Broadcast Schemes for Video-an-Demand 465 16.8 References 477 17 Wil-eless NetwOl'ks 479 17.1 Analog Wireless Networks 480 17.2 Digital Wireless Networks 481 17.3 TDMA and GSM 481 17.4 Spread Spectrum and CDMA 483 17.6 3G Digital \Vueless Networks 488 17.2 Radio Propagation Models 493 17.3 Multimedia over Wireless Networks 496 17.2 Error Resilient Entropy Coding 499 17.4 Forward Error Correction (FEe) 503 17.5 Trends in Wireless Interactive Multimedia 506 17 .6 References 510 18 Content-Based Retdeval in Digital UbI'aries 511 18.1 How Should We Retrieve Images? 511 18.2 C-BIRD - A Case Study 513 18.6 Search by Illumination Invariance 519 18.07 Search by Object Model 520 18.3 Synopsis of Current Image Search Systems 533 18.2 UC Santa Barbara Search Engines 536 18.3 Berkeley Digital Library Project 536 18.6 Columbia University Image Seekers 537 xiii 18.9 Photobook and FourEyes 538 18.6 Querying on Videos 542 18.7 Querying on Other Formats 544 18.8 Outlook for Content-Based Retrieval 544 18.11 References 547 Index 551 Preface A course in multimedia is rapidly becoming a necessity in computer science and engineering cunicula, especially now that multimedia touches most aspects of these fields. Multimedia was originally seen as a vertical application area; that is, a niche application with methods that belong only to itself.