PHẦN MỞ ĐẦU I. Lý do chọn đề tài Hiện nay, phần lớn lƣợng thông tin mà con ngƣời tiếp thu đƣợc từ thế giới bên ngoài là ở dạng thông tin thị giác, vì vậy các nghiên cứu về dạng thông tin này đều ít nhiều mang đến những lợi ích thiết thực cho cuộc sống. Với trình độ khoa học kỹ thuật hiện nay, thông tin thị giác đuợc số hóa dƣới hai dạng là ảnh số và video số. Video ra đời vào những năm đầu của thế kỷ XX và phát triển khá mạnh mẽ, nhƣng phải đến những thập kỷ cuối của thế kỷ XX video số mới phát triển.
Với sự ra đời và phát triển mạnh của máy tính và các hệ thống viễn thông, việc xử lý dữ liệu video đƣợc số hoá trên máy tính tỏ ra khá hiệu quả. Dữ liệu video số đã đƣợc đƣa vào rất nhiều ứng dụng trong thực tế nhƣ đào tạo điện tử dựa vào máy tính, hỗ trợ đào tạo trên mạng, hệ thống mô phỏng, giám sát, video theo yêu cầu… Vấn đề nâng cao hiệu quả và chất lƣợng của thao tác, xử lý với dữ liệu video đang đƣợc nhiều nhà nghiên cứu, triển khai ứng dụng quan tâm Thông tin video khác với dữ liệu dạng văn bản cũng nhƣ dữ liệu ảnh số bởi hai yếu tố là thời gian và không gian. Hơn thế nữa, dung lƣợng và định dạng phi cấu trúc của dữ liệu video số gây ra một số khó khăn trong quản lý, truy xuất, tái sử dụng và biên soạn các đoạn video thành tài liệu video. So với ảnh số có tính chất tĩnh, video là dữ liệu động với trục thời gian.
Ảnh video đƣợc biểu diễn một cách liên tục trên một tốc độ nhất định. Một ảnh video có chất lƣợng tốt bao gồm 25 đến 30 khung hình (frame) trên một giây. Bên cạnh đó, ảnh video cần lƣợng lƣu trữ lớn và băng thông rộng. Kích thƣớc một giờ video MPEG -1 là hơn 500MB.
Chính đặc tính liên tục và lƣợng dữ liệu lớn làm cho video trở nên thách thức hơn khi xử lý và quản lý. Nói cách khác, khi nhiều thông tin hơn, đặc Số hóa bởi Trung tâm Học liệu http://www.vn/ biệt là theo thời gian và chuyển động, ta lại có thêm nhiều cơ hội để phân tích các nội dung trực quan trong ảnh video. Hơn nữa, mặc dù video là phƣơng tiện truyền thông liên tục, nội dung chứa trong nó có dạng phân cấp theo tự nhiên. Một đoạn phim video đƣợc chia thành các câu chuyện, shot, frame/đoạn, cảnh, khung hình và cả các đối tƣợng kèm theo hành động.
Những hệ thống tìm kiếm video hiệu quả đòi hỏi phân tích và chỉ mục đƣợc tất cả các yếu tố này. Trong quá trình nỗ lực tìm kiếm lời giải cho bài toán truy vấn dữ liệu ảnh, video, thì bài toán phân đoạn video xuất hiện một cách tự nhiên. Để có thể truy vấn các đoạn video, thì các video phải đƣợc phân đoạn một cách thích hợp trong một thể thống nhất có ý nghĩa. Sự phân đoạn và miêu tả đặc điểm bằng tay là cách thủ công, tốn nhiều thời gian, phụ thuộc vào kỹ năng và sự hiểu biết của ngƣời thực hiện, hơn nữa có khả năng bị giới hạn chỉ ở các thuộc tính tƣơng đƣơng.
Trong quá trình chỉ số hoá dữ liệu video, bƣớc quan trọng đầu tiên là phân đoạn dữ liệu video theo thời gian. Bƣớc này nhằm mục đích phân chia dòng video liên tục thành các đơn vị cơ sở có ý nghĩa đó là các lia (shot), các cảnh (scene) hay một dãy cảnh quay. Một kịch bản điển hình trong tạo chỉ mục và tìm kiếm nội dung video đƣợc biểu diễn trong hình 1 dƣới đây. Trƣớc tiên, các video và ảnh đầu vào đƣợc phân đoạn thành các đơn vị theo không gian và thời gian thích hợp.
Các đặc trƣng trực quan sau đó đƣợc rút ra từ các đơn vị này để tạo chỉ mục và tóm lƣợc, cuối cùng những video và ảnh này đƣợc đƣa ra và tìm kiếm dựa trên các cấu trúc và đặc trƣng ở trên. Số hóa bởi Trung tâm Học liệu http://www. Quá trình phân đoạn và tìm kiếm ảnh video Chính vì vậy, việc nghiên cứu về phân đoạn Video là rất cần thiết cho một hệ thống dữ liệu video và nó ngày càng trở nên cấp thiết hơn khi nhu cầu sử dụng video ngày càng gia tăng. Xuất phát từ hoàn cảnh đó chúng tôi lựa chọn đề tài "Nghiên cứu một số kỹ thuật phân đoạn video".
Mục tiêu nghiên cứu Mục tiêu của đề tài là tập trung nghiên cứu một số kỹ thuật phân đoạn video, đề xuất một số cải tiến và xây dựng một ứng dụng thực tế sử dụng kỹ thuật cải tiến đã đƣợc nghiên cứu. Nội dung nghiên cứu Tổng quan về dữ liệu video. Nghiên cứu các kỹ thuật phân đoạn video và đề xuất cải tiến Triển khai ứng dụng thử nghiệm phân đoạn video nhằm tìm ra các phân đoạn có ngữ cảnh phù hợp theo mục đích tìm kiếm IV. Phƣơng pháp nghiên cứu Tổng hợp các thông tin liên quan, lựa chọn các cách tiếp cận đã đƣợc áp dụng thành công, tiến hành cài đặt thử nghiệm cho với các kỹ thuật đƣợc đề Số hóa bởi Trung tâm Học liệu http://www.
Đánh giá kết quả, từ đó sẽ tiến hành nghiên cứu sâu hơn về giải pháp cải tiến. Các tƣ liệu và thông tin liên quan chủ yếu đƣợc thu thập, tổng hợp từ các nguồn sau: + Các tạp chí khoa học chuyên ngành trong và ngoài nƣớc, internet. + Trao đổi với các đồng nghiệp cùng lĩnh vực nghiên cứu. Tiến hành nghiên cứu và tìm các ứng dụng có liên quan đến đề tài đặt ra.
Trao đổi thông qua seminar hoặc tham gia báo cáo tại các hội thảo khoa học nhằm nâng cao khả năng nghiên cứu, cách trình bày bài báo cáo khoa học là kiểm chứng đánh giá các kết quả nghiên cứu. Số hóa bởi Trung tâm Học liệu http://www.vn/ Chƣơng 1 KHÁI QUÁT VỀ VIDEO VÀ BÀI TOÁN PHÂN ĐOẠN 1. Khái quát về video 1. Video là gì Ngày nay, không ai có thể phủ nhận các thành tựu mà ngành công nghệ thông tin mang lại.
Trong đó, đa phƣơng tiện là một khía cạnh quan trọng với nhiều ứng dụng thiết thực nhằm làm cho xã hội ngày càng phát triển hơn, văn minh hơn. Nhƣng với sự phát triển không ngừng nhƣ hiện nay của công nghệ thông tin, nhƣ thế vẫn là chƣa đủ. Vẫn cần nhiều hơn nữa các nghiên cứu liên quan đến khía cạnh này. Trong đó phải kể đến một lĩnh vực rất quan trọng của đa phƣơng tiện, đó là Video và xử lý video.
Video là sự tái tạo ảnh tự nhiên theo không gian và thời gian hoặc cả hai, thực chất là một dãy ảnh liên tục theo thời gian nhằm mô phỏng sự chuyển động. Việc dùng ảnh liên tục để mô tả chuyển động theo thời gian đã xuất hiện gần 2 thế kỉ nay. Năm 1834 nhà toán học William George Horner đã phát minh ra cách mô tả này. Sau đó, hàng loạt các nghiên cứu khác đƣợc triển khai và đã có những ứng dụng đáng kể.
Năm 1887, khi Hannubal Good phát minh ra phim ảnh thì vấn đề ảnh chuyển động đƣợc quan tâm đặc biệt vì những lợi ích kinh tế mà nó mang lại. Năm 1895, một hệ thống camera/Projector với các chuẩn phim (35mm chiều rộng, 24 khung hình trên giây) đƣợc phát triển bởi Louis Lumiére. Một số khái niệm cơ bản Trƣớc hết chúng ta cùng tìm hiểu để có cái nhìn cơ bản về video. Video là tập hợp các khung hình, mỗi khung hình là một ảnh.
Shot (lia) là đơn vị cơ sở của video. Một lia là một đơn vị vật lý của dòng video, gồm các chuỗi các khung hình liên tiếp, không thể chia nhỏ hơn, ứng với một thao tác camera đơn. Số hóa bởi Trung tâm Học liệu http://www. Cấu trúc phân cấp của video đƣợc thể hiện trên hình 1.
Khi phim đƣợc chiếu, các khung hình lần lƣợt đƣợc hiển thị ở tốc độ nhất định. Tốc độ thƣờng thấy ở các định dạng video khác nhau là 30 và 25 hình/s. Nhƣ vậy một giờ video sẽ có số khung hình tƣơng ứng là 108000 hoặc là 90000. Dù là video ở định dạng nào thì nó cũng có dung lƣợng rất lớn và nếu xử lý với tất cả các khung hình thì thật không hiệu quả.
Phân đoạn là quá trình phân tích và chia nội dung hình ảnh video thành các đơn vị cơ sở gọi là các lia (shot). Việc lấy mẫu chính là chọn gần đúng một khung video đại diện cho mỗi lia (hoặc nhiều hơn tùy theo mức độ phức tạp của nội dung hình ảnh của lia) và đƣợc gọi là các khung-khóa [8]. Khung – khóa là khung hình đại diện mô tả nội dung chính của shot.1: Cấu trúc phân cấp của video 1. Chuyển Cảnh Chuyển cảnh là sự chuyển đổi đƣa ngƣời xem từ một lia này sang lia khác.
Có hai loại khác nhau của quá trình chuyển đổi có thể xảy ra giữa các chuyển cảnh: chuyển cảnh đột ngột (không liên tục), còn gọi là cắt cứng, Số hóa bởi Trung tâm Học liệu http://www.vn/ hoặc chuyển cảnh dần dần (liên tục), chẳng hạn nhƣ fade, chồng mờ, wipe, push [26][27]. Những quá trình chuyển đổi có thể đƣợc quy định nhƣ sau: Cắt cứng: là sự biến đổi đột ngột từ lia này sang cảnh khác, nó xảy ra giữa hai khung hình (hình 1.2: Cắt cứng Fade: là sự xuất hiên dần dần giữa một ảnh và một cảnh ảnh (fade in) (hình 1.3), hoặc là sự biến mất dần giữa một cảnh và một ảnh phim (fade out) (hình 1.3: Fade in Hình 1.4: Fade out Chồng mờ: là sự biến đổi dần dần từ cảnh cũ sang cảnh mới trong đó cảnh cũ đƣợc fade out và cảnh mới đƣợc fade in.5: Chồng mờ Wipe: là hiện tƣợng cảnh chạy theo một đƣờng trên màn hình, trong khi đó cảnh mới xuất hiện phía sau đƣờng đó. Số hóa bởi Trung tâm Học liệu http://www.6: Wipe push: là hiện tƣợng cảnh tiếp theo xuất hiện đẩy cảnh hiện tại ra khỏi màn hình theo hƣớng sang trái, phải, lên trên, xuống dƣới.7: push sang trái corner to corner side to side centre – out boundery - in Hình 1.8: Một số loại wipe cơ bản 1. Các ứng dụng Video 1.
Video tƣơng tự NTSC Video: Đây là dạng Video tƣơng tự với 525 dòng trên một khung hình, 30 khung hình trong một giây, quét cách dòng, chia làm hai trƣờng (mỗi trƣờng 262.5 dòng), có 20 dòng dự trữ cho thông tin điều khiển tại thời điểm bắt đầu mỗi trƣờng. PAL Video: Dạng Video này có 625 dòng trên một khung hình, 25 khung hình trong một giây, quét cách dòng. Khung gồm hai trƣờng chẵn lẻ, mỗi trƣờng bao gồm 312. Số hóa bởi Trung tâm Học liệu http://www.
Video số Một số tiêu chuẩn của Video số lấy theo tiêu chuẩn CCI.