chương 1, công việc cần giải quyết đối với bài toán này gồm hai việc. Thứ nhất, trích xuất được nội dung từ video đầu vào để lập chỉ mục. Thứ hai, lập chỉ mục cho video và xử lý truy vấn tìm kiếm từ người dùng. Bài toán tìm kiếm video dựa trên nội dung được chia thành hai bài toán con được mô tả như sau: Bài toán 1: Xử lý video đầu vào, trích xuất văn bản từ video.
Đầu vào: - Tập videos bài giảng dạng slide. Đầu ra: - Văn bản trích xuất nội dung từ video đầu vào. Bài toán 2: Lập chỉ mục và tìm kiếm video dựa trên nội dung bài giảng. Đầu vào: - Truy vấn từ người dùng.
Đầu ra: - Danh sách kết quả videos có nội dung liên quan đến truy vấn. Trong bài toán thứ nhất, vì đặc tính của video là có cả hình ảnh và âm thanh nên sẽ có hai cách phương pháp tiếp cận chính để trích xuất văn bản từ video là: - Phân tách video thành các khung hình để lựa chọn khung hình đại diện chính, sau đó sử dụng công nghệ OCR để trích xuất văn bản từ các khung hình đó. - Sử dụng công nghệ nhận dạng giọng nói tự động, để chuyển đổi phần âm thanh của video thành văn bản. 17 Kiến trúc chung của một hệ thống tìm kiếm video dựa vào nội dung được miêu tả trong hình 2.
Kiến trúc tổng quan hệ thống tìm kiếm video dựa trên nội dung Hình 2.1 cho thấy quá trình lập chỉ mục cho video được trải qua ba bước là phân đoạn video, trích xuất nội dung từ video và lập chỉ mục cho video. Các nghiên cứu về tìm kiếm video dựa trên nội dung Liška et al và cộng sự đã đề xuất một hệ thống tự động cho việc lập chỉ mục video bài giảng [8]. Họ sử dụng toàn bộ khung hình phân đoạn được từ video và sử dụng công cụ OCR để trích xuất văn bản trên tập khung hình đó. Văn bản sau khi thu thập được tiến hành lập chỉ mục và cho phép tìm kiếm.
Giải pháp này hiệu quả kém do không loại bỏ các tệp văn bản trùng lặp. Thời gian xử lý video mất nhiều thời gian do số lượng lớn các khung hình. Hunter et al đề xuất một hệ thống lập chỉ mục cho các bài thuyết trình đa phương tiện[7]. Đầu tiên, mọi người sẽ phải chuẩn bị một tệp tin thuyết trình định dạng PDF và gửi lại sau khi đã trình bày.
Sau đó tệp tin sẽ được đồng bộ với video thuyết trình. Công việc OCR sẽ được thực hiện trên tệp tin PDF mà không cần quan tâm đến video thuyết trình. 18 Yang et al sử dụng công cụ nhận dạng giọng nói tự động ASR để trích xuất nội dung video thành văn bản[8]. Các kết quả cho thấy độ chính xác của nhận dạng giọng nói thấp hơn rất nhiều so với công nghệ OCR.
Lienhart et al đề xuất một phương pháp phát hiện văn bản trong video và hình ảnh[8]. Họ xây dựng một mạng noron nhiều tầng để huấn luyện phát hiện văn bản. Thuật toán của họ xử lý với tất cả các khung hình phân đoạn được và cách tiếp cận này kém hiệu quả về thời gian xử lý. Hướng nghiên cứu của tác giả Dựa vào các phương pháp tiếp cận nghiên cứu đã nêu trong phần 2.2, tác giả lựa chọn phương pháp tiếp cận để trích xuất văn bản từ video bằng công nghệ OCR thay vì sử dụng ASR.
Công cụ tìm kiếm video mà tác giả mong muốn xây dựng được hình thành từ cách giải quyết các bài toán cụ thể sau: - Phân đoạn video. - Trích xuất văn bản đại diện: + Nhận dạng kí tự quang học. + Xử lý trùng lặp văn bản. + Sửa lỗi chính tả văn bản.
- Đánh chỉ mục và tìm kiếm. Kiến trúc của công cụ tìm kiếm video dựa vào nội dung mà tác giả đề xuất được mô tả trong hình 2. Kiến trúc hệ thống tìm kiếm video tác giả đề xuất 19 2. Bài toán phân đoạn video thành ảnh 2.
Khái niệm Về mặt bản chất thì video mà chúng ta thấy trên tivi, máy tính, điện thoại… được cấu thành từ những ảnh tĩnh. Những ảnh này sau đó được sắp xếp liên tiếp nhau và cùng trình diễn trong một đơn vị thời gian đủ nhỏ để làm cho mắt của chúng ta cảm nhận rằng các đối tượng này đang chuyển động. Các ảnh được trình chiếu nhanh hơn thì chúng ta cảm nhận được mượt mà và linh động hơn. Thông thường thì các video được quay ở khoảng 24-30 hình mỗi giây.
Mỗi hình này được gọi là một frame. Số frame trên một giây được đo bằng một số nguyên được kí hiệu FPS. Một video đơn giản được hiểu là tổng số khung hình được lưu trữ cùng nhau và trình chiếu theo một thứ tự, do vậy một video thông thường có khoảng vài trăm đến vài trăm nghìn khung hình. Phương pháp tiếp cận Chúng ta có thể tìm kiếm được phần mềm, công cụ khác nhau để hỗ trợ việc chuyển đổi video thành các frames như phần mềm total video converter, video to picture converter… Nhưng tác giả quan tâm nhất là công cụ mã nguồn mở Ffmpeg bởi ba lý do chính: - Hỗ trợ nhiều định dạng video khác nhau, ví dụ .mp4, avi, flv… - Điều chỉnh được FPS.
FFMpeg là một thư viện có rất nhiều tiện ích cho việc xử lý video. Tính năng nổi bật nhất có lẽ là khả năng encode/decode nhiều video định dạng khác nhau, giúp chuyển đổi qua lại nhiều định dạng video. Ngoài ra, chúng ta cũng có thể dùng FFMpeg để chia cắt một đoạn video, chụp lại các frame và xuất ra dạng hình ảnh,…Hình 2.3 mô tả câu lệnh mà FFMpeg thực hiện chuyển đổi video thành dạng ảnh. Sử dụng FFMpeg để chuyển đổi video thành ảnh 2.
Bài toán trích xuất văn bản Trong bài toán trích xuất văn bản, để nâng cao hiệu quả và tránh các hạn chế của các nghiên cứu trước. Tác giả chia bài toán thành ba vấn đề nhỏ hơn đó là: - Bài toán nhận dạng kí tự quang học để trích xuất văn bản từ video. - Bài toán xử lý trùng lặp văn bản để thu được tệp văn bản đại diện cho video. - Bài toán sửa lỗi chính tả Tiếng Việt.
Lỗi chính tả phát sinh do quá trình nhận dạng OCR. Bài toán nhận dạng kí tự quang học 2. Khái niệm OCR Sau khi thu được tập khung hình, tác giả sử dụng kĩ thuật nhận dạng kí tự quang học (Optical Character Recognition) để trích xuất văn bản cho trong từng 21 khung hình này. Kết thúc quá trình, kết quả thu được sẽ là một tập văn bản tương ứng với từng khung hình trích xuất được.
OCR là công nghệ cho phép chuyển đổi các loại tài liệu khác nhau, ví dụ như các tài liệu giấy, ảnh chụp hoặc các tập tin PDF bằng một máy ảnh kỹ thuật số thành dữ liệu văn bản có thể chỉnh sửa và tìm kiếm. Những hình ảnh này có thể là các chữ viết tay hoặc đánh máy. Đây là một kỹ thuật phổ biến của việc số hóa các văn bản in để có thể tìm kiếm bằng điện tử, lưu trữ gọn gàng, hiển thị trên mạng. Phương pháp tiếp cận Tác giả sử dụng Tesseract- OCR để thực hiện trích xuất nội dung văn bản từ ảnh.
Tesseract là một công cụ nhận diện kí tự quang học mã nguồn mở và hiện nay được phát triển bởi Google[8]. Có nhiều phần mềm, có tính phí, hoặc miễn phí trên mạng mà người dùng có thể tìm được. Nhưng trong phạm vi luận văn này tác giả sử dụng Tesseract-OCR bởi: - Công cụ miễn phí. - Hỗ trợ nhiều hệ điều hành (Windows, Linux, Mac…) - Hỗ trợ trích xuất đồng loạt nhiều tệp tin cùng lúc.
- Được tài trợ phát triển bởi Google. Với hỗ trợ trên 100 ngôn ngữ khác nhau. - Một trong những công cụ mã nguồn mở OCR chính xác nhất hiện nay.4 mô tả các bước mà công cụ Tesseract-OCR thực hiện. Kiến trúc của Tesseract – OCR Tesseract thực hiện từng bước như trong hình 2.
Bước đầu tiên là phân ngưỡng ảnh để chuyển đổi ảnh thành ảnh nhị phân. Bước tiếp theo là quá trình kết nối tới bộ phân tích để trích xuất ra bố cục các kí tự. Bố cục này dễ dàng có được dựa trên nền đen và chữ trắng do quá trình chuyển đổi ảnh. Tiếp đến các kí tự sẽ được tổ chức trong những dòng văn bản.
Những dòng văn bản này sẽ được phân tích riêng với từng vùng nhất định, hoặc theo từng dòng có kích thước tương đương. Quá trình nhận dạng các từ trong ảnh được thực hiện qua hai pha. Pha thứ nhất sẽ cố gắng nhận dạng từng từ một, với mỗi từ ở pha thứ nhất sẽ truyền sang pha thứ hai như là nơi đồng bộ phân lớp thích nghi. Tại đây dữ liệu sẽ được “học” nhằm cải thiện độ chính xác của quá trình nhận diện.
Bài toán xử lý trùng lặp văn bản 2. Khái niệm Các khung hình liên tiếp về mặt thời gian tạo thành các đoạn cơ sở (shot). Một video bài giảng có thể gồm nhiều đoạn cơ sở ghép nối lại, chuyển từ đoạn này sang đoạn kia có thể là chuyển cảnh đột ngột hoặc chuyển cảnh dần dần bằng việc sử dụng một số hiệu ứng khi biên tập video. Việc chuyển cảnh trong trường hợp này xảy ra tương đương với việc thay đổi silde trong bài giảng.
Vì vậy, các khung hình trong cùng một đoạn cơ sở sẽ có độ tương quan với nhau. 23 Những tệp văn bản thu được sau khi trích xuất của cùng một đoạn cơ sở là gần trùng nhau về nội dung. Do vậy, việc tóm tắt video có thể được thực hiện bằng cách biểu diễn mỗi đoạn cơ sở chỉ bằng một vài tệp văn bản đại diện. Khi hai văn bản mà nội dung đều giống hệt nhau thì chúng được coi là các văn bản trùng lặp hay gọi là bản sao của nhau.
Trong nhiều trường hợp, hai tài liệu mà không phải giống nhau hoàn toàn vẫn có thể chứa cùng một nội dung thì được gọi là các văn bản gần trùng lặp. Một vài trường hợp được qui về văn bản gần trùng lặp: - Các văn bản chỉ xáo trộn, thêm hoặc bớt vài từ ở nội dung. Dạng phổ biến của văn bản gần trùng lặp. - Các văn bản cùng một nội dung nhưng cách định dạng, phông chữ, bố cục khác nhau.
- Các văn bản nội dung giống nhau, nhưng khác nhau về ngày tạo, ngày sửa chữa, định dạng tệp tin. Với đặc thù là các văn bản được trích xuất từ các khung hình video bài giảng liên tiếp theo nhau thời gian. Chính vì thế tập hợp văn bản thu được tồn tại cả hai loại đó là trùng lặp và gần trùng lặp văn bản.6 là ví dụ về nội dung văn bản trùng lặp với hình 2.
