Mô Hình Động Các Cử Chỉ Viết Tay Thời Trung Cổ Bằng Video

Khám phá luận văn thạc sĩ về mô hình động các cử chỉ viết tay thời trung cổ qua video, phân tích và ứng dụng trong nghiên cứu lịch sử.

• Tác giả: Ngassa Tchoudjeuh Tatiana
• Người hướng dẫn: Madame Treuillet Sylvie, Maitre De Conférences De L’université D’orléans, Laboratoire Prisme (Ea 4229)
• Trường học: Université Nationale Du Vietnam, Hanoi Institut Francophone International
• Chuyên ngành: Hệ Thống Thông Minh Và Đa Phương Tiện
• Đề tài: Mô Hình Động Các Cử Chỉ Viết Tay Thời Trung Cổ Bằng Video
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2019
• Địa điểm: Hanoi

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHAPITRE 1: PRÉSENTATION DU PROJET GRAPHOSCAN
• 1.1. introduction
• 1.2. Structure du code Graphoscan
• 1.2.1. Module « tracking et reconstruction 3D »
• 1.2.2. Module « L’acquisition »
• 1.3. Les limites du système

Tóm tắt

I. Tổng Quan Về Mô Hình Động Các Cử Chỉ Viết Tay Thời Trung Cổ

Mô hình động các cử chỉ viết tay thời trung cổ qua video là một lĩnh vực nghiên cứu mới mẻ, kết hợp giữa công nghệ và nghệ thuật viết tay. Nghiên cứu này không chỉ giúp bảo tồn di sản văn hóa mà còn mở ra những phương pháp mới trong việc phân tích và hiểu biết về các kỹ thuật viết tay cổ. Việc sử dụng video để mô phỏng các cử chỉ viết tay cho phép các nhà nghiên cứu quan sát và phân tích chi tiết hơn về cách thức mà các nghệ nhân thời trung cổ thực hiện công việc của họ.

1.1. Khái Niệm Về Cử Chỉ Viết Tay Thời Trung Cổ

Cử chỉ viết tay thời trung cổ không chỉ đơn thuần là việc tạo ra chữ viết mà còn là một nghệ thuật. Các nghệ nhân đã phát triển nhiều phong cách viết khác nhau, mỗi phong cách đều mang trong mình những đặc trưng riêng biệt. Việc nghiên cứu các cử chỉ này giúp hiểu rõ hơn về văn hóa và lịch sử của thời kỳ đó.

1.2. Tầm Quan Trọng Của Việc Nghiên Cứu Cử Chỉ Viết Tay

Nghiên cứu cử chỉ viết tay thời trung cổ không chỉ giúp bảo tồn di sản văn hóa mà còn cung cấp thông tin quý giá về các kỹ thuật viết tay. Điều này có thể giúp các nhà nghiên cứu và nghệ nhân hiện đại phát triển các phương pháp viết mới, đồng thời giữ gìn các giá trị văn hóa truyền thống.

II. Thách Thức Trong Việc Mô Hình Động Các Cử Chỉ Viết Tay

Việc mô hình động các cử chỉ viết tay thời trung cổ qua video gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là việc thu thập dữ liệu chính xác từ các video. Các yếu tố như ánh sáng, góc quay và chất lượng video có thể ảnh hưởng đến độ chính xác của mô hình. Ngoài ra, việc phân tích các cử chỉ viết tay phức tạp cũng đòi hỏi các thuật toán mạnh mẽ và chính xác.

2.1. Khó Khăn Trong Việc Thu Thập Dữ Liệu

Việc thu thập dữ liệu từ các video viết tay cổ gặp khó khăn do chất lượng video không đồng đều. Các video có thể bị mờ, thiếu ánh sáng hoặc không đủ góc quay để quan sát rõ ràng các cử chỉ viết tay. Điều này làm cho việc phân tích trở nên khó khăn hơn.

2.2. Thách Thức Trong Phân Tích Cử Chỉ

Phân tích các cử chỉ viết tay phức tạp đòi hỏi các thuật toán mạnh mẽ. Các thuật toán hiện tại có thể không đủ chính xác để theo dõi các chuyển động tinh tế của bút. Do đó, cần phát triển các phương pháp mới để cải thiện độ chính xác trong việc theo dõi và phân tích.

III. Phương Pháp Mô Hình Động Các Cử Chỉ Viết Tay Qua Video

Để mô hình hóa các cử chỉ viết tay thời trung cổ, một số phương pháp đã được áp dụng. Sử dụng công nghệ stéréovision cho phép thu thập dữ liệu từ nhiều góc độ khác nhau, từ đó tạo ra mô hình 3D chính xác hơn. Các thuật toán như KCF và Template Matching cũng đã được thử nghiệm để theo dõi chuyển động của bút.

3.1. Sử Dụng Công Nghệ Stéréovision

Công nghệ stéréovision cho phép thu thập video từ hai góc độ khác nhau, giúp tạo ra hình ảnh 3D của cử chỉ viết tay. Điều này giúp các nhà nghiên cứu có cái nhìn sâu sắc hơn về cách thức mà các nghệ nhân thực hiện các cử chỉ viết tay.

3.2. Ứng Dụng Các Thuật Toán Theo Dõi

Các thuật toán như KCF và Template Matching đã được áp dụng để theo dõi chuyển động của bút trong video. KCF đã cho thấy hiệu quả cao trong việc theo dõi các cử chỉ viết tay, giúp cải thiện độ chính xác của mô hình.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Động Cử Chỉ Viết Tay

Mô hình động các cử chỉ viết tay thời trung cổ có nhiều ứng dụng thực tiễn. Nó không chỉ giúp bảo tồn di sản văn hóa mà còn có thể được áp dụng trong giáo dục và nghiên cứu. Các nhà nghiên cứu có thể sử dụng mô hình này để giảng dạy về nghệ thuật viết tay cổ, trong khi các nghệ nhân có thể học hỏi từ các kỹ thuật viết tay truyền thống.

4.1. Bảo Tồn Di Sản Văn Hóa

Mô hình động giúp bảo tồn các kỹ thuật viết tay cổ, từ đó giữ gìn di sản văn hóa cho các thế hệ sau. Việc này không chỉ có ý nghĩa về mặt văn hóa mà còn giúp nâng cao nhận thức về giá trị của nghệ thuật viết tay.

4.2. Ứng Dụng Trong Giáo Dục

Mô hình động có thể được sử dụng trong giáo dục để giảng dạy về nghệ thuật viết tay cổ. Các nhà giáo dục có thể sử dụng video mô phỏng để giúp học sinh hiểu rõ hơn về các kỹ thuật viết tay và lịch sử của chúng.

V. Kết Luận Và Tương Lai Của Nghiên Cứu

Mô hình động các cử chỉ viết tay thời trung cổ qua video là một lĩnh vực nghiên cứu đầy tiềm năng. Nó không chỉ giúp bảo tồn di sản văn hóa mà còn mở ra nhiều cơ hội mới trong việc nghiên cứu và giảng dạy. Tương lai của nghiên cứu này có thể bao gồm việc phát triển các công nghệ mới để cải thiện độ chính xác và hiệu quả của mô hình.

5.1. Tiềm Năng Phát Triển Công Nghệ

Công nghệ trong lĩnh vực mô hình động đang phát triển nhanh chóng. Việc áp dụng các công nghệ mới có thể giúp cải thiện độ chính xác và hiệu quả của mô hình động các cử chỉ viết tay.

5.2. Hướng Nghiên Cứu Tương Lai

Nghiên cứu trong lĩnh vực này có thể mở rộng ra nhiều lĩnh vực khác nhau, từ bảo tồn văn hóa đến giáo dục. Các nhà nghiên cứu có thể tiếp tục khám phá các phương pháp mới để cải thiện mô hình động và ứng dụng của nó.

Nội dung chính

Tổng quan nghiên cứu

Phân tích động học chữ viết cổ là một bước tiến mang tính đột phá trong lĩnh vực cổ văn học số (Digital Paleography), chuyển dịch trọng tâm từ việc xử lý ảnh tĩnh 2D sang mô hình hóa cử chỉ không gian 3D. Nghiên cứu thực hiện trong khuôn khổ dự án Graphoscan giải quyết bài toán cốt lõi: làm thế nào để tái tạo chính xác quỹ đạo không gian và đặc trưng động (gọi là ductus) của ngòi bút khi người chép bản thảo thời Trung Cổ làm việc. Hệ thống sử dụng cơ chế thị giác hai mắt (stereovision) với 2 camera công nghiệp đồng bộ đạt tốc độ thu nhận 30 khung hình/giây (FPS) và độ phân giải 1288x964 pixel.

Vấn đề kỹ thuật lớn nhất đặt ra là hiện tượng mất dấu đầu bút do tay người viết che khuất, sự thay đổi ánh sáng cục bộ, động tác nhấc bút chấm mực ra ngoài trường nhìn và sự xê dịch vị trí của tờ giấy trong quá trình viết. Mục tiêu cụ thể của luận văn là khảo sát, so chuẩn các thuật toán theo dõi vật thể (object tracking) tiên tiến trên thư viện OpenCV, đồng thời xây dựng thuật toán nắn chỉnh hình học trang giấy (homography recalibration) nhằm loại bỏ hoàn toàn sai số chuyển động ngoại lai.

Phạm vi nghiên cứu được triển khai thực nghiệm tại Phòng thí nghiệm PRISME và LIFO thuộc Đại học Orléans phối hợp cùng Viện Nghiên cứu và Lịch sử Văn bản (IRHT - CNRS, Pháp) và Viện Quốc tế Pháp ngữ (IFI - ĐHQGHN) trong giai đoạn 2018–2019. Kết quả nghiên cứu có ý nghĩa thực tiễn to lớn khi tối ưu hóa thời gian bám vết ngòi bút xuống chỉ còn 31,25 giây cho chuỗi 1289 khung hình, đồng thời loại bỏ trên 95% độ lệch không gian của nét chữ so với mặt phẳng giấy thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết thị giác máy tính đa góc nhìn (Stereovision Multi-camera Geometry) và lý thuyết học máy trực tuyến (Online Machine Learning Tracking). Nguyên lý tam giác đạc lập thể (Triangulation) cho phép khôi phục tọa độ 3D thực tế của ngòi bút từ hai chuỗi tọa độ 2D đồng thời thông qua ma trận chiếu phối cảnh và phép hiệu chuẩn tham số camera (Camera Calibration Toolbox).

Hệ thống tích hợp và đối sánh các mô hình toán học bám vết vật thể bao gồm: mô hình bộ lọc tương quan hạt nhân (Kernelized Correlation Filters - KCF) tận dụng tính chất ma trận tuần hoàn để hạ độ phức tạp tính toán từ bậc ba $O(n^3)$ xuống $O(n \log n)$; mô hình phân loại nhị phân trực tuyến AdaBoost (Boosting Tracker); mô hình học đa thể hiện (Multiple Instance Learning - MIL); và kiến trúc TLD (Tracking-Learning-Detection) hoạt động dựa trên cặp chuyên gia phân loại P-N Experts. Ngoài ra, mô hình học sâu GOTURN sử dụng mạng nơ-ron tích chập CaffeNet với 5 tầng tích chập và 3 tầng liên kết đầy đủ (mỗi tầng 4096 nút) cũng được đưa vào đánh giá.

Ba khái niệm học thuật then chốt xuyên suốt đề tài gồm:

1. Ductus: Số lượng, thứ tự và hướng chuyển động của từng nét bút tạo nên một ký tự chữ viết cổ.
2. Bộ mô tả đặc trưng HOG (Histogram of Oriented Gradients): Trích xuất 128 chiều đặc trưng phân bố gradient theo 8 hướng trên các ô cục bộ 16x16 pixel để nhận diện góc cạnh ngòi bút.
3. Phép biến đổi xạ ảnh đồng nhất (Homography Transform): Ma trận biến đổi $3 \times 3$ ánh xạ các điểm phẳng trên trang giấy chuyển động về một hệ tọa độ chuẩn cố định.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm 2 bộ video chất lượng cao thu nhận trực tiếp từ hệ thống 2 camera Chameleon3 CM3-U3-13S2C với ống kính tiêu cự ngắn 4 mm. Cỡ mẫu nghiên cứu gồm Video 1 chứa 1289 khung hình ghi lại thao tác của người chép bản thảo thuận tay trái và Video 2 chứa 759 khung hình ghi lại thao tác viết bằng bút bi mực đen chuẩn.

Phương pháp chọn mẫu có chủ đích (Purposive Sampling) được áp dụng nhằm tạo ra các kịch bản kiểm thử khắc nghiệt: người viết thuận tay trái thường xuyên tạo góc che khuất ngòi bút lớn hơn 40% so với người thuận tay phải, và ngòi bút bi kim loại dễ bị phản xạ ánh sáng gây nhiễu ảnh.

Lý do lựa chọn phương pháp phân tích thực nghiệm so sánh định lượng là nhằm xác định thuật toán tối ưu dựa trên ba tiêu chí khắt khe: thời gian tính toán thực thi (giây), khả năng duy trì bám vết liên tục không bị trôi (tracking drift), và độ lệch trung bình (Mean Deviation) của chuỗi tọa độ 2D. Toàn bộ quy trình thử nghiệm, nắn chỉnh mặt giấy và dựng hình 3D bằng OpenGL được triển khai tập trung trong mốc thời gian 5 tháng (từ tháng 6/2018 đến tháng 11/2018).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh 5 thuật toán bám vết trên các kịch bản kích thước khung bao mẫu (Patch 1 kích thước nhỏ và Patch 2 kích thước lớn) mang lại 4 phát hiện quan trọng:

1. Thuật toán KCF kết hợp bộ mô tả HOG đạt hiệu năng vượt trội toàn diện: Trên chuỗi Video 1 (1289 khung hình), KCF-HOG hoàn thành bám vết trong 31,25 giây với Patch 1 và 44,30 giây với Patch 2. Thuật toán duy trì độ chính xác 100% bám theo ngòi bút mà không bị trôi lệch sang bàn tay người viết.
2. Kích thước vùng bao mẫu (Patch size) ảnh hưởng trực tiếp đến độ ổn định của thuật toán Boosting: Khi sử dụng Patch 1 nhỏ, Boosting/HAAR mất dấu ngòi bút ở mốc 56,52 giây do màu sắc đầu bút bị hòa lẫn với da tay. Tuy nhiên, khi tăng diện tích vùng bao lên Patch 2, Boosting duy trì bám vết thành công đến cuối video với thời gian 74,99 giây.
3. Mô hình TLD cho hiệu năng kém nhất trong môi trường chuyển động phức tạp: TLD/HAAR tiêu tốn tới 183,80 giây ở Patch 2 và liên tục nhầm lẫn giữa đầu ngòi bút với các dấu mục tiêu ở góc tờ giấy, dẫn đến việc đứt gãy quỹ đạo chữ viết.
4. MIL/HAAR đạt độ tin cậy cao nhưng chi phí thời gian lớn: Thuật toán MIL theo dõi chuẩn xác đường nét ngòi bút trên cả hai video nhưng mất 88,33 giây (Patch 1) và 77,44 giây (Patch 2), chậm hơn KCF-HOG khoảng 2,8 lần.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp KCF-HOG chiến thắng tuyệt đối nằm ở cấu trúc 128 đặc trưng gradient định hướng, giúp phân tách rõ nét ranh giới giữa ngòi kim loại có độ tương phản cao với bề mặt giấy sáng màu, bất chấp sự thay đổi góc nghiêng của cổ tay. Phép biến đổi Fourier nhanh (FFT) trong KCF giúp giải bài toán hồi quy sườn (ridge regression) trong miền tần số, giảm thiểu thời gian xử lý xuống dưới 25 mili-giây mỗi khung hình.

Trái lại, mô hình học sâu GOTURN dù có tốc độ lý thuyết 100 FPS nhưng khi áp dụng thực tế lại xảy ra lỗi phóng to khung bao bất thường và treo hệ thống. Điều này được giải thích là do tập dữ liệu tiền huấn luyện của GOTURN (dựa trên CaffeNet) không chứa các mẫu dữ liệu chuyên biệt về thao tác vi mô của ngòi bút và ngón tay, dẫn đến sự suy giảm khả năng tổng quát hóa.

Dữ liệu so sánh hiệu năng được biểu diễn trực quan qua bảng tổng hợp thời gian và biểu đồ phân tán sai số quỹ đạo. Sau khi áp dụng thuật toán nắn chỉnh Homography dựa trên 4 điểm mốc ở góc trang giấy, toàn bộ hiện tượng lệch dòng (vốn làm 2 từ viết bị trôi lệch trục dọc hơn 15 mm) đã được hiệu chỉnh hoàn toàn khớp với nét mực thực tế của người chép bản thảo.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm của dự án Graphoscan, 4 giải pháp công nghệ và quy trình cụ thể được khuyến nghị triển khai:

1. Chuẩn hóa module lõi KCF-HOG cho phần mềm Graphoscan v2.0: Nhóm phát triển phần mềm tại Viện IFI và Phòng thí nghiệm PRISME cần tích hợp thuật toán KCF-HOG làm bộ theo dõi mặc định, thiết lập ngưỡng kích thước vùng bao thích ứng tự động (Adaptive Bounding Box) nhằm duy trì tốc độ xử lý thời gian thực trên 30 FPS trong thời hạn 6 tháng tới.
2. Tự động hóa hoàn toàn khâu phát hiện điểm mốc nắn chỉnh giấy: Đội ngũ kỹ sư thị giác máy tính cần phát triển module tự động nhận diện 4 điểm chuẩn (ArUco markers hoặc Harris Corners) trên trang giấy để tính ma trận Homography tức thời, giảm thời gian chuẩn bị và can thiệp thủ công của chuyên gia xuống dưới 5 giây cho mỗi video.
3. Xây dựng tập dữ liệu cử chỉ viết tay chuyên biệt cho mạng nơ-ron sâu: Phòng thí nghiệm LIFO nên chủ trì thu thập và gán nhãn tập dữ liệu khoảng 50.000 khung hình video cử chỉ viết tay để tái huấn luyện (fine-tune) các mô hình học sâu như Siamese Network hoặc Transformer-based Trackers, nâng cao khả năng tự phục hồi khi ngòi bút bị che khuất hoàn toàn.
4. Nâng cấp phần cứng thu nhận quang học: Các đơn vị nghiên cứu cổ văn học cần trang bị hệ thống camera đồng bộ có tốc độ quét từ 60 đến 120 FPS với độ phân giải 2K, ống kính chống méo quang học nhằm triệt tiêu hiện tượng nhòe chuyển động (motion blur) khi người viết thực hiện các nét tốc ký hoặc nhấc bút chấm mực nhanh.

Đối tượng nên tham khảo luận văn

Công trình luận văn là tài liệu tham khảo chuyên sâu và hữu ích cho 4 nhóm đối tượng cụ thể:

1. Các nhà nghiên cứu Cổ văn học và Giám định văn bản lịch sử: Luận văn cung cấp phương pháp luận khoa học để phân tích định lượng đặc trưng ductus của các bản thảo thời Trung Cổ, hỗ trợ xác định niên đại, phong cách xưởng sao chép (scriptorium) và nhận diện bàn tay của từng người chép bản thảo cụ thể.
2. Kỹ sư thị giác máy tính và Lập trình viên xử lý ảnh: Cung cấp tài liệu thực thi chi tiết về việc kết hợp thư viện OpenCV, C++, OpenGL, kỹ thuật căn chỉnh camera lập thể (Stereo Calibration) và các thuật toán tracking cổ điển lẫn hiện đại trên chuỗi dữ liệu hơn 1000 khung hình.
3. Học viên cao học và Nghiên cứu sinh ngành Khoa học máy tính: Là nguồn tham khảo chuẩn mực về cách thiết kế kịch bản thử nghiệm đối sánh, xử lý sai số không gian (Homography) và tái tạo dữ liệu 3D từ các ma trận tọa độ đồng nhất $4 \times N$.
4. Các trung tâm bảo tồn di sản số và bảo tàng tư liệu: Ứng dụng mô hình hóa cử chỉ 3D để số hóa tương tác, phục dựng chuyển động viết chữ cổ phục vụ công tác trưng bày trực quan và giáo dục di sản văn hóa.

Câu hỏi thường gặp

Tại sao thuật toán KCF-HOG lại vượt trội hơn các phương pháp sử dụng bộ mô tả Haar-like? Bộ mô tả Haar-like chỉ tính toán chênh lệch cường độ sáng giữa các vùng chữ nhật đơn giản nên rất dễ nhầm lẫn giữa đầu bút kim loại và da tay người viết. Ngược lại, HOG trích xuất 128 đặc trưng vector hướng gradient cục bộ, giúp bắt trọn góc cạnh sắc nét của ngòi bút và duy trì bám vết chính xác trong 31,25 giây trên chuỗi 1289 khung hình.

Hiện tượng sai lệch tọa độ do người viết dịch chuyển trang giấy được khắc phục bằng cách nào? Nghiên cứu giải quyết triệt để vấn đề này bằng thuật toán nắn chỉnh hình học (Recalage). Thông qua việc theo dõi 4 điểm mốc cố định trên mặt giấy và tính toán ma trận biến đổi Homography $3 \times 3$, hệ thống ánh xạ toàn bộ tọa độ ngòi bút theo từng khung hình về một mặt phẳng quy chiếu chuẩn duy nhất.

Nguyên nhân nào khiến mô hình học sâu GOTURN không đạt hiệu quả trong nghiên cứu này? GOTURN là mạng nơ-ron tích chập được huấn luyện ngoại tuyến trên các tập dữ liệu vật thể tổng quát (như xe cộ, người đi bộ). Do kích thước ngòi bút trong khung hình quá nhỏ (dưới 20x20 pixel) và bối cảnh bàn tay chuyển động phức tạp, mô hình không thể khái quát hóa dẫn đến hiện tượng khung bao bị giãn nở quá mức và làm treo tiến trình xử lý.

Hệ thống thị giác hai mắt (Stereovision) mang lại lợi ích gì so với camera đơn 2D truyền thống? Camera đơn 2D chỉ ghi lại được vết mực phẳng đã in trên giấy mà bỏ qua toàn bộ chuyển động không gian của ngòi bút trong không khí. Hệ thống stereovision với 2 camera đồng bộ góc nhìn cho phép tính toán tọa độ chiều sâu $Z$ qua hàm triangulatePoints, tái hiện đầy đủ quỹ đạo đưa bút, tốc độ hạ bút và góc nghiêng ngòi bút.

Kích thước vùng bao khởi tạo (Patch) tác động như thế nào đến kết quả bám vết của thuật toán Boosting? Kích thước vùng bao quyết định tỷ lệ giữa mẫu dương (vật thể) và mẫu âm (nền). Với Patch 1 nhỏ, Boosting chỉ xử lý trong 56,52 giây rồi mất dấu do thiếu thông tin ngữ cảnh. Khi mở rộng sang Patch 2, lượng điểm ảnh đặc trưng tăng lên giúp thuật toán học được ranh giới rõ ràng hơn, duy trì theo dõi trọn vẹn 1289 khung hình trong 74,99 giây.

Kết luận

• Luận văn đã xây dựng thành công quy trình mô hình hóa động học 3D cử chỉ viết tay cổ đại thông qua hệ thống thị giác hai mắt đồng bộ đạt chuẩn công nghiệp 30 FPS.
• Khẳng định thuật toán KCF kết hợp bộ mô tả đặc trưng HOG là giải pháp tối ưu nhất với thời gian xử lý ấn tượng 31,25 giây cho 1289 khung hình, vượt trội hoàn toàn so với TLD (183,80 giây) và Boosting (74,99 giây).
• Giải quyết triệt để bài toán trôi lệch không gian do người viết di chuyển mặt giấy bằng thuật toán nắn chỉnh xạ ảnh Homography dựa trên các điểm mốc chuẩn.
• Cung cấp cơ sở dữ liệu thực nghiệm và mã nguồn tích hợp hoàn chỉnh giữa OpenCV, C++ và OpenGL phục vụ tái tạo quỹ đạo 3D trực quan.
• Đặt nền móng kỹ thuật vững chắc cho dự án Graphoscan nhằm mở rộng ứng dụng phân tích ductus trên 10 bộ văn bản bản thảo thời Trung Cổ trong kế hoạch 12 tháng tiếp theo.

Quý độc giả, chuyên gia cổ văn học và các nhà nghiên cứu thị giác máy tính quan tâm có thể khai thác toàn văn luận văn để ứng dụng trực tiếp bộ công cụ mô hình hóa cử chỉ 3D vào các đề án số hóa di sản và xử lý ảnh chuyên sâu.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL NGASSA TCHOUDJEUH TATIANA Modélisation dynamique des gestes d’écritures médiévales par vidéo Mô hình động các cử chỉ viết tay thời trung cổ bằng video MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2019 LUAN VAN CHAT LUONG download : add [e-mail] UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL NGASSA TCHOUDJEUH TATIANA Modélisation dynamique des gestes d’écritures médiévales par vidéo Mô hình động các cử chỉ viết tay thời trung cổ bằng video Spécialité: Systèmes intelligents et multimédia Code: Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de: Madame Treuillet Sylvie, Maitre de conférences de l’Université d’Orléans, Laboratoire PRISME (EA 4229) et Monsieur Matthieu Exbrayat, Maitre de conférences de l’Université d’Orléans, Laboratoire d’Informatique Fondamentale d’Orléans (LIFO). HANOI – 2019 LUAN VAN CHAT LUONG download : add [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi.

Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant NGASSA TCHOUDJEUH TATIANA LUAN VAN CHAT LUONG download : add [e-mail] Remerciements La rédaction de ce mémoire n’aurait été possible sans l’intervention de certaines personnes. Qu’elles trouvent ici l’expression de nos plus sincères remerciements pour leurs précieux conseils.

Nous tenons tout d’abord à exprimer notre reconnaissance et nos remerciements envers l’Agence Univer- sitaire Francophone (AUF) pour nous avoir accordé une bourse d’études de Master. Nos remerciements vont également à l’Institut de la Francophonie pour l’Innovation (IFI), à son administration et au corps professoral pour la richesse et la qualité de leur enseignement et qui déploient de grands efforts pour assurer à leurs étudiants une formation actualisée. Nos sincères remerciements au RTR IMAGE (Réseau Thématique de Recherche Image) pour l’opportunité qu’il nous a accordé en nous accordant une bourse de Master 2 au Laboratoire PRISME. L’accueil fut chaleureux et nous avions bénéficié de bonnes condi- tions de travail tout au long de notre séjour dans ses murs.

Nous adressons nos vifs remerciements à Madame Sylvie Treuillet, notre encadrante principale, et à Mon- sieur Matthieu Exbrayat, notre encadrant secondaire, pour nous avoir accueilli et intégré au sein de leur équipe. Merci pour l’inspiration, leur apprentissage, leur collaboration, leur écoute et leur disponibilité tout au long de notre stage. Nos remerciements vont également à l’ensemble du personnel du laboratoire PRISME pour son accueil et sa collaboration. Enfin, nous adressons nos plus sincères remerciements à nos parents, pour leur contribution, leur soutien et leur patience, à tous nos proches et amis (es), qui nous ont toujours encouragé et soutenu au cours de la réalisation de ce travail.

LUAN VAN CHAT LUONG download : add [e-mail] Table des matières 1 Présentation du projet Graphoscan 1 1.2 Structure du code Graphoscan .2 Module « tracking et reconstruction 3D »[11] .3 Les limites du système. 5 2 Etude de trackers 6 2.3 Algorithmes de suivi. 22 3 Tests des algorithmes de suivi d’objet 23 3.2 Scénarii de tests avec la première vidéo.3 Scénarii de tests avec la deuxième vidéo. 56 4 Recalage de la feuille.3 Implémentation du recalage de la feuille .1 Recherche de marqueurs .2 Algorithme de recalage de la feuille.

62 i LUAN VAN CHAT LUONG download : add [e-mail] Table des figures 1 Activités de recherche de l’équipe IMAGE VISION du laboratoire PRISME.1 Système de stéréovision Graphoscan pour l’acquisition du geste d’écriture[21] .2 Ordinogramme de l’acquisition synchronsée multi-caméras[13] .4 Caractéristique d’une séquence utilisée pour le test[11].1 Exemples d’ondelettes de Haar[3] .2 Processus d’extraction des fonctionnalités HOG extrait de [12] .3 Construction de l’espace des échelles[16] .4 Détection des extrémas[16] .5 Création de l’histogramme des gradients[16] .6 Construction d’un motif local binaire et calcule du code LBP extrait de [25] .7 Image originale, image LBP et Histogramme LBP extrait de [25] .8 Définition d’une texture .9 LBP multi-échelle. Exemples de voisinages obtenus pour différents couples (P, R).10 Construction et uniformité d’un motif LBP. (a) le motif construit ici est non uniforme, (c) exemple de motifs respectivement uniforme et non uniforme.11 Calcul LBP et CS-LBP descripteur pour 8 pixels voisins.12 Fonctionnement d’AdaBoos Extrait de [6] .13 Convolution locale extrait de [4] .14 Architecture du composant de détection.15 Conversion du patch en code binaire[22] .16 Architecture de TLD[22] .17 architecture de GOTURN[26] .1 10 images de la vidéo 1.2 10 images de la vidéo 2.5 Points du suivi avec patch 1 .6 Points du suivi reliés avec le patch1 .7 Superposition des écritures.8 Points du suivi pour le patch 2 .9 Points du suivi pour le patch2 .10 Superposition des deux traces d’écriture pour le patch2 .11 Points du suivi avec le patch1.13 Superposition des deux traces d’écriture qvec patch2.14 Points du suivi pour le patch 2 .15 Points du suivi reliés pour le patch 2. 31 ii LUAN VAN CHAT LUONG download : add [e-mail] TABLE DES FIGURES 3.16 Superposition des deux traces d’écriture pour le patch2 .17 Points du suivi avec patch1 .18 Points de suivi reliés avec patch1 .19 Superposition des deux traces d’écritures avec le patch1 .20 Points du suivi pour le patch 2 .21 Points du suivi reliés pour le patch 2 .22 Superposition des deux traces d’écriture pour le patch 2 .23 Points du suivi avec le patch1 .24 Points de suivi reliés avec le patch1 .25 Superposition des deux traces d’écritures avec le patch1 .26 Points du suivi pour le patch 2 .27 Points du suivi reliés pour le patch 2 .28 Superposition des deux traces d’écriture pour le patch 2 .29 Points du suivi avec patch1 .30 Points du suivi reliés avec patch1 .31 Superposition des deux traces d’écritures avec patch1 .32 Points du suivi pour le patch 2 .33 Points du suivi reliés pour le patch 2 .34 Superposition des deux traces d’écriture pour le patch2 .37 Points du suivi du patch 1 avec la vidéo 2 .38 Points du suivi reliés du patch 1 avec la vidéo 2 .39 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .40 Points du suivi du patch 2 de la vidéo 2 .41 Points du suivi reliés pour le patch 2 de la vidéo 2 .42 BOOSTING :Superposition des deux traces d’écriture du patch 2 avec la vidéo 2.43 Points du suivi du patch 1 avec la vidéo 2.44 Points du suivi reliés du patch 1 avec la vidéo 2.45 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .46 Points du suivi du patch 2 de la vidéo 2.47 Points du suivi reliés pour le patch 2 de la vidéo 2.48 Superposition des deux traces d’écriture du patch 2 de la vidéo 2 .49 Points du suivi du patch 1 de la vidéo 2 .50 Points du suivi reliés pour du patch 1 de la vidéo 2 .51 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .52 Points du suivi du patch 2 dela vidéo 2 .53 Points du suivi reliés pour le patch 2 de la vidéo 2 .54 Superposition des deux traces d’écriture du patch 2 de la vidéo 2 .55 KCF-HOG : Points du suivi du patch 1 de la vidéo 2 .56 Points du suivi reliés pour du patch 1 de la vidéo 2 .57 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .58 Points du suivi du patch 2 de la vidéo 2 .59 Points du suivi reliés pour le patch 2 de la vidéo 2 .60 Superposition des deux traces d’écriture du patch 2 de la vidéo 2 .61 Points du suivi du patch 1 avec la vidéo 2 .62 Points du suivi reliés pour le patch 1 de la vidéo 2.

54 iii LUAN VAN CHAT LUONG download : add [e-mail] TABLE DES FIGURES 3.63 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .64 Points du suivi du patch 2 de la vidéo 2 .65 Points du suivi reliés pour le patch 2 de la vidéo 2 .66 Superposition des deux traces d’écriture du patch 2 de la vidéo 2 .1 Interprétation géométrique d’une homographie extrait de [10] .4 10 images de la vidéo .5 10 images recalées de la vidéo. 62 iv LUAN VAN CHAT LUONG download : add [e-mail] Introduction Graphoscan est un projet initié par la collaboration entre une paléographe de l’IRHT, un chercheur du LIFO et une chercheuse du laboratoire PRISME. La production d’écritures anciennes est un art à la fois visuel et manuel basé sur la réplication d’un ensemble de signes, de formes et d’images. Le rôle des experts en paléographie consiste en l’étude et le déchiffrage de ces écritures anciennes.

L’étude de l’évolution de l’écriture a conduit les paléographes à s’intéresser de près aux spécialisations des ateliers de copies[29]. Ces experts utilisent les traits d’écritures, marques leur permettant de définir la provenance, le contexte historique ou géographique du texte ancien à analyser[29]. L’objectif est de développer un nouvel outil informatique pour aider le paléographe à analyser le « ductus » 1. Contrairement aux travaux existants en paléographie numérique qui se cantonnent à exploiter le traitement des images et la reconnaissance des formes pour faire de la transcription assistée par ordinateur[29][2] , il s’agit ici d’exploiter la stéréovision pour accéder à des composantes dynamiques de l’écriture : en observant le geste d’un copiste, il devient possible d’étudier la relation entre le mouvement de la plume dans l’espace et la trace écrite sur le parchemin, afin de proposer une nouvelle représentation des écritures médiévales.

Dans la continuité des travaux initiés, ce stage a pour principaux objectifs les points suivants : 1. Recherche bibliographique sur les algorithmes de suivi d’OpenCv 2. Tests des algorithmes de suivi d’OpenCv 3. Implémentation de l’algorithme de recalage de la feuille Contexte d’étude Le stage s’est déroulé à Polytech Orléans, au sein du laboratoire PRISME dans l’équipe Image Vision du 7 juin au 7 novembre 2018.

Equipe Image Vision du laboratoire PRISME Le laboratoire PRISME 2 , labellisé par le Minis- tère de l’Enseignement Supérieur et de la Recherche UPRES n°4229, est rattaché à l’Université d’Orléans avec comme établissement secondaire INSA-CVL. Il comprend 106 enseignants-chercheurs, 70 doctorants, 9 ingénieurs, techniciens et administratifs. Son champ pluridisciplinaire couvre un large spectre dans le domaine des sciences pour l’ingénieur incluant : la combustion dans les moteurs, l’énergétique, l’aérody- namique, la mécanique des matériaux, le traitement du signal et de l’image, l’automatique, la robotique. L’équipe IMAGE VISION comprend une quinzaine d’enseignants-chercheurs.

Ses activités de recherche concernent le développement d’outils originaux théoriques et pratiques pour le traitement numérique des images et la vision par ordinateur autour de plusieurs thèmes illustrés sur la figure 1. Laboratoire d’Informatique Fondamentale d’Orléans (LIFO) Le Laboratoire d’Informatique Fondamentale d’Orléans (LIFO) est un laboratoire commun à l’univer- sité d’Orléans et à l’INSA Centre Val de Loire, reconnu par le ministère de l’enseignement supérieur et de la recherche comme équipe d’accueil (EA 4022). Les recherches menées au LIFO concernent la science informatique et les STIC. Elles vont de l’algorithmique au traitement des langues naturelles, de l’appren- tissage au parallélisme massif, de la vérification et la certification à la sécurité des systèmes, du Big Data aux systèmes embarqués.

Le laboratoire est structuré en cinq équipes : Contraintes et Apprentissage, 1. nombre, ordre et sens d’exécution des traits qui composent une écriture 2.fr/prisme v LUAN VAN CHAT LUONG download : add [e-mail] TABLE DES FIGURES Figure 1 – Activités de recherche de l’équipe IMAGE VISION du laboratoire PRISME.