Luận văn thạc sĩ modélisationdynamiquedesgestesdécrituresmédiévalesparvidéo mô hình động các cử chỉ viết tay thời trung cổ bằng video

Luận văn thạc sĩ phân tích modélisationdynamiquedesgestesdécrituresmédiévalesparvidéo mô hình động các cử chỉ viết tay thời, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp

• Tác giả: Ngassa Tchoudjeuh Tatiana
• Người hướng dẫn: Madame Treuillet Sylvie, Maitre De Conférences
• Trường học: Université Nationale Du Vietnam, Hanoi
• Chuyên ngành: Systèmes Intelligents Et Multimédia
• Đề tài: Mô Hình Động Các Cử Chỉ Viết Tay Thời Trung Cổ Bằng Video
• Loại tài liệu: Mémoire De Fin D'études
• Năm xuất bản: 2019
• Địa điểm: Hanoi

Mục lục chi tiết

• ATTESTATION SUR L’HONNEUR
• LỜI CAM ĐOAN
• Remerciements
• Table des matières
• Table des figures
• Introduction
• 1. Chapitre 1: Présentation du projet Graphoscan
• 1.1. introduction
• 1.2. Structure du code Graphoscan
• 1.1.1. Module « L’acquisition » [13]
• 2. Etude de trackers
• 2.3. Algorithmes de suivi
• 3. Tests des algorithmes de suivi d’objet
• 3.2. Scénarii de tests avec la première vidéo
• 3.3. Scénarii de tests avec la deuxième vidéo
• 4. Recalage de la feuille
• 4.3. Implémentation du recalage de la feuille
• 4.3.1. Recherche de marqueurs
• 4.3.2. Algorithme de recalage de la feuille

Tóm tắt

I. Tổng quan về mô hình động cử chỉ viết tay thời trung cổ bằng video

Mô hình động cử chỉ viết tay thời trung cổ là một lĩnh vực nghiên cứu đang thu hút sự chú ý của nhiều nhà khoa học. Việc sử dụng video để phân tích các cử chỉ viết tay không chỉ giúp hiểu rõ hơn về kỹ thuật viết tay mà còn mở ra những ứng dụng mới trong việc bảo tồn văn hóa. Mô hình này cho phép tái hiện lại các cử chỉ viết tay của các nghệ nhân thời trung cổ, từ đó cung cấp cái nhìn sâu sắc về nghệ thuật viết tay trong quá khứ.

1.1. Khái niệm về mô hình động cử chỉ viết tay

Mô hình động cử chỉ viết tay là một phương pháp nghiên cứu nhằm phân tích và tái hiện các cử chỉ viết tay thông qua video. Phương pháp này sử dụng công nghệ hiện đại để ghi lại và phân tích các chuyển động của tay khi viết, từ đó giúp hiểu rõ hơn về kỹ thuật và phong cách viết tay của các nghệ nhân.

1.2. Lịch sử và sự phát triển của viết tay thời trung cổ

Viết tay thời trung cổ có một lịch sử phong phú, phản ánh sự phát triển của ngôn ngữ và văn hóa. Các nghệ nhân viết tay đã sử dụng nhiều kỹ thuật khác nhau để tạo ra những tác phẩm nghệ thuật độc đáo. Việc nghiên cứu các cử chỉ viết tay trong thời kỳ này giúp bảo tồn và phát huy giá trị văn hóa của di sản viết tay.

II. Thách thức trong việc mô hình hóa cử chỉ viết tay thời trung cổ

Mô hình hóa cử chỉ viết tay thời trung cổ gặp nhiều thách thức, từ việc thu thập dữ liệu đến việc phân tích và tái hiện các cử chỉ. Các yếu tố như độ chính xác của video, sự phức tạp của các cử chỉ và sự khác biệt giữa các nghệ nhân đều ảnh hưởng đến quá trình nghiên cứu.

2.1. Khó khăn trong việc thu thập dữ liệu video

Việc thu thập dữ liệu video chất lượng cao là một thách thức lớn. Các yếu tố như ánh sáng, góc quay và thiết bị ghi hình đều có thể ảnh hưởng đến chất lượng video, từ đó làm giảm độ chính xác trong việc phân tích cử chỉ viết tay.

2.2. Sự phức tạp của các cử chỉ viết tay

Các cử chỉ viết tay rất đa dạng và phức tạp, với nhiều biến thể khác nhau tùy thuộc vào nghệ nhân và phong cách viết. Việc phân tích và mô hình hóa những cử chỉ này đòi hỏi sự tinh tế và kỹ thuật cao trong việc nhận diện và tái hiện.

III. Phương pháp mô hình hóa cử chỉ viết tay bằng video

Để mô hình hóa cử chỉ viết tay thời trung cổ, nhiều phương pháp hiện đại đã được áp dụng. Các công nghệ như stéréovision và các thuật toán theo dõi đã giúp cải thiện độ chính xác trong việc phân tích cử chỉ viết tay.

3.1. Sử dụng công nghệ stéréovision

Công nghệ stéréovision cho phép ghi lại video từ nhiều góc độ khác nhau, giúp tái hiện chính xác hơn các cử chỉ viết tay. Phương pháp này giúp phân tích mối quan hệ giữa chuyển động của tay và dấu vết trên giấy.

3.2. Ứng dụng các thuật toán theo dõi

Các thuật toán theo dõi như KCF và Template Matching đã được áp dụng để theo dõi chuyển động của tay trong video. Những thuật toán này giúp xác định vị trí của tay và tái hiện lại các cử chỉ viết tay một cách chính xác.

IV. Ứng dụng thực tiễn của mô hình động cử chỉ viết tay

Mô hình động cử chỉ viết tay không chỉ có giá trị trong nghiên cứu mà còn có nhiều ứng dụng thực tiễn. Từ việc bảo tồn di sản văn hóa đến việc phát triển các công cụ giáo dục, mô hình này mở ra nhiều cơ hội mới.

4.1. Bảo tồn di sản văn hóa

Mô hình hóa cử chỉ viết tay giúp bảo tồn các tác phẩm viết tay cổ điển, từ đó giữ gìn giá trị văn hóa cho các thế hệ sau. Việc tái hiện lại các cử chỉ viết tay cũng giúp nâng cao nhận thức về nghệ thuật viết tay trong xã hội hiện đại.

4.2. Phát triển công cụ giáo dục

Mô hình động cử chỉ viết tay có thể được sử dụng để phát triển các công cụ giáo dục, giúp học sinh và sinh viên hiểu rõ hơn về kỹ thuật viết tay. Các video hướng dẫn có thể giúp cải thiện kỹ năng viết tay của người học.

V. Kết luận và tương lai của mô hình động cử chỉ viết tay

Mô hình động cử chỉ viết tay thời trung cổ bằng video là một lĩnh vực nghiên cứu đầy tiềm năng. Với sự phát triển của công nghệ, tương lai của mô hình này hứa hẹn sẽ mang lại nhiều giá trị mới cho nghiên cứu và giáo dục.

5.1. Tương lai của nghiên cứu viết tay

Nghiên cứu về viết tay sẽ tiếp tục phát triển với sự hỗ trợ của công nghệ hiện đại. Các công cụ mới sẽ giúp nâng cao độ chính xác và hiệu quả trong việc phân tích cử chỉ viết tay.

5.2. Khả năng mở rộng ứng dụng

Mô hình động cử chỉ viết tay có thể được mở rộng ra nhiều lĩnh vực khác nhau, từ nghệ thuật đến giáo dục. Việc áp dụng công nghệ mới sẽ giúp nâng cao giá trị của mô hình này trong xã hội.

Nội dung chính

Tổng quan nghiên cứu

Viết tay trung cổ không chỉ là một hoạt động truyền tải ngôn ngữ mà còn là một nghệ thuật phức tạp, gắn liền với phong cách và kỹ thuật riêng biệt của từng thời kỳ và vùng miền. Bối cảnh nghiên cứu được đặt trong khoảng thời gian ghi nhận bằng video đồng bộ từ hai camera với tốc độ 30 FPS và độ phân giải 1288x964 pixel, tập trung vào cử chỉ, động tác viết tay của các copiste thời Trung cổ. Các chuyên gia paléographie (chuyên ngành nghiên cứu chữ viết cổ) xem xét “ductus” – tức là số lượng, thứ tự và hướng thực hiện từng nét của chữ viết – làm cơ sở để phân tích nguồn gốc và bối cảnh văn bản. Tuy nhiên, đa phần các nghiên cứu hiện nay tập trung vào phân tích ảnh tĩnh, bỏ qua yếu tố động học của cử chỉ viết.

Mục tiêu nghiên cứu của luận văn là phát triển một hệ thống mô hình động sử dụng công nghệ stéréovision nhằm tái tạo chính xác các động tác viết tay trong không gian ba chiều dựa trên video song song, qua đó cung cấp công cụ hỗ trợ hiệu quả hơn cho giới học giả trong việc phân tích chữ viết cổ. Nghiên cứu được thực hiện từ tháng 6 đến tháng 11 năm 2018 tại phòng thí nghiệm PRISME thuộc Đại học Orléans (Pháp), sử dụng hai camera chuyên dụng CM3-U3-13S2C để song song ghi hình cử chỉ viết của người viết cổ.

Ý nghĩa nghiên cứu thể hiện ở khả năng giúp phân tích các chuyển động của nét viết một cách trực quan, từ đó cho phép đánh giá tinh vi hơn các đặc trưng về chất liệu chữ, kỹ thuật viết và bối cảnh lịch sử – xã hội. Một số chỉ số quan trọng được chú trọng theo dõi như độ lệch trung bình của quá trình theo dõi viết (tracking deviation), tỉ lệ khung hình được theo dõi thành công (tracking duration), và hiệu suất tính toán các thuật toán theo dõi sử dụng thư viện OpenCV, giúp định lượng chặt chẽ độ chính xác và hiệu quả của mô hình.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên sự kết hợp giữa lý thuyết về xử lý ảnh kỹ thuật số, phân tích đặc trưng thị giác máy tính và các mô hình mô phỏng động học chuyển động. Hai nền tảng lý thuyết chủ đạo được sử dụng là:

1. Lý thuyết nhận dạng và theo dõi đối tượng trong hình ảnh

   • Sử dụng các thuật toán theo dõi dựa trên descripteurs (mô tả đặc trưng) bao gồm cả descripteurs locaux (SIFT, HOG, LBP) và descripteurs globaux (histogrammes de couleur, texture). Mục tiêu là nhận diện và duy trì vị trí của phần đầu bút trong video qua từng khung hình, bất chấp các thay đổi về ánh sáng, vị trí và trạng thái vật lý người viết.
   • Mô hình theo dõi gồm mô hình chuyển động và mô hình xuất hiện, dựa trên các thuật toán Boosting, KCF, TLD và MIL.

2. Mô hình stéréovision và tái tạo không gian ba chiều

   • Stéréovision sử dụng hai video đồng bộ lấy từ hai góc nhìn khác nhau để tạo mô hình 3D thông qua thuật toán triangulation, tận dụng thông số camera đã được hiệu chỉnh (calibration)e nhằm hiệu chỉnh sai lệch độ méo ảnh.
   • Lý thuyết về calibration máy ảnh (định nghĩa tham số nội tại và ngoại vi), xử lý hình học (homography), và triangulation điểm đỉnh được ứng dụng để tái tạo chính xác quỹ đạo chuyển động của bút theo thời gian.

3-5 khái niệm chính:

• Ductus: chuỗi nét bút, số lượng và trình tự trong chữ viết.
• Descripteur HOG (Histogram of Oriented Gradients): mô tả hướng gradient để phát hiện các đặc tính cục bộ của hình ảnh.
• Algorithme KCF (Kernelized Correlation Filters): thuật toán theo dõi hiệu quả cao kết hợp hồi quy tuyến tính và ma trận circulante, tốc độ xử lý cao phù hợp cho việc tracking trong video.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm hai bộ video ghi hình cử chỉ viết với tổng số 2048 khung hình, quay bởi hai camera đồng bộ. Các video được hiệu chỉnh hình ảnh (correction des distorsions radiales) để nâng cao chất lượng dữ liệu đầu vào cho việc theo dõi.

Cỡ mẫu bao gồm các patches (vùng chứa đối tượng cần theo dõi) được lựa chọn với kích thước khác nhau để kiểm thử ảnh hưởng lên độ chính xác và tốc độ của các thuật toán tracking. Sử dụng đa dạng thuật toán theo dõi (Boosting, MIL, KCF với HAAR, KCF với HOG, TLD) để so sánh hiệu suất bằng các tiêu chí:

• Độ lệch trung bình của điểm theo dõi (mean deviation),
• Thời gian theo dõi đúng đối tượng (tracking duration),
• Thời gian tính toán (execution time),
• Độ bền của theo dõi trong trường hợp có cử chỉ phức tạp như thay đổi vị trí giấy hoặc nhúng bút mực.

Phương pháp phân tích gồm thống kê số liệu kết quả từng thuật toán trên từng video, so sánh khả năng theo dõi qua hình ảnh phối hợp, và hiệu chỉnh sai lệch do di chuyển giấy qua phương pháp recalage (điều chỉnh tương quan hình ảnh). Chuỗi nghiên cứu diễn ra trong 6 tháng, từ tháng 6 đến tháng 11/2018 tại phòng thí nghiệm PRISME (Orléans, Pháp), kết hợp với đội ngũ chuyên gia về xử lý ảnh và paléographie.

---

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất thuật toán KCF với descripteur HOG vượt trội về độ chính xác và tốc độ

   • KCF-HOG đạt trung bình độ lệch theo dõi thấp hơn 15% so với KCF-HAAR và Boosting.
   • Thời gian tính toán chỉ khoảng 31-44 giây cho toàn bộ video 759 khung hình, nhanh hơn gần 20% so với Boosting (44-78 giây) và rất vượt trội so với TLD (183 giây).

2. Thuật toán TLD cho kết quả kém do nhạy cảm với sự biến động màu sắc và hình dạng

   • TLD gây ra nhiều sai lệch khi màu đầu bút trùng với màu nền hoặc các vùng màu sắc khác trong ảnh, dẫn đến sai lệch vị trí hoặc mất đối tượng theo dõi sau vài trăm khung hình (khoảng 40% số khung hình bị thất bại tracking).

3. Kích thước vùng chọn (patch) ảnh hưởng tới hiệu quả theo dõi

   • Patch lớn giúp tăng độ chính xác nhưng làm thời gian tính toán tăng từ 51 đến 88 giây. Patch nhỏ cho tốc độ nhanh hơn nhưng giảm khả năng theo dõi khi đối tượng dịch chuyển phức tạp.
   • Các kết quả liên kết các điểm theo dõi qua đường nối thể hiện rõ sự tương quan với đường nét viết thực tế, tuy nhiên sai lệch do chuyển động của giấy cần được hiệu chỉnh.

4. Hiệu quả recalage giấy trong việc giảm sai số do dịch chuyển nền

   • Sau hiệu chỉnh, sự chồng khớp giữa quỹ đạo theo dõi và nét viết thực tế tăng lên đến trên 85%, giảm các sai sót do di chuyển tạm thời của giấy viết khi copiste thay đổi vị trí.

Thảo luận kết quả

Nguyên nhân sự ưu việt của KCF-HOG nằm ở khả năng kết hợp nhanh chóng trích xuất đặc trưng cục bộ thông qua HOG và bộ lọc tương quan kernel hiệu quả trong không gian ma trận circulante, giúp theo dõi đối tượng chuyển động nhanh và liên tục với độ chính xác cao. Điều này phù hợp với đặc điểm cử chỉ viết tay phân giải cao, đòi hỏi tính linh hoạt và độ mượt trong mô hình động tác.

Trong khi đó, TLD dù có mặt ưu điểm về khả năng học và thích ứng, song không phù hợp trong môi trường với sự thay đổi đồng thời về màu sắc và ánh sáng như trong các video ghi hình thực tế. Các kết quả thu được tương đồng với một số nghiên cứu gần đây trong lĩnh vực theo dõi đối tượng trong môi trường biến đổi phức tạp.

Sai lệch theo dõi một phần do chuyển động giấy viết đang là thách thức chưa được giải quyết hoàn chỉnh. Một số minh họa kết quả có thể được trình bày qua biểu đồ so sánh sai số theo dõi từng thuật toán và biểu đồ thời gian thực thi trên từng patch.

---

Đề xuất và khuyến nghị

1. Ưu tiên sử dụng thuật toán KCF với descripteur HOG trong hệ thống tracking viết tay để đảm bảo độ chính xác và hiệu suất

   • Mục tiêu giảm sai lệch trung bình theo dõi dưới 10 pixel tính trên kích thước hình ảnh, đảm bảo tốc độ xử lý mỗi khung hình dưới 50 ms để có thể tiến tới xử lý thời gian thực.
   • Chủ thể thực hiện: nhóm phát triển phần mềm trong phòng thí nghiệm PRISME; thời gian áp dụng thử nghiệm trong giai đoạn 3 tháng tiếp theo.

2. Phát triển thuật toán recalage tự động nhằm điều chỉnh sai số do chuyển động giấy viết, kết hợp với tracking để nâng cao độ chính xác mô hình 3D

   • Sử dụng các kỹ thuật xử lý ảnh hình học như phát hiện marker và điều chỉnh homography tự động.
   • Chủ thể: nhóm nghiên cứu về xử lý ảnh và hình học máy tính; timeline 6 tháng để thử nghiệm trên bộ dữ liệu mở rộng.

3. Tăng cường thử nghiệm các descripteur kết hợp (ví dụ LBP trung hòa ảnh hưởng thay đổi ánh sáng) để cải thiện theo dõi trong trường hợp điều kiện ánh sáng biến đổi

   • Đánh giá khả năng chống noise và biến đổi của môi trường thực tế.
   • Chủ thể: sinh viên nghiên cứu; thời gian 3-4 tháng.

4. Xây dựng bộ dữ liệu video chuẩn gồm các cử chỉ viết tay được ghi lại trong điều kiện ánh sáng và chuyển động thực tế đa dạng để làm chuẩn đánh giá chung

   • Đảm bảo tính khách quan và mở rộng phạm vi nghiên cứu cho cộng đồng học thuật.
   • Chủ thể: Viện nghiên cứu, hợp tác quốc tế; timeline 12 tháng.

---

Đối tượng nên tham khảo luận văn

1. Chuyên gia và nghiên cứu sinh lĩnh vực paléographie

   • Được hỗ trợ công cụ phân tích động tác viết, nâng cao khả năng giải mã chữ viết cổ và phân tích xuất xứ văn bản dựa trên cử chỉ viết.

2. Nhà nghiên cứu và phát triển công nghệ thị giác máy tính

   • Tham khảo các thí nghiệm và phân tích so sánh thuật toán theo dõi đối tượng trong môi trường thực tế phức tạp, tổ hợp nhiều kỹ thuật mô hình hóa động học.

3. Chuyên viên công nghệ phục dựng ký hiệu và chữ viết điện tử

   • Áp dụng để thiết kế các công cụ tương tác và nhập liệu dựa trên chữ viết tay, đặc biệt cho các ngôn ngữ mang tính lịch sử và di sản văn hóa.

4. Giảng viên và sinh viên ngành công nghệ thông tin

   • Tài liệu tham khảo phát triển kĩ năng triển khai mô hình xử lý video, lập trình xử lý ảnh và đánh giá thuật toán trên bộ dữ liệu thực tế.

---

Câu hỏi thường gặp

1. Tại sao lại chọn thuật toán KCF-HOG thay vì các thuật toán khác?
KCF-HOG cung cấp sự cân bằng tốt giữa độ chính xác, độ ổn định và thời gian tính toán. Nó tận dụng được đặc trưng cục bộ của hình ảnh và bộ lọc kernel hiệu quả, vượt trội so với các thuật toán Boosting hay TLD trong môi trường ánh sáng và chuyển động khó đoán.

2. Việc hiệu chỉnh chuyển động giấy (recalage) quan trọng thế nào?
Recalage giúp giảm sai số do di chuyển ngẫu nhiên của điểm tham chiếu trong video, từ đó nâng cao độ chính xác của quỹ đạo bút tái tạo. Không có hiệu chỉnh, dữ liệu theo dõi có thể lệch hàng chục pixel, làm méo mó kết quả phục dựng chữ viết.

3. Có thể áp dụng phương pháp này cho các kiểu chữ hoặc công cụ viết khác không?
Có thể, tuy nhiên cần điều chỉnh thuật toán theo tính chất đặc trưng của loại công cụ và phong cách viết. Ví dụ, cử chỉ viết bằng bút lông hay bút chì có thể đòi hỏi các tham số tracking khác do chuyển động và kích thước đầu bút khác nhau.

4. Các thuật toán dựa trên deep learning có được thử nghiệm không?
GOTURN, một thuật toán deep learning, đã được thử nhưng không phù hợp với dữ liệu do mô hình huấn luyện không tương thích với đặc điểm video thu thập. Đây là hạn chế của mô hình pre-trained khi ứng dụng trong môi trường khác biệt.

5. Làm thế nào để nâng cao khả năng theo dõi trong các điều kiện ánh sáng thay đổi?
Có thể kết hợp thêm các descripteurs như LBP invariant hay các kỹ thuật nâng cao chống nhiễu và cân bằng ảnh trong tiền xử lý, đồng thời áp dụng thuật toán theo dõi thích nghi để điều chỉnh mô hình liên tục trong thời gian thực.

---

Kết luận

• Đã phát triển và thử nghiệm thành công hệ thống stéréovision để tái tạo mô hình động các cử chỉ viết tay thời trung cổ với độ chính xác cao hơn các phương pháp truyền thống.
• Thuật toán KCF kết hợp descripteur HOG cho hiệu quả vượt trội về tốc độ và độ chính xác theo dõi trong môi trường ghi hình phức tạp.
• Phương pháp recalage giấy góp phần giảm đáng kể sai số do dịch chuyển nền, cải thiện tính đồng bộ giữa cử chỉ viết và vết mực ghi nhận.
• Phân tích so sánh toàn diện mô hình mở ra hướng phát triển ứng dụng công nghệ thị giác máy tính trong nghiên cứu di sản văn hóa và học thuật chữ viết cổ.
• Giai đoạn tiếp theo tập trung vào tự động hóa hiệu chỉnh, mở rộng dữ liệu và thử nghiệm thuật toán nâng cao nhằm hoàn thiện hệ thống hỗ trợ paléographie.

Khuyến khích các nhà nghiên cứu và phát triển công nghệ trong ngành tích cực hợp tác để triển khai và mở rộng ứng dụng mô hình, đồng thời chia sẻ dữ liệu chuẩn nhằm thúc đẩy cộng đồng nghiên cứu phát triển mạnh mẽ hơn.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL NGASSA TCHOUDJEUH TATIANA Modélisation dynamique des gestes d’écritures médiévales par vidéo Mô hình động các cử chỉ viết tay thời trung cổ bằng video MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2019 TIEU LUAN MOI download : [e-mail] UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL NGASSA TCHOUDJEUH TATIANA Modélisation dynamique des gestes d’écritures médiévales par vidéo Mô hình động các cử chỉ viết tay thời trung cổ bằng video Spécialité: Systèmes intelligents et multimédia Code: Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de: Madame Treuillet Sylvie, Maitre de conférences de l’Université d’Orléans, Laboratoire PRISME (EA 4229) et Monsieur Matthieu Exbrayat, Maitre de conférences de l’Université d’Orléans, Laboratoire d’Informatique Fondamentale d’Orléans (LIFO). HANOI – 2019 TIEU LUAN MOI download : [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi.

Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant NGASSA TCHOUDJEUH TATIANA TIEU LUAN MOI download : [e-mail] Remerciements La rédaction de ce mémoire n’aurait été possible sans l’intervention de certaines personnes. Qu’elles trouvent ici l’expression de nos plus sincères remerciements pour leurs précieux conseils.

Nous tenons tout d’abord à exprimer notre reconnaissance et nos remerciements envers l’Agence Univer- sitaire Francophone (AUF) pour nous avoir accordé une bourse d’études de Master. Nos remerciements vont également à l’Institut de la Francophonie pour l’Innovation (IFI), à son administration et au corps professoral pour la richesse et la qualité de leur enseignement et qui déploient de grands efforts pour assurer à leurs étudiants une formation actualisée. Nos sincères remerciements au RTR IMAGE (Réseau Thématique de Recherche Image) pour l’opportunité qu’il nous a accordé en nous accordant une bourse de Master 2 au Laboratoire PRISME. L’accueil fut chaleureux et nous avions bénéficié de bonnes condi- tions de travail tout au long de notre séjour dans ses murs.

Nous adressons nos vifs remerciements à Madame Sylvie Treuillet, notre encadrante principale, et à Mon- sieur Matthieu Exbrayat, notre encadrant secondaire, pour nous avoir accueilli et intégré au sein de leur équipe. Merci pour l’inspiration, leur apprentissage, leur collaboration, leur écoute et leur disponibilité tout au long de notre stage. Nos remerciements vont également à l’ensemble du personnel du laboratoire PRISME pour son accueil et sa collaboration. Enfin, nous adressons nos plus sincères remerciements à nos parents, pour leur contribution, leur soutien et leur patience, à tous nos proches et amis (es), qui nous ont toujours encouragé et soutenu au cours de la réalisation de ce travail.

TIEU LUAN MOI download : [e-mail] Table des matières 1 Présentation du projet Graphoscan 1 1.2 Structure du code Graphoscan .2 Module « tracking et reconstruction 3D »[11] .3 Les limites du système. 5 2 Etude de trackers 6 2.3 Algorithmes de suivi. 22 3 Tests des algorithmes de suivi d’objet 23 3.2 Scénarii de tests avec la première vidéo.3 Scénarii de tests avec la deuxième vidéo. 56 4 Recalage de la feuille.3 Implémentation du recalage de la feuille .1 Recherche de marqueurs .2 Algorithme de recalage de la feuille.

62 i TIEU LUAN MOI download : [e-mail] Table des figures 1 Activités de recherche de l’équipe IMAGE VISION du laboratoire PRISME.1 Système de stéréovision Graphoscan pour l’acquisition du geste d’écriture[21] .2 Ordinogramme de l’acquisition synchronsée multi-caméras[13] .4 Caractéristique d’une séquence utilisée pour le test[11].1 Exemples d’ondelettes de Haar[3] .2 Processus d’extraction des fonctionnalités HOG extrait de [12] .3 Construction de l’espace des échelles[16] .4 Détection des extrémas[16] .5 Création de l’histogramme des gradients[16] .6 Construction d’un motif local binaire et calcule du code LBP extrait de [25] .7 Image originale, image LBP et Histogramme LBP extrait de [25] .8 Définition d’une texture .9 LBP multi-échelle. Exemples de voisinages obtenus pour différents couples (P, R).10 Construction et uniformité d’un motif LBP. (a) le motif construit ici est non uniforme, (c) exemple de motifs respectivement uniforme et non uniforme.11 Calcul LBP et CS-LBP descripteur pour 8 pixels voisins.12 Fonctionnement d’AdaBoos Extrait de [6] .13 Convolution locale extrait de [4] .14 Architecture du composant de détection.15 Conversion du patch en code binaire[22] .16 Architecture de TLD[22] .17 architecture de GOTURN[26] .1 10 images de la vidéo 1.2 10 images de la vidéo 2.5 Points du suivi avec patch 1 .6 Points du suivi reliés avec le patch1 .7 Superposition des écritures.8 Points du suivi pour le patch 2 .9 Points du suivi pour le patch2 .10 Superposition des deux traces d’écriture pour le patch2 .11 Points du suivi avec le patch1.13 Superposition des deux traces d’écriture qvec patch2.14 Points du suivi pour le patch 2 .15 Points du suivi reliés pour le patch 2. 31 ii TIEU LUAN MOI download : [e-mail] TABLE DES FIGURES 3.16 Superposition des deux traces d’écriture pour le patch2 .17 Points du suivi avec patch1 .18 Points de suivi reliés avec patch1 .19 Superposition des deux traces d’écritures avec le patch1 .20 Points du suivi pour le patch 2 .21 Points du suivi reliés pour le patch 2 .22 Superposition des deux traces d’écriture pour le patch 2 .23 Points du suivi avec le patch1 .24 Points de suivi reliés avec le patch1 .25 Superposition des deux traces d’écritures avec le patch1 .26 Points du suivi pour le patch 2 .27 Points du suivi reliés pour le patch 2 .28 Superposition des deux traces d’écriture pour le patch 2 .29 Points du suivi avec patch1 .30 Points du suivi reliés avec patch1 .31 Superposition des deux traces d’écritures avec patch1 .32 Points du suivi pour le patch 2 .33 Points du suivi reliés pour le patch 2 .34 Superposition des deux traces d’écriture pour le patch2 .37 Points du suivi du patch 1 avec la vidéo 2 .38 Points du suivi reliés du patch 1 avec la vidéo 2 .39 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .40 Points du suivi du patch 2 de la vidéo 2 .41 Points du suivi reliés pour le patch 2 de la vidéo 2 .42 BOOSTING :Superposition des deux traces d’écriture du patch 2 avec la vidéo 2.43 Points du suivi du patch 1 avec la vidéo 2.44 Points du suivi reliés du patch 1 avec la vidéo 2.45 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .46 Points du suivi du patch 2 de la vidéo 2.47 Points du suivi reliés pour le patch 2 de la vidéo 2.48 Superposition des deux traces d’écriture du patch 2 de la vidéo 2 .49 Points du suivi du patch 1 de la vidéo 2 .50 Points du suivi reliés pour du patch 1 de la vidéo 2 .51 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .52 Points du suivi du patch 2 dela vidéo 2 .53 Points du suivi reliés pour le patch 2 de la vidéo 2 .54 Superposition des deux traces d’écriture du patch 2 de la vidéo 2 .55 KCF-HOG : Points du suivi du patch 1 de la vidéo 2 .56 Points du suivi reliés pour du patch 1 de la vidéo 2 .57 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .58 Points du suivi du patch 2 de la vidéo 2 .59 Points du suivi reliés pour le patch 2 de la vidéo 2 .60 Superposition des deux traces d’écriture du patch 2 de la vidéo 2 .61 Points du suivi du patch 1 avec la vidéo 2 .62 Points du suivi reliés pour le patch 1 de la vidéo 2.

54 iii TIEU LUAN MOI download : [e-mail] TABLE DES FIGURES 3.63 Superposition des deux traces d’écriture du patch 1 de la vidéo 2 .64 Points du suivi du patch 2 de la vidéo 2 .65 Points du suivi reliés pour le patch 2 de la vidéo 2 .66 Superposition des deux traces d’écriture du patch 2 de la vidéo 2 .1 Interprétation géométrique d’une homographie extrait de [10] .4 10 images de la vidéo .5 10 images recalées de la vidéo. 62 iv TIEU LUAN MOI download : [e-mail] Introduction Graphoscan est un projet initié par la collaboration entre une paléographe de l’IRHT, un chercheur du LIFO et une chercheuse du laboratoire PRISME. La production d’écritures anciennes est un art à la fois visuel et manuel basé sur la réplication d’un ensemble de signes, de formes et d’images. Le rôle des experts en paléographie consiste en l’étude et le déchiffrage de ces écritures anciennes.

L’étude de l’évolution de l’écriture a conduit les paléographes à s’intéresser de près aux spécialisations des ateliers de copies[29]. Ces experts utilisent les traits d’écritures, marques leur permettant de définir la provenance, le contexte historique ou géographique du texte ancien à analyser[29]. L’objectif est de développer un nouvel outil informatique pour aider le paléographe à analyser le « ductus » 1. Contrairement aux travaux existants en paléographie numérique qui se cantonnent à exploiter le traitement des images et la reconnaissance des formes pour faire de la transcription assistée par ordinateur[29][2] , il s’agit ici d’exploiter la stéréovision pour accéder à des composantes dynamiques de l’écriture : en observant le geste d’un copiste, il devient possible d’étudier la relation entre le mouvement de la plume dans l’espace et la trace écrite sur le parchemin, afin de proposer une nouvelle représentation des écritures médiévales.

Dans la continuité des travaux initiés, ce stage a pour principaux objectifs les points suivants : 1. Recherche bibliographique sur les algorithmes de suivi d’OpenCv 2. Tests des algorithmes de suivi d’OpenCv 3. Implémentation de l’algorithme de recalage de la feuille Contexte d’étude Le stage s’est déroulé à Polytech Orléans, au sein du laboratoire PRISME dans l’équipe Image Vision du 7 juin au 7 novembre 2018.

Equipe Image Vision du laboratoire PRISME Le laboratoire PRISME 2 , labellisé par le Minis- tère de l’Enseignement Supérieur et de la Recherche UPRES n°4229, est rattaché à l’Université d’Orléans avec comme établissement secondaire INSA-CVL. Il comprend 106 enseignants-chercheurs, 70 doctorants, 9 ingénieurs, techniciens et administratifs. Son champ pluridisciplinaire couvre un large spectre dans le domaine des sciences pour l’ingénieur incluant : la combustion dans les moteurs, l’énergétique, l’aérody- namique, la mécanique des matériaux, le traitement du signal et de l’image, l’automatique, la robotique. L’équipe IMAGE VISION comprend une quinzaine d’enseignants-chercheurs.

Ses activités de recherche concernent le développement d’outils originaux théoriques et pratiques pour le traitement numérique des images et la vision par ordinateur autour de plusieurs thèmes illustrés sur la figure 1. Laboratoire d’Informatique Fondamentale d’Orléans (LIFO) Le Laboratoire d’Informatique Fondamentale d’Orléans (LIFO) est un laboratoire commun à l’univer- sité d’Orléans et à l’INSA Centre Val de Loire, reconnu par le ministère de l’enseignement supérieur et de la recherche comme équipe d’accueil (EA 4022). Les recherches menées au LIFO concernent la science informatique et les STIC. Elles vont de l’algorithmique au traitement des langues naturelles, de l’appren- tissage au parallélisme massif, de la vérification et la certification à la sécurité des systèmes, du Big Data aux systèmes embarqués.

Le laboratoire est structuré en cinq équipes : Contraintes et Apprentissage, 1. nombre, ordre et sens d’exécution des traits qui composent une écriture 2.fr/prisme v TIEU LUAN MOI download : [e-mail] TABLE DES FIGURES Figure 1 – Activités de recherche de l’équipe IMAGE VISION du laboratoire PRISME. Graphes et Modèles de Calcul, Sécurité des Données et des Systèmes, Langages Modèles et Vérification, et Parallélisme Calcul Distribué et Bases de Données.