Luận văn thạc sĩ về đánh chỉ mục dữ liệu cho khảo cổ học tại Đại học Quốc gia Việt Nam, Hà Nội

Luận văn thạc sĩ nghiên cứu indexation de données pour larchéologie đánh chỉ mục dữ liệu cho khảo cổ học luận văn ths truyền dữ, đánh giá hiện trạng, phân tích vấn đề, đề xuất

• Tác giả: Hoàng Yến
• Người hướng dẫn: Nguyễn Hồng Quang
• Trường học: Université Nationale du Vietnam
• Chuyên ngành: Informatique
• Đề tài: Đánh Chỉ Mục Dữ Liệu Cho Khảo Cổ Học
• Loại tài liệu: mémoire
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. Chapitre 1: Introduction Générale
• 1.1. Introduction
• 1.2. Contexte et Cadre d’étude
• 1.3. Problématique
• 1.4. Objectifs de stage
• 2. Chapitre 2: Données d’archéologie
• 2.1. Système informatique en archéologie
• 2.2. Terminologies en archéologie
• 2.3. Le type de données
• 2.4. Données géométriques
• 2.5. Base de données d’un système informatique de l'archéologie
• 3. Indexation de données
• 3.1. Stockage des données
• 3.2. Indexation de données
• 3.3. Organisation des index
• 3.4. Index de document
• 3.5. Indexation spatial et R-Trees
• 4. Proposition de modèle
• 5. Outils de projet
• 5.1. Architecture de fonctions
• 5.2. Relation de données dans la base de données
• 5.3. Sécurité des données
• 5.4. Représentation de données
• 5.5. Recherche par les champs
• 5.6. Recherche plein-textes
• 5.7. Index inversé de la recherche plein-texte (FTS)
• 5.8. Indexation de fichier
• 5.9. Accès et indexation du type données géométriques
• 5.10. Organisation des Hyperliens
• 5.11. Indexation des données de fichier PDF
• 6. Implémentation
• 6.1. Implémentation l’index dans le SQLite
• 6.2. Indexation sur une petite table
• 6.3. Indexation sur une grande table
• 6.4. B-Trees dans SQLite
• Conclusion et perspectives

Tóm tắt

I. Tổng quan về đánh chỉ mục dữ liệu cho khảo cổ học hiệu quả

Đánh chỉ mục dữ liệu cho khảo cổ học là một quá trình quan trọng nhằm tổ chức và truy cập thông tin một cách nhanh chóng và hiệu quả. Trong bối cảnh hiện đại, với sự phát triển của công nghệ thông tin, việc áp dụng các phương pháp đánh chỉ mục tiên tiến giúp cải thiện khả năng quản lý và phân tích dữ liệu khảo cổ học. Dữ liệu khảo cổ học thường rất phong phú và đa dạng, bao gồm hình ảnh, tài liệu, và các đối tượng 3D. Do đó, việc xây dựng một hệ thống đánh chỉ mục hiệu quả là cần thiết để hỗ trợ các nhà nghiên cứu trong việc truy cập và phân tích thông tin.

1.1. Khái niệm và tầm quan trọng của đánh chỉ mục dữ liệu

Đánh chỉ mục dữ liệu là quá trình tổ chức thông tin để dễ dàng truy cập và tìm kiếm. Trong khảo cổ học, điều này đặc biệt quan trọng vì dữ liệu thường rất lớn và phức tạp. Việc đánh chỉ mục giúp giảm thời gian tìm kiếm và tăng cường khả năng phân tích dữ liệu.

1.2. Các loại dữ liệu trong khảo cổ học

Dữ liệu khảo cổ học có thể được phân loại thành nhiều loại khác nhau như hình ảnh, tài liệu văn bản, và mô hình 3D. Mỗi loại dữ liệu yêu cầu các phương pháp đánh chỉ mục khác nhau để tối ưu hóa việc truy cập và phân tích.

II. Vấn đề và thách thức trong đánh chỉ mục dữ liệu khảo cổ học

Mặc dù có nhiều lợi ích từ việc đánh chỉ mục dữ liệu, nhưng vẫn tồn tại nhiều thách thức trong quá trình này. Một trong những vấn đề lớn nhất là khối lượng dữ liệu khổng lồ mà các nhà khảo cổ học phải xử lý. Ngoài ra, việc tổ chức và duy trì tính chính xác của dữ liệu cũng là một thách thức không nhỏ. Các công nghệ hiện tại cần phải được cải tiến để đáp ứng nhu cầu ngày càng cao trong việc quản lý dữ liệu khảo cổ học.

2.1. Khó khăn trong việc tổ chức dữ liệu lớn

Dữ liệu khảo cổ học thường rất lớn và đa dạng, điều này gây khó khăn trong việc tổ chức và truy cập. Các nhà nghiên cứu cần phải phát triển các phương pháp hiệu quả để quản lý khối lượng dữ liệu này.

2.2. Tính chính xác và độ tin cậy của dữ liệu

Đảm bảo tính chính xác và độ tin cậy của dữ liệu là một thách thức lớn. Các lỗi trong quá trình nhập liệu hoặc đánh chỉ mục có thể dẫn đến những sai sót nghiêm trọng trong phân tích và nghiên cứu.

III. Phương pháp đánh chỉ mục dữ liệu khảo cổ học hiệu quả

Để giải quyết các vấn đề trong đánh chỉ mục dữ liệu khảo cổ học, nhiều phương pháp đã được phát triển. Các phương pháp này bao gồm việc sử dụng các hệ thống quản lý cơ sở dữ liệu, công nghệ đánh chỉ mục không gian, và các thuật toán tìm kiếm tiên tiến. Việc áp dụng các công nghệ này không chỉ giúp cải thiện hiệu suất mà còn tăng cường khả năng truy cập dữ liệu cho các nhà nghiên cứu.

3.1. Sử dụng hệ thống quản lý cơ sở dữ liệu

Hệ thống quản lý cơ sở dữ liệu giúp tổ chức và lưu trữ dữ liệu một cách hiệu quả. Các hệ thống như SQLite và PostGIS cho phép lưu trữ và truy cập dữ liệu khảo cổ học một cách nhanh chóng và dễ dàng.

3.2. Công nghệ đánh chỉ mục không gian

Công nghệ đánh chỉ mục không gian như R-trees và B-trees giúp tổ chức dữ liệu địa lý và không gian một cách hiệu quả. Điều này rất quan trọng trong khảo cổ học, nơi mà dữ liệu thường có liên quan đến vị trí địa lý.

IV. Ứng dụng thực tiễn của đánh chỉ mục dữ liệu trong khảo cổ học

Việc áp dụng các phương pháp đánh chỉ mục dữ liệu đã mang lại nhiều lợi ích cho khảo cổ học. Các nhà nghiên cứu có thể truy cập nhanh chóng vào thông tin cần thiết, từ đó nâng cao hiệu quả nghiên cứu và phân tích. Hơn nữa, việc tổ chức dữ liệu một cách hợp lý cũng giúp bảo tồn và phát huy giá trị của di sản văn hóa.

4.1. Tăng cường khả năng truy cập thông tin

Các phương pháp đánh chỉ mục hiện đại giúp các nhà nghiên cứu dễ dàng truy cập vào thông tin cần thiết mà không mất nhiều thời gian. Điều này rất quan trọng trong việc phân tích và nghiên cứu các di sản văn hóa.

4.2. Bảo tồn và phát huy giá trị di sản văn hóa

Việc tổ chức và quản lý dữ liệu một cách hiệu quả không chỉ giúp bảo tồn di sản văn hóa mà còn giúp phát huy giá trị của chúng thông qua việc chia sẻ thông tin với cộng đồng.

V. Kết luận và tương lai của đánh chỉ mục dữ liệu trong khảo cổ học

Đánh chỉ mục dữ liệu cho khảo cổ học là một lĩnh vực đang phát triển mạnh mẽ. Với sự tiến bộ của công nghệ, các phương pháp đánh chỉ mục ngày càng trở nên hiệu quả hơn. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều cơ hội mới cho các nhà nghiên cứu trong việc khám phá và bảo tồn di sản văn hóa.

5.1. Xu hướng phát triển công nghệ trong đánh chỉ mục

Công nghệ đánh chỉ mục đang phát triển nhanh chóng, với nhiều cải tiến trong các thuật toán và hệ thống quản lý dữ liệu. Điều này sẽ giúp nâng cao hiệu quả trong việc tổ chức và truy cập dữ liệu khảo cổ học.

5.2. Tương lai của nghiên cứu khảo cổ học

Nghiên cứu khảo cổ học sẽ tiếp tục phát triển với sự hỗ trợ của công nghệ thông tin. Việc áp dụng các phương pháp đánh chỉ mục hiệu quả sẽ giúp các nhà nghiên cứu khám phá sâu hơn về di sản văn hóa và lịch sử nhân loại.

Nội dung chính

Tổng quan nghiên cứu

Trong lĩnh vực khảo cổ học hiện đại, lưu trữ và truy cập nhanh chóng bộ dữ liệu tổng hợp từ hình ảnh, tài liệu, đặc biệt là các mô hình 3D đòi hỏi các giải pháp công nghệ thông tin tiên tiến. Theo ước tính, dữ liệu khảo cổ học chiếm dung lượng lớn trong bộ nhớ và liên tục phát sinh khi các cuộc khai quật ngày càng mở rộng phạm vi và số lượng. Bài toán trọng tâm là xây dựng hệ thống quản lý dữ liệu hiệu quả giúp truy xuất thông tin nhanh chóng, hỗ trợ công tác nghiên cứu và bảo tồn di sản văn hóa. Luận văn này tập trung vào việc nghiên cứu và phát triển các phương pháp đánh chỉ mục (indexation) dữ liệu khảo cổ học trên mô hình hệ thống client-server, nhằm giảm thời gian tìm kiếm và tối ưu hóa bộ nhớ lưu trữ.

Mục tiêu cụ thể bao gồm: (1) phân tích đặc điểm và phân loại các loại dữ liệu điển hình trong khảo cổ như tập tin văn bản, ảnh, mô hình maillage 3D; (2) xây dựng mô hình đánh chỉ mục phù hợp với từng loại dữ liệu, gồm chỉ mục B-trees, R-trees và chỉ mục tìm kiếm toàn văn (Full-text Search - FTS); (3) phát triển ứng dụng client-server kiểm soát truy cập dữ liệu, cho phép truy vấn từ xa và hỗ trợ chế độ tìm kiếm offline thông qua đánh chỉ mục tập tin PDF lưu trữ tại client; (4) đánh giá hiệu quả thực nghiệm trên nền tảng hệ quản trị SQLite và công nghệ Web hiện đại như Node.js, HTML5.

Nghiên cứu thực hiện trong giai đoạn 2016 tại dự án Eloquenzior thuộc Đơn vị LSIS UMR 7296 (Pháp) phối hợp cùng Trung tâm Camille Jullian, đối tượng nghiên cứu gồm dữ liệu khảo cổ số hóa của hai di tích có giá trị lịch sử: Tholos ở Delphi (Hy Lạp) và Đền Attis tại Zama Regia (Tunisia). Kết quả nghiên cứu hướng đến nâng cao hiệu suất truy cập giúp nhà nghiên cứu khai thác nhanh dữ liệu khảo cổ đa dạng, từ đó thúc đẩy quá trình bảo tồn và phát huy giá trị di sản văn hóa cả về khoa học lẫn công chúng.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên ba khung lý thuyết chính trong công tác đánh chỉ mục dữ liệu:

1. Mô hình cây B-trees và B+trees: Đây là cấu trúc dữ liệu cây cân bằng giúp tổ chức dữ liệu theo dạng phân cấp, tối ưu hóa thao tác tìm kiếm, chèn, sửa và xóa trong bảng dữ liệu lớn. Cấu trúc B-trees hỗ trợ truy cập dựa trên khóa chính, giảm thời gian truy vấn từ độ phức tạp tuyến tính xuống logarit theo số lượng bản ghi. B+trees mở rộng thêm chức năng cho phép tìm kiếm đoạn, rất thích hợp với các cơ sở dữ liệu và hệ quản trị như SQLite.

2. Chỉ mục tìm kiếm toàn văn (Full-Text Search - FTS): Kỹ thuật này thiết lập bảng chỉ mục ngược (inverted index), ánh xạ từng từ khóa đến vị trí xuất hiện trong tập văn bản, cho phép truy vấn tìm kiếm nhanh những trường chứa từ khóa trong bộ dữ liệu tài liệu số hóa (PDF, DOC, ...). Luận văn áp dụng module FTS4 của SQLite để thực hiện chức năng này, kèm theo các bước xử lý tiền xử lý văn bản: tách từ (tokenizer), loại bỏ từ dừng (stop words), và rút gọn gốc từ (stemming).

3. Chỉ mục không gian R-trees: Đây là cấu trúc cây phi tuyến, chuyên dùng để đánh chỉ mục dữ liệu đa chiều, đặc biệt phù hợp cho các đối tượng địa không gian hoặc 3D như mô hình vật thể khảo cổ. R-tree phân vùng dữ liệu theo các hình chữ nhật bao (Minimum Bounding Rectangle - MBR), tổ chức các vùng chứa dạng phân cấp nhằm nhanh chóng xác định vị trí và thực hiện các truy vấn không gian: tìm vùng, kiểm tra giao cắt, cập nhật.

Ngoài ra, luận văn cũng đề cập đến các khái niệm cơ bản về tổ chức lưu trữ dữ liệu logic - vật lý trên đĩa và hệ thống tập tin, đảm bảo kết nối chặt chẽ giữa lưu trữ file (ảnh, tài liệu, mô hình 3D) và cơ sở dữ liệu chứa thông tin metadata.

Phương pháp nghiên cứu

Phương pháp nghiên cứu được thực hiện thông qua quy trình gồm:

• Nguồn dữ liệu: Dữ liệu khảo cổ được lấy từ dự án Eloquenzior, bao gồm hơn 1000 artefact với nhiều loại tệp: tài liệu, hình ảnh 2D, mô hình 3D dạng maillage, và metadata liên quan. Dữ liệu được lưu phần lớn trong bộ cơ sở SQLite với hai tệp cơ sở chính; dữ liệu tập tin nằm trên hệ thống lưu trữ thư mục máy chủ.

• Thu thập và xử lý dữ liệu: Trước khi áp dụng chỉ mục, dữ liệu văn bản trải qua quá trình tiền xử lý (tokenizing, filtering, stemming). Dữ liệu 3D và không gian được chuẩn hóa sang định dạng WKT/WKB để phù hợp với hệ quản trị.

• Phương pháp phân tích: Trên nền tảng thuật toán đánh chỉ mục B-trees và R-trees, hệ thống sử dụng SQLite làm cơ sở dữ liệu với các bảng đặc thù cùng hàm xử lý truy vấn. Chỉ mục FTS4 được tích hợp để tối ưu tìm kiếm toàn văn bản; truy vấn đánh giá hiệu quả dựa trên số liệu thống kê thời gian tìm kiếm, lượng tài nguyên sử dụng, và các chỉ số như tần suất truy cập từ khóa.

• Thiết kế và thời gian nghiên cứu: Giai đoạn khảo sát lý thuyết và chuẩn bị dữ liệu trong 3 tháng đầu, xây dựng mô hình và ứng dụng trong 4 tháng tiếp theo, giai đoạn thử nghiệm, kiểm tra và đánh giá mất 2 tháng cuối năm 2016.

---

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của chỉ mục B-trees trong truy xuất dữ liệu đa trường
   Áp dụng B-trees cho các trường khóa trong bảng artefact giúp giảm đáng kể thời gian truy vấn. Thời gian truy cập trung bình giảm khoảng 70% so với truy vấn tuyến tính, đặc biệt khi khối lượng dữ liệu trên 10.000 bản ghi.

2. Chỉ mục FTS nâng cao khả năng tìm kiếm toàn văn bản với độ chính xác cao
   Việc xây dựng bảng chỉ mục FTS4 chứa 18 trường dữ liệu văn bản cho phép tìm kiếm từ khóa hoặc cụm từ với độ nhạy và độ phủ tới 95%. Tốc độ truy vấn tìm kiếm toàn văn chỉ trong khoảng vài mili giây trên tập dữ liệu có hơn 5.000 tài liệu. Kết quả phân tích tần suất xuất hiện của từ khóa “poitrine” cho thấy từ này xuất hiện 33 lần trên các trường “description” và “anatomy” trong 31 tài liệu khác nhau.

3. R-trees phù hợp cho lưu trữ và truy xuất dữ liệu mô hình 3D và không gian
   Đánh chỉ mục R-trees trên các vùng chọn (polyline, polygon) lưu trong định dạng WKT giúp giảm hơn 60% thời gian truy vấn so với tìm kiếm tuần tự các điểm tọa độ trong bảng ArtefactZone. Cấu trúc MBR ở các nút cây giúp xác định nhanh vùng chứa mô hình hoặc khu vực khảo cổ quan tâm.

4. Tổ chức dữ liệu file và thư mục dưới dạng cây B-trees
   Các hình ảnh, tài liệu được lưu trữ trong cấu trúc thư mục phân cấp theo ID artefact, hỗ trợ truy cập theo đường dẫn tuyệt đối hoặc tương đối, đồng thời hệ quản trị SQLite duy trì đánh chỉ mục liên kết dữ liệu file với metadata, giúp việc truy xuất dữ liệu nhanh và bảo đảm quản lý tập tin.

Thảo luận kết quả

Việc tích hợp các loại chỉ mục đặc thù tùy loại dữ liệu đã chứng minh tính ưu việt trong hệ thống quản lý dữ liệu khảo cổ học phức hợp. So sánh với một số nghiên cứu gần đây trong lĩnh vực di sản số và quản trị dữ liệu địa không gian, kết quả đạt hiệu suất kèm theo khả năng mở rộng đáng kể. Ví dụ, kỹ thuật chỉ mục FTS trong SQLite tương đương với các hệ thống tìm kiếm tiêu chuẩn trong ngành bảo tàng số. B-trees và R-trees làm nền tảng vững chắc giúp đảm bảo tính nhất quán và hiệu năng nhanh, phù hợp với đặc điểm dữ liệu đa dạng về kích thước và định dạng.

Dữ liệu về tần suất từ khóa và độ phủ trong bảng chỉ mục ngược giúp phân tích chuyên sâu về mối quan hệ giữa dữ liệu văn bản và phân loại artefact, hỗ trợ bước phân tích ý nghĩa khảo cổ học. Hình ảnh hóa dữ liệu thông qua biểu đồ tần suất và bản đồ tương tác bồi đắp góc nhìn trực quan cho người nghiên cứu.

Tuy nhiên, các phương pháp này cũng gặp phải một số hạn chế như chi phí cập nhật chỉ mục sau khi thêm, sửa đổi dữ liệu khá cao trong trường hợp dữ liệu lớn và liên tục thay đổi; chuyện này yêu cầu thiết kế bổ sung cơ chế đồng bộ hóa hiệu quả trong tương lai.

---

Đề xuất và khuyến nghị

1. Triển khai thêm hệ thống cập nhật chỉ mục tự động theo lịch trình
   Phòng tránh việc truy xuất dữ liệu không đồng bộ, giảm thiểu sai lệch thông tin. Chủ thể thực hiện: nhóm phát triển phần mềm, metric giám sát là tỉ lệ thành công truy vấn đồng bộ, thời gian hoàn thiện cập nhật chỉnh chỉ mục dưới 5 phút, timeline 6 tháng.

2. Mở rộng đánh chỉ mục offline cho dữ liệu 3D và file PDF tại client
   Giúp tăng tính linh hoạt khi khảo cổ học thao tác tại các địa điểm xa xôi thiếu kết nối internet. Chủ thể thực hiện: bộ phận phát triển ứng dụng client, metric là tỉ lệ truy vấn thành công khi offline, tiến độ trong 4 tháng.

3. Tích hợp báo cáo trực quan tần suất truy cập và phân tích dữ liệu từ khóa
   Hỗ trợ phân tích chuyên sâu để phục vụ việc nhận diện mẫu, phân loại artefact theo trường dữ liệu. Chủ thể thực hiện: nhóm nghiên cứu dữ liệu, metric là số báo cáo/tháng, thời gian hoàn thiện 3 tháng.

4. Đào tạo và nâng cao kiến thức cho người dùng cuối về phân loại và truy vấn dữ liệu phức tạp
   Đảm bảo tối đa hóa hiệu quả khai thác hệ thống, giảm rủi ro nhầm lẫn thông tin. Chủ thể thực hiện: bộ phận đào tạo, metric đo hiệu quả qua đánh giá kỳ vọng và phản hồi, timeline 2 tháng đầu dự án.

---

Đối tượng nên tham khảo luận văn

1. Nhà khảo cổ học và chuyên gia bảo tồn di sản
   Có lợi ích trực tiếp khi sử dụng các hệ thống lưu trữ và truy vấn hiện đại, giúp công tác phân tích mẫu vật và tài liệu nhanh chóng, chính xác; ví dụ như phân tích hình thái mô hình 3D hoặc truy xuất hình ảnh từ kho lưu trữ.

2. Nhà phát triển phần mềm và kỹ sư dữ liệu trong lĩnh vực di sản số
   Người làm về hệ thống cơ sở dữ liệu đa phương tiện, cần hiểu sâu về các phương pháp đánh chỉ mục dữ liệu không gian, văn bản và đa dạng định dạng; áp dụng vào xây dựng hoặc tối ưu các nền tảng lưu trữ số hóa.

3. Người quản lý dự án và nhà đầu tư trong lĩnh vực văn hóa số và bảo tồn
   Đánh giá được hiệu quả đầu tư kỹ thuật, quy trình vận hành, cũng như tác động xã hội qua việc cải tiến truy xuất dữ liệu khảo cổ, từ đó xây dựng kế hoạch phát triển dự án dài hạn.

4. Sinh viên nghiên cứu sinh và học viên cao học ngành Công nghệ thông tin, Khảo cổ học số và Quản lý di sản văn hóa
   Tham khảo để phát triển kiến thức chuyên sâu về mô hình client-server, kỹ thuật lưu trữ và đánh chỉ mục trong hệ thống số hóa di sản, chuẩn bị cơ sở cho các nghiên cứu mở rộng.

---

Câu hỏi thường gặp

1. Phương pháp đánh chỉ mục nào phù hợp nhất cho dữ liệu khảo cổ đa dạng?
Phương pháp kết hợp B-trees cho truy vấn khóa, R-trees cho dữ liệu không gian 3D, và FTS cho văn bản toàn diện đã chứng minh tính hiệu quả cao. Ví dụ, trong luận văn đã ứng dụng cả ba loại để đạt hiệu quả tốt nhất.

2. Làm sao để đảm bảo truy cập dữ liệu nhanh khi ở những khu vực không có mạng internet?
Đánh chỉ mục các tập tin dữ liệu (PDF, maillage 3D) được lưu offline trên máy client kết hợp với việc tối ưu truy vấn trong bộ chỉ mục ngược giúp truy cập thông tin nhanh cả khi offline.

3. Hiệu suất truy vấn cải thiện như thế nào khi áp dụng chỉ mục trong hệ cơ sở dữ liệu sử dụng SQLite?
Thời gian truy vấn giảm trung bình 60-70% so với truy vấn không sử dụng chỉ mục, đặc biệt khi số lượng bản ghi vượt quá vài nghìn, do cấu trúc B-trees và FTS tối ưu hóa đường đi tìm kiếm.

4. Có những hạn chế nào khi sử dụng kỹ thuật đánh chỉ mục ngược trong tìm kiếm toàn văn?
Một nhược điểm là chi phí cao khi cập nhật chỉ mục sau mỗi lần nhập mới hoặc thay đổi dữ liệu. Do đó cần áp dụng cơ chế giao dịch (transaction) để tối ưu tốc độ cập nhật như chỉ ra trong luận văn.

5. Làm thế nào để bảo mật dữ liệu khảo cổ trong hệ thống client-server?
Bảo mật được thực hiện qua phân quyền người dùng dựa trên vai trò, mật khẩu mã hóa, đồng thời giới hạn quyền truy cập file và tài nguyên theo mức độ phân quyền như có trong hệ thống Eloquenzior.

---

Kết luận

• Luận văn đã nghiên cứu thành công việc đánh chỉ mục dữ liệu khảo cổ học đa dạng (văn bản, ảnh, không gian 3D) trên hệ thống client-server, sử dụng SQLite kết hợp các kỹ thuật B-trees, R-trees, và FTS.

• Ứng dụng công nghệ hiện đại Node.js, HTML5, và thư viện đồ họa 3D cho phép quản lý và truy xuất dữ liệu nhanh chóng, hỗ trợ cả trực tuyến và offline, tăng tính linh hoạt khi thực địa.

• Mô hình đánh chỉ mục giúp giảm thiểu thời gian tìm kiếm tới 70%, đồng thời thống kê tần suất từ khóa gia tăng hiệu quả cho phân tích chuyên sâu.

• Nghiên cứu đề xuất các giải pháp vận hành, bảo mật và cập nhật chỉ mục thân thiện, đảm bảo tính liên tục và an toàn dữ liệu trong môi trường đa người dùng.

• Bước tiếp theo sẽ tập trung vào phát triển cơ chế tự động đồng bộ cập nhật chỉ mục, mở rộng hỗ trợ thêm các loại dữ liệu mới và tối ưu giao diện người dùng, đồng thời tổ chức đào tạo chuyển giao công nghệ đến người sử dụng cuối.

Hành động khuyến nghị: Các tổ chức nghiên cứu và lưu trữ di sản nên tham khảo và áp dụng các giải pháp đánh chỉ mục được nghiên cứu để nâng cao hiệu quả khai thác dữ liệu khảo cổ học số hóa.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL HOÀNG YẾN INDEXATION DE DONNÉES POUR L´ARCHÉOLOGIE ĐÁNH CHỈ MỤC DỮ LIỆU CHO KHẢO CỔ HỌC MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE HANOI – 2016 TIEU LUAN MOI download : [e-mail] UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL HOÀNG YẾN INDEXATION DE DONNÉES POUR L´ARCHÉOLOGIE ĐÁNH CHỈ MỤC DỮ LIỆU CHO KHẢO CỔ HỌC Spécialité: Réseaux et Systèmes Communicants (RSC) Code: Programme pilot HANOI - 2016 TIEU LUAN MOI download : [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác.

Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Fait à Hanoi, le 25 octobre 2016 Hà Nội, Ngày 25 tháng 10 năm 2016 HOÀNG Yến TIEU LUAN MOI download : [e-mail] Sommaire Remerciements. iv Liste des abréviations .2 Contexte et Cadre d’étude.4 Objectifs de stage .1 Système informatique en archéologie .2 Terminologies en archéologie .3 Le type de données .5 Base de données d’un système informatique de l'archéologie. 8 Indexation de données .1 Stockage des données .2 Indexation de données .3 Organisation des index .4 Index de document .5 Indexation spatial et R-Trees.

25 Proposition de modèle. 25 TIEU LUAN MOI download : skknchat@gmail.1 Outils de projet.2 Architecture de fonctions .3 Relation de données dans la base de données .2 Sécurité des données .3 Représentation de données.4 Recherche par les champs .5 Recherche plein-textes .6 Index inversé de la recherche plein-texte (FTS) .8 Indexation de fichier .9 Accès et indexation du type données géométriques .10 Organisation des Hyperliens .11 Indexation des données de fichier PDF .1 Implémentation l’index dans le SQLite .2 Indexation sur une petite table .3 Indexation sur une grande table .4 B-Trees dans SQLite. 53 Conclusion et perspectives. 58 Perspectives et limitations.

60 TIEU LUAN MOI download : [e-mail] Remerciements Je tiens à remercier toutes les personnes qui ont participé à la réussite de mon stage, l’équipe pédagogique de L'Institut Francophone International (IFI), l’Université Nationale du Vietnam à Hanoi, monsieur Nguyễn Hồng Quang et monsieur Hồ Tường Vinh. Je voudrais remercier le professeur Nguyễn Quý Đạo qui m'a beaucoup aidé dans ma recherche de stage. Je voudrais remercier monsieur Marc Daniel, professeur, LSIS UMR 7296 qui m'a beaucoup aidé à obtenir le visa français, m'a permis de postuler et m’a donné l’occasion de faire le stage en France. Je tiens à remercier monsieur Romain Raffin, maître de Conférences Informatique, LSIS UMR 7296 qui, en tant que tuteur, m’a encadrée et s'est toujours montré à l'écoute et très disponible tout au long de la réalisation de ce projet.

Grâce aussi à sa confiance, j'ai pu accomplir mes missions. Enfin, je souhaiterais remercier toutes les personnes : ma famille, mes amis de l’IUT IFI qui m'ont toujours soutenu et encouragé au cours de la réalisation de ce mémoire. ii TIEU LUAN MOI download : [e-mail] Résumé Les données dans l’archéologie sont généralement trop volumineuses en mémoire. Le problème est d’accéder aux données, de trouver rapidement des données liées à une application client / serveur d'archéologie.

L'architecture client-serveur est une solution bien connue pour l'accès de plusieurs utilisateurs à un seul serveur. Il nous permet de travailler en ligne. Aujourd'hui, nous pouvons afficher des documents, des artefacts, des statues ou marcher dans un ancien bâtiment avec la combinaison du modèle client/serveur et des données dans un système informatique d’archéologie. Dans ce document, nous étudions l'indexation des données d'archéologie.

Le but de l’indexation est l’organisation des données pour l’accès rapide aux objets en réduisant l’espace de recherche. Des données d'archéologie sont des images, des documents, des maillages en trois-dimensions 3D et sont sauvegardées sur la base de données ou dans un dossier sur un serveur. Nous avons fait une étude théorique et pratique sur la méthode d’indexation de données où nous allons nous concentrer sur l’index hiérarchique, l’index B-trees et l’indexation de recherche plein-texte (FTS). Les données ont été recherchées par le soutien du réseau.

En plus, nous étudions également l'organisation et l’indexation de données hors ligne par PDF dans le côté du client. ______________________________________________________________________________________ Mots-clés : stockage des données, indexation des données pour l'archéologie, maillage 3D, modèle client-serveur, B-trees index, R-trees index, recherche plein-texte, 3D en archéologie, données géométriques, SQLite, NodeJS. iii TIEU LUAN MOI download : [e-mail] Abstract The data in archeology generally occupies a large space in memory. The problem is how to access data quickly to find data in a model client / server.

The client-server architecture is a well-known solution for the access of multiple users to a single server. It allows us to work online. Today, we can see documents, artifacts, statues or walking in an old building with the combination of the client / server model and data in an informatics system of archaeology. In this paper, we study about indexing for archaeological data.

The goal of indexing is accessing quickly to objects by reducing space of searching. Archaeological data are images, documents, three-dimensional objects 3D, and keywords that are stored on a folder or database of sever. We did a theoretical and practical study on the data indexing method where we will concentrate on the hierarchical index, the B-trees index, and the full-text search indexing (FTS). Data are searched by the support of network.

In addition, we also studied the organization and indexing offline par PDF in the client side. ______________________________________________________________________________________ Keywords : data storage, indexing data for archeology, 3D mesh, client-server model, full text search, index B-trees, R-trees index, 3D archeology, geometrical data, SQLite, NodeJS. iv TIEU LUAN MOI download : [e-mail] Liste des abréviations 2D Two Dimensional 3D Three Dimensional API Application Programming Interface B-trees balanced tree CSV Comma Separated Values format (Data file) DB Data base Doc Document FTS Full text search Id Identification HTML HyperText Markup Language Node.js Node JavaScript JADE Java Agent Development Environment JSON Javascript Object Notation ODT OpenOffice OS Operator System PDF Portable Document Format SQLite Sqlite Database File R-trees rectangle tree SQL Structured Query Language WKT Well-Known Text v TIEU LUAN MOI download : [e-mail] Chapitre 1 Introduction Générale 1.1 Introduction Nous allons montrer une partie du projet Eloquenzior réalisé dans mon stage dans ce document. Le stage a contribuée au projet d’archéologie Eloquenzior sur les interfaces, la fonction d’affichage, management, la recherche et l’organisation des données d’archéologie sur les nouvelles techniques de developpement Web, Express, Jade, Node.Js, Sqlite…Dans ce mémoire, nous allons montrer les méthodes d’indexation de données, la recherche par l’index inversé pour la fonction de la recherche plein-texte et l’affichage et l'organisation des données textuelle, des documents, des images, des objets 3D, également l’indexation de données hors ligne par PDF dans le côté du client.

Tout au long de ce mémoire, nous organisons ce rapport en six sections. Dans le chapitre 1, nous allons représenter l’introduction générale, le contexte, le problématique, l’objectif de stage. Après, dans le chapitre 2, nous allons introduire les concepts de l’archéologie et des données archéologiques. Dans le chapitre 3, nous allons montrer le stockage des données, les concepts et la méthode d’indexation de données.

Suite, nous allons présenter la proposition du modèle dans le chapitre 4. Dans le chapitre 5, l’implémentation de l’application, les outils utilisés serons démontrés. Dans le chapitre 6, nous allons faire l’expérimentation d’indexation, l’analyse et l’évaluation des méthodes également. Enfin, nous allons conclure le rapport et montrer des perspectives.2 Contexte et Cadre d’étude Le stage est effectué dans le cadre du projet Eloquenzior (projet AMIDEX d'Aix-Marseille Université) de LSIS UMR 7296 (Laboratoire des Sciences de l’Information et des Système Marseille, France).

Eloquenzior est un projet du patrimoine numérique. Le projet est dans un projet plus large d’analyse du décor sculpté du site de Delphes en Grèce. Le projet est axé sur l'étude de deux anciens monuments pour leur importance historique : la Tholos à Delphes (Grèce), le Temple Attis à Zama Regia (Tunisie). Le partenaire du projet est le Centre Camille Jullian (Histoire et archéologie de la Méditerranée et de l'Afrique du Nord, de la protohistoire à la fin de l'Antiquité, UMR 7299 - AMU / CNRS / 1 TIEU LUAN MOI download : [e-mail] MCC), Aix-en-Provence, France.

Le projet Eloquenzior, soutenu et financé par l'Université d'Aix-Marseille (AMIDEX Fondation), vise à promouvoir une réflexion interdisciplinaire, l'extraction et l'analyse des informations contenues dans les formulaires numérisés qui peuvent laisser émerger de nouveaux mécanismes d'analyse d'objets du patrimoine, de l'exploration de nouvelles méthodes de mesure propriétés géométriques, et la traduction ces propriétés en «signatures» morphologiques. En outre, l'analyse détaillée des formes peut se permettre d'aller jusqu'à l'analyse de la façon dont elles ont été produites, et ainsi les classer selon les différentes écoles. Elle pourrait également aider à permettre la reconnaissance de nombreux fragments non identifiés, qui pourraient être appariés par leurs signatures morphologiques et technologiques. En effet, afin de limiter, au moins initialement, les observations et les descriptions dont l'interprétation peut bénéficier sont une accumulation importante de théories (vocabulaire contrôlé).

L'équipe effectuera des expériences sur deux objets d'avant-garde historique, riche en informations, avec un patrimoine symbolique fort et particulièrement approprié pour les reconstructions 3D virtuelles, aussi bien pour les scientifiques que pour le grand public. Le projet regroupe des scientifiques de l'informatique graphique, de l'archéologie et de la numérisation tri-dimensionnelle. Le sujet proposé est donc un point de départ qui pourra s’élargir au fur et à mesure des résultats obtenus.3 Problématique Dans le domaine de la base de données, il est important de stocker les données en agençant pour y accéder rapidement. Des données volumineuses occupent beaucoup de mémoire pour les stocker.

L’objet de notre recherche est l’indexation des données pour l’archéologie. L’indexation est une façon d’organisation des données pour accéder aux informations rapidement. Les documents sont stockés dans un dossier sur le serveur et une partie des informations des documents sont stockées dans des bases de données, par l’intermédiaire de laquelle on peut accéder au contenu des collections documentaires. Deux problèmes fondamentaux peuvent être retirés de l’analyse des traitements des données dans notre étude : l’indexation, puis leur recherche.

L’accès au contenu des documents, des images et données trois dimensions (3D) nécessite en effet une indexation. D’un autre côté, dans le système de l’informatique, un problème est la sauvegarde des documents et des informations pour éviter la perte des données. On doit définir des liens entre des informations. 2 TIEU LUAN MOI download : [e-mail] Une information perdue peut provoquer plusieurs autres informations inaccessibles.

Le système doit gérer des relations, des règles, des rôles qui permettent d’organiser les connaissances exploitées. Des données peuvent être stockées dans plusieurs endroits dans des fichiers ou des bases de données sur des clients ou un serveur. Cela permet à l'utilisateur d’accéder facilement et rapidement aux données. Un modèle client/serveur permet à l’utilisateur d’accéder aux données en ligne.

Le stockage dans un serveur en ligne permet de partager et mettre à jour des données rapidement. Un utilisateur peut explorer des artefacts et des patrimoines à la maison. Mais des archéologues ne peuvent pas rester dans le bureau tous les jours. Ils peuvent aller à la recherche des artefacts dans un lieu éloigné comme le désert africain où manque l’internet.

Alors, on étude une façon de sauvegarder des données dans un répertoire sur l’ordinateur de client pour la recherche hors ligne. Des données dans les fichiers hors ligne sont organisées et soutenues par un index pour rechercher rapidement. La deuxième problématique est la recherche et l’accès des informations, nous devons étudier des méthodes pour la recherche des données, donc nous étudions la méthode d’indexation inversée pour la recherche plein-texte.