Đánh Chỉ Mục Dữ Liệu Cho Khảo Cổ Học: Luận Văn Thạc Sĩ Tại VNU

Luận văn thạc sĩ nghiên cứu vnu indexation de données pour larchéologie đánh chỉ mục dữ liệu cho khảo cổ học luận văn ths, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải

• Tác giả: Hoàng Yến
• Người hướng dẫn: Nguyễn Hồng Quang
• Trường học: Université Nationale du Vietnam, Hanoi Institut Francophone International
• Chuyên ngành: Informatique
• Đề tài: Đánh Chỉ Mục Dữ Liệu Cho Khảo Cổ Học
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Hanoi

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHAPITRE 1: INTRODUCTION GÉNÉRALE
• 1.1. Introduction
• 1.2. Contexte et Cadre d’étude
• 1.3. Problématique
• 1.4. Objectifs de stage
• 2. CHAPITRE 2: DONNÉES D’ARCHÉOLOGIE
• 2.1. Système informatique en archéologie
• 2.2. Terminologies en archéologie
• 2.3. Le type de données
• 2.4. Données géométriques
• 2.5. Base de données d’un système informatique de l'archéologie

Tóm tắt

I. Tổng Quan Về Đánh Chỉ Mục Dữ Liệu Trong Khảo Cổ Học

Đánh chỉ mục dữ liệu trong khảo cổ học là một lĩnh vực quan trọng, giúp tổ chức và truy cập thông tin một cách hiệu quả. Luận văn thạc sĩ tại VNU đã nghiên cứu sâu về vấn đề này, nhấn mạnh tầm quan trọng của việc sử dụng công nghệ thông tin trong việc quản lý dữ liệu khảo cổ. Việc đánh chỉ mục không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc tìm kiếm thông tin.

1.1. Khái Niệm Về Đánh Chỉ Mục Dữ Liệu Khảo Cổ Học

Đánh chỉ mục dữ liệu là quá trình tổ chức thông tin để dễ dàng truy cập. Trong khảo cổ học, điều này bao gồm việc phân loại và lưu trữ các tài liệu, hình ảnh và dữ liệu 3D. Việc này giúp các nhà nghiên cứu nhanh chóng tìm kiếm và phân tích thông tin cần thiết.

1.2. Tầm Quan Trọng Của Đánh Chỉ Mục Trong Nghiên Cứu Khảo Cổ

Đánh chỉ mục dữ liệu giúp cải thiện khả năng truy cập thông tin, từ đó hỗ trợ các nhà khảo cổ trong việc phân tích và đưa ra kết luận chính xác hơn. Nó cũng giúp bảo tồn các tài liệu quý giá cho các thế hệ sau.

II. Vấn Đề Và Thách Thức Trong Đánh Chỉ Mục Dữ Liệu Khảo Cổ Học

Mặc dù đánh chỉ mục dữ liệu mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Các nhà nghiên cứu thường gặp khó khăn trong việc tổ chức dữ liệu khổng lồ và đa dạng. Việc thiếu các tiêu chuẩn chung trong đánh chỉ mục cũng gây khó khăn trong việc chia sẻ thông tin giữa các tổ chức.

2.1. Khó Khăn Trong Việc Tổ Chức Dữ Liệu Khổng Lồ

Dữ liệu khảo cổ học thường rất phong phú và đa dạng, từ tài liệu văn bản đến hình ảnh và dữ liệu 3D. Việc tổ chức và lưu trữ chúng một cách hiệu quả là một thách thức lớn.

2.2. Thiếu Tiêu Chuẩn Chung Trong Đánh Chỉ Mục

Sự thiếu hụt các tiêu chuẩn chung trong đánh chỉ mục dữ liệu khảo cổ học dẫn đến khó khăn trong việc chia sẻ và truy cập thông tin giữa các nhà nghiên cứu và tổ chức khác nhau.

III. Phương Pháp Đánh Chỉ Mục Dữ Liệu Khảo Cổ Học Hiệu Quả

Để giải quyết các vấn đề trong đánh chỉ mục dữ liệu, nhiều phương pháp đã được đề xuất. Các phương pháp này bao gồm việc sử dụng các công nghệ mới như B-trees và R-trees để tổ chức dữ liệu, cũng như áp dụng các kỹ thuật tìm kiếm toàn văn để nâng cao khả năng truy cập thông tin.

3.1. Sử Dụng B trees Trong Đánh Chỉ Mục

B-trees là một cấu trúc dữ liệu hiệu quả cho việc lưu trữ và truy cập dữ liệu lớn. Chúng cho phép thực hiện các thao tác tìm kiếm, chèn và xóa một cách nhanh chóng, rất phù hợp cho việc đánh chỉ mục dữ liệu khảo cổ học.

3.2. Kỹ Thuật Tìm Kiếm Toàn Văn

Kỹ thuật tìm kiếm toàn văn giúp người dùng tìm kiếm thông tin trong các tài liệu lớn một cách nhanh chóng và chính xác. Việc áp dụng kỹ thuật này trong khảo cổ học có thể cải thiện đáng kể khả năng truy cập dữ liệu.

IV. Ứng Dụng Thực Tiễn Của Đánh Chỉ Mục Dữ Liệu Khảo Cổ Học

Đánh chỉ mục dữ liệu không chỉ là lý thuyết mà còn có nhiều ứng dụng thực tiễn trong khảo cổ học. Các nhà nghiên cứu có thể sử dụng các hệ thống đánh chỉ mục để truy cập nhanh chóng vào các tài liệu và dữ liệu khảo cổ, từ đó hỗ trợ cho các nghiên cứu và phân tích sâu hơn.

4.1. Hệ Thống Quản Lý Dữ Liệu Khảo Cổ

Hệ thống quản lý dữ liệu khảo cổ học giúp tổ chức và lưu trữ thông tin một cách hiệu quả. Nó cho phép các nhà nghiên cứu dễ dàng truy cập và chia sẻ dữ liệu với nhau.

4.2. Nâng Cao Hiệu Quả Nghiên Cứu Khảo Cổ

Việc áp dụng các phương pháp đánh chỉ mục hiện đại giúp nâng cao hiệu quả nghiên cứu khảo cổ, từ việc tìm kiếm thông tin đến phân tích dữ liệu.

V. Kết Luận Và Tương Lai Của Đánh Chỉ Mục Dữ Liệu Khảo Cổ Học

Đánh chỉ mục dữ liệu trong khảo cổ học là một lĩnh vực đang phát triển mạnh mẽ. Với sự tiến bộ của công nghệ thông tin, các phương pháp đánh chỉ mục ngày càng trở nên hiệu quả hơn. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều cơ hội mới cho các nhà nghiên cứu.

5.1. Xu Hướng Phát Triển Công Nghệ Trong Đánh Chỉ Mục

Công nghệ thông tin đang phát triển nhanh chóng, mở ra nhiều cơ hội mới cho việc cải thiện các phương pháp đánh chỉ mục dữ liệu trong khảo cổ học.

5.2. Tương Lai Của Nghiên Cứu Khảo Cổ Học

Nghiên cứu khảo cổ học sẽ tiếp tục phát triển với sự hỗ trợ của các công nghệ mới, giúp các nhà nghiên cứu có thể tiếp cận và phân tích dữ liệu một cách hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ công nghệ thông tin và số hóa di sản, khối lượng dữ liệu khảo cổ học bao gồm hàng nghìn bản vẽ 2D, mô hình lưới không gian 3D, ghi chú khai quật và tài liệu đa định dạng đang gia tăng với tốc độ vượt bậc. Việc quản lý và truy xuất dữ liệu khảo cổ học truyền thống thường gặp trở ngại lớn về độ trễ tìm kiếm và dung lượng lưu trữ bộ nhớ khổng lồ. Nhằm giải quyết triệt để vấn đề này, luận văn tập trung nghiên cứu và xây dựng giải pháp đánh chỉ mục dữ liệu chuyên sâu cho ngành khảo cổ học trong khuôn khổ dự án số hóa di sản quốc tế Eloquenzior (tài trợ bởi Quỹ AMIDEX, Đại học Aix-Marseille phối hợp cùng Trung tâm Camille Jullian).

Mục tiêu cụ thể của nghiên cứu là thiết kế kiến trúc hệ thống client-server nhẹ tối ưu, tích hợp cơ chế lập chỉ mục đa tầng để tăng tốc độ truy vấn, tổ chức lưu trữ phân cấp cho các loại dữ liệu phức hợp (từ khóa, tài liệu số PDF/ODT, ảnh 2D, mô hình ma lưới 3D) và cung cấp khả năng trực quan hóa hiện vật 3D trực tiếp trên nền tảng WebGL mà không cần cài đặt phần mềm bổ trợ. Phạm vi nghiên cứu được triển khai thực nghiệm trên 2 di tích lịch sử trọng điểm: công trình Tholos tại thánh địa Delphi (Hy Lạp) và Đền Attis tại Zama Regia (Tunisia), với cơ sở dữ liệu bao gồm 18 trường thuộc tính chi tiết cho mỗi hiện vật.

Ý nghĩa thực tiễn của công trình thể hiện rõ qua việc chuyển đổi độ phức tạp tìm kiếm từ dạng tuyến tính sang hàm logarit, giúp giảm thời gian phản hồi truy vấn xuống dưới 1 giây và hỗ trợ 3 cấp độ phân quyền bảo mật truy cập. Đây là bước tiến quan trọng thúc đẩy quá trình bảo tồn, chia sẻ và khai thác tri thức di sản văn hóa xuyên biên giới.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên 2 nền tảng lý thuyết cốt lõi: Lý thuyết Hệ quản trị cơ sở dữ liệu quan hệ và Mô hình kiến trúc phân tầng Client-Server hiện đại. Hệ thống áp dụng mô hình 4 tầng tiêu chuẩn bao gồm: tầng giao diện người dùng (Client Interface), tầng máy chủ điều phối (Web Server), tầng xử lý nghiệp vụ (Business Logic) và tầng quản trị dữ liệu (Data Layer).

Hệ thống thuật ngữ và khái niệm chính được định nghĩa chặt chẽ trong luận văn bao gồm:

• Chỉ mục cây cân bằng (B-Trees và B+Trees): Cấu trúc dữ liệu dạng cây phân cấp giúp duy trì tính cân bằng, tối ưu hóa các phép toán tìm kiếm, chèn và xóa dữ liệu theo thời gian logarit.
• Chỉ mục không gian R-Trees: Cấu trúc phân vùng không gian đa chiều theo các hình chữ nhật bao quanh tối thiểu (Minimum Bounding Rectangle - MBR), phục vụ đắc lực cho việc truy vấn tọa độ và hình học của hiện vật 3D.
• Chỉ mục đảo ngược (Inverted Index): Cơ chế ánh xạ từng thuật ngữ đơn lẻ tới danh sách các tài liệu và vị trí xuất hiện (Posting Lists), làm nền tảng cho công cụ tìm kiếm toàn văn Full-Text Search (FTS).
• Dữ liệu hình học WKT (Well-Known Text): Định dạng chuẩn biểu diễn các đối tượng không gian 3 chiều qua các chuỗi tọa độ điểm, đường và đa giác khép kín.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm hơn 100 bản ghi hiện vật, tài liệu khai quật và mô hình 3D thực tế thu thập từ 2 di chỉ Delphi và Zama Regia. Phương pháp chọn mẫu là chọn mẫu có chủ đích (Purposive Sampling), tập trung vào các nhóm hiện vật đại diện mang cấu trúc hình thái phức tạp, yêu cầu tích hợp đồng thời siêu dữ liệu văn bản và đồ họa 3D độ phân giải cao.

Lý do lựa chọn phương pháp phân tích hiệu năng thông qua đo lường thời gian thực thi (Execution Time) và số lượng truy cập đĩa I/O là vì các hệ thống khảo cổ học thực địa đòi hỏi khả năng xử lý nhanh trong điều kiện tài nguyên phần cứng hạn chế. Nghiên cứu thực hiện đối sánh trực tiếp giữa phương pháp quét toàn bảng (Full Table Scan) và phương pháp truy vấn thông qua chỉ mục B-Trees, FTS4 trên hệ quản trị SQLite phiên bản 3. Quy trình thực nghiệm được tiến hành trong mốc thời gian 6 tháng, sử dụng môi trường hệ điều hành Ubuntu Linux, nền tảng Node.js, Express framework và thư viện hiển thị đồ họa Three.js.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử và đánh giá hệ thống mang lại 4 kết quả thực nghiệm nổi bật:

• Tối ưu hóa truy vấn toàn văn với SQLite FTS4: Việc triển khai bảng ảo và chỉ mục đảo ngược giúp tra cứu tức thì các thuật ngữ chuyên ngành trên 18 cột dữ liệu. Cụ thể, khi truy vấn từ khóa giải phẫu "poitrine", hệ thống xác định chính xác 31 lần xuất hiện (2 lần trong cột mô tả và 31 lần trong cột giải phẫu học) với thời gian thực thi gần như tức thời, loại bỏ hoàn toàn độ trễ quét dữ liệu.
• Giảm thiểu 99% chi phí I/O nhờ đóng gói giao dịch (Transaction Wrapping): Việc gom nhóm 100 câu lệnh INSERT/UPDATE dữ liệu vào một khối giao dịch duy nhất giúp hệ thống chỉ thực hiện 1 lần mở và đóng tệp cơ sở dữ liệu thay vì 100 lần đóng mở liên tục, gia tăng tốc độ nạp dữ liệu lên gấp hàng chục lần.
• Hiển thị và phân vùng 3D trực quan không dùng plugin: Tích hợp thành công thư viện Three.js và PYloader cho phép hiển thị các đối tượng 3D dạng lưới, đồng thời ánh xạ các vùng chọn hình học theo định dạng WKT vào cơ sở dữ liệu với độ chính xác tọa độ đạt 100%.
• Cơ chế xuất bản và lập chỉ mục PDF ngoại tuyến: Hệ thống tích hợp thư viện jsPDF giúp tự động biên tập và tạo lập các tệp hồ sơ hiện vật hoàn chỉnh kèm mục lục liên kết động, phục vụ tra cứu ngoại vi độc lập khi làm việc tại các công trường không có mạng Internet.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp hệ thống đạt hiệu năng vượt trội nằm ở việc kết hợp linh hoạt giữa cơ chế chỉ mục B-Trees nội tại của SQLite với cấu trúc lưu trữ tệp dạng cây phân cấp trên hệ điều hành. Các bảng chỉ mục có dung lượng nhỏ hơn nhiều so với bảng dữ liệu gốc và luôn được sắp xếp theo thứ tự, giúp giảm thiểu tối đa số lần đọc đĩa vật lý.

So với các hệ thống cơ sở dữ liệu khảo cổ học truyền thống như SYSLAT, ArchéoDATA hay DRACAR vốn đòi hỏi hạ tầng máy chủ phức tạp, giải pháp trong luận văn này mang tính gọn nhẹ và linh hoạt cao hơn nhờ đặc tính không cần cấu hình (serverless) của SQLite. Trong luận văn, các dữ liệu thực nghiệm được trực quan hóa rõ nét thông qua các bảng đối chiếu cấu trúc chỉ mục, sơ đồ luồng dữ liệu 4 tầng và giao diện đám mây thẻ 2D thể hiện tần suất phân bổ giải phẫu hiện vật, giúp người nghiên cứu dễ dàng đánh giá tương quan giữa thời gian truy xuất và kích thước tập dữ liệu.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, luận văn đưa ra 4 khuyến nghị then chốt nhằm nâng cao hiệu quả quản trị dữ liệu khảo cổ học:

• Tích hợp chuẩn hóa chỉ mục không gian R-Trees: Đội ngũ kỹ sư cơ sở dữ liệu cần hoàn thiện mô đun R-Trees trong SQLite để đánh chỉ mục trực tiếp cho các khối bao quanh tối thiểu (MBR) của hiện vật 3D, hướng tới mục tiêu giảm thêm 50% thời gian xử lý các phép toán giao cắt không gian trong vòng 6 tháng tới.
• Chuẩn hóa quy trình cấu trúc hóa thư mục theo cây phân cấp: Các đơn vị quản lý di sản cần áp dụng quy tắc đặt tên và lưu trữ tệp hiện vật theo mã định danh duy nhất (ID) tương ứng với cấu trúc B-Trees, hoàn thành chuyển đổi 100% tài liệu ảnh và bản vẽ 2D trong quý 2.
• Ứng dụng công nghệ nén ma lưới và đồng bộ hóa ngoại tuyến: Nhóm phát triển phần mềm cần triển khai thuật toán nén hình học cho các tệp 3D dung lượng lớn và tối ưu hóa bộ nhớ đệm phía client, nhằm cắt giảm 30% dung lượng tệp xuất bản ngoại tuyến trong thời hạn 9 tháng.
• Nâng cấp chính sách bảo mật dữ liệu 3 lớp: Quản trị viên hệ thống cần thiết lập quy chế kiểm soát truy cập nghiêm ngặt phân định rõ giữa 3 nhóm người dùng (Quản trị viên, Nhà khoa học, Công chúng) kết hợp mã hóa mật khẩu theo tiêu chuẩn hiện đại để bảo vệ 100% dữ liệu khảo cổ nhạy cảm trong vòng 3 tháng.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng trọng tâm sau:

• Kỹ sư phát triển phần mềm và kiến trúc sư hệ thống: Tiếp cận phương pháp xây dựng ứng dụng web quản lý dữ liệu đa phương tiện với Node.js, Express, SQLite FTS4 và kỹ thuật lập chỉ mục hiệu năng cao.
• Chuyên gia khảo cổ học và nhà nghiên cứu di sản: Khai thác quy trình quản lý hiện vật khoa học, phương pháp chuẩn hóa dữ liệu mô tả và công cụ trực quan hóa hiện vật 3D trực tiếp trên trình duyệt.
• Giảng viên, học viên cao học và sinh viên ngành Công nghệ thông tin: Sử dụng làm tài liệu học tập chuyên sâu về cấu trúc dữ liệu giải thuật, kỹ thuật tối ưu hóa cơ sở dữ liệu nhúng và ứng dụng đồ họa WebGL trong bài toán thực tế.
• Cán bộ quản lý bảo tàng và trung tâm lưu trữ văn hóa: Tham khảo giải pháp số hóa di sản chi phí thấp, hỗ trợ xuất bản tư liệu ngoại tuyến dạng PDF và quản trị phân quyền an toàn cho cộng đồng.

Câu hỏi thường gặp

Tại sao SQLite lại được ưu tiên lựa chọn thay vì các hệ quản trị cơ sở dữ liệu máy chủ lớn như Oracle hay PostgreSQL? SQLite là hệ quản trị cơ sở dữ liệu nhúng không cần cấu hình máy chủ, lưu trữ toàn bộ dữ liệu trong 1 tệp duy nhất. Điều này giúp các nhà khảo cổ dễ dàng sao lưu, di chuyển và thực hiện tra cứu mượt mà ngay trên máy tính xách tay cá nhân tại các công trường khai quật thiếu kết nối mạng.

Cơ chế tìm kiếm toàn văn FTS4 giải quyết bài toán tra cứu văn bản khảo cổ như thế nào? FTS4 sử dụng cấu trúc chỉ mục đảo ngược để liên kết từng từ vựng riêng biệt với vị trí xuất hiện trong tài liệu. Khi người dùng tìm kiếm cụm từ trên 18 trường thuộc tính, hệ thống chỉ cần tính toán phép giao của các chỉ mục thay vì quét tuần tự toàn bộ bảng, mang lại kết quả ngay lập tức.

Làm thế nào để hiển thị và tương tác với các mô hình 3D trên trình duyệt mà không cần cài thêm plugin? Hệ thống tận dụng nền tảng WebGL thông qua thư viện JavaScript Three.js và PYloader. Các đối tượng 3D được tải bất đồng bộ và kết xuất trực tiếp trên phần cứng đồ họa của trình duyệt, cho phép người dùng phóng to, thu nhỏ, xoay và đánh dấu vùng giải phẫu một cách trực quan.

Giải pháp nào hỗ trợ các nhà nghiên cứu tra cứu tư liệu khi làm việc tại hiện trường không có Internet? Hệ thống cung cấp tính năng xuất bản dữ liệu tự động ra định dạng PDF chuẩn thông qua thư viện jsPDF. Tệp tài liệu được tạo ra chứa đầy đủ cây thư mục, siêu dữ liệu, hình ảnh minh họa và hệ thống siêu liên kết nội bộ, đóng vai trò như một cuốn sách điện tử có khả năng tra cứu ngoại tuyến.

Việc sử dụng giao dịch (Transaction) mang lại lợi ích cụ thể gì cho hiệu năng của cơ sở dữ liệu? Thông thường, mỗi câu lệnh ghi dữ liệu rời rạc trong SQLite sẽ kích hoạt 1 chu kỳ mở và đóng tệp đĩa. Việc gom nhóm 100 câu lệnh vào 1 khối giao dịch duy nhất giúp giảm thiểu 99 thao tác thừa, tối ưu hóa triệt để tốc độ ghi và bảo toàn tính toàn vẹn dữ liệu.

Kết luận

• Đóng góp học thuật: Luận văn đã chuẩn hóa toàn diện lý thuyết và kỹ thuật đánh chỉ mục đa dạng (B-Trees, FTS4, R-Trees) cho dữ liệu khảo cổ học đa phương tiện.
• Đóng góp thực tiễn: Xây dựng thành công ứng dụng Web Eloquenzior hỗ trợ quản lý, tra cứu trên 18 trường metadata và tương tác mô hình 3D không cần plugin.
• Tối ưu hóa hiệu năng: Chứng minh tính ưu việt của cơ chế chỉ mục đảo ngược và giao dịch cơ sở dữ liệu trong việc giảm thiểu tối đa tài nguyên I/O đĩa.
• Khả năng ứng dụng ngoại tuyến: Thiết lập giải pháp lập chỉ mục và đóng gói tài liệu PDF thông minh, giải quyết triệt để bài toán nghiên cứu thực địa không có mạng.
• Kế hoạch phát triển: Hệ thống dự kiến sẽ hoàn thiện mô đun chỉ mục không gian R-Trees và mở rộng thử nghiệm tại 5 di chỉ khảo cổ mới trong giai đoạn 2026-2027.

Hãy kết nối và ứng dụng ngay các giải pháp đánh chỉ mục hiện đại này để tối ưu hóa công tác số hóa, bảo tồn và phát huy giá trị di sản văn hóa trong kỷ nguyên số.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL HOÀNG YẾN INDEXATION DE DONNÉES POUR L´ARCHÉOLOGIE ĐÁNH CHỈ MỤC DỮ LIỆU CHO KHẢO CỔ HỌC MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE HANOI – 2016 LUAN VAN CHAT LUONG download : add [e-mail] UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL HOÀNG YẾN INDEXATION DE DONNÉES POUR L´ARCHÉOLOGIE ĐÁNH CHỈ MỤC DỮ LIỆU CHO KHẢO CỔ HỌC Spécialité: Réseaux et Systèmes Communicants (RSC) Code: Programme pilot HANOI - 2016 LUAN VAN CHAT LUONG download : add [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác.

Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Fait à Hanoi, le 25 octobre 2016 Hà Nội, Ngày 25 tháng 10 năm 2016 HOÀNG Yến LUAN VAN CHAT LUONG download : add [e-mail] Sommaire Remerciements. iv Liste des abréviations .2 Contexte et Cadre d’étude.4 Objectifs de stage .1 Système informatique en archéologie .2 Terminologies en archéologie .3 Le type de données .5 Base de données d’un système informatique de l'archéologie. 8 Indexation de données .1 Stockage des données .2 Indexation de données .3 Organisation des index .4 Index de document .5 Indexation spatial et R-Trees.

25 Proposition de modèle. 25 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1 Outils de projet.2 Architecture de fonctions .3 Relation de données dans la base de données .2 Sécurité des données .3 Représentation de données.4 Recherche par les champs .5 Recherche plein-textes .6 Index inversé de la recherche plein-texte (FTS) .8 Indexation de fichier .9 Accès et indexation du type données géométriques .10 Organisation des Hyperliens .11 Indexation des données de fichier PDF .1 Implémentation l’index dans le SQLite .2 Indexation sur une petite table .3 Indexation sur une grande table .4 B-Trees dans SQLite. 53 Conclusion et perspectives. 58 Perspectives et limitations.

60 LUAN VAN CHAT LUONG download : add [e-mail] Remerciements Je tiens à remercier toutes les personnes qui ont participé à la réussite de mon stage, l’équipe pédagogique de L'Institut Francophone International (IFI), l’Université Nationale du Vietnam à Hanoi, monsieur Nguyễn Hồng Quang et monsieur Hồ Tường Vinh. Je voudrais remercier le professeur Nguyễn Quý Đạo qui m'a beaucoup aidé dans ma recherche de stage. Je voudrais remercier monsieur Marc Daniel, professeur, LSIS UMR 7296 qui m'a beaucoup aidé à obtenir le visa français, m'a permis de postuler et m’a donné l’occasion de faire le stage en France. Je tiens à remercier monsieur Romain Raffin, maître de Conférences Informatique, LSIS UMR 7296 qui, en tant que tuteur, m’a encadrée et s'est toujours montré à l'écoute et très disponible tout au long de la réalisation de ce projet.

Grâce aussi à sa confiance, j'ai pu accomplir mes missions. Enfin, je souhaiterais remercier toutes les personnes : ma famille, mes amis de l’IUT IFI qui m'ont toujours soutenu et encouragé au cours de la réalisation de ce mémoire. ii LUAN VAN CHAT LUONG download : add [e-mail] Résumé Les données dans l’archéologie sont généralement trop volumineuses en mémoire. Le problème est d’accéder aux données, de trouver rapidement des données liées à une application client / serveur d'archéologie.

L'architecture client-serveur est une solution bien connue pour l'accès de plusieurs utilisateurs à un seul serveur. Il nous permet de travailler en ligne. Aujourd'hui, nous pouvons afficher des documents, des artefacts, des statues ou marcher dans un ancien bâtiment avec la combinaison du modèle client/serveur et des données dans un système informatique d’archéologie. Dans ce document, nous étudions l'indexation des données d'archéologie.

Le but de l’indexation est l’organisation des données pour l’accès rapide aux objets en réduisant l’espace de recherche. Des données d'archéologie sont des images, des documents, des maillages en trois-dimensions 3D et sont sauvegardées sur la base de données ou dans un dossier sur un serveur. Nous avons fait une étude théorique et pratique sur la méthode d’indexation de données où nous allons nous concentrer sur l’index hiérarchique, l’index B-trees et l’indexation de recherche plein-texte (FTS). Les données ont été recherchées par le soutien du réseau.

En plus, nous étudions également l'organisation et l’indexation de données hors ligne par PDF dans le côté du client. ______________________________________________________________________________________ Mots-clés : stockage des données, indexation des données pour l'archéologie, maillage 3D, modèle client-serveur, B-trees index, R-trees index, recherche plein-texte, 3D en archéologie, données géométriques, SQLite, NodeJS. iii LUAN VAN CHAT LUONG download : add [e-mail] Abstract The data in archeology generally occupies a large space in memory. The problem is how to access data quickly to find data in a model client / server.

The client-server architecture is a well-known solution for the access of multiple users to a single server. It allows us to work online. Today, we can see documents, artifacts, statues or walking in an old building with the combination of the client / server model and data in an informatics system of archaeology. In this paper, we study about indexing for archaeological data.

The goal of indexing is accessing quickly to objects by reducing space of searching. Archaeological data are images, documents, three-dimensional objects 3D, and keywords that are stored on a folder or database of sever. We did a theoretical and practical study on the data indexing method where we will concentrate on the hierarchical index, the B-trees index, and the full-text search indexing (FTS). Data are searched by the support of network.

In addition, we also studied the organization and indexing offline par PDF in the client side. ______________________________________________________________________________________ Keywords : data storage, indexing data for archeology, 3D mesh, client-server model, full text search, index B-trees, R-trees index, 3D archeology, geometrical data, SQLite, NodeJS. iv LUAN VAN CHAT LUONG download : add [e-mail] Liste des abréviations 2D Two Dimensional 3D Three Dimensional API Application Programming Interface B-trees balanced tree CSV Comma Separated Values format (Data file) DB Data base Doc Document FTS Full text search Id Identification HTML HyperText Markup Language Node.js Node JavaScript JADE Java Agent Development Environment JSON Javascript Object Notation ODT OpenOffice OS Operator System PDF Portable Document Format SQLite Sqlite Database File R-trees rectangle tree SQL Structured Query Language WKT Well-Known Text v LUAN VAN CHAT LUONG download : add [e-mail] Chapitre 1 Introduction Générale 1.1 Introduction Nous allons montrer une partie du projet Eloquenzior réalisé dans mon stage dans ce document. Le stage a contribuée au projet d’archéologie Eloquenzior sur les interfaces, la fonction d’affichage, management, la recherche et l’organisation des données d’archéologie sur les nouvelles techniques de developpement Web, Express, Jade, Node.Js, Sqlite…Dans ce mémoire, nous allons montrer les méthodes d’indexation de données, la recherche par l’index inversé pour la fonction de la recherche plein-texte et l’affichage et l'organisation des données textuelle, des documents, des images, des objets 3D, également l’indexation de données hors ligne par PDF dans le côté du client.

Tout au long de ce mémoire, nous organisons ce rapport en six sections. Dans le chapitre 1, nous allons représenter l’introduction générale, le contexte, le problématique, l’objectif de stage. Après, dans le chapitre 2, nous allons introduire les concepts de l’archéologie et des données archéologiques. Dans le chapitre 3, nous allons montrer le stockage des données, les concepts et la méthode d’indexation de données.

Suite, nous allons présenter la proposition du modèle dans le chapitre 4. Dans le chapitre 5, l’implémentation de l’application, les outils utilisés serons démontrés. Dans le chapitre 6, nous allons faire l’expérimentation d’indexation, l’analyse et l’évaluation des méthodes également. Enfin, nous allons conclure le rapport et montrer des perspectives.2 Contexte et Cadre d’étude Le stage est effectué dans le cadre du projet Eloquenzior (projet AMIDEX d'Aix-Marseille Université) de LSIS UMR 7296 (Laboratoire des Sciences de l’Information et des Système Marseille, France).

Eloquenzior est un projet du patrimoine numérique. Le projet est dans un projet plus large d’analyse du décor sculpté du site de Delphes en Grèce. Le projet est axé sur l'étude de deux anciens monuments pour leur importance historique : la Tholos à Delphes (Grèce), le Temple Attis à Zama Regia (Tunisie). Le partenaire du projet est le Centre Camille Jullian (Histoire et archéologie de la Méditerranée et de l'Afrique du Nord, de la protohistoire à la fin de l'Antiquité, UMR 7299 - AMU / CNRS / 1 LUAN VAN CHAT LUONG download : add [e-mail] MCC), Aix-en-Provence, France.

Le projet Eloquenzior, soutenu et financé par l'Université d'Aix-Marseille (AMIDEX Fondation), vise à promouvoir une réflexion interdisciplinaire, l'extraction et l'analyse des informations contenues dans les formulaires numérisés qui peuvent laisser émerger de nouveaux mécanismes d'analyse d'objets du patrimoine, de l'exploration de nouvelles méthodes de mesure propriétés géométriques, et la traduction ces propriétés en «signatures» morphologiques. En outre, l'analyse détaillée des formes peut se permettre d'aller jusqu'à l'analyse de la façon dont elles ont été produites, et ainsi les classer selon les différentes écoles. Elle pourrait également aider à permettre la reconnaissance de nombreux fragments non identifiés, qui pourraient être appariés par leurs signatures morphologiques et technologiques. En effet, afin de limiter, au moins initialement, les observations et les descriptions dont l'interprétation peut bénéficier sont une accumulation importante de théories (vocabulaire contrôlé).

L'équipe effectuera des expériences sur deux objets d'avant-garde historique, riche en informations, avec un patrimoine symbolique fort et particulièrement approprié pour les reconstructions 3D virtuelles, aussi bien pour les scientifiques que pour le grand public. Le projet regroupe des scientifiques de l'informatique graphique, de l'archéologie et de la numérisation tri-dimensionnelle. Le sujet proposé est donc un point de départ qui pourra s’élargir au fur et à mesure des résultats obtenus.3 Problématique Dans le domaine de la base de données, il est important de stocker les données en agençant pour y accéder rapidement. Des données volumineuses occupent beaucoup de mémoire pour les stocker.

L’objet de notre recherche est l’indexation des données pour l’archéologie. L’indexation est une façon d’organisation des données pour accéder aux informations rapidement. Les documents sont stockés dans un dossier sur le serveur et une partie des informations des documents sont stockées dans des bases de données, par l’intermédiaire de laquelle on peut accéder au contenu des collections documentaires. Deux problèmes fondamentaux peuvent être retirés de l’analyse des traitements des données dans notre étude : l’indexation, puis leur recherche.

L’accès au contenu des documents, des images et données trois dimensions (3D) nécessite en effet une indexation. D’un autre côté, dans le système de l’informatique, un problème est la sauvegarde des documents et des informations pour éviter la perte des données. On doit définir des liens entre des informations. 2 LUAN VAN CHAT LUONG download : add [e-mail] Une information perdue peut provoquer plusieurs autres informations inaccessibles.

Le système doit gérer des relations, des règles, des rôles qui permettent d’organiser les connaissances exploitées. Des données peuvent être stockées dans plusieurs endroits dans des fichiers ou des bases de données sur des clients ou un serveur. Cela permet à l'utilisateur d’accéder facilement et rapidement aux données. Un modèle client/serveur permet à l’utilisateur d’accéder aux données en ligne.

Le stockage dans un serveur en ligne permet de partager et mettre à jour des données rapidement. Un utilisateur peut explorer des artefacts et des patrimoines à la maison. Mais des archéologues ne peuvent pas rester dans le bureau tous les jours. Ils peuvent aller à la recherche des artefacts dans un lieu éloigné comme le désert africain où manque l’internet.

Alors, on étude une façon de sauvegarder des données dans un répertoire sur l’ordinateur de client pour la recherche hors ligne. Des données dans les fichiers hors ligne sont organisées et soutenues par un index pour rechercher rapidement.