Luận văn VNU-UET: So sánh các kỹ thuật nén XML - Đặng Thị Hoàng Anh

Luận văn thạc sĩ nghiên cứu vnu uet tìm hiểu và so sánh một số kỹ thuật nén xml, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực kỹ thuật.

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2014

83
3
0

Phí lưu trữ

30 Point

Mục lục chi tiết

Lời cam đoan

Lời cảm ơn

1. CHƯƠNG 1: TỔNG QUAN XML

1.1. Tổng quan XML

1.2. Ưu điểm của XML

1.3. So sánh XML và HTML

1.3.1. Sự giống nhau giữa XML và HTML

1.3.2. Sự khác nhau giữa XML và HTML

1.4. Cấu trúc tài liệu XML

1.5. Thể hiện tài liệu (Document Instance)

1.6. Khai báo kiểu tài liệu

1.7. Định nghĩa kiểu tài liệu

1.8. Ngôn ngữ định nghĩa lược đồ XML

2. TỔNG QUAN NÉN DỮ LIỆU

2.1. Nén dữ liệu

2.2. Nén tổn hao (lossy compression)

2.3. Nén không tổn hao (lossless compression)

2.4. Một số khái niệm

2.5. Tỷ lệ nén (compression ratio)

2.6. Hiệu suất nén

2.7. Độ dư thừa dữ liệu

2.8. Các kỹ thuật nén XML

2.8.1. Tính năng và phân loại

2.8.2. Các kỹ thuật nén văn bản tổng quát

2.8.3. Các kỹ thuật nén XML không truy vấn

2.8.4. Các kỹ thuật nén XML truy vấn

3. MỘT SỐ KỸ THUẬT NÉN XML

3.1. Tổng quan về XMill

3.2. Kiến trúc của XMill

3.3. Phân chia cấu trúc từ nội dung

3.4. Nhóm các giá trị dữ liệu dựa trên ngữ nghĩa

3.5. Các bộ nén ngữ nghĩa

3.6. Tổng quan về XGrind

3.7. Các kỹ thuật nén được sử dụng trong XGrind

3.8. Quá trình nén siêu dữ liệu

3.9. Quá trình nén giá trị của thuộc tính kiểu liệt kê

3.10. Quá trình nén giá trị của phần tử hoặc thuộc tính tổng quát

3.11. Nén đồng cấu (Homomorphic Compression)

3.12. Kiến trúc của XGrind

3.13. Tổng quan về XAUST

3.14. Mã hóa số học và mô hình ngữ cảnh hữu hạn

3.15. Mô hình ngữ cảnh hữu hạn (Finite Context Modeling)

3.16. Máy tự động hữu hạn xác định

3.17. Quá trình nén và giải nén sử dụng XAUST

3.18. Tổng quan về XSAQCT

3.19. Kiến trúc của XSAQCT

3.20. Quá trình xử lý thuộc tính và nội dung tài liệu được trộn

3.21. Quá trình cài đặt XSAQCT

3.22. Quá trình xây dựng cây chú thích TA,D

3.23. Đặc điểm của cây chú thích TA,D

3.24. Cài đặt cây chú thích TA,D

3.25. Quá trình giải nén của XSAQCT

3.26. Bộ chú thích lại (Reannotator)

3.27. Bộ phục hồi (Restorer)

3.28. Tổng quan về EXI

3.29. Các bit phân biệt. Bit hiện diện cho tùy chọn EXI

3.30. Phiên bản định dạng EXI

4. CÀI ĐẶT THỰC NGHIỆM VÀ SO SÁNH MỘT SỐ KỸ THUẬT NÉN

4.1. Dữ liệu thử nghiệm

4.2. Môi trường cài đặt

4.3. Đo hiệu năng thực hiện. Tỷ lệ nén Compression ratio

4.4. Hiệu suất nén (Compression Performance)

4.5. Thời gian nén (Compression Time)

4.6. Thời gian giải nén Decompression Time

4.7. Kết quả thực nghiệm

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về luận văn thạc sĩ VNU UET về nén XML

Luận văn thạc sĩ VNU UET tìm hiểu và so sánh một số kỹ thuật nén XML là một nghiên cứu quan trọng trong lĩnh vực công nghệ thông tin. Nén XML giúp giảm kích thước dữ liệu, tiết kiệm băng thông và tăng hiệu suất xử lý. Luận văn này sẽ phân tích các kỹ thuật nén khác nhau, từ đó đưa ra những khuyến nghị cho người dùng.

1.1. Giới thiệu về nén XML và tầm quan trọng của nó

Nén XML là quá trình giảm kích thước của tài liệu XML mà không làm mất thông tin. Điều này rất quan trọng trong việc truyền tải dữ liệu qua mạng và lưu trữ. Các kỹ thuật nén giúp cải thiện hiệu suất và giảm chi phí lưu trữ.

1.2. Mục tiêu nghiên cứu của luận văn

Mục tiêu của luận văn là phân tích và so sánh các kỹ thuật nén XML như XMill, XGrind, XAUST, EXI và XSAQCT. Nghiên cứu sẽ cung cấp cái nhìn sâu sắc về hiệu suất và ứng dụng của từng kỹ thuật.

II. Vấn đề và thách thức trong nén XML

Mặc dù nén XML mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Kích thước lớn của tài liệu XML có thể gây khó khăn trong việc xử lý và truyền tải. Hơn nữa, việc lựa chọn kỹ thuật nén phù hợp cũng là một vấn đề quan trọng.

2.1. Các vấn đề liên quan đến kích thước tài liệu XML

Kích thước lớn của tài liệu XML có thể dẫn đến việc tiêu tốn băng thông và thời gian xử lý. Điều này đặc biệt quan trọng trong các ứng dụng yêu cầu truyền tải dữ liệu nhanh chóng.

2.2. Thách thức trong việc lựa chọn kỹ thuật nén

Việc lựa chọn kỹ thuật nén phù hợp phụ thuộc vào nhiều yếu tố như loại dữ liệu, yêu cầu về hiệu suất và khả năng truy vấn. Các kỹ thuật nén khác nhau có ưu nhược điểm riêng, cần được xem xét kỹ lưỡng.

III. Phương pháp nén XML hiệu quả nhất hiện nay

Luận văn sẽ phân tích các phương pháp nén XML hiện đại, bao gồm XMill, XGrind, XAUST, EXI và XSAQCT. Mỗi phương pháp có những đặc điểm riêng, phù hợp với các loại dữ liệu khác nhau.

3.1. Phân tích kỹ thuật nén XMill

XMill là một trong những kỹ thuật nén XML phổ biến nhất, nổi bật với khả năng nén dữ liệu hiệu quả mà không làm mất thông tin. Kỹ thuật này sử dụng các phương pháp nén ngữ nghĩa để giảm kích thước tài liệu.

3.2. Đánh giá kỹ thuật nén XGrind

XGrind cung cấp một cách tiếp cận khác để nén XML, tập trung vào việc tối ưu hóa cấu trúc dữ liệu. Kỹ thuật này cho phép nén dữ liệu mà vẫn giữ nguyên khả năng truy vấn.

3.3. So sánh XAUST và EXI

XAUST và EXI là hai kỹ thuật nén hiện đại, mỗi kỹ thuật có những ưu điểm riêng. XAUST tập trung vào việc nén siêu dữ liệu, trong khi EXI tối ưu hóa cho việc truyền tải dữ liệu qua mạng.

IV. Ứng dụng thực tiễn của các kỹ thuật nén XML

Các kỹ thuật nén XML không chỉ có giá trị lý thuyết mà còn có nhiều ứng dụng thực tiễn trong các lĩnh vực như thương mại điện tử, lưu trữ dữ liệu và truyền tải thông tin.

4.1. Ứng dụng trong thương mại điện tử

Trong thương mại điện tử, việc nén XML giúp giảm thời gian tải trang và cải thiện trải nghiệm người dùng. Các trang web sử dụng nén XML có thể truyền tải dữ liệu nhanh hơn, tiết kiệm băng thông.

4.2. Lưu trữ và quản lý dữ liệu

Nén XML cũng rất hữu ích trong việc lưu trữ dữ liệu. Các tổ chức có thể tiết kiệm không gian lưu trữ và giảm chi phí quản lý dữ liệu bằng cách sử dụng các kỹ thuật nén hiệu quả.

V. Kết luận và hướng phát triển tương lai của nén XML

Luận văn kết luận rằng nén XML là một lĩnh vực quan trọng trong công nghệ thông tin, với nhiều tiềm năng phát triển trong tương lai. Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện hiệu suất và khả năng tương thích của các kỹ thuật nén.

5.1. Tương lai của nén XML

Nén XML sẽ tiếp tục phát triển với sự ra đời của các công nghệ mới. Các nghiên cứu có thể tập trung vào việc tối ưu hóa các thuật toán nén và cải thiện khả năng truy vấn.

5.2. Khuyến nghị cho nghiên cứu tiếp theo

Nên tiến hành các nghiên cứu thực nghiệm để so sánh hiệu suất của các kỹ thuật nén mới. Điều này sẽ giúp người dùng lựa chọn được công cụ nén phù hợp nhất với nhu cầu của họ.

Tóm tắt và mô tả trên trang này được tạo với sự hỗ trợ của AI từ nội dung tài liệu gốc; tài liệu do người dùng đóng góp và được kiểm duyệt trước khi xuất bản. Báo lỗi nội dung.

22/07/2025
Luận văn thạc sĩ vnu uet tìm hiểu và so sánh một số kỹ thuật nén xml

Trích đoạn nội dung tài liệu

Chương 1: TỔNG QUAN XML Chương này giới thiệu về XML, so sánh XML với HTML, cấu trúc và cú pháp khai báo một tài liệu XML. Chương này cũng trình bày khái quát các khái niệm định nghĩa kiểu tài liệu, ngôn ngữ định nghĩa lược đồ và ngôn ngữ định dạng chuyển đổi mở rộng XSLT. Tổng quan XML XML Extensible Markup Language là một ngôn ngữ đánh dấu được dùng để lưu trữ và định nghĩa cấu trúc của dữ liệu thông qua các thẻ có nghĩa. XML được chuẩn hoá bởi liên minh mạng toàn cầu World Wide Web Consortium với mục đích đơn giản hoá quá trình trao đổi dữ liệu giữa các hệ thống khác nhau khác nhau, đặc biệt là các hệ thống được kết nối qua Internet.

Giống như HTML, XML cũng là một tập con của SGML Standard Generalized Markup Language) - ngôn ngữ đánh dấu tổng quát hóa tiêu chuẩn. Ưu điểm của XML Dữ liệu độc lập được mô tả dưới dạng text thông qua các thẻ với cấu trúc và sự phân cấp rõ ràng rõ ràng giúp XML dễ dàng đọc và phân tích bởi con người hay chương trình máy tính. XML cho phép dễ dàng xử lý, chuyển tải, trao đổi dữ liệu giữa nhiều ứng dụng và tài liệu với các định dạng khác nhau. XML c n cung cấp nhiều cách để kiểm tra chất lượng của một tài liệu với các quy tắc cú pháp, kiểm tra liên kết bên trong, so sánh các mô hình tài liệu và các kiểu dữ liệu với nhau.

Với Unicode là bộ ký tự chuẩn, XML hỗ trợ hầu hết các hệ thống văn bản, biểu tượng, ký tự của hầu hết quốc gia trên thế giới. Ngoài ra, XML c n được lưu trữ làm cấu hình cho website hay sử dụng cho phương thức Remote Procedure Calls RPC phục vụ web service. Vì là một chuẩn mở nên XML không gắn liền với bất kỳ công ty hay phần mềm cụ thể nào. So sánh XML và HTML 1.

Sự giống nhau giữa XML và HTML XML và HTML đều dựa trên SGML Standard Generalized Markup Language. Sự khác nhau giữa XML và HTML ảng 1.1: So sánh XML và HTML XML HTML XML được thiết kế cho mục đích lưu trữ HTML được thiết kế cho mục đích trình và chuyển đổi dữ liệu giữa các hệ thống bày dữ liệu. XML dùng để mô tả dữ liệu và chú trọng HTML được dùng để hiển thị dữ liệu và vào nội dung dữ liệu. chú trọng vào việc dữ liệu được hiển thị LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3 như thế nào.

Cho phép người dùng định nghĩa các Các phần tử đã được định nghĩa trước phần tử Kiểm tra tính hợp lệ Hầu như không bắt lỗi Được định nghĩa một cách chặt chẽ Không bắt buộc Các phần từ phải được đóng Các phần tử rỗng không cần phải đóng 1. Cấu trúc tài liệu XML Một tài liệu XML gồm có hai phần: phần thứ nhất là prolog của tài liệu prolog document. Phần này là tùy chọn, lưu trữ thông tin của tài liệu XML bao gồm khai báo XML, định nghĩa kiểu tài liệu DTD, chú thích, các chỉ dẫn xử lý. Phần thứ hai là phần tử gốc root element hay c n gọi là phần tử tài liệu document element).

Phần này chứa tất cả các phần tử con và nội dung của nó, đây là phần bắt buộc phải có trong một tài liệu XML.2: Các thành phần cơ bản của một tài liệu XML <?xml version="1.0" encoding="UTF-8" Khai báo XML standalone="no"?> <!doctype document system Định nghĩa kiểu tài liệu "tutorials.dtd"> Prolog Chú thích <!-- Here is a comment --> (tùy chọn) Các chỉ dẫn xử lý <?xml-stylesheet type="text/css" (Processing Instructions) href="myStyles.css"?> Khoảng trắng Thẻ mở của phần tử gốc <tutorials> <tutorial> <name>XML Tutorial</name> <url>http://www.com/xml</url> Phần tử gốc </tutorial> Các phần tử con và nội dung bắt buộc <tutorial> <name>HTML Tutorial</name> <url>http://www.com/html</url> </tutorial> Thẻ đóng của phần tử gốc </tutorials> Ví dụ 1.1: Biểu diễn một tài liệu XML đơn giản [25] <?xml version="1.0" encoding="UTF-8" standalone="no"?> <!DOCTYPE document system "tutorials.dtd"> <!-- Here is a comment --> <?xml-stylesheet type="text/css" href="myStyles.css"?> <tutorials> LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4 <tutorial> <name>XML Tutorial</name> <url>http://www.com/xml</url> </tutorial> <tutorial> <name>HTML Tutorial</name> <url>http://www.com/html</url> </tutorial> </tutorials> 1. Khai báo XML D ng đầu tiên của một tài liệu XML là khai báo XML. Nó khai báo phiên bản của một đặc tả XML đang được sử dụng.2: Khai báo XML <?xml version="l. Thể hiện tài liệu (Document Instance) Phần của một tài liệu mà bên trong đó dữ liệu được biểu diễn được gọi là một thể hiện tài liệu document instance.

Mỗi document instance sắp xếp thứ tự các thông tin của nó theo cấu trúc phân cấp, được định nghĩa bởi các mối quan hệ giữa các phần tử cha-con. Thông thường các phần từ cha thiết lập một ngữ cảnh và nó được kế thừa bởi các phần tử con.3: Mối quan hệ cha con đơn giản giữa các phần tử trong XML <book> <title>Joy of Integration</title> <author>Joe Smith</author> </book> 1. Thuộc tính (Attribute) Mỗi phần tử cũng có các thuộc tính gọi là attribute. Mỗi phần tử cha có thể có rất nhiều lớp phần tử con lồng nhau, nhưng nó chỉ có quan hệ 1-1 với một thuộc tính.4: Ví dụ thuộc tính category của phần tử <book> <book category=”Fiction”> … </book> 1.

Khai báo kiểu tài liệu Để kết hợp một tài liệu với một lược đồ, một câu lệnh khai báo riêng được yêu cầu. Ví dụ khai báo liên kết đến một DTD trong tài liệu XML.5: Khai báo kiểu tài liệu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5 <!DOCTYPE book SYSTEM "book. Định nghĩa kiểu tài liệu Trong XML, DTD Document Type Definition được sử dụng để định nghĩa cấu trúc tài liệu XML các loại phần tử và mối quan hệ cha-con và tất cả các quy tắc điều khiển, thao tác nội dung tài liệu. Tuy nhiên, không như HTML sử dụng một DTD đã được định nghĩa trước với một tập hợp các loại phần tử cố định, DTD trong XML có thể được tùy chỉnh.6: Mô tả quá trình khai báo một DTD hoàn chỉnh <!DOCTYPE book [ <!ELEMENT book(title,author)> <!ATTLIST book CATEGORY (Fiction | Non-Fiction)> <!ELEMENT title (#PCDATA)> <!ELEMENT author (#PCDATA)> ]> 1.

Ngôn ngữ định nghĩa lược đ XML XSD XML Schema Definition Language là một ngôn ngữ mô hình dữ liệu toàn diện cho các tài liệu XML. Không như DTD, XSD là một cài đặt thực sự của ngôn ngữ XML, các lược đồ bản thân nó chính là tài liệu XML. Một trong những tính năng quan trọng nhất của XSD là hỗ trợ nhiều kiểu dữ liệu. Nó cải thiện chất lượng biểu diễn dữ liệu XML và đóng vai tr như là một chuẩn vận chuyển dữ liệu doanh nghiệp.

Các lược đồ XSD hỗ trợ không gian tên (namespace). Điều này cho phép thiết lập các miền logic, trong đó một số hay toàn bộ các phần của lược đồ được áp dụng. XSD cung cấp một số tính năng nâng cao bao gồm hỗ trợ nhiều kiểu dữ liệu, nâng cao cú pháp kiểm tra tính hợp lệ, mô phỏng các mô hình lược đồ quan hệ thông qua việc sử dụng khóa (key và ràng buộc constraint , có khả năng mở rộng qua phần tử any và module hóa bằng cách sử dụng phần tử include, import.7: Mô tả quá trình định nghĩa một lược đồ XSD hoàn chỉnh <?xml version="l.0"?> <xsd:schema xmlns:xsd=”http://www.org/2001/XMLSchema”> <xsd:elementname="book”> <xsd:complexType> <xsd:sequence> <xsd:element name="titleUtype="xsd:string”/> <xsd:element name="author" type="xsd:string”/> </xsd:sequence> <xsd:attribute name="category"> <xsd:simpleType> <xsd:restriction base="xsd:string”> LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6 <xsd:enumeration value="Fiction"/> <xsd:enumeration value="Non-Fiction”/> </xsd:restriction> </xsd:simpleType> </xsd:attribute> </xsd:complexType> </xsd:element> </xsd:schema> 1. XSLT Không như lược đồ XML, có rất nhiều ngôn ngữ để bạn lựa chọn và kết hợp, quá trình chuyển đổi dữ liệu trong XML chỉ dựa vào một chuẩn duy nhất: XSLT (Extensible Stylesheet Language Transformations).

XSLT thực hiện 2 nhiệm vụ chính là chuyển đổi cấu trúc và chuyển đổi mỹ học. Chuyển đổi cấu trúc XSLT cho phép thực hiện quá trình chuyển đổi một loại tài liệu XML từ dạng này sang dạng khác.1: XSLT style sheets được sử dụng để chuyển đổi giữa các tài liệu XML [18] Chuyển đổi mỹ học XSLT cho phép chuyển đổi hiệu quả tài liệu XML thành một số định dạng khác nhau. Tập hợp tính năng XSLT tạo điều kiện thuận lợi cho quá trình thao tác, sử dụng, sắp xếp hay lọc dữ liệu, cung cấp những khung nhìn để lưạ chọn thay thế và biểu diễn thông tin cho các kịch bản chuyển đổi tài liệu. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2: XSLT style sheets được sử dụng để chuyển đổi một tài liệu XML sang các cách biểu diễn khác nhau [18] Ví dụ 1.9 minh họa sử dụng một mẫu XSLT đơn giản, chuyển đổi tài liệu XML thành một bảng HTML.8: Biểu diễn một tài liệu XML có chứa khai báo đến XSLT <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="book.xsl"?> <inventory> <book category="Fiction"> <title> Anna Karenina</title> <author> Leo Tolstoy</author> </book> <book category="Non-Fiction"> <title>Integration for Durnrnies</title> <author>John Doe</author> </book> </inventory> Ví dụ 1.9: Mô tả quá trình định nghĩa XSLT hoàn chỉnh [18] <?xml version="1.0"?> <xsl:stylesheet xmlns:xsl="http://www.org/1999/XSL/Transform" version="1.0"> <xsl:template match="/"> <xsl:apply-templates /> </xsl:template> <xsl:template match="inventory"> <table border="1"> <xsl:for-each select="book"> <tr> <td><xsl:value-of select="@category"/></td> <td><xsl:value-of select="title"/></td> <td><xsl:value-of select="author"/></td> </tr> </xsl:for-each> LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 8 </table> </xsl:template> </xsl:stylesheet> Kết quả template trên sẽ cho kết quả đầu ra được định dạng theo HTML được hiển thị như sau: Kết luận Trong chương này, chúng ta đã tìm hiểu về XML là một ngôn ngữ đánh dấu được dùng để lưu trữ và định nghĩa cấu trúc của dữ liệu thông qua các thẻ có nghĩa.

Một tài liệu XML gồm có hai phần: prolog của tài liệu và phần tử tài liệu. Prolog của tài liệu là phần tùy chọn, chứa thông tin của tài liệu XML như khai báo XML, định nghĩa DTD, chú thích và các chỉ dẫn xử lý. Phần tử tài liệu hay phần tử gốc là phần bắt buộc, chứa tất cả các phần tử con. Trong XML, DTD được dùng để định nghĩa cấu trúc tài liệu XML và các quy tắc điều khiển thao tác nội dung tài liệu.

Bên cạnh đó, XSD được dùng để hỗ trợ kiểu dữ liệu, không gian tên và cung cấp một số tính năng nâng cao cú pháp kiểm tra tính hợp lệ, khả năng mở rộng và module hóa. Dữ liệu XML có thể được chuyển đổi từ dạng này sang dạng khác một cách tự dộng dựa trên chuẩn XSLT. Chương tiếp theo sẽ giới thiệu tổng quan về nén dữ liệu và các kỹ thuật nén XML. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 9 Chương 2.

TỔNG QUAN NÉN DỮ LIỆU Chương này tập trung vào tìm hiểu và phân loại nén dữ liệu bao gồm nén tổn hao, nén không tổn hao và nén XML bao gồm các kỹ thuật nén văn bản tổng quát, kỹ thuật nén XML không truy vấn, kỹ thuật nén XML hỗ trợ truy vấn. Bên cạnh đó, chương này cũng trình bày một số khái niệm liên quan đến nén dữ liệu như tỷ lệ nén, hiệu suất nén và độ dư thừa dữ liệu. Nén dữ liệu 2.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ