Mở đầu • Dữ liệu đầu vào của sẽ một cơ sở dữ liệu MongoDB ứng với datastore trong ngữ cảnh open data. • Simlarity measure sẽ được đo đạc bằng tiêu chí Set Domain dựa trên nghiên cứu [7] 1.2 Cấu trúc luận văn Cấu trúc các phần còn lại của luận văn như sau: chương 2 sẽ trình bày các công trình nghiên cứu liên quan, các cơ sở lý thuyết về dữ liệu mở, các độ đo dộ giống nhau cũng như nghiên cứu về Table union Search[7] của Renee J. trong chương 3 sẽ trình bày phương pháp đề xuất, chương 4 sẽ trình bày sơ qua về cách hiện thực cũng như đánh giá phương pháp. Chương 5 sẽ có nội dung tổng kết cũng như phương hướng pháp triển tiếp theo của đề tài.
4 Chương 2 Cơ sở lý thuyết 2.1 Các nghiên cứu liên quan Ngày nay, dữ liệu đang là một nguồn tài nguyên có giá trị vô cùng to lớn, dữ liệu đang được tạo ra, phân tích và sử dụng ở quy mô chưa từng có, và việc ra các quyết định, chiến lược theo hướng phân tích, khám phá dữ liệu đang bao trùm mọi khía cạnh của xã hội. Vì giá trị của dữ liệu sẽ được nhân rộng nếu nó có thể được liên kết và hợp nhất với nhiều nguồn dữ liệu khác nhau, giải quyết được nhiều vấn đề, thử thách của xã hội ngày nay. Chuyển đổi dữ liệu là một bước tối quan trọng, và là mắt xích để có thể giải quyết vấn đề này. Chuyển đổi dữ liệu là một công cụ có thể linh hoạt biến đổi qua lại giữa các mô hình, định dạng khác nhau, qua đó hỗ trợ việc kết hợp các dữ liệu từ nhiều nguồn khác nhau về một nguồn hợp nhất nhằm cung cấp một cái nhìn tổng quát, thống nhất về dữ liệu.
Bài toán này là không dễ dàng ngay cả khi chuyển đổi dữ liệu truyền thống với vài nguồn dữ liệu có cấu trúc đơn giản. Thông thường, quá trình này đòi hỏi sự tham gia của con người để hiểu rõ và đúng ngữ nghĩa của dữ liệu trong mỗi nguồn nhằm giải quyết bài toán nhập nhằng dữ liệu, bao gồm nhập nhằng về mặt ngữ nghĩa, nhập nhằng về biểu diễn dữ liệu, và tính không nhất quán của dữ liệu [10]. Trong kỷ nguyên của dữ liệu lớn, bài toán này càng trở nên thách thức hơn khi các dữ liệu không chỉ không đồng nhất nhau mà còn được sinh ra liên tục với khối lượng khổng lồ. Ba đặc trưng chính này của dữ liệu lớn được biết đến thông 5 Chương 2 Cơ sở lý thuyết qua ký chú “3V”: (1) Khối lượng dữ liệu (Volume): chẳng những các nguồn dữ liệu chứa một khối lượng lớn các dữ liệu mà số lượng các nguồn dữ liệu cũng trở nên rất lớn; (2) Tốc độ dữ liệu (Velocity): dữ liệu được sinh ra liên tục và thay đổi theo thời gian; và (3) Đa dạng dữ liệu (Variety): dữ liệu từ nhiều nguồn khác nhau thường rất đa dạng và không đồng nhất.
Hyeonjeong và các cộng sự phát triển một công cụ bán tự động chuyển đổi dữ liệu sinh thái tại Hàn Quốc [11]. Mục tiêu của công cụ này là chuyển đổi các dữ liệu sinh thái với các định dạng khác nhau từ các tổ chức nghiên cứu và học viện về chuyên ngành môi trường sinh thái tại Hàn Quốc nhằm chuẩn hóa dữ liệu sinh thái dùng chung. Để thực hiện mục tiêu này, các tác giả đưa ra 4 bước chuyển đổi như được mô tả ở hình sau bao gồm: • Bước 1: chuẩn bị dữ liệu và giao thức (Data File & Protocol Selection): chọn dữ liệu từ file nguồn và chọn giao thức tương ứng. • Bước 2: Chọn loài (Species Selection): chọn loài nào trong dữ liệu cần được chuyển đổi.
• Bước 3: Ánh xạ thuộc tính (Attribute Mapping): thực hiện ánh xạ các thuộc tính từ dữ liệu nguồn đến các thuộc tính chuẩn hóa được định nghĩa trong giao thức. • Bước 4: Chuẩn hóa dữ liệu (Data Standardization): chuyển đổi dữ liệu được ánh xạ sang dạng chuẩn dùng chung. Tuy nhiên, công cụ này hiện tại chỉ thực hiện chuyển đổi dữ liệu cho 5 loài từ dữ liệu gốc ở định dạng CSV. Một hạn chế khác là hiện tại, nhóm tác giả chỉ hỗ trợ việc chuyển đổi khi các nguồn dữ liệu được lưu trữ dưới định dạng file .csv trong khi đó, dữ liệu thực tế thường được biểu diễn với nhiều loại định dạng khác nhau.
Rocha và các cộng sự đã đề xuất giải pháp hỗ trợ việc di chuyển dữ liệu từ nguồn cơ sở dữ liệu quan hệ (relational datasets) sang NoSQL [12]. Giải pháp đưa 6 Chương 2 Cơ sở lý thuyết Hình 2.1: Các bước chuyển đổi dữ liệu của Hyeonjeong ra của nhóm tác giả bao gồm 2 mô-đun chính là di chuyển dữ liệu (data migration) và ánh xạ dữ liệu (data mapping). Mô-đun di chuyển dữ liệu chịu trách nhiệm trong việc tự động xác định tất cả các phần tử từ cơ sở dữ liệu quan hệ gốc (ví dụ: bảng, thuộc tính, mối quan hệ, chỉ mục, v.), sau đó tạo ra các cấu trúc tương đương bằng mô hình dữ liệu NoSQL và sau cùng thực hiện việc xuất dữ liệu sang mô hình mới. Trong khi đó, mô-đun ánh xạ dữ liệu bao gồm một lớp trừu tượng, được thiết kế như một giao diện giữa ứng dụng và hệ quản trị cơ sợ dữ liệu DBMS, giám sát tất cả các giao tác SQL từ ứng dụng, và dịch các hoạt động này và chuyển đến mô hình NoSQL đã được tạo ra trong mô-đun trước.2: Module di chuyển dữ liệu của Rocha 7 Chương 2 Cơ sở lý thuyết Hình 2.3: Module ánh xạ dữ liệu của Rocha Ivan và các cộng sự đề xuất hệ thống chuyển đổi dữ liệu dựa trên mô hình đóng góp cộng đồng [13].
Như được mô tả ở hình dưới, dữ liệu được chia sẻ trên cổng thông tin publicdata.eu bao gồm các dữ liệu từ nhiều tổ chức khác nhau với các định dạng khác nhau. Hệ thống chuyển đổi dữ liệu sẽ thực hiện các ánh xạ ban đầu, sau đó cho cộng đồng đóng góp bằng cách tạo các ánh xạ mới, chỉnh sửa lại các ánh xạ đang có, chuyển đổi dữ liệu, cũng như sử dụng dữ liệu. Sự chính xác trong chuyển đổi dữ liệu sẽ được cải thiện dần theo thời gian với sự đóng góp của cộng đồng.4: Kiến trúc hệ thống chuyển đổi dữ liệu của Ivan Milan và các cộng sự hướng đến ngữ cảnh tích hợp quy trình sản xuất trong nhà máy thông qua việc sử dụng bộ công cụ chuyển đổi dữ liệu cho AutomationML (AML), một chuẩn mở định dạng dữ liệu dựa trên chuẩn XML cho việc lưu trữ và 8 Chương 2 Cơ sở lý thuyết trao đổi các thông tin kỹ thuật của nhà máy [14]. Trong ngữ cảnh này, quá trình tự động họa của nhà máy cần sự tham gia và cộng tác bởi nhiều lĩnh vực khác nhau từ điều khiển tự động, kỹ thuật cơ khí, điện-điện tử, công nghệ phần mềm.
Những lĩnh vực này đều có những công cụ hỗ trợ khác nhau, và các công cụ này thao tác trên những cấu trúc dữ liệu khác nhau. Do đó, các tác giả đề xuất mô hình tích hợp các công cụ này lại với AML bằng cách sử dụng công cụ chuyển đổi trong quy trình kỹ thuật. Công cụ này sẽ chuyển đổi dữ liệu được mô tả bởi AML sang các định dạng phù hợp tương ứng với từng loại công cụ kỹ thuật của từng lĩnh vực khác nhau như được mô tả ở hình sau. Mặc dù bộ công cụ chuyển đổi dữ liệu này có thể chuyển đổi dữ liệu sang các cấu trúc dữ liệu phù hợp với các công cụ khác nhau, đầu vào của bộ công cụ chuyển đổi là dữ liệu được lưu trữ theo chuẩn AML.5: Bộ công cụ chuyển đổi dữ liệu AML Luis và các cộng sự xây dựng bộ khung chuyển đổi dữ liệu hỗ trợ mô phỏng năng lượng [15].
Mục tiêu của bộ khung này là chuyển đổi dữ liệu với các định dạng khác nhau nhằm cho phép sự giao tiếp và tương tác lẫn nhau giữa các hệ thống khác nhau trong một môi trường tự động hóa. Cách tiếp cận này thiết kế một thành phần trung gian được định nghĩa như là các đặc tả tương tác (Interoperability Specification) nhằm thực thi sự tương tác qua lại giữa hai định dạng dữ liệu khác nhau. Hình dưới đây minh họa kiến trúc của sự thực thi tương tác. Tuy nhiên, chi tiết về cách thức hiện thực chưa được nêu rõ trong công trình nghiên cứu.
9 Chương 2 Cơ sở lý thuyết Hình 2.6: Kiến trúc sự thực thi tương tác Ngoài ra, các giải pháp chuyển đổi dữ liệu còn được nhúng vào trong các hệ thống tích hợp dữ liệu. Dong và Srivastava dựa trên kiến trúc tích hợp dữ liệu truyền thống, như được mô tả ở hình sau, để làm nổi bật các thách thức cho tích hợp dữ liệu lớn với ba giai đoạn chính sau [10]: • Sắp xếp lược đồ (Schema Alignment): giải quyết các thách thức về nhập nhằng ngữ nghĩa. Đầu ra của giai đoạn này là một lược đồ hợp nhất, sự kết nối thuộc tính ở mỗi nguồn với thuộc tính của lược đồ hợp nhất, và mối quan hệ ngữ nghĩa giữa mỗi lược đồ nguồn với lược đồ hợp nhất. • Liên kết hàng dữ liệu (Record Linkage): giải quyết các thách thức về tính nhập nhằng của biểu diễn dữ liệu.
• Tổng hợp dữ liệu (Data Fusion): giải quyết các thách thức về chất lượng dữ liệu.7: Kiến trúc tích hợp dữ liệu truyền thống 10 Chương 2 Cơ sở lý thuyết Tương ứng với mỗi giai đoạn trong kiến trúc tích hợp dữ liệu truyền thống, các tác giả giới thiệu tổng quan các giải pháp truyền thống, mô tả sự mở rộng của cơ sở hạ tầng tích hợp dữ liệu truyền thống đối với các thách thức từ dữ liệu lớn. Tuy nhiên, dữ liệu được dùng để minh họa ở dạng có cấu trúc. Trong một công trình khác [16], các tác giả mô tả các loại không nhất quán dữ liệu, đặc biệt là sự không nhất quán về mặt ngữ nghĩa. Từ đó, bài toán tích hợp được phân loại theo hai thách thức khác nhau là: (1) tích hợp ở mức thấp; (2) tích hợp ở mức cao.
Trong cách tiếp cận nhằm giảm sự không đồng nhất về mặt ngữ nghĩa, các tác giả sử dụng công nghệ web ngữ nghĩa (Semantic Web Technology) cho tích hợp dữ liệu. Các tác giả mô tả mô hình kiến trúc đề xuất với tên gọi Semantic Big Data Historian (SBDH) với 4 thành phần chính sau: • Lớp thu thập dữ liệu (Data Acquisition Layer): dữ liệu được thu thập từ các cảm biến (Sensors), từ các nguồn dữ liệu khác (Additional Internal Data Sources), hoặc từ các nguồn bên ngoài có liên quan (External Data Sources).