LỜI MỞ ĐẦU Trong quá trình tin học hóa các hoạt động của tổ chức, doanh nghiệp, một loạt các hệ thống đã được xây dựng để đáp ứng nhu cầu quản lý,vận hành, lưu trữ riêng lẻ của các các bộ phận trong tổ chức, doanh nghiệp. Các hệ thống này được xây dựng dựa trên các nền tảng công nghệ khác nhau và gần như không có sự chia sẻ thông tin giữa các hệ thống vì các hệ thống này được thiết kế để hoạt động độc lập và được thiết kế để giải quyết các bài toán đơn lẻ cho các bộ phận riêng lẻ của tổ chức, doanh nghiệp. Điều này dẫn đến tình trạng là các nguồn dữ liệu được lưu trữ không đồng nhất và phân tán ở nhiều nơi, người sử dụng cần phải sử dụng nhiều chương trình khác nhau để hoàn thành công việc của mình, hoặc phải khai thác dữ liệu từ các chương trình khác nhau rồi kết hợp lại để được dữ liệu mong muốn. Khi các hoạt động của tổ chức được mở rộng (đặc biệt trong hoạt động kinh doanh của doanh nghiệp) nhu cầu tổng hợp dữ liệu để có được các báo cáo đầy đủ nhằm phục vụ cho việc điều hành tổ chức, doanh nghiệp trở nên cấp thiết hơn bao giờ hết việc thực hiện tổng hợp dữ liệu từ các hệ thống riêng lẻ rất tốn thời gian và gần như là không thể thực hiện được nếu dữ liệu lớn.
Ngoài ra, nếu phải thao tác với quá nhiều chương trình cùng một lúc thường sẽ mất nhiều thời gian hơn so với việc thực hiện trên một hệ thống và có nhiều khả năng dẫn đến sai sót do phải làm thủ công nhiều bước. Một trong những vấn đề gặp phải nữa của việc duy trì các hệ thống riêng lẻ đó là chi phí vận hành lớn, các tổ chức doanh nghiệp sẽ cần phải dùng nhiều nguồn lực dành cho việc duy trì nhiều hệ thống hoạt động. Vấn đề tích hợp dữ liệu đã không còn là một xu hướng mà thực sự đã trở thành nhu cầu của các tổ chức, doanh nghiệp lớn trong những năm gần đây. Một loại những kỹ thuật, những công nghệ, những sản phẩm phẩn mềm của các hãng công nghệ hàng đầu thế giới đã được giới thiệu như Oracle Data Integrator, Oracle GoldenGate, IBM InfoSphere, Microsoft BizTalk, Microsoft Business Intelligent, Microsoft SQL Server Replication,… 1.
Tính cấp thiết của đề tài Ở Việt Nam, vấn đề tích hợp dữ liệu đang là một trong những quan tâm lớn của các tổ chức, các doanh nghiệp lớn và đặc biệt là trong các cơ quan nhà nước trong đó có Tổng cục Hải quan. Việc nghiên cứu, xây dựng các nhóm giải pháp, quy trình phù hợp, các bước thực hiện trong bài toán tích hợp dữ liệu sẽ giúp cho các tổ chức, các doanh nghiệp Việt Nam có thể thực hiện việc tích hợp dữ liệu của mình dễ dàng hơn từ đó có thể phát triển thêm những ứng dụng xử lý tập trung đáp ứng những đòi hỏi ngày càng cao của mình. 10 TIEU LUAN MOI download : skknchat@gmail.com Thông qua việc phân tích và trình bày các kỹ thuật, các công nghệ tích hợp dữ liệu cùng với kinh nghiệm 4 năm triển khai vận hành hệ thống tích hợp thực tế tại Cục Hải quan TP. Hồ Chí Minh của tác giả mà các tổ chức, doanh nghiệp hay các đơn vị quan tâm đến vấn đề tích hợp dữ liệu có thể lựa chọn giải pháp tích hợp dữ liệu phù hợp với đặc thù và nhu cầu của đơn vị mình.
Tình hình triển khai giải pháp 2.1 Trên thế giới Việc nghiên cứu và triển khai các giải pháp tích hợp đã được bắt đầu từ rất sớm, ngay từ khi cơ sở dữ liệu được đưa vào sử dụng cho các ứng dụng phục vụ cho nhu cầu quản lý kinh doanh của các doanh nghiệp, Tuy nhiên nó thực sự chỉ được bùng nổ trong khoảng thời gian 10 năm gần đây với một loạt các giải pháp tích hợp được ra đời và triển khai.2 Tại Việt Nam Khi việc tích hợp dữ liệu trở lên phổ biến ở các nước phát triển thì ở Việt nam mới bắt đầu có nhu cầu. Các hệ thống tích hợp dữ liệu trên quy mô lớn bắt đầu được hình thành và triển khai. Hệ thống “Tích hợp nghiệp vụ ngành hải quan” là hệ thống tích hợp dữ liệu đầu tiên của Tổng cục hải quan và được bắt đầu triển khai từ năm 2010. Đối tƣợng nghiên cứu Các kỹ thuật, các công nghệ sử dụng phổ biến nhất hiện nay được sử dụng trong lĩnh vực tích hợp dữ liệu sẽ là đối tượng nghiên cứu trong khuôn khổ nghiên cứu của luận văn này.
Mục tiêu nghiên cứu Hiểu được các thành phần, cách thức thực hiện trong các giải pháp được nghiên cứu cũng như phân tích những ưu nhược điểm của từng kỹ thuật, công nghệ là mục tiêu nghiên cứu của đề tài. Đồng thời đề xuất và kiểm nghiệm thực tế một giải pháp tích hợp dữ liệu qua đó đánh giá và hoàn thiện giải pháp để phục vụ cho nhu cầu tích hợp dữ liệu ở các tổ chức, doanh nghiệp. Nội dung nghiên cứu Nội dung đề tài tập trung vào các công việc chủ yếu sau: Các kỹ thuật, các công nghệ tích hợp dữ liệu hiện nay. Nghiên cứu chi tiết công nghệ Microsoft SQL Server Replication Ứng dụng các công nghệ này đề xuất, xây dựng triển khai ứng dụng “Tích hợp nghiệp vụ ngành hải quan” 6.
Phƣơng pháp nghiên cứu Đề tài được tiếp cận và được nghiên cứu theo những phương pháp dưới đây: Thu thập tài liệu và kinh nghiệm quốc tế về các giải pháp tích hợp dữ liệu, qua các nguồn Internet và qua các chuyên gia công nghệ. 11 TIEU LUAN MOI download : skknchat@gmail.com Nghiên cứu tìm hiểu các giải pháp tích hợp dữ liệu tiên tiến hiện nay trên thế giới để đưa ra các khuyến nghị áp dụng. Cài đặt và triển khai thử nghiệm một giải pháp tích hợp dữ liệu từ đó có những đánh giá cụ thể hơn. Bố cục của luận văn Luận văn “Nghiên cứu một số giải pháp tích hợp dữ liệu, ứng dụng xây dựng cơ sở dữ liệu nghiệp vụ tập trung trong ngành hải quan” nhằm tìm hiểu, phân tích, so sánh các kỹ thuật, các công nghệ tích hợp dữ liệu tiên tiến hiện nay trên cơ sở đó đi sâu nghiên cứu, làm chủ công nghệ để triển khai ứng dụng trong hoàn cảnh thực tế Việt Nam.
Bố cục luận văn gồm 4 chương: Chƣơng I: Giới thiệu tổng quan về tích hợp dữ liệu và mục đích của tích hợp dữ liệu. Thực trạng dữ liệu phân tán của ngành hải quan cũng được trình bày tại chương này. Chƣơng II: Trình bày một số kỹ thuật tích hợp dữ liệu, các công nghệ tích hợp dữ liệu qua đó đưa ra bức tranh tổng thể của các kỹ thuật, các công nghệ tích hợp dữ liệu cũng như so sánh sự khác biệt giữa chúng đồng thời đề cập khả năng kết hợp các công nghệ này vào một giải pháp để giải quyết các bài toán tích hợp dữ liệu trong thực tế. Chƣơng III: Trình bày chi tiết giải pháp tích hợp dữ liệu bằng Microsoft Replication nhằm mục đích áp dụng cho bài toán “Tích hợp nghiệp vụ ngành hải quan” được mô tả chi tiết ở chương tiếp theo.
Chƣơng IV: Ứng dụng các kỹ thuật, các công nghệ đã nghiên cứu ở trên để xây dựng giải pháp cho hệ thống “Tích hợp nghiệp vụ ngành hải quan” từ đó đưa ra những đánh giá, những bài học kinh nghiệm có được trong quá vận hành và triển khai thực tế ứng dụng. 12 TIEU LUAN MOI download : skknchat@gmail.com CHƢƠNG I. GIỚI THIỆU CHUNG 1.1 Tích hợp dữ liệu 1.1 Khái niệm về tích hợp dữ liệu Tích hợp dữ liệu là một trong những lĩnh vực nghiên cứu của cơ sở dữ liệu, ngay từ khi cơ sở dữ liệu được đưa vào sử dụng cho các ứng dụng phục vụ cho nhu cầu quản lý kinh doanh của các doanh nghiệp thì vấn đề tích hợp dữ liệu đã được nghiên cứu. Mục đích của việc tích hợp các hệ thống thông tin là nhằm kết hợp các hệ thống được lựa chọn để tạo thành một hệ thống thông tin đầy đủ, thống nhất đối với người sử dụng.
Qua đó người dùng được cung cấp một khung nhìn đồng nhất về mặt dữ liệu (dữ liệu có thể phân tán và nguồn dữ liệu có thể khác nhau về cấu trúc hoặc không đồng nhất về mặt công nghệ). Vậy tích hợp dữ liệu là sự kết hợp của các quy trình kỹ thuật và kinh doanh sử dụng để kết hợp dữ liệu từ các nguồn khác nhau nhằm tạo ra thông tin có ý nghĩa và có giá trị. Đứng ở góc độ giải pháp thì tích hợp dữ liệu là một ứng dụng nền tảng, một sản phẩm hoặc các kỹ thuật và các công nghệ để cung cấp một khung nhìn thống nhất cho nhiều nguồn dữ liệu khác nhau.2 Các mức độ tích hợp dữ liệu Dựa trên kiến trúc tầng của một hệ thống thông tin chúng ta sẽ có các mức độ tích hợp dữ liệu khác nhau như hình vẽ dưới đây: Hình 1.1: Kiến trúc ứng dụng và mức độ tích hợp dữ liệu. Từ hình vẽ trên, chúng ta có thể thấy được về lý thuyết sẽ có các cách tiếp cập sau: 13 TIEU LUAN MOI download : skknchat@gmail.com Tích hợp thủ công: Cách tiếp cận này sẽ đặt người sử dụng làm trung tâm.
Người sử dụng phải thực hiện lấy các dữ liệu từ các hệ thống thông tin khác nhau, từ đó tổng hợp lại để có được thông tin mà mình mong muốn. Với cách làm này, người sử dụng cần phải nắm vững được các nơi để lấy được các thông tin cũng như quan hệ giữa các thông tin này. Tích hợp giao diện dùng chung: Người sử dụng sẽ được cung cấp một giao diện dùng chung cho tất cả các hệ thống. Ở cách tiếp cận này, các dữ liệu vẫn được đặt riêng rẽ, người dùng vẫn cần phải kết hợp các dữ liệu riêng lẻ có được bằn cách sử dụng giao diện dùng chung này.
Tích hợp ứng dụng: Cách tiếp cận này sử dụng các ứng dụng tích hợp cho phép việc truy cập đến nhiều nguồn dữ liệu khác nhau. Các dữ liệu này sẽ được kết hợp lại và trả về cho ngưởi sử dụng. Tuy nhiên, nếu có nhiều ứng dụng thì việc tích hợp sẽ trở lên khó khăn do ứng dụng phải duy trì quá nhiều các interface, các kết nối đến các nguồn dữ liệu có định dạng không đồng nhất khiến ứng dụng tích hợp trở nên cồng kềnh. Tích hợp bằng phần mềm lớp giữa: Cách tiếp cận này sử dụng một phần mềm lớp giữa.
Phần mềm lớp giữa sẽ cung cấp những chức năng mà có thể dễ dàng sử dụng lại bởi các ứng dụng.