CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1. Tổng quan về Big Data: 1. Khái niệm: Big Data là tập hợp dữ liệu rất lớn (cấu trúc và phi cấu trúc), đa dạng, thay đổi nhanh và phức tạp đến nỗi những công nghệ hay phần mềm truyền thống không có khả năng xử lý trong một khoảng thời gian nhất định. Không có giới hạn rõ ràng rằng dữ liệu lớn thế nào thì mới gọi là Big Data, tuy nhiên một thông số mang tính trung bình được gọi là Big Data khi nó đạt ngưỡng vài Petabyte.
Để dễ hình dung, lấy một ví dụ cụ thể để thấy được sự khổng lồ đó. Thông thường đối với phần mềm Word: 1MB = 3.000 tỷ trang) Nếu một quyển sách 500 trang dày khoảng 5cm thì 1PB dữ liệu tương đương một quyển sách khổ A4 có độ dày 300.000 Km, bằng hơn một nửa khoảng cách từ Trái Đất đến Mặt Trăng. Do đó, nếu có thể khai thác được lượng dữ liệu khổng lồ này thì cuộc sống của chúng ta sẽ đơn giản và hiện đại hơn rất nhiều. Giả sử việc tìm 1 key word trong 1.000 trang sách là một công việc rất khó, tuy nhiên với sự hỗ trợ của máy tính và các phần mềm khác thì thậm chí là 3.000 tỷ trang, nó cũng tìm được.
Rõ ràng với lượng dữ liệu khổng lồ, việc áp dụng công nghệ để khai thác sẽ mang lại hiệu suất cực kì cao trong công việc. Không dừng lại ở đó, Big Data còn có thể làm được những việc mà con người chưa từng nghĩ đến. Giả sử người ta thu thập một lượng dữ liệu cực lớn về thói quen mua hàng của khách sau đó dùng máy tính để phân tích và thấy rằng khách hàng nữ thường mua chảo cùng với dầu ăn, hoặc khách nam thường mua dao cạo râu và sữa rửa mặt. Từ đó họ sắp xếp những sản phẩm này gần nhau để vừa tiện cho khách và cũng để kích thích khách hàng mua nhiều hơn.
Một giả thuyết tiên tiến hơn được đặt ra là về sinh trắc vân tay. Hầu hết các hãng điện thoại hiện nay đều có mở khóa vân tay, vậy chuyện gì sẽ xảy ra nếu họ theo dõi hành vi của người dùng để phân tích? Rất có khả 2 năng rằng họ có thể biết được rằng người có dấu vân tay loại X sẽ có thói quen thích đọc sách, trong khi người sở hữu dấu vân tay loại Y sẽ có thói quen mua sắm. Như vậy, chúng ta hoàn toàn có thể đánh giá về sở trường, thói quen, năng lực bẩm sinh của một người thông qua các loại vân tay. Big Data có tiềm năng vô cùng lớn, với lượng dữ liệu khổng lồ, có thể áp dụng chúng cho vô vàn lĩnh vực khác nhau, từ giáo dục y tế cho đến ngân hàng, Hải quan.
Có thể hiểu đơn giản rằng Big Data là công việc liên quan đến việc phân tích lượng dữ liệu khổng lồ để khai thác những giá trị hữu ích. Tầm quan trọng của Big Data trong quản lý Hải quan. Thực chất tầm quan trọng của Big Data không nằm ở lượng dữ liệu khổng lồ mà nó nằm ở việc chúng ta làm gì với lượng dữ liệu đó. Ta có thể sử dụng nguồn dữ liệu đó để phân tích tìm ra đáp án cho các câu hỏi liên quan đến Hải quan như giảm chi phí, giảm thời gian (dự đoán thời gian các tuyến vận chuyển tàu biển), dịch vụ tối ưu, ra quyết định thông minh, tính toán được những rủi ro có thể gặp phải đối với việc gian lận.
Tiêu chí Dữ liệu truyền thống Big Data Dung lượng GB TB, PB Tốc độ hình thành Mỗi giờ, ngày Mỗi phút, giây Cấu trúc Có cấu trúc Bán cấu trúc, phi cấu trúc Nguồn dữ liệu Tập trung Phân phối đầy đủ Tích hợp dữ liệu Dễ Khó Kho dữ liệu RDBMS HDFS, NoSQL Truy cập tương tác Theo lô Gần thời gian thực Bảng 1.1 Sự khác nhau giữa Big Data và dữ liệu truyền thống (theo Hu et al., 2014) Sự khác biệt chính đến từ cái tên, đó là về khối lượng thông tin lớn hơn của Big Data so với dữ liệu truyền thống và về tốc độ hình thành nó, bao gồm cả việc chúng được cung cấp "gần thời gian thực", tức là dòng chảy liên tục và không thông qua các lô (theo Wu et al. Những khác biệt khác liên quan đến sự phức tạp của việc xử lý loại dữ liệu này vì chúng không được tổ chức và sẵn sàng để sử dụng, và chúng được phân phối ở nhiều vị trí. Do đó, việc tích hợp dữ liệu lớn và lưu trữ nó đòi hỏi những kỹ thuật tiên tiến hơn. Các cách phân tích Big Data: Big Data có thể làm cho quá trình ra quyết định đáng tin cậy hơn và tăng năng suất của các tổ chức.
Điều này là hoàn toàn khả thi khi thông qua việc sử dụng các phương pháp phân tích tiên tiến được áp dụng để rút ra ý nghĩa từ dữ liệu này. Descriptive Analytics (Phân tích mô tả): phân tích dữ liệu để mô tả hoặc xác định những gì được đại diện bởi tập dữ liệu. Inquisitive Analytics (Phân tích tìm hiểu): loại phân tích dữ liệu này nhằm xác minh hoặc phủ nhận một đề xuất nhất định. Đó là bác bỏ hoặc chấp nhận giả thuyết.
Predictive Analytics (Phân tích dự đoán): liên quan đến dự báo và mô hình thống kê để xác định các khả năng trong tương lai. Prescriptive Analytics (Phân tích đề xuất): nó là về tối ưu hóa và thử nghiệm ngẫu nhiên để đưa ra lời khuyên về một vấn đề nhất định. Pre-emptive Analytics (Phân tích ưu tiên): là phân tích dữ liệu nhằm đưa ra các hành động phòng ngừa trước các tình huống tiêu cực.2 Sơ đồ phân loại các loại phương pháp phân tích Big Data theo (theo Sivarajah et al, 2016) Trong số năm loại phân tích, thích hợp để phân tích ba loại chính (3 vòng tròn lớn) chi tiết hơn. Descriptive Analytics (Phân tích mô tả) là dạng đơn giản nhất của 4 phương pháp phân tích Big Data và liên quan đến việc tóm tắt và mô tả các mẫu kiến thức bằng cách sử dụng các phương pháp thống kê đơn giản, chẳng hạn như giá trị trung bình, trung vị, chế độ, độ lệch chuẩn, phương sai và đo tần suất của các sự kiện cụ thể trong các dòng Big Data.
Một phần của Descriptive Analytics cũng là báo cáo, trang tổng quan, bảng điểm cân bằng và trực quan hóa dữ liệu. Các kỹ thuật này liên quan đến việc giải thích một tập dữ liệu. Ví dụ như trong kinh doanh, theo dõi một quy trình bằng cách phân tích mô tả của nó theo thời gian bằng cách thiết lập các số liệu giám sát. Theo ví dụ này, Descriptive Analytics được coi là xem xét ngược lại và dự đoán những gì đã xảy ra.
Hầu hết các kỹ thuật phân tích Big Data là mô tả và sử dụng các phương pháp thống kê mô tả còn được gọi là công cụ khai thác dữ liệu. Ngược lại, Predictive Analytics (Phân tích dự đoán) lại tập trung vào dự báo và xác định các khả năng trong tương lai thông qua mô hình thống kê. Các kỹ thuật này dựa trên các phương pháp thống kê tiên tiến nhằm tìm cách khám phá các mẫu và mối quan hệ giữa các dữ liệu. Vì lý do này, Gandomi và Haider (2015) đã liên kết các kỹ thuật dự đoán với các kỹ thuật hồi quy và xu hướng mới của phân tích Machine Learning (học máy), vì chúng đều nhằm dự đoán tương lai bằng cách phân tích dữ liệu hiện tại và lịch sử.
Prescriptive Analytics (Phân tích đề xuất) tập trung vào việc điều tra các mối quan hệ nguyên nhân - kết quả để đưa ra lời khuyên về các vấn đề khác nhau. Nó thường liên quan đến các vấn đề về tối ưu hóa hoặc ra quyết định.3 Các phương pháp phân tích Big Data theo độ phức tạp và giá trị nó mang lại (theo Gartner, 2017) 1. Chuỗi giá trị phân tích Big Data: Một chuỗi giá trị cho phân tích Big Data được chia thành bốn giai đoạn generation, acquisition, storage, và analytics (tạo, thu thập, lưu trữ và phân tích) cùng với một sơ đồ liên kết các công nghệ hàng đầu trong lĩnh vực này cho từng giai đoạn này. Do đó, thông qua phần này, nhóm tác giả muốn đề cập đến hai khái niệm chính: phân tích Big Data và web-crawling (thu thập thông tin web).4 Sơ đồ chuỗi giá trị phân tích Big Data (theo Hu et al., 2014) Sơ đồ chia một hệ thống Big Data điển hình thành bốn giai đoạn liên tiếp: generation, acquisition, storage, và analytics (tạo dữ liệu, thu thập dữ liệu, lưu trữ dữ liệu và phân tích dữ liệu).
Cần lưu ý rằng không có giai đoạn data visualization (trực quan hóa dữ liệu), nhưng nó được coi là một phần của giai đoạn phân tích dữ liệu. Đối với các khuôn khổ khác thì giai đoạn trực quan hóa dữ liệu được coi là một giai đoạn riêng biệt. Giai đoạn đầu tiên là generation (tạo dữ liệu), giai đoạn này chỉ đơn giản là tìm hiểu quan tâm về cách mà dữ liệu được tạo ra. Giai đoạn acquisition (thu thập dữ liệu) xuất hiện sau và đề cập đến quá trình thu thập thông tin và được chia thành thu thập dữ liệu, truyền dữ liệu và xử lý trước dữ liệu.
Quá trình này bắt đầu với việc thu thập dữ liệu thô và sau đó kiểm tra xem dữ liệu này 6 có ý nghĩa hay không. Việc thu thập dữ liệu vô nghĩa làm tăng dung lượng lưu trữ và tài nguyên một cách không cần thiết để tiến hành phân tích. Do đó, các hoạt động xử lý trước dữ liệu phải được thực hiện để hạn chế thừa thải dữ liệu và lọc ra được những thông tin vô ích. Tiếp theo là giai đoạn storage (lưu trữ dữ liệu).
Cụ thể, đây là việc lưu trữ và quản lý hiệu quả các tập Big Data. Giai đoạn này là một thách thức đối với cả khía cạnh phần cứng, nơi luôn cần những hệ thống công nghệ phức tạp để hỗ trợ các hoạt động Big Data và các phần mềm liên quan. Bước cuối cùng, analytics (phân tích dữ liệu) là tận dụng các phương pháp phân tích hoặc công cụ để kiểm tra, chuyển đổi và mô hình hóa dữ liệu để chiết xuất giá trị. Sáu nhân tố quan trọng có thể được xác định bao gồm: phân tích dữ liệu có cấu trúc, phân tích văn bản, phân tích đa phương tiện, phân tích trang web, phân tích mạng và phân tích di động.
Phân tích dữ liệu Big Data bằng Machine Learning (Học máy): Machine Learning có thể được định nghĩa là một tập hợp con của khai thác dữ liệu, có nghĩa đó là quá trình tính toán, khám phá các mẫu trong tập Big Data mà bản thân nó là một tập con của phân tích dữ liệu.