CHƯƠNG 1: TỔNG QUAN VỀ BIG DATA VÀ PHÂN TÍCH DỮ LIỆU TRONG KIỂM TOÁN 1. Tóm lược một số thay đổi trong dữ liệu Big Data và phân tích dữ liệu hiện nay được xem là trung tâm của khoa học và kinh doanh hiện đại, các dữ liệu này được tạo ra từ các giao dịch trực tuyến, email, video, âm thanh, hình ảnh, những cú nhấp chuột, blog, truy vấn tìm kiếm, hồ sơ sức khỏe, tương tác trên mạng xã hội, dữ liệu khoa học, cảm biến từ điện thoại di động và các ứng dụng đi kèm (C.Eaton et al. Tất cả những yếu tố trên được lưu trữ trong những nền tảng cơ sở dữ liệu đang phát triển mạnh mẽ và càng trở nên khó nắm bắt, lưu trữ, quản lý, chia sẻ, phân tích và hình dung thông qua các phần mềm cơ sở dữ liệu truyền thống. 5 exabytes (1018 bytes) đã được con người tạo ra đến năm 2003, nhưng hiện nay lượng thông tin này có thể được tạo thành chỉ trong vòng hai ngày.
Năm 2012, dữ liệu số của thế giới đã được mở rộng đến 2.72 zettabytes (1021 bytes), và dự báo sẽ tăng gấp đôi sau mỗi hai năm, đạt khoản 8 zettabytes vào khoản năm 2015. IBM, tập đoàn công nghệ máy tính đa quốc gia của Mỹ, chỉ ra rằng mỗi ngày có 2.5 exabytes dữ liệu được tạo ra tương đương với 90% dữ liệu được tạo ra trong vòng hai năm qua (S. Một máy tính cá nhân chứa khoản 500 gigabytes (109 bytes), do đó sẽ cần khoản 20 tỷ máy tính để lưu trữ tất cả dữ liệu của thế giới. Trong quá khứ, quá trình giải mã bộ gen của con người mất khoản 10 năm, bây giờ thì việc này mất không quá một tuần.
Dữ liệu đa phương tiện được dữ kiến tăng 70% vào năm 2013 (J. Manyika et al. Chỉ Google mới có hơn một triệu máy chủ trên toàn thế giới. Hiện đã có hơn 6 tỷ thuê bao điện thoại di động trên thế giới và mỗi ngày có hơn một tỷ tin nhắn được gửi đi.
Đến năm 2020, 50 tỷ thiết bị sẽ được kết nối với mạng và internet (B. Gerhardt et al. Năm 2012, hình thái dữ liệu của Big Data đã được hoàn thành với quy mô toàn cầu, dự án tập trung thu thập thời gian, hình dung và phân tích một khối lượng lớn dữ liệu. Theo dự án này, có rất nhiều thống kê đã được đưa ra, chẳng hạn Facebook TIEU LUAN MOI download : skknchat@gmail.com 7 có 955 triệu tài khoản hoạt động hàng tháng bằng 70 ngôn ngữ, 140 tỷ hình ảnh được tải lên, 125 tỷ kết nối bạn bè, mỗi ngày có 30 tỷ nội dung và 2.7 tỷ lượt thích và bình luận được đăng tải, số lượng tài khoản Facebook vào tháng 06/2017 tại các châu lục được thể hiện ở hình 1.
Mỗi phút, có 48 giờ video được tải lên và mỗi ngày có 4 tỷ lượt xem được thực hiện trên Youtube. Google hỗ trợ nhiều dịch vụ như giám sát 7.2 tỷ trang mạng mỗi ngày và xử lý 20 petabyte (1015 bytes) dữ liệu dịch sang 66 ngôn ngữ khác nhau. Có khoảng 1 tỷ Tweets (những mẫu tin nhỏ dưới dạng blog – theo Wikipedia) sau mỗi 72 giờ từ hơn 140 triệu người dùng đang hoạt động trên Twitter. 571 trang web mới được tạo ra mỗi phút trong ngày.
Dự báo trong thập kỷ tới, khối lượng thông tin sẽ tăng gấp 50 lần, tuy nhiên số lượng các chuyên gia về công nghệ thông tin theo kịp với tiến độ phát triển đó chỉ tăng 1. Tankard et al.1: Số lượng tài khoản Facebook trên thế giới vào 06/2017 1. Các vấn đề quan trọng TIEU LUAN MOI download : skknchat@gmail.com 8 Big Data là thuật ngữ dùng cho các bộ dữ liệu có cấu trúc đa dạng và phức tạp hơn với những khó khăn trong việc lưu trữ, phân tích và hiển thị cho các quá trình hoặc kết quả tiếp theo. Big Data được đặc trưng bởi các thành phần chính: sự đa dạng (variety), tốc độ (velocity) và dung lượng (volume) (Intel IT Center, 2012).
- Sự đa dạng: làm cho Big Data thật sự là nguồn dữ liệu rất lớn. Big Data thường đến từ nhiều nguồn và thường có ba loại: có cấu trúc, bán cấu trúc và không có cấu trúc. Dữ liệu có cấu trúc nằm trong kho dữ liệu đã được gắn thẻ và dễ dàng sắp xếp nhưng dữ liệu phi cấu trúc là ngẫu nhiên và khó phân tích. Dữ liệu bán cấu trúc không thích hợp cho các lĩnh vực cố định mà chứa những phần tử dữ liệu riêng biệt.
- Dung lượng: hay kích thước của dữ liệu bây giờ lớn hơn terabytes và petabytes. Quy mô lớn và sự gia tăng của dữ liệu vượt xa các kỹ thuật phân tích và lưu trữ truyền thống. - Tốc độ: nghĩa là vận tốc các dữ liệu được tạo ra và xử lý để đáp ứng các nhu cầu và thách thức trên con đường tăng trưởng và phát triển. Cụ thể từng thành phần được minh họa như sau: Hình 1.2: Ba thành phần đặt trưng cấu thành Big Data Dưới áp lực của nền thông tin phát triển, một vấn đề khác cần quan tâm là xác minh nguồn dữ liệu, rất khó để kiểm soát một nguồn dữ liệu lớn nên cần phải quan tâm đến bảo mật dữ liệu, thêm vào đó là sau khi tạo ra và xử lý Big Data thì sẽ tạo TIEU LUAN MOI download : skknchat@gmail.com 9 ra một giá trị tăng thêm cho tổ chức.
Có một số vấn đề được rút ra từ nghiên cứu của TDWI – Transforming Data with Intelligence (P. Russom, 2011) được yêu cầu cho các chuyên gia quản lý: - Sau khi tổ chức áp dụng một số hình thức phân tích Big Data, những lợi ích mang lại gồm: markerting tốt hơn, hiểu biết sâu sắc hơn về kinh doanh, mở rộng nhiều phân khúc khách hàng, có nhiều thay đổi trong doanh thu và trên thị trường. - Trong khi thực hiện phân tích Big Data, sẽ phát sinh nhiều rào cản: sự thiếu chuyên môn, chi phí, khó khăn trong thiết kế hệ thống phân tích, thiếu những phần mềm cơ sở để phân tích. Big Data không chỉ là cơ hội vì sự phân tích toàn diện trong hiện tại và tương lai mà còn là rào cản vì rất khó tiếp cận và quản lý.
- Big Data hiện nay đang được lưu trữ và sử dụng với những kỹ thuật tiên tiến gồm: có cấu trúc, bán cấu trúc, phức hợp, dữ liệu sự kiện và không cấu trúc. - Khi thay đổi nền tảng phân tích, những vấn đề có thể xảy ra: không phù hợp với một dung lượng dữ liệu lớn, không thể hỗ trợ các mô hình phân tích cần thiết, dữ liệu được tải quả chậm, công nghệ thông tin không thể bắt kịp với nhu cầu. Có thể thấy từ nghiên cứu này rằng phân tích Big Data vẫn cần rất nhiều sự quan tâm, ngoại trừ tính đa dạng, dung lượng lớn và tốc độ vượt trội thì việc phân tích Big Data còn mang lại tiềm năng mở ra những hiểu biết mới giúp tối ưu hóa việc ra quyết định. Cần hiểu rằng Big Data không phải là công cụ dành riêng cho các doanh nghiệp lớn, “big” ở đây không chỉ lớn đo bằng số lượng mà còn chỉ độ sâu của việc phân tích, nghĩa là không kể doanh nghiệp thu thập được bao nhiêu số liệu, quan trọng là sẽ làm gì với những số liệu đó, phân tích như thế nào để mang lại lợi ích tốt nhất trong hoạt động của chính doanh nghiệp.2 thể hiện thống kê dự báo doanh thu cho ngành công nghiệp Big Data và phân tích kinh doanh trên toàn cầu từ 2015-2020 (tỷ đô la Mỹ) do trang Statistics Portal thực hiện.
TIEU LUAN MOI download : skknchat@gmail.3: Doanh thu dự báo từ Big Data và phân tích kinh doanh toàn thế giới từ năm 2015 đến 2020 (tỷ đô la Mỹ) 1. Những yếu tố tạo nên Big Data Theo ICAEW (2015), xu hướng của Big Data được thúc đẩy bởi các yếu tố: năng lực tính toán, các nguồn dữ liệu mới và cơ sở hạ tầng để tạo ra dữ liệu. Ba yếu tố này tạo ra những tiến bộ đáng kể trong việc hình thành và phát triển Big Data: - Năng lực tính toán: năng lực cốt lõi của Big Data là sự tăng trưởng mạnh mẽ về năng lực tính toán và khả năng lưu trữ trong những năm gần đây, giúp thu thập và xử lý toàn bộ bộ dữ liệu, bất kể kích thước và độ phức tạp của chúng, điều này thường được mô tả như sự tăng trưởng theo cấp số nhân trong năng lực tính toán. Mô hình điện toán đám mây đang tiếp tục hỗ trợ trong việc sử dụng rộng rãi Big Data, cụ thể điện toán đám mây dựa trên mô hình chia sẻ tài nguyên máy tính trong toàn bộ doanh nghiệp (đám mây riêng) hay giữa một số khách hàng với nhau (đám mây công cộng).
Bằng việc sử dụng điện toán đám mây, doanh nghiệp không cần phải mua tất cả tài nguyên máy tính để sử dụng mà chỉ đơn giản là truy cập vào đám TIEU LUAN MOI download : skknchat@gmail.com 11 máy đó khi cần thiết. Do đó, mô hình điện toán đám mây có khả năng cung cấp cho doanh nghiệp quyền truy cập vào các tài nguyên máy tính lớn một cách hiệu quả và linh hoạt. Những tiến bộ về phần mềm cũng mang lại sự phát triển về khả năng xử lý và lưu trữ dữ liệu, chẳng hạn các loại phần mềm mới hỗ trợ cho những dữ liệu lớn và không có cấu trúc tốt hơn so với các hệ thống quản lý cơ sở dữ liệu truyền thống (ví dụ: phần mềm Apache Hadoop giúp quản lý bộ dữ liệu rất lớn bằng cách chia tách việc xử lý giữa nhiều máy tính với nhau), bên cạnh đó khả năng xử lý dữ liệu phi cấu trúc (như video hay văn bản) đã được cải thiện rất nhiều, các công cụ phục vụ cho việc trình bày dữ liệu cũng đang có những tiến triển đáng kể.