mở đầu bằng nhận định: “Những chiếc máy tính mạnh là lợi thế cho việc khảo sát nhiều lĩnh vực, cũng có thể là bất lợi; tính toán nhanh chóng tạo ra một lượng lớn dữ liệu. Nếu trước kia bộ dữ liệu megabyte đã từng được coi là lớn, thì bây giờ chúng ta có thể tìm thấy những bộ dữ liệu của cá nhân vào khoảng 300GB. Tuy nhiên hiểu biết các dữ liệu thu được từ tính toán cao cấp là một nỗ lực đáng kể. Nhiều nhà khoa học cho biết khó khăn xuất hiện khi xem xét tất cả các con số.
Hamming, nhà toán học và cũng là người tiên phong trong lĩnh vực khoa học máy tính, lại chỉ ra rằng mục đích của máy tính là thấu hiểu sự vật, chứ không 17 phải chỉ dừng lại ở các con số”. Tháng 10 năm 1999, Bryson, Kenwright và Haimes cùng với David Bank, Robert van Liere, và Sam Uselton trình bày báo cáo “Automation or interaction: what’s best for big data?” tại hội nghị IEEE năm 1999. Tháng 11 năm 2000, Francis X. Diebold trình bày với Đại hội Thế giới lần thứ VIII của Hiệp hội kinh tế lượng một tài liệu có tiêu đề “Big Data Dynamic Factor Models for Macroeconomic Measurement and Forecasting”.
Trong đó ông khẳng định rằng: “Gần đây, nhiều ngành khoa học, như vật lý, sinh học, khoa học xã hội, vốn đang buộc phải đương đầu với khó khăn – đã thu được lợi từ hiện tượng Big Data và đã gặt hái được nhiều thành công. Big Data chỉ sự bùng nổ về số lượng (và đôi khi, chất lượng), khả năng liên kết cũng như độ sẵn sàng của dữ liệu, chủ yếu là kết quả của những tiến bộ gần đây và chưa từng có trong việc ghi lại dữ liệu và công nghệ lưu trữ”. Tháng 2 năm 2001, Doug Laney, một nhà phân tích của Tập đoàn Meta, công bố một nghiên cứu có tiêu đề “3D Data Managment: controlling Data Volume, Velocity, and Variety”. Một thập kỷ sau, “3Vs” đã trở thành thuật ngữ được chấp nhận rộng rãi trong xác định dữ liệu lớn ba chiều, mặc dù thuật ngữ này không xuất hiện trong nghiên cứu của Laney.
Tháng 9 năm 2008, A special issue of Nature on Big Data nghiên cứu ý nghĩa của các bộ dữ liệu lớn đối với khoa học hiện đại. Tháng 12 năm 2008, Randal E. Katz, và Edward D. Lazowska đưa ra bài viết “Big-Data Computing: Creating Revolutionary breakthroughs in Commerce, Science and Society”, trong đó mô tả : “Cũng như công cụ tìm kiếm đã làm thay đổi cách chúng ta tiếp cận thông tin, các hình thức khác của sử dụng dữ liệu lớn có thể sẽ làm thay đổi cách hoạt động của các công ty, các nhà nghiên cứu khoa học, các học viên y tế, quốc phòng và tình báo của đất nước ta.
Sử dụng dữ liệu lớn có lẽ là đổi mới lớn nhất trong công nghệ máy tính suốt một thập kỷ qua. Chúng tôi chỉ mới bắt đầu nhìn thấy tiềm năng của nó trong việc thu thập, sắp xếp và xử lý dữ liệu của tất cả các tầng lớp xã hội. Một khoản đầu tư dù khiêm tốn của chính phủ liên bang sẽ thúc đẩy phát triển và mở rộng nó. ” Tháng 2 năm 2010, Kenneth Cukier đăng trên tờ The Economist a Special Report 8 bài viết có tựa đề “Data, data everywhere”.thế giới chứa một số lượng thông tin số lớn đến mức không tưởng, và càng ngày càng được nhân rộng với tốc độ nhanh hơn bao giờ hết.
Hiệu quả đã được thể hiện ở khắp mọi nơi, từ kinh doanh đến khoa học, từ chính phủ cho nghệ thuật. Các nhà khoa học và kỹ sư máy tính đã đặt ra một thuật ngữ mới cho hiện tượng này: Big Data”. Tháng 5 năm 2011, James Manyika, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, và Angela Hưng Byers của Viện toàn cầu 18 McKinsey công bố nghiên cứu “Big data: The next frontier for inovation, competition, and productivity”. Trong nghiên cứu, họ tính toán rằng đến năm 2009, gần như tất cả các lĩnh vực trong nền kinh tế Mỹ đã đạt mức lưu trữ trung bình là 200 terabyte (gấp hai lần kích thước dữ liệu của nhà bán lẻ Mỹ Wal-Mart năm 1999) đối với công ty có hơn 1.000 nhân viên trong đó các chứng khoán và đầu tư khu vực dịch dẫn đầu về lượng dữ liệu lưu trữ.
Tổng cộng, nghiên cứu ước tính rằng khối lượng lưu trữ là khoảng 7,4 exabyte đối với các doanh nghiệp và 6,8 exabyte đối với người tiêu dùng trong năm 2010. Tháng 5 năm 2012, Danah Boyd và Kate Crawford đưa ra luận điểm của họ trong bài “Critical Question for Big Data” trên tờ Information, Communications and Society. Họ định nghĩa Big Data như là “một hiện tượng văn hóa, công nghệ và học thuật dựa trên sự tương tác của: (1) Công nghệ tối đa hóa sức mạnh tính toán và độ chính xác thuật toán để thu thập, phân tích, liên kết, và so sánh các tập dữ liệu lớn. (2) Phân tích: tạo ra trên dữ liệu lớn để xác định mô hình để làm cho tuyên bố kinh tế, xã hội, kỹ thuật và pháp lý.
(3) Thần thoại: Niềm tin phổ biến rằng dữ liệu lớn cung cấp một hình thức cao hơn của trí thông minh và kiến thức có thể tạo ra mà những hiểu biết mà trước đây không thể, với hào quang của sự thật, khách quan, chính xác.3 Các cơ hội và thách thức của Dữ liệu lớn Sau khi xem xét một số điều ấn tượng hơn mà phân tích dữ liệu lớn đã hoặc đang làm, điều quan trọng là phải xem xét một số khía cạnh thực tế hơn của dữ liệu lớn. Phân tích dữ liệu lớn đặt ra một số vấn đề lo ngại sẽ phải được giải quyết nếu muốn phát huy hết tiềm năng của dữ liệu lớn. Thông tin cá nhân Rất nhiều dữ liệu lớn chứa thông tin cá nhân về khách hàng, người dùng dịch vụ và các loại người dùng khác được các doanh nghiệp lưu trữ. Thông tin cá nhân này hay còn gọi là data thông tin khách hàng chính là tập hợp tất cả thông tin về khách hàng tiềm năng, khách hàng đang quan tâm đến sản phẩm/dịch vụ hay khách hàng đã mua sản phẩm/dịch vụ.
Thông tin dữ liệu khách hàng bao gồm một số thông tin cơ bản gồm có thông tin liên lạc, nhân khẩu học, thông tin về lịch sử họ tiếp cận sản phẩm, các giao dịch đã thực hiện với doanh nghiệp. Đây chính là cơ sở để doanh nghiệp xây dựng nên đối tượng khách hàng mục tiêu của mình để nắm bắt nhu cầu của họ, từ đó có những nghiên cứu, phân tích để tiếp cận và quảng cáo về sản phẩm/ dịch vụ theo chiến lược phù hợp nhất. Tuy nhiên, nhiều người không thoải mái với những thông tin cá nhân hoặc vị trí hiện tại của họ bị người khác biết, ngay cả khi họ nhận được lợi ích rõ ràng từ việc cung cấp thông tin đó. Rất nhiều lĩnh vực sẵn sàng hưởng lợi tốt nhất từ việc phân tích dữ liệu lớn, nhưng vì những lo ngại về quyền riêng tư nên các lĩnh vực này đều bị hạn chế trong việc phân tích dữ liệu khách hàng.
19 Bảo mật Gắn chặt với quyền riêng tư là bảo mật. Nếu các công ty có lượng dữ liệu khổng lồ liên quan đến khách hàng hoặc khách hàng của họ, họ phải có khả năng đảm bảo rằng thông tin này được bảo mật. ùng với sự phát triển của internet, đặc biệt khi xu hướng mua sắm trực tuyến, giao diện trên các trang thương mại điện tử đang là xu thế, nhiều hành vi khai thác thông tin người dùng càng tinh vi hơn, việc xâm phạm bí mật thông tin của khách hàng trong các doanh nghiệp càng trở nên phổ biến. Chính vì vậy việc đảm bảo bí mật những thông tin và dữ liệu của khách hàng là điều vô cùng cần thiết.
Quyền sở hữu dữ liệu Ai sở hữu dữ liệu? Người đã tạo ra dữ liệu? Những người mà dữ liệu đề cập đến? Ai có bản quyền đối với bộ dữ liệu? Nếu tôi theo dõi hoạt động của bạn bè trên Facebook, tôi có được phép phân tích thông tin đó hay thông tin đó thuộc về Facebook? Thế nào là 'sử dụng hợp pháp'? Ai chịu trách nhiệm về sự thiếu chính xác dẫn đến hiệu quả không tốt? Những câu hỏi này và thừa nhận rằng hiện nay không có câu trả lời xác đáng nào, nhưng ngành công nghiệp chắc chắn quan tâm đến chúng. Nguồn lực con người Thống kê của ResearchAndMarkets, lĩnh vực này được định giá lên đến 162,6 tỉ USD vào năm 2021 và đạt 273,4 tỉ USD vào năm 2026, mức tăng trưởng dự báo 11% mỗi năm. Theo Báo cáo thị trường IT năm 2021 của TopDev, các vị trí có mức thu nhập hấp dẫn là Data Scientist (2.032 USD), Data Engineer (1.737 USD), Big Data Engineer (1.695 USD), IT Business Analyst (966 USD). Tại Việt Nam, theo dữ liệu từ VietnamWorks, thu nhập trung bình của một nhân viên trong ngành dữ liệu lớn thường rơi vào khoảng 800 - 1.100 USD/tháng đối với nhân sự mới ra trường đến dưới 2 năm kinh nghiệm.
Đối với các nhân sự có kinh nghiệm thì có thể sẽ lớn hơn rất nhiều. Mặc dù các doanh nghiệp hiện nay trả một mức thù lao rất cao nhưng vẫn gặp khó khăn trong việc thu hút nguồn nhân lực chất lượng cho những vị trí này. Và rào cản lớn nhất đối với ngành phân tích dữ liệu là thiếu nhân lực chuyên môn có chất lượng – đây chính là nguồn tài nguyên quý giá trong công tác thực hiện phân tích dữ liệu.2 Một số nền tảng của hệ thống Dữ liệu lớn 1.1 Khái niệm cơ bản về Dữ liệu lớn 1.1 Khái niệm chung Bộ dữ liệu (Data sets) Bộ dữ liệu bao gồm nhiều tập dữ liệu hay nhiều nhóm dữ liệu có liên quan đến nhau. Trong đó mỗi tập hay nhóm con dữ liệu đó có cùng thuộc tính giống nhau.
Một số ví dụ về bộ dữ liệu ở 03 định dạng khác nhau: + Dữ liệu Tweets được lưu giữ trong tập tin phẳng (flat file). 20 + Trích xuất các hàng từ bảng dữ liệu (database table) được lưu giữ trong tệp định dạng CSV. Bộ sưu tập ảnh được lưu trong thư mục. + Các thông tin quan sát về lịch sử thời tiết được lưu dưới dạng XML Đặc điểm dữ liệu lớn 5V (Volume, Velocity, Variety, Veracity, Value) Dữ liệu lớn BigData có 05 đặc điểm hay còn gọi là 5V: Volume-Khối lượng lớn; Velocity-Tốc độ; Variety-Tính đa dạng; Veracity-Tính xác thực và Value- Mang lại giá trị.
Hầu hết các đặc điểm về dữ liệu lớn được Doug Laney xác định vào năm 2001 khi đăng bài viết về dữ liệu doanh nghiệp (Volume, Velocity, Variety). Tính xác thực (Veracity) được bổ sung để tính tỷ lệ signal-to-noise khi so sánh dữ liệu phi cấu trúc với dữ liệu có cấu trúc.