Dữ liệu lớn (Big Data) và ứng dụng trong Thương Mại Điện Tử

Dữ liệu lớn (Big Data) là gì? Tìm hiểu về khái niệm, đặc điểm, ứng dụng và thách thức của Big Data trong thời đại số. Phân tích chuyên sâu về Big Data.

• Tác giả: Nguyễn Như Quỳnh
• Người hướng dẫn: Giang Thị Thu Huyền
• Trường học: Học viện Ngân hàng
• Chuyên ngành: Hệ thống thông tin quản lý
• Đề tài: Big Data và Ứng dụng trong Thương mại điện tử
• Loại tài liệu: Báo cáo bài tập
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Tóm tắt

I. Big Data trong TMĐT Tổng quan Lợi ích và Tiềm năng ứng dụng 55 ký tự

Big Data đã trở thành một yếu tố then chốt trong nhiều ngành công nghiệp, và thương mại điện tử (TMĐT) không phải là ngoại lệ. Với sự gia tăng chóng mặt của dữ liệu từ các giao dịch trực tuyến, tương tác khách hàng và hoạt động marketing, các doanh nghiệp TMĐT có cơ hội chưa từng có để hiểu rõ hơn về khách hàng của mình và tối ưu hóa hoạt động kinh doanh. Big Data trong Thương mại điện tử không chỉ là một xu hướng nhất thời, mà là một sự chuyển đổi căn bản trong cách các doanh nghiệp cạnh tranh và thành công trong thị trường kỹ thuật số. Nó cho phép các nhà bán lẻ trực tuyến cá nhân hóa trải nghiệm khách hàng, dự đoán xu hướng thị trường và tối ưu hóa chuỗi cung ứng của họ. Theo một nghiên cứu của McKinsey, các công ty sử dụng phân tích dữ liệu lớn có khả năng tăng lợi nhuận lên đến 20%. Tuy nhiên, việc khai thác lợi ích của Big Data trong TMĐT đòi hỏi các doanh nghiệp phải đối mặt với nhiều thách thức, bao gồm cả việc thu thập, lưu trữ, xử lý và phân tích dữ liệu khổng lồ một cách hiệu quả. Bên cạnh đó, vấn đề bảo mật dữ liệu và tuân thủ các quy định về quyền riêng tư cũng là những yếu tố quan trọng cần được xem xét. Từ tài liệu gốc, Big data có thể phân tích hành vi, sở thích, sự quan tâm của khách hàng, giúp nhà quản lý hiểu hơn về khách hàng để cung cấp các sản phẩm theo đúng xu hướng, nhu cầu thị trường.

1.1. Định nghĩa và đặc điểm chính của Big Data trong TMĐT

Dữ liệu lớn (Big data) là một thuật ngữ cho việc xử lý một tập hợp dữ liệu rất lớn và phức tạp mà các ứng dụng xử lý dữ liệu truyền thống không xử lý được. Trong bối cảnh TMĐT, Big Data bao gồm dữ liệu từ các nguồn khác nhau như: hồ sơ hành chính, giao dịch điện tử, dòng trạng thái, chia sẻ hình ảnh, bình luận, nhắn tin… của chính chúng ta, nói cách khác chúng là dữ liệu được sản sinh qua quá trình chia sẻ thông tin trực tuyến liên tục của người sử dụng. Các đặc điểm chính của Big Data thường được mô tả bằng 5V: Volume (khối lượng), Velocity (tốc độ), Variety (đa dạng), Veracity (độ tin cậy) và Value (giá trị). Việc hiểu rõ các đặc điểm này là rất quan trọng để các doanh nghiệp TMĐT có thể tận dụng tối đa tiềm năng của Big Data.

1.2. Nguồn gốc và sự phát triển của Big Data trong TMĐT

Sự phát triển của Big Data trong TMĐT gắn liền với sự bùng nổ của Internet và các thiết bị di động. Ngày càng có nhiều người mua sắm trực tuyến, tạo ra một lượng dữ liệu khổng lồ về hành vi mua hàng, sở thích và tương tác của khách hàng. Sự ra đời của các công nghệ mới như điện toán đám mây, Machine Learning và AI đã giúp các doanh nghiệp có thể xử lý và phân tích Big Data một cách hiệu quả hơn. Theo báo cáo của Statista, thị trường Big Data toàn cầu dự kiến sẽ đạt 274 tỷ USD vào năm 2022, cho thấy tiềm năng to lớn của lĩnh vực này trong tương lai.

1.3. Vai trò của Big Data trong việc nâng cao trải nghiệm khách hàng TMĐT

Big Data đóng một vai trò quan trọng trong việc nâng cao trải nghiệm khách hàng trong TMĐT. Thông qua việc phân tích dữ liệu khách hàng, các doanh nghiệp có thể cá nhân hóa các đề xuất sản phẩm, chiến dịch marketing và dịch vụ khách hàng, từ đó tạo ra một trải nghiệm mua sắm phù hợp với nhu cầu và sở thích của từng cá nhân. Ví dụ, các nhà bán lẻ trực tuyến có thể sử dụng Big Data để xác định các sản phẩm mà khách hàng có khả năng quan tâm dựa trên lịch sử mua hàng, hành vi duyệt web và thông tin nhân khẩu học của họ.

II. Thách thức và Rủi ro khi Triển khai Big Data trong TMĐT 59 ký tự

Mặc dù Big Data mang lại nhiều cơ hội cho các doanh nghiệp TMĐT, việc triển khai và quản lý nó cũng đặt ra không ít thách thức. Các thách thức này bao gồm việc thu thập và tích hợp dữ liệu từ nhiều nguồn khác nhau, đảm bảo chất lượng và độ tin cậy của dữ liệu, bảo vệ dữ liệu khỏi các cuộc tấn công mạng, và tuân thủ các quy định về quyền riêng tư dữ liệu. Ngoài ra, việc tìm kiếm và giữ chân các chuyên gia có kỹ năng phân tích Big Data cũng là một vấn đề nan giải đối với nhiều doanh nghiệp. Cuộc khảo sát của New Vantage, chỉ có 32,4% doanh nghiệp thành công trong việc thay đổi văn hoá doanh nghiệp theo hướng hiện đại. Việc không được củng cố kiến thức đầy đủ về Big data như thống kê, khai phá dữ liệu hay Machine learning cũng sẽ dẫn đến những rủi ro như phá sản, vỡ nợ.

2.1. Vấn đề bảo mật và quyền riêng tư dữ liệu trong TMĐT

Bảo mật và quyền riêng tư dữ liệu là những vấn đề quan trọng hàng đầu trong TMĐT. Các doanh nghiệp cần phải đảm bảo rằng họ đang thu thập và sử dụng dữ liệu khách hàng một cách hợp pháp và minh bạch, đồng thời bảo vệ dữ liệu khỏi các cuộc tấn công mạng và truy cập trái phép. Điều này đòi hỏi các doanh nghiệp phải đầu tư vào các biện pháp bảo mật mạnh mẽ và tuân thủ các quy định về quyền riêng tư dữ liệu như GDPR và CCPA. Đặc biệt là Data Tokenization-mã hóa dữ liệu bằng Tokenization-mã hóa dữ liệu nhạy như tài khoản ngân hàng, hồ sơ tài chính khách hàng, hay các thông tin cá nhân quan trọng cần được bảo mật.

2.2. Thách thức về cơ sở hạ tầng và chi phí triển khai Big Data

Việc triển khai Big Data đòi hỏi các doanh nghiệp phải có một cơ sở hạ tầng công nghệ thông tin mạnh mẽ, bao gồm cả phần cứng, phần mềm và nhân lực. Chi phí đầu tư ban đầu và chi phí vận hành có thể rất lớn, đặc biệt đối với các doanh nghiệp nhỏ và vừa. Các doanh nghiệp có thể xem xét sử dụng các giải pháp điện toán đám mây để giảm chi phí và tăng tính linh hoạt.

2.3. Khó khăn trong việc tìm kiếm và giữ chân chuyên gia phân tích Big Data

Các chuyên gia phân tích Big Data là những người có kỹ năng và kiến thức chuyên môn cao về thống kê, toán học, khoa học máy tính và kinh doanh. Nhu cầu về các chuyên gia này đang tăng lên nhanh chóng, trong khi nguồn cung lại hạn chế, dẫn đến việc cạnh tranh gay gắt trên thị trường lao động. Việc giữ chân các chuyên gia này cũng là một thách thức, vì họ thường có nhiều cơ hội việc làm hấp dẫn.

III. Bí quyết Tối ưu hóa Chuỗi cung ứng TMĐT nhờ Big Data 54 ký tự

Big Data có thể giúp các doanh nghiệp TMĐT tối ưu hóa chuỗi cung ứng của họ bằng cách cải thiện dự báo nhu cầu, quản lý hàng tồn kho, vận chuyển và logistics. Việc phân tích dữ liệu về lịch sử bán hàng, xu hướng thị trường và thông tin khách hàng có thể giúp các doanh nghiệp dự đoán chính xác hơn nhu cầu của thị trường, từ đó giảm thiểu tình trạng thiếu hụt hoặc dư thừa hàng tồn kho. Ngoài ra, Big Data cũng có thể giúp các doanh nghiệp tối ưu hóa các tuyến đường vận chuyển, giảm chi phí và thời gian giao hàng.

3.1. Dự báo nhu cầu chính xác hơn với Big Data Analytics

Phân tích dữ liệu về lịch sử bán hàng, xu hướng thị trường, thông tin khách hàng và các yếu tố bên ngoài như thời tiết và sự kiện có thể giúp các doanh nghiệp TMĐT dự đoán chính xác hơn nhu cầu của thị trường. Việc sử dụng các thuật toán Machine Learning và AI có thể cải thiện độ chính xác của dự báo và giúp các doanh nghiệp đưa ra các quyết định sáng suốt hơn về sản xuất, mua hàng và phân phối.

3.2. Quản lý hàng tồn kho hiệu quả hơn nhờ Big Data

Việc dự đoán chính xác nhu cầu của thị trường là yếu tố quan trọng để quản lý hàng tồn kho hiệu quả. Big Data có thể giúp các doanh nghiệp giảm thiểu tình trạng thiếu hụt hoặc dư thừa hàng tồn kho, từ đó giảm chi phí lưu trữ, bảo quản và hao hụt hàng hóa. Các doanh nghiệp có thể sử dụng các hệ thống quản lý hàng tồn kho tự động để theo dõi và điều chỉnh mức tồn kho theo thời gian thực.

3.3. Tối ưu hóa vận chuyển và Logistics với Big Data

Big Data có thể giúp các doanh nghiệp TMĐT tối ưu hóa các tuyến đường vận chuyển, giảm chi phí và thời gian giao hàng. Việc sử dụng các hệ thống định vị GPS, thông tin giao thông và dữ liệu về hiệu suất vận chuyển có thể giúp các doanh nghiệp lựa chọn các tuyến đường tối ưu và điều phối các phương tiện vận chuyển một cách hiệu quả hơn. Amazon sử dụng Big Data để trợ giúp trong quá trình vận chuyển nhanh. Họ tìm một nhà cung cấp gần nhất với người mua để giảm chi phí vận chuyển.

IV. Cách Big Data Cá nhân hóa Trải nghiệm Khách hàng TMĐT 52 ký tự

Một trong những ứng dụng quan trọng nhất của Big Data trong TMĐT là cá nhân hóa trải nghiệm khách hàng. Bằng cách phân tích dữ liệu về hành vi mua hàng, sở thích, thông tin nhân khẩu học và tương tác của khách hàng, các doanh nghiệp có thể tạo ra các đề xuất sản phẩm, chiến dịch marketing và dịch vụ khách hàng phù hợp với nhu cầu và mong muốn của từng cá nhân. Điều này giúp tăng cường sự gắn kết của khách hàng với thương hiệu, tăng doanh số bán hàng và cải thiện lợi nhuận.

4.1. Đề xuất sản phẩm cá nhân hóa dựa trên Big Data Analytics

Big Data có thể giúp các doanh nghiệp đề xuất các sản phẩm mà khách hàng có khả năng quan tâm dựa trên lịch sử mua hàng, hành vi duyệt web, thông tin nhân khẩu học và các yếu tố khác. Các hệ thống đề xuất sản phẩm tự động có thể được sử dụng để hiển thị các sản phẩm phù hợp trên trang web, trong email và trong các chiến dịch marketing.

4.2. Chiến dịch Marketing được cá nhân hóa với Big Data

Big Data có thể giúp các doanh nghiệp tạo ra các chiến dịch marketing phù hợp với nhu cầu và sở thích của từng khách hàng. Việc phân tích dữ liệu khách hàng có thể giúp các doanh nghiệp xác định các phân khúc khách hàng khác nhau và tạo ra các thông điệp marketing phù hợp với từng phân khúc. Đặc biệt với các công cụ phân tích dự báo, các công ty sẽ nắm được sở thích, nhu cầu chính xác để gợi ý sản phẩm, dịch vụ mà khách hàng muốn mua trong thời gian thực.

4.3. Dịch vụ Khách hàng được Cá nhân hóa nhờ Big Data

Big Data có thể giúp các doanh nghiệp cung cấp dịch vụ khách hàng tốt hơn bằng cách cung cấp cho nhân viên hỗ trợ khách hàng thông tin chi tiết về lịch sử mua hàng, sở thích và các vấn đề đã gặp phải của từng khách hàng. Điều này giúp nhân viên hỗ trợ khách hàng giải quyết các vấn đề một cách nhanh chóng và hiệu quả hơn. Ngoài ra thông qua dữ liệu khách hàng, các công ty có thể phân tích dự đoán các vấn đề có thể xảy ra trong quá trình cung cấp các sản phẩm, dịch vụ thông qua phân tích cảm nhận của khách hàng và thực hiện các giải pháp kịp thời.

V. Ứng dụng Big Data để Ngăn chặn Gian lận trong TMĐT 57 ký tự

Gian lận là một vấn đề nghiêm trọng trong TMĐT, gây thiệt hại hàng tỷ đô la mỗi năm. Big Data có thể giúp các doanh nghiệp phát hiện và ngăn chặn gian lận bằng cách phân tích dữ liệu giao dịch, dữ liệu người dùng và các nguồn dữ liệu khác để xác định các mô hình và hành vi đáng ngờ. Việc sử dụng các thuật toán Machine Learning và AI có thể cải thiện độ chính xác của việc phát hiện gian lận và giảm thiểu các rủi ro liên quan.

5.1. Phát hiện các giao dịch gian lận bằng Big Data Analytics

Big Data có thể giúp các doanh nghiệp phát hiện các giao dịch gian lận bằng cách phân tích dữ liệu giao dịch, dữ liệu người dùng và các nguồn dữ liệu khác để xác định các mô hình và hành vi đáng ngờ. Các yếu tố có thể được sử dụng để phát hiện gian lận bao gồm địa chỉ IP, vị trí địa lý, thời gian giao dịch, số tiền giao dịch và thông tin thẻ tín dụng.

5.2. Ngăn chặn các tài khoản giả mạo bằng Big Data

Tài khoản giả mạo là một vấn đề phổ biến trong TMĐT, thường được sử dụng để thực hiện các hành vi gian lận như đánh giá giả, tăng lượt thích giả và mua hàng giả. Big Data có thể giúp các doanh nghiệp phát hiện và ngăn chặn các tài khoản giả mạo bằng cách phân tích dữ liệu người dùng, dữ liệu hoạt động và các nguồn dữ liệu khác để xác định các tài khoản có hành vi đáng ngờ.

5.3. Bảo vệ thông tin khách hàng với Big Data Security

Bảo vệ thông tin khách hàng là một ưu tiên hàng đầu của các doanh nghiệp TMĐT. Big Data Security có thể giúp các doanh nghiệp bảo vệ thông tin khách hàng bằng cách mã hóa dữ liệu, kiểm soát truy cập và giám sát các hoạt động đáng ngờ. Đặc biệt là Data Tokenization-mã hóa dữ liệu bằng Tokenization-mã hóa dữ liệu nhạy như tài khoản ngân hàng, hồ sơ tài chính khách hàng, hay các thông tin cá nhân quan trọng cần được bảo mật.

VI. Tương lai của Big Data Thay đổi TMĐT như thế nào 58 ký tự

Big Data sẽ tiếp tục đóng một vai trò quan trọng trong TMĐT trong tương lai. Sự phát triển của các công nghệ mới như AI, Machine Learning và IoT sẽ mở ra những cơ hội mới cho các doanh nghiệp để khai thác tiềm năng của Big Data và tạo ra những trải nghiệm mua sắm cá nhân hóa, thông minh và liền mạch hơn cho khách hàng. Tuy nhiên, các doanh nghiệp cũng cần phải đối mặt với những thách thức mới liên quan đến bảo mật dữ liệu, quyền riêng tư dữ liệu và đạo đức sử dụng dữ liệu.

6.1. Sự trỗi dậy của AI và Machine Learning trong TMĐT

AI và Machine Learning đang ngày càng trở nên quan trọng trong TMĐT. Các thuật toán AI và Machine Learning có thể được sử dụng để phân tích Big Data, dự đoán hành vi khách hàng, đề xuất sản phẩm cá nhân hóa, tự động hóa các tác vụ và cải thiện trải nghiệm khách hàng.

6.2. Internet of Things IoT và TMĐT Một sự kết hợp tiềm năng

IoT đang tạo ra một lượng dữ liệu khổng lồ từ các thiết bị kết nối, mở ra những cơ hội mới cho các doanh nghiệp TMĐT để hiểu rõ hơn về khách hàng và cung cấp các dịch vụ cá nhân hóa hơn. Sử dụng các thiết bị thông minh như loa thông minh, TV thông minh và thiết bị đeo thông minh có thể cung cấp thông tin giá trị về sở thích, thói quen và nhu cầu của khách hàng.

6.3. Đạo đức và trách nhiệm trong việc sử dụng Big Data TMĐT

Các doanh nghiệp cần phải đảm bảo rằng họ đang sử dụng Big Data một cách đạo đức và trách nhiệm, tuân thủ các quy định về quyền riêng tư dữ liệu và bảo vệ thông tin khách hàng. Việc sử dụng Big Data để phân biệt đối xử với khách hàng hoặc khai thác thông tin cá nhân một cách trái phép là không thể chấp nhận được.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 : TỔNG QUAN VỀỀ BIG DATA I. Tổng quan vềề dữ liệu lớn 1. Khái niệm Dữ liệu lớn (Big data) là một thuật ngữ cho việc xử lý một tập hợp dữ liệu rất lớn và phức tạp mà các ứng dụng xử lý dữ liệu truyền thống không xử lý được. Dữ liệu lớn bao gồm các thách thức như phân tích, thu thập, giám sát dữ liệu, tìm kiếm, chia sẻ, lưu trữ, truyền nhận, trực quan, truy vấn và tính riêng tư.

Thuật ngữ này thường chỉ đơn giản đề cập đến việc việc sử dụng các phân tích dự báo, phân tích hành vi người dùng, hoặc một số phương pháp phân tích dữ liệu tiên tiến khác trích xuất giá trị từ dữ liệu mà ít khi đề cập đến kích thước của bộ dữ liệu. Tuy nhiên, Big Data lại chứa trong mình rất nhiều thông tin quý giá, nếu trích xuất thành công, nó sẽ giúp rất nhiều cho việc kinh doanh, nghiên cứu khoa học, dự đoán các dịch bệnh sắp phát sinh và thậm chí là cả việc xác định điều kiện giao thông theo thời gian thực. Chính vì thế, những dữ liệu này phải được thu thập, tổ chức, lưu trữ, tìm kiếm, chia sẻ theo một cách khác so với bình thường. Vì khối dữ liệu quá lớn nên việc triển khai Big Data sẽ gặp những trở ngại bao gồm thu nhận dữ liệu, lưu trữ dữ liệu, tìm kiếm, chia sẻ, chuyển giao, cập nhật… 1.

Bigdata thường có mặt ở đâu  Dữ liệu trong hộp đen: đây là dữ liệu được tạo ra bởi máy bay, gồm có máy bay phản lực và trực thăng. Hộp đen dữ liệu này gồm có thông tin tạo ra bởi giọng nói của phi hành đoàn, các bản thu âm và tất cả thông tin chuyến bay.  Dữ liệu trên mạng xã hội: Cụ thể như trên facebook đi, tất cả những gì người dùng đăng lên như các dòng trạng thái, hình ảnh, video, lượt like, lượt share, lượt comment,… đều được ghi lại. Đương nhiên nó đủ điều kiện để trở thành big data.

 Dữ liệu của các máy tìm kiếm: Cụ thể như google đi, các kết quả hiện ra sau khi bận nhấn nút “tìm kiếm” đều được trích xuất từ các cơ sở dữ liệu khổng lồ, kết quả trả về cũng nhiều thể loại như danh sách các trang web, video, hình ảnh. Page | 4 Downloaded by Lan Nguyen (tailieuso.com) lOMoARcPSD|38784156  Dữ liệu từ các camera quan sát: Các camera quan sát ở các ngã tư thành phố, ghi lại hoạt động của đường phố suốt ngày đêm.  Dữ liệu giao dịch chứng khoán: đây chính là số liệu từ thị trường chứng khoán đối với quyết định mua và bán cổ phiếu được thực hiện bởi khách hàng.  Dữ liệu điện lực: đây là dữ liệu tạo ra bởi điện lực.

Nó bao gồm các nội dung nhất định từ các điểm giao nhau của các nút nội dung sử dụng.  Dữ liệu giao thông: dữ liệu này gồm có sức chứa và các mẫu phương tiện giao thông, độ sẵn sàng và khoảng cách đã đi được của từng phương tiện giao thông. Các thành phâần của dữ liệu lớn  Nguồn dữ liệu (Data Sources): nơi dữ liệu được sinh ra, bao gồm dữ liệu có cấu trúc (structure), dữ liệu phi cấu trúc (un-structure) cũng như dữ liệu bán cấu trúc (semi-structure). Dữ liệu có thể đến từ rất nhiều nguồn khác nhau như dữ liệu từ các ứng dụng, cơ sở dữ liệu quan hệ ,hoặc dữ liệu file được tạo ra bởi các log của ứng dụng , hay dữ liệu thời gian thực từ các thiết bị IoT (Internet of Things)  Lưu trữ dữ liệu (Data Storage): thành phần này được thiết kế để lưu trữ lại khối lượng rất lớn các loại dữ liệu với các định dạng khác nhau được sinh ra bởi nguồn dữ liệu (Data Source) trong mô hình xử lý dữ liệu theo lô ( Batch Processing)  Xử lý dữ liệu theo lô (Batch Processing): thành phần này cho phép xử lý một lượng lớn dữ liệu thông qua việc đọc dữ liệu từ các file nguồn, lọc dữ liệu theo các điều kiện nhất định, tính toán trên dữ liệu và ghi kết quả xuống 1 file đích.

Trong thành phần này có thể sử dụng Spark, Hive, MapReduce,. với nhiều ngôn ngữ lập trình khác như Java, Scala hoặc Python.  Thu thập dữ liệu thời gian thực (Real-time Message Ingestion): dữ liệu được sinh ra từ nguồn (Data Source) có thể bao gồm dữ liệu thời gian thực (ví dụ từ các thiết bị IoT) do đó thành phần này cho phép một hệ thống Big Data có thể thu thập và Page | 5 Downloaded by Lan Nguyen (tailieuso.com) lOMoARcPSD|38784156 lưu trữ các loại dữ liệu trong thời gian thực phục vụ cho việc xử lý dữ liệu theo luồng (Streaming Processing).  Xử lý dữ liệu theo luồng (Stream Processing): tương tự như việc xử lý dữ liệu theo lô (Batch Processing), sau khi thu thập dữ liệu thời gian thực, dữ liệu cũng cần phải được lọc theo các điều kiện nhất định, tính toán trên dữ liệu, và ghi kết quả dữ liệu sau khi được xử lý.

 Lưu trữ dữ liệu phân tích (Analytical Data Store): chịu trách nhiệm lưu trữ dữ liệu đã được xử lý theo định dạng có cấu trúc để phục vụ cho các công cụ phân tích dữ liệu (BI Tools). Dữ liệu có thể được lưu trữ dưới dạng OLAP trong thiết kế Kimball hoặc dữ liệu có thể lưu trữ bằng các công nghệ NoQuery như HBase, Cassandra, …  Lớp phân tích và báo cáo (Analysis and Reporting): thành phần này đáp ứng việc tự khai thác dữ liệu data self-service. Cho phép người dùng cuối trực quan hóa dữ liệu (data visualization), phân tích dữ liệu, cũng như kết xuất các báo cáo khác nhau. Chúng ta có thể nhắc đến Apache Storm, Spark Streaming….

 Điều phối (Orchestration): thành phần này có nhiệm vụ điều phối các công việc trong một hệ thống Big Data để đảm bảo luồng xử lý dữ liệu được thông suốt, từ việc thu thập dữ liệu, lưu trữ dữ liệu đến lọc, tính toán trên dữ liệu 2. Nguồền hình thành dữ liệu lớn Qua thống kê và tổng hợp, dữ liệu lớn được hình thành chủ yếu từ 6 nguồn:  Dữ liệu hành chính (phát sinh từ chương trình của một tổ chức, có thể là chính phủ hay phi chính phủ). Ví dụ, hồ sơ y tế điện tử ở bệnh viện, hồ sơ bảo hiểm, hồ sơ ngân hàng.  Dữ liệu từ hoạt động thương mại (phát sinh từ các giao dịch giữa hai thực thể).

Ví dụ, các giao dịch thẻ tín dụng, giao dịch trên mạng, bao gồm cả các giao dịch từ các thiết bị di động….  Dữ liệu từ các thiết bị cảm biến như thiết bị chụp hình ảnh vệ tinh, cảm biến đường, cảm biến khí hậu. Page | 6 Downloaded by Lan Nguyen (tailieuso.com) lOMoARcPSD|38784156  Dữ liệu từ các thiết bị theo dõi, ví dụ theo dõi dữ liệu từ điện thoại di động, GPS.  Dữ liệu từ các hành vi, ví dụ như tìm kiếm trực tuyến (tìm kiếm sản phẩm, dịch vụ hay thông tin khác), đọc các trang mạng trực tuyến…  Dữ liệu từ các thông tin về ý kiến, quan điểm của các cá nhân, tổ chức, trên các phương tiện thông tin xã hội.

Phương pháp khai thác và quản lý dữ liệu lớn ( Hadoop ecosystem) 3. Phương pháp khai thác dữ liệu lớn  Phân loại (Classification): Là phương pháp dự báo, cho phép phân loại một đối tượng vào một hoặc một số lớp cho trước.  Hồi quy (Regression): Khám phá chức năng học dự đoán, ánh xạ một mục dữ liệu thành biến dự đoán giá trị thực.  Phân nhóm (Clustering): Một nhiệm vụ mô tả phổ biến trong đó người ta tìm cách xác định một tập hợp hữu hạn các cụm để mô tả dữ liệu.

 Tổng hợp (Summarization): Một nhiệm vụ mô tả bổ sung liên quan đến phương pháp cho việc tìm kiếm một mô tả nhỏ gọn cho một bộ (hoặc tập hợp con) của dữ liệu.  Mô hình ràng buộc (Dependency modeling): Tìm mô hình cục bộ mô tả các phụ thuộc đáng kể giữa các biến hoặc giữa các giá trị của một tính năng trong tập dữ liệu hoặc trong một phần của tập dữ liệu.  Dò tìm biến đổi và độ lệch (Change and Deviation Detection): Khám phá những thay đổi quan trọng nhất trong bộ dữ liệu.  Nâng cao hiểu biết về các thị trường mới và tiềm năng  Tạo ra sản phẩm dựa trên data-driven  Xây dựng doanh nghiệp dựa trên dữ liệu mở  Hiểu rõ hơn về đối thủ cạnh tranh và nhà cung cấp  Xây dựng lợi thế cạnh tranh  Giảm chi phí Page | 7 Downloaded by Lan Nguyen (tailieuso.

Quản lý dữ liệu lớn Quản lý dữ liệu là quá trình thu nhập, lưu trữ, tổ chức và duy trì dữ liệu trong một tổ chức. QLDL hiệu quả vô cùng quan trọng trong việc triển khai các hệ thống CNTT thông qua các ứng dụng kinh doanh, cung cấp thông tin phân tích để thúc đẩy quá trình ra quyết định vận hành và hoạch định chiến lược trong doanh nghiệp. Quy trình QLDL là kết hợp các chức năng khác nhau, nhằm đảm bảo dữ liệu trong các hệ thống doanh nghiệp chính xác, có sẵn và có thể truy cập được. Một số lợi ích của việc quản lý dữ liệu tốt  Thực hiện QLDL tốt giúp các tổ chức, doanh nghiệp đạt được lợi thế cạnh tranh tiềm năng so với các đối thủ kinh doanh của họ bằng cách cải thiện hiệu quả hoạt động và cho phép ra quyết định tốt hơn.

Các tổ chức có dữ liệu được quản lý tốt có thể trở nên linh hoạt hơn, nhanh chóng phát hiện xu hướng thị trường để tận dụng các cơ hội kinh doanh nhanh chóng.  QLDL tốt cũng hỗ trợ doanh nghiệp rất nhiều trong công tác đánh giá, nghiên cứu thị trường: đánh giá hài lòng khách hàng, đánh giá năng lực nhân viên, nghiên cứu đối thủ cạnh tranh,. Đặc trưng 5V của dữ liệu lớn Page | 8 Downloaded by Lan Nguyen (tailieuso. Khốối lượng dữ liệu (Volume) Đây là đặc điểm tiêu biểu nhất của dữ liệu lớn, khối lượng dữ liệu rất lớn.

Kích cỡ của Big data đang từng ngày tăng lên, và tính đến năm 2012 thì nó có thể nằm trong khoảng vài chục terabyte cho đến nhiều petabyte (1 petabyte = 1024 terabyte) chỉ cho một tập hợp dữ liệu. Dữ liệu truyền thống có thể lưu trữ trên các thiết bị đĩa mềm, đĩa cứng. Nhưng với dữ liệu lớn chúng ta sẽ sử dụng công nghệ “đám mây” mới đáp ứng khả năng lưu trữ được dữ liệu lớn. Tốốc độ (Velocity) Tốc độ có thể hiểu theo 2 khía cạnh: (a) Khối lượng dữ liệu gia tăng rất nhanh (mỗi giây có tới 72.