CHƯƠNG 1 TONG QUAN DE TAI 1.1 Muc tiéu va pham vi 1.1 Mục tiêu Tìm hiểu các ưu điểm, nhược điểm của các hệ thong dữ liệu lớn hiện tại. Nghiên cứu các công cụ hỗ trợ làm data warehouse, data processing, ETL, data lake hiện tại có trên thị trường. Thiết kế hệ thống đữ liệu lớn phù hợp với yêu cầu phục vụ hệ thống máy học. Xây dựng hệ thống dữ liệu lớn phù hợp.
Tìm hiểu các ưu điểm, nhược điểm của các hệ thong khuyén nghi (Recommender System). Nghiên cứu các phương phap,giai thuật và các công thức toán học phù hợp nhất cho hệ thống khuyến nghị. Xây dựng hệ thong khuyến nghị phù hợp với hệ thống dữ liệu lớn.2 Phạm vỉ Các hệ thống dữ liệu lớn dam mây (cloud), các hệ thống dữ liệu lớn tại cho (on-premise) của các công ty vừa và nhỏ, các nên tảng mã nguôn mỡ hỗ trợ dit liệu lớn. Các hệ thống khuyến nghị, các phương pháp dé tiếp cận và thử nghiệm với các hệ thông dữ liệu lớn Tổng quan lại thì phạm vi của đề tài là xây dựng 1 hệ thống Data Lake và 1 hệ thống khuyến nghị (Recommender System) với ý nghĩa khoa học là tìm hiểu về lãnh vực dit liệu lớn và trí thông minh nhân Trang 17 tạo dé có cái nhìn tổng quan và thực tiễn về 2 lãnh vực nêu trên và hiểu những cách thức và hướng tiếp cận với dữ liệu lớn và học máy thông qua việc xây dựng đề tài Đồng thời với việc nâng cao trải nghiệm của khách hàng trong ngành bán lẻ là một nhu cầu có tính ứng dụng và cấp thiết cao vì mục đích của việc này là dé nâng cao trải nghiệm người dùng (User Experience), tăng cường sự tiện lợi cho khách hàng với mục đích cuối cùng là dé tăng hiệu suất va chất lượng dich vụ cho những doanh nghiệp trong ngành bán lẻ 1.2 Nội dung thực hiện Mục tiêu của dé tài “Xây dựng DataLake hỗ trợ gợi ý tập khách hàng trong ngành bán lẻ”: - Tìm hiểu về Dữ liệu lớn, các khái niệm chuyên ngành.
- Tìm hiểu về Hệ thống dữ liệu lớn, các dịch vụ thương mại có trên thị trường. - _ Nghiên cứu các yếu tố, thành phần cấu trúc Hệ thống dữ liệu lớn - _ Xây dựng Hệ thống dữ liệu lớn - Tim hiểu về hệ thống khuyến nghị, các khái niệm chuyên ngành - Tim hiểu về hệ thống khuyến nghị, các dịch vụ thương mại có trên thị trường. - _ Nghiên cứu các yêu tô, thành phân câu trúc,các giải thuật Trang 18 và công thức phù hợp dé áp dụng cho hệ thống khuyến nghị Phân tích thiết kế hệ thống dữ liệu lớn phù hợp Phân tích thiết kế hệ thống khuyến nghị phù hợp Nghiên cứu các phương pháp tiếp cận hệ thống khuyến nghị phủ hợp Xây dựng Hệ thống khuyến nghị So sánh với các hệ thống khuyến nghị và hệ thống dữ liệu lớn hiện đã có trên thị trường dé có thé tìm hiểu , đối chiếu đê rút ra kết luận vê ưu nhược điêm của hệ thông Trang 19 CHƯƠNG 2 DỮ LIỆU LỚN LÀ GÌ, CÁC KHÁI NIỆM CHUYÊN NGÀNH CÀN LÀM RÕ 2.1 Khảo sát thực trạng Hiện tại với sự phát triển vũ bão của khoa học và công nghệ thì thông tin về khách hàng được thu thập với khối lượng và tốc độ chóng mặt và điều đó gây nên các vấn dé và nhu cầu về việc lưu trữ lượng lớn dit liệu này và điều này dẫn đến sự khai sinh của ngành dữ liệu lớn, vậy chúng ta có thé tự hỏi những câu hỏi như sau: - Dt liệu lớn là gì? - Nó chỉ có nghĩa là khối lượng đữ liệu không lồ hoặc có cái gì khác cho nó? - _ Liệu dữ liệu lớn có bat kỳ đặc điểm nào và đây là những gi? Trong chương này, tụi em sẽ đi qua từng câu hỏi một dé giải thích va làm rõ các khái niệm sau. Chủ yếu, tụi em sẽ đề cập đến các chủ đề sau: - Dir liệu lớn.
- Các đặc điểm của dữ liệu lớn. - _ Các cân nhắc thiết kế khác nhau cho các giải pháp đữ liệu lớn. - _ Thuật ngữ chính được sử dụng trong thế giới dit liệu lớn.2 Dữ liệu lớn là gì? Nếu chúng ta có một định nghĩa đơn giản hơn, về cơ bản nó có thê được coi là một khối lượng dit liệu không 16 không thé lưu trữ và xử lý bang cách sử dụng phương pháp truyền thống. Vì đữ liệu này có thể chứa thông tin có giá trị, nó cần được xử lý trong một khoảng thời gian ngắn.
Thông tin có giá tri này có thê được sử dụng để thực hiện các phân tích dự đoán, cũng như cho tiếp thị và nhiều mục đích khác. Nếu chúng ta sử Trang 20 dụng phương pháp truyền thống, chúng ta sẽ không thé hoàn thành nhiệm vụ này trong khung thời gian nhất định, vì khả năng lưu trữ và xử lý sẽ không đủ cho các loại nhiệm vụ nay. Đó là một định nghĩa đơn giản hơn dé hiểu khái niệm đữ liệu lớn. Phiên bản chính xác hơn như sau: "Dit liệu lớn dùng dé chi tập dữ liệu với kích thước vượt quá khả năng lưu trữ, quản lý và phân tích của phan mém cơ sở dữ liệu thông thường.
" Từ các mẫu lưu lượng truy cập và tải nhạc, đến lịch sử web và hồ sơ y tế, dữ liệu được ghi lại, lưu trữ và phân tích dé cho phép công nghệ và dịch vụ tạo ra sản phẩm có ý nghĩa mà thé giới dựa vào mỗi ngày. Nếu chúng tôi chỉ giữ đữ liệu mà không xử lý dữ liệu hoặc nếu chúng tôi không lưu trữ dữ liệu, coi đó là không có giá trị, điều này có thể gây bắt lợi cho công ty. Bạn đã bao giờ thay Amazon đang gợi ý cho bạn những sản pham mà bạn quan tâm nhiều nhất chưa? Hay là Shopee biết rõ bạn đang quan tâm đến những thể loại sản phẩm và dịch vụ nào? Các công ty này họ đã và đang thu thập tất cả các hoạt động bạn làm trên ứng dụng của họ và sử dụng chúng cho trải nghiệm người dùng tốt hơn, cũng như vì lợi ích của họ, dé tạo doanh thu.Ta có thể nhận ra điều này khi sử dụng các ứng dụng phô biến thường ngày như Facebook, Shopee, Amazon. Điều này đặt ra một thách thức cho chúng ta: đưa ra các giải pháp mạnh mẽ và hiệu quả hơn có thê dap ứng các thách thức va yêu câu mới.
Bây giờ, khi chúng ta có một số hiểu biết về dữ liệu lớn là gì, chúng ta sẽ Trang 21 tiễn lên phía trước vả thảo luận về các đặc điểm khác nhau của nó.3 Đặc điểm của dữ liệu lớn Dữ liệu lớn có 6 đặc điểm như sau: - Volume: Là sự tăng trưởng về mặt khối lượng .Dữ liệu trong các hệ thống thông tin luôn luôn và không ngừng tăng về kích thước - Velocity: Là sự tăng trưởng về mặt tốc độ - Variety: Là sự tăng trưởng về tinh đa dạng của dit liệu .Bao gồm cả dữ liệu có câu trúc và phi cấu trúc - Variability: Là tính biến thiên của dữ liệu phản ánh tính không nhất quán của đữ liệu .Tính biến thiên cũng được thẻ hiện qua kích thước và Trang 22 tốc độ đữ liệu được sinh ra - Value: Giá trị thông tin trong hệ thống - Veracity: Là tính xác thực của dữ liệu VOLUME VARIETY 6V’s of Hình 1: Đặc điểm của dữ liệu lớn (Big Data) Trang 23 Các kích thước bộ nhớ máy tính khác nhau được liệt kê trong bảng sau dé cho bạn ý tưởng về các chuyên đổi giữa các don vị khác nhau. Nó sẽ cho bạn hiểu kích thước của dit liệu trong các vi dụ sắp tới trong chương này: Memory Conversion Capacity Chart \Byte(B) |8bbhb —_ 1024 MB / 10° bytes 1024 GB / 10" bytes Zettabyte (ZB 1024 EB / 10ˆ` bytes Yottabyte (YB) ‘| 1024 ZB ! 10”” bytes 2.1 Dung lượng Trong những năm trước, dữ liệu của công ty chỉ đề cập đến dữ liệu được tạo bởi nhân viên của họ. Bây giờ, khi việc sử dụng công nghệ tăng lên, nó không chỉ là dữ liệu được tạo bởi nhân viên mà còn là dữ liệu được tạo ra bởi các máy được sử dụng bởi các công ty và khách hàng của họ. Ngoài ra, với sự phát triển của phương tiện truyền thông xã hội và các tài nguyên internet khác, mọi người đang đăng và tải lên rất nhiều nội dung, video, hình ảnh, tweet, v.v Khi chúng ta nói về khối lượng trong bối cảnh dé liệu lớn, đó là một lượng dữ liệu khổng lồ đối với hệ thống xử lý không thể được thu thập, lưu trữ và xử lý băng các phương pháp truyền thông.
Đó là đữ liệu còn lại đã được thu thập vả truyền dữ liệu liên tục được tạo. Lấy ví dụ về Facebook. Như chúng ta có thê thấy trong hình 2, số lượng Trang 24 người dùng hang tháng của Facebook trong năm 2019 tăng chóng mặt và khi số lượng người dùng tăng nhanh vậy thì cũng đồng nghĩa với việc dữ liệu về các hoạt động của người dùng tăng liên tục thông qua các hành vi của người dùng như đăng tải một tam anh đại diện, bình luận trên một Hình 2: Tăng trưởng trong qua khứ, hiện tại,tương lai của Facebook 2.2 Vận tốc Vận tốc là tốc độ tạo ra dữ liệu hoặc tốc độ dữ liệu đến. Nói cách đơn giản hơn, chúng ta có thê gọi nó là dữ liệu chuyên động.
Hãy tưởng tượng lượng đữ liệu Facebook, YouTube hoặc bất kỳ trang web mạng xã hội nào đang nhận được mỗi ngày. Họ phải lưu trữ nó, xử lý nó và bằng cách nào đó sau đó có thê lây nó. Dưới đây là một vài ví dụ về việc dữ Trang 25 liệu tăng nhanh như thế nào: - _ Mỗi phút có 168 triệu email được gửi đi - Có trên 98.000 dong tweet mới trên Twitter - Trên 698.000 kết qua tim kiếm mới trên Google Every 60 seconds WD 98,000+ tweets - Ei 695,000 status updates c===> MB 11million instant messages DPD 698,445 Google searches K<a 168 million+ emails sent ¬ 1,820TB of data created BH 217 new mobile web users Hình 3: Vận tốc mà dữ liệu được tạo ra 2.3 Đa dạng Trong phần này, tụi em nghiên cứu phân loại dữ liệu. Nó có thể được cấu trúc hoặc dữ liệu phi cấu trúc.
Dữ liệu có cấu trúc được ưu tiên cho thông tin có lược đồ được xác định trước hoặc có mô hình dữ liệu với các cột, loại dữ liệu được xác định trước, v., trong khi dữ liệu phi cấu trúc không có bất kỳ đặc điểm nào trong số này.