MỞ ĐẦU. 1 CHƢƠNG 1: TỔNG QUAN VỀ INTERNET OF THINGS (IoT). Viễn cảnh của Internet of things. IoT và những công nghệ Internet tương lai liên quan.
Điện toán đám mây. IoT và công nghệ ngữ nghĩa (Semantic). Cảnh báo và nhận thức tình huống. Tiêu chuẩn và giao thức IoT.
Wifi và Low - Power Wifi (LP - Wifi). Low-Power diện rộng (LPWA). 3GPP Cellular: MTC. Nghiên cứu mới nhất.
30 Kết luận chương. 33 CHƢƠNG 2: CÁC NỀN TẢNG PHÂN TÍCH DỮ LIỆU. Thành phần của Docker. Docker client and server.
Hai công cụ của Docker. Ưu và nhược điểm của Docker container. Docker và các công nghệ khác. Virtual machine vs Docker.
Docker vs VM cloud. Các tính năng chung của Logstash. Các khái niệm chính của Logstash. Ưu, nhược điểm Logstash.
Tính năng của Elasticsearch. Các khái niệm trong Elasticsearch. Ưu, nhược điểm của Elasticsearch. Các tính năng của Kibana.
Ưu, nhược điểm của Kibana. 56 Kết luận chương. 56 CHƢƠNG 3: MÔ HÌNH THỰC NGHIỆM. Kiến trúc mô hình.
Thiết lập mô hình. Cài đặt Docker. Cài đặt Elasticsearch, Logstash, Kibana. Chạy mô hình.
65 Kết luận chương. 68 TÀI LIỆU THAM KHẢO. 74 e DANH MỤC VIẾT TẮT APT Advanced Packaging Tool AP Access point API Application Programming Interface BLE Bluetooth 4.0 + CI Continuous Integration CE Community Edition CLI Command line interface CPU Central Processing Unit CRM Customer Relationship Management CTI Cyper threat intelligence CSV Comma Seperated Value EC2 Elastic Compute Cloud EE Enterprise Edition ELK Elasticsearch, Logstash, Kibana EPC Electronic product code EU European Union HTTP HyperText Transfer Protocol Hyper-V Hypervisor IEEE Institute of Electrical and Electronics Engineers IDC International Data Corporation IP Internet Protocol IPFIX Internet Protocol Flow Information Export IoE Internet of Energy IoM Internet of Media IoP Internet of Persons e IoS Internet of Services IoT Internet of Things ISTAG Information Society Technologies Advisory Group JVM Java Virtual Machine LACP Link Aggregation Control Protocol LXC Linux Container LMSC LAN/MAN Standards Committee LP-Wifi Low-Power Wifi LPWA Low-power wide-area LPWAN Low-power wide-area network LTE Long Term Evolution M2M Machine-to-Machine MAC Medium Access Control MIT Massachusetts Institute of Technology MTC Machine-type communications NFC Near Field Communications NB-IOT NarrowBand IoT NFV Network Functions Virtualization PHY Physical layer of the OSI model QoS Quality of Service RFID Radio Frequency Identification SAN Storeage Area Network SDN Software Defined Networking SDOs Standards Developing Organizations SDP Service Delivery Platforms SIG Special Interest Group e SLA Service-level agreement/Software license agreement SOA Service oriented Approach SOCMINT Social media intelligence SPA Single Page Application 3GPP Third Generation Partnership Project TCP Transmission Control Protocol TGah IEEE802.11ah Task Group TSCH Timeslotted Channel Hopping UID User identifier UMTS Universal Mobile Telecommunication System URL Uniform Resource Locator WSNs Wireless Sensor Networks WS&AN Wireless Sensor and Actuator Networks XML Extensible Markup Language ZB Zettabyte e DANH MỤC HÌNH VẼ, BẢNG Bảng 1.1: Bảng so sánh các tính năng của 3 giải pháp quản lý dữ liệu log thông dụng trên thị trường .3: Nguồn ảnh trên Docker.1: Xu hướng phát triển công nghệ.2: Quan hệ kinh doanh và IoT .3: Nguyên tắc làm việc của RFID .4: Kiến trúc mạng cho nền tảng IOT sử dụng SDN và NFV Technologies .2: Kiến trúc Docker .3: Kiến trúc máy ảo .4: Kiến trúc Docker container .5: Thời gian khởi động trung bình của Docker và KVM.6: Hiệu suất tính của CPU .7: Mô hình ELK stack .8: Giao diện chính của Kibana .1: Kiến trúc đơn giản của mô hình .2: nội dung file start.3: Kiến trúc thư mục của mô hình.4: Các container đang hoạt động .5: Thông tin container elasitcsearch.6: Kibana sau khi truy cập.7: Giao diện chính của Kibana .8: Lĩnh vực tags và lĩnh vực host. Lý do chọn đề tài Mạng lưới vạn vật kết nối Internet hoặc là Mạng lưới thiết bị kết nối Internet viết tắt là IoT (tiếng Anh: Internet of Things) là một kịch bản của thế giới, khi mà mỗi đồ vật, con người được cung cấp một định danh của riêng mình, và tất cả có khả năng truyền tải, trao đổi thông tin, dữ liệu qua một mạng duy nhất mà không cần đến sự tương tác trực tiếp giữa người với người, hay người với máy tính.
IoT đã phát triển từ sự hội tụ của công nghệ không dây, công nghệ vi cơ điện tử và Internet. Nói đơn giản là một tập hợp các thiết bị có khả năng kết nối với nhau, với Internet và với thế giới bên ngoài để thực hiện một công việc nào đó. Cisco, nhà cung cấp giải pháp và thiết bị mạng hàng đầu hiện nay dự báo: Đến năm 2020, sẽ có khoảng 50 tỷ đồ vật kết nối vào Internet, thậm chí con số này còn gia tăng nhiều hơn nữa. IoT sẽ là mạng khổng lồ kết nối tất cả mọi thứ, bao gồm cả con người và sẽ tồn tại các mối quan hệ giữa người và người, người và thiết bị, thiết bị và thiết bị.
Một mạng lưới IoT có thể chứa đến 50 đến 100 nghìn tỉ đối tượng được kết nối và mạng lưới này có thể theo dõi sự di chuyển của từng đối tượng. Một con người sống trong thành thị có thể bị bao bọc xung quanh bởi 1000 đến 5000 đối tượng có khả năng theo dõi [6]. Theo nghiên cứu được tiến hành bởi IDC ước tính thế giới sẽ sử dụng nhiều thiết bị IoT hơn so với tỉ lệ bình quân hằng năm 17%, tương đương 1.3 nghìn tỉ dollar vào năm 2019 [6]. Một nghiên cứu khác thực hiện bởi Capgemini “Mở khóa giá trị kinh tế của việc vận hành IoT” chỉ ra rằng các doanh nghiệp tiếp nhận IoT đều tăng trưởng ấn tượng trong hoạt động kinh doanh [6], [7].
Những nghiên cứu trên đều là bằng chứng cho sự biến đổi đầy năng lượng của IoT. e 2 Phân tích dữ liệu là quá trình phân tích các bộ dữ liệu để trích xuất những hiểu biết có ý nghĩa từ chúng với sự trợ giúp của các phần mềm và hệ thống chuyên dụng. Những hiểu biết này ở dạng mẫu, thống kê và xu hướng có thể được sử dụng bởi các doanh nghiệp để ra quyết định hiệu quả. Không còn nghi ngờ gì nữa, phân tích dữ liệu đóng một vai trò quan trọng trong sự thành công và tăng trưởng của các ứng dụng IoT.
Ứng dụng IoT làm việc với dữ liệu có cấu trúc, không cấu trúc hoặc bán cấu trúc. Có một số khác biệt đáng kể về kiểu dữ liệu và định dạng. Do vậy việc nghiên cứu các nền tảng phân tích dữ liệu phù hợp cho IoT là rất cấp thiết hiện nay. Vì vậy trong luận văn này tác giả chọn chủ đề “Nghiên cứu các nền tảng phân tích dữ liệu trong môi trường ảo cho hệ sinh thái Internet of Things” làm đề tài nghiên cứu.
Tổng quan tình hình nghiên cứu đề tài 1.1 Công nghệ xử lý dữ liệu lớn Internet of Things là một đột phá công nghệ mới trong thu thập, xử lý, phân tích dữ liệu và điều khiển tích hợp các hệ thống khác nhau trong xã hội để đẩy mạnh việc số hóa hoạt động của xã hội và nền kinh tế cũng như thúc đẩy sự phát triển của ngành công nghiệp Công nghệ thông tin. Các vấn đề về tích hợp và xử lý các dữ liệu không đồng nhất – Log, xml, meta-data hoặc các dữ liệu tương tự hiện nay đang được đẩy mạnh nghiên cứu [1]. Log cũng được coi như là dữ liệu lớn bởi vì kích thước thường xuyên tăng trưởng theo thời gian. Việc quản lý log cũng là một ứng dụng xử lý dữ liệu lớn mà chúng ta thường hay biết đến với nền tảng Hadoop [1].
Tuy nhiên, Hadoop chủ yếu hỗ trợ các hệ thống có quy mô rất lớn như Google, Yahoo,. Đối với hệ thống cỡ vừa và nhỏ, Hadoop trở nên cồng kềnh, đắt đỏ, không thực tế để thực hiện. Hơn nữa, nó cũng không đủ nhanh cho việc dữ lý dữ liệu online. Hiện nay nhiều giải pháp công nghệ không những lưu trữ, tìm kiếm và truy vết dữ liệu log, mà còn tận dụng dữ liệu log mang tính lịch sử để kết hợp e 3 với các nguồn dữ liệu nghiệp vụ khác sử dụng trong các bài toán phân tích xu hướng, phân tích hành vi người dùng, nghiệp vụ thông minh (Business Intelligence), phân tích dữ liệu lớn (Bigdata) trong tương lai.
Có nhiều giải pháp công nghệ khác nhau bao gồm cả các giải pháp phần mềm thương mại và phần mềm mã nguồn mở, điển hình trong số đó phải kể đến như Splunk, Graylog và ELK [3], [4]. Các tính năng nổi trội của các giải pháp giám sát và phân tích dữ liệu log hệ thống ngày nay phải kể đến như: Khả năng tìm kiếm mạnh mẽ, xây dựng được màn hình giám sát thời gian thực, báo cáo, cảnh bảo ngưỡng, phân tích dữ liệu lịch sử, truy tìm vết. Bảng so sánh các tính năng của 3 giải pháp quản lý dữ liệu log thông dụng trên thị trƣờng. e 4 Trong các giải pháp kể trên, 2 giải pháp mã nguồn mở ELK và Graylog đang phát triển rất mạnh mẽ.
Graylog là giải pháp được phát triển trên mục tiêu đơn thuần là lưu trữ, quản lý, cảnh báo và tìm kiếm dữ liệu log. Mọi công việc từ tổng hợp dữ liệu, cảnh báo đều có thể được thực hiện dễ dàng trên giao diện UI (User interface) trực quan nhưng khá đóng đối với người sử dụng. Graylog cung cấp các bộ trích xuất (Extractors) để trích xuất và tổng hợp các loại dữ liệu log nhất định, khi có yêu cầu cần phải trích xuất dữ liệu log phức tạp và mang tính đặc thù cao thì Graylog bắt đầu thể hiện điểm yếu so với Logstash trong bộ giải pháp ELK – Logstash cung cấp kỹ thuật trích xuất và tổng hợp dữ liệu log dựa trên công nghệ ETL (Extract, transform, load) mang tính mở, tường minh và tùy biến hơn rất nhiều. Về khả năng xây dựng báo cáo, biểu đồ, trừu tượng hóa dữ liệu trong Graylog chỉ thực hiện được ở mức cơ bản, chưa đủ linh hoạt để có thể sử dụng trong các bài toán phân tích dữ liệu, việc này ELK lại làm rất tốt với thành phần Kibana.
ELK cũng giống Graylog là một bộ giải pháp công nghệ mã nguồn mở được sử dụng để thu thập, quản lý, phân tích dữ liệu log tập trung, tuy nhiên định hướng và mục tiêu của bộ giải pháp ELK vượt xa công việc quản lý dữ liệu log đơn thuần. ELK gồm 3 thành phần: - ElasticSearch: Một hệ truy hồi thông tin mạnh mẽ, được sử dụng để lưu trữ và đánh chỉ mục cho dữ liệu log [3]. - Logstash: Phần mềm mã nguồn mở thực hiện tiến trình đồng bộ dữ liệu ETL, thu thập dữ liệu log [3].