Nghiên Cứu Phương Pháp Xử Lý Luồng Dữ Liệu Lớn Có Khả Năng Co Dãn Cho Hệ Thống IoT

Việc tăng số lượng và tính khả dụng của các thiết bị cảm biến IoT, thiết bị di động và các thiết bị thông minh đã dẫn đến sự bùng nổ về khối lượng, chủng loại và tốc độ sản sinh dữ liệu. Nhu cầu phân tích khối dữ liệu khổng lồ này ở các mức độ nhất định là vô cùng cần thiết. Lượng dữ liệu lớn này được gọi chung là Big Data bởi vì những thách thức nó tạo ra cho các cơ sở hạ tầng điện toán hiện tại cả về mặt truyền tải, lưu trữ và xử lý dữ liệu.

Khái niệm Internet of Things (IoT) là sự kết hợp của "Internet" và "Things", tạo ra mạng kết nối giữa các vật được định danh và khả năng giao tiếp qua giao thức chuẩn. Hệ thống IoT đại diện cho sự giao thoa giữa các thiết bị thông minh và khả năng xử lý thông tin. Công nghệ này cho phép các hệ thống vật lý có khả năng quan sát, nghe, xử lý thông tin và thực hiện các hoạt động tương tự con người. Điều này giúp chuyển đổi các hệ thống tự động truyền thống thành các hệ thống thông minh, mô phỏng cách con người hoạt động.

Trong một số lĩnh vực, tồn tại nhu cầu xử lý luồng dữ liệu để phát hiện các mẫu, xác định lỗi hoặc thu thập thông tin chi tiết. Để đạt được mục tiêu này, cần sử dụng ưu điểm của điện toán đám mây như tính kinh tế của đầu tư hạ tầng, tính co dãn của tài nguyên hoặc giảm tải và tiết kiệm băng thông. Phân tích thời gian thực dữ liệu từ cảm biến IoT đòi hỏi hạ tầng mạnh mẽ và thuật toán hiệu quả.

Mô hình điện toán đám mây có nhược điểm là độ trễ cao trong truyền thông giữa các thiết bị tầng dưới và đám mây, tốc độ tính toán thấp và thiếu linh hoạt trong các hệ thống yêu cầu thời gian thực và ứng dụng có tính linh hoạt cao. Các nghiên cứu gần đây đã đề xuất các kiến trúc mới để giải quyết các nhược điểm này, đó là điện toán biên (Edge Computing).

Việc truyền tải và lưu trữ dữ liệu cảm biến trên hệ thống IoT cũng đặt ra những lo ngại về bảo mật dữ liệu. Dữ liệu có thể bị đánh cắp, sửa đổi hoặc sử dụng sai mục đích. Do đó, cần có các giải pháp bảo mật mạnh mẽ để bảo vệ dữ liệu IoT khỏi các cuộc tấn công mạng. Các giải pháp bảo mật này cần đảm bảo tính toàn vẹn, bảo mật và sẵn sàng của dữ liệu.

Điện toán biên là một mô hình thực hiện các tính toán, xử lý dữ liệu ở biên giới của kiến trúc mạng, gần với nơi mà dữ liệu được sinh ra. Cơ sở của ý tưởng này là việc xử lý dữ liệu phải gần với nguồn dữ liệu. Kết quả của việc này là giảm lượng dữ liệu phải chuyển về phía điện toán đám mây, dẫn đến không còn việc bị nghẽn dữ liệu trong hạ tầng mạng. Đồng thời, mô hình này có thể tăng tính bảo mật và tối ưu hóa tài nguyên sử dụng trong các thiết bị trên điện toán đám mây.

Trong kiến trúc truyền thống, các dữ liệu được tạo ra từ các thiết bị ở tầng dưới được truyền lên điện toán đám mây để xử lý tập trung. Khi các dịch vụ của đám mây được cung cấp bởi bên thứ ba là các tập đoàn công nghệ lớn như Amazon hay Google thì mô hình này còn được gọi là điện toán đám mây (Cloud Computing). Ưu điểm của mô hình này mang lại bao gồm tính kinh tế của đầu tư hạ tầng, tính co dãn của tài nguyên sử dụng, và sự giảm tải, tiết kiệm băng thông.

Các thuật toán nén đóng vai trò quan trọng trong việc giảm kích thước dữ liệu cảm biến trước khi truyền tải, giúp tiết kiệm băng thông và giảm chi phí. Các thuật toán nén như Deflate, LZMA, LZ4 và Bzip2 được sử dụng để tối ưu hóa việc sử dụng hạ tầng mạng, tài nguyên tính toán và lưu trữ. Lựa chọn thuật toán nén phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu về tốc độ nén/giải nén.

Mô hình điện toán biên được xây dựng để thực hiện các tác vụ tiền xử lý dữ liệu, như lọc, nén và phân tích cơ bản. Điều này giúp giảm tải cho điện toán đám mây và cải thiện hiệu suất tổng thể của hệ thống. Các thiết bị cảm biến IoT có thể gửi dữ liệu đến các nút điện toán biên gần đó để xử lý trước khi gửi lên đám mây.

Kiến trúc điện toán đám mây được thiết kế để có khả năng co dãn tự động dựa trên tải. Hệ thống tự động thêm hoặc bớt tài nguyên (ví dụ: máy chủ, bộ nhớ, băng thông) khi tải tăng hoặc giảm. Điều này đảm bảo rằng hệ thống luôn có đủ tài nguyên để đáp ứng nhu cầu, đồng thời giảm thiểu chi phí.

Cơ chế tự động co dãn được triển khai để tự động điều chỉnh số lượng phiên bản của các dịch vụ xử lý dữ liệu. Khi tải tăng, hệ thống tự động tạo thêm các phiên bản dịch vụ để xử lý dữ liệu. Khi tải giảm, hệ thống tự động tắt bớt các phiên bản dịch vụ. Điều này giúp đảm bảo rằng các dịch vụ luôn có đủ tài nguyên để xử lý dữ liệu một cách hiệu quả.

Kết quả thực nghiệm cho thấy tính năng co dãn của mô hình hoạt động hiệu quả. Hệ thống có thể tự động thêm hoặc bớt tài nguyên khi tải tăng hoặc giảm. Điều này giúp đảm bảo rằng hệ thống luôn có đủ tài nguyên để đáp ứng nhu cầu, đồng thời giảm thiểu chi phí. Cụ thể, hệ thống có thể tự động tăng số lượng instance trên Cloud AWS khi CPU usage vượt quá ngưỡng cho phép.

Việc sử dụng điện toán biên và các thuật toán nén giúp giảm đáng kể lượng dữ liệu truyền tải trên mạng. Kết quả thực nghiệm cho thấy mô hình có thể giảm đáng kể băng thông sử dụng, đặc biệt là khi xử lý dữ liệu cảm biến có kích thước lớn. Mô hình này giúp giảm chi phí truyền tải dữ liệu và cải thiện hiệu suất của hệ thống.

Việc phân phối tác vụ xử lý dữ liệu giữa điện toán biên và điện toán đám mây giúp tối ưu hóa hiệu năng tính toán. Kết quả thực nghiệm cho thấy mô hình có thể giảm đáng kể thời gian xử lý dữ liệu và cải thiện hiệu suất tổng thể của hệ thống. Việc sử dụng các thuật toán nén cũng giúp giảm dung lượng lưu trữ cần thiết.

Nghiên cứu đã khảo sát các phương pháp xử lý luồng dữ liệu cho các ứng dụng IoT trên điện toán đám mây và nghiên cứu mô hình sử dụng các thuật toán nén bao gồm Deflate, LZMA, LZ4, và Bzip2 để tối ưu về sử dụng hạ tầng mạng, tài nguyên tính toán và lưu trữ. Kết quả nghiên cứu có tiềm năng đưa vào sử dụng trực tiếp cho các dự án IoT đang triển khai tại Việt Nam như nhà thông minh, nông nghiệp thông minh giúp tăng cường hiệu năng xử lý và phân tích dữ liệu của các hệ thống này.

Trong tương lai, cần tiếp tục nghiên cứu các thuật toán mới và kiến trúc xử lý dữ liệu tối ưu hơn để đáp ứng nhu cầu ngày càng tăng về tốc độ và quy mô trong hệ thống IoT. Việc tích hợp Machine Learning và AI có thể giúp tự động hóa quá trình xử lý và phân tích dữ liệu, đồng thời cung cấp thông tin chi tiết có giá trị cho người dùng.