ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA BÀI TẬP 2 LÝ THUYẾT VỀ DATA MÔN HỌC CÔNG NGHỆ 4.0 TRONG LÃNH VỰC CƠ KHÍ - ME4063 GVHD: TRẦN QUANG PHƯỚC SVTH MSSV Phân công Ghi chú Kiều Trung Tín 1910610 4, 6, Tổng hợp Nhóm trưởng Bùi Trung Kiên 1910285 2 Huỳnh Nhật Trường 1910652 1 Huỳnh Lê Hữu Tuấn 1915762 3 Ngô Trần Quang Châu 1912766 5 Lê Gia Khánh 1913734 5 0 MỤC LỤC MỤC LỤC. Các phương pháp thu thập dữ liệu. Hâu quả của thu thập dữ liệu sai cách. Yếu tố quan trọng trong thu thập dữ liệu.
Các bước để thu thập dữ liệu. Kiến trúc Hadoop. Hoạt động của Hadoop. Hệ thống lưu trữ dữ liệu HDFS.
Ưu điểm nổi bật của HDFS. Kiến trúc của HDFS. Chức năng của data processing. Các hình thức xử lý dữ liệu.
Công cụ hỗ trợ xử lý Apache Spark. Các thành phần của Apache Spark. Các dữ liệu bị trùng lặp hoặc các dữ liệu không liên quan. Chuyển dữ liệu sang một dạng mới để dễ dàng phân tích.
Nguyên lý hoạt động. Cấu trúc của Apache Hive. Các Tính Năng Chính. Ưu điểm và nhược điểm.
Ưu điểm và nhược điểm của Impala. Các tính năng của Impala. Cơ sở dữ liệu quan hệ và Impala. Tìm hiểu về Apacha Drill.
Các loại trực quan hóa dữ liệu. Các công cụ trực quan hóa. Ưu điểm và nhược điểm. Sơ bộ về phần mềm Power BI.
Các thành phần của Power BI. Ưu điểm và nhược điểm. Hướng dẫn sử dụng Power BI. Giới thiệu Apache Zeppelin.
Các tính năng của Apache Zeppelin. Giới thiệu Tableau. Ưu điểm, nhược điểm của Tableau. Hệ thống phân tán.
Cơ chế lưu dữ liệu. Cấu trúc dữ liệu. Ưu điểm và nhược điểm. Nhược điểm.
Khái niệm Data collection là quá trình thu thập và đo lường thông tin về các biến số quan tâm, theo một cách thức có hệ thống đã được thiết lập cho phép người ta trả lời các câu hỏi nghiên cứu đã nêu, kiểm tra giả thuyết và đánh giá kết quả. Thành phần Data collection của nghiên cứu là chung cho tất cả các lĩnh vực nghiên cứu bao gồm khoa học vật lý và xã hội, nhân văn, kinh doanh, v. Mặc dù các phương pháp khác nhau tùy theo ngành học, nhưng trọng tâm về việc đảm bảo thu thập chính xác và trung thực vẫn không đổi. Bất kể lĩnh vực nghiên cứu hoặc sở thích xác định dữ liệu (định lượng, định tính) là gì, việc Data collection chính xác là điều cần thiết để duy trì tính toàn vẹn của nghiên cứu.
Cả việc lựa chọn các công cụ Data collection thích hợp (hiện có, sửa đổi hoặc mới được phát triển) và các hướng dẫn được mô tả rõ ràng để sử dụng chúng đúng cách đều làm giảm khả năng xảy ra sai sót. Các phương pháp thu thập dữ liệu - Phương pháp quan sát (observation) Quan sát là phương pháp thu thập dữ liệu bằng cách ghi lại có kiểm soát các sự kiện hoặc các hành vi ứng xử của con người. Phương pháp thu thập dữ liệu này khá tiện dụng thường được dùng kết hợp với các phương pháp khác để kiểm tra chéo độ chính xác của dữ liệu thu thập. - Phương pháp phỏng vấn 4 Phỏng vấn là một cuộc hỏi đáp giữa một bên là phỏng vấn viên và một bên là người được phỏng vấn thông qua một hình thức tiếp xúc nào đó.
Trong thực tiễn các hình thức tiếp xúc trong phỏng vấn khá đa dạng: Các hình thức tiếp xúc trong phỏng vấn: + Phỏng vấn trực tiếp; + Phỏng vấn qua thư tín; + Phỏng vấn qua điện thoại; + Phỏng vấn qua Email… - Phương pháp thử nghiệm Phương pháp thu thập dữ liệu này gồm 2 loại: - Thử nghiệm trong phòng thí nghiệm là để quan sát và đo lường các phản ứng tâm lý hoặc theo dõi các cuộc phỏng vấn, thảo luận của các nhóm trọng điểm. Phòng thí nghiệm thường được chia làm 2 ngăn: Ngăn 1 dành cho những người được phỏng vấn, hay thử nghiệm; Ngăn 2 dành cho những quan sát viên và các trang bị kỹ thuật, ở giữa 2 ngăn được trang bị 1 tấm kính 1 chiều. - Thử nghiệm tại hiện trường là việc quan sát đo lường thái độ, phản ứng của khách hàng trước những sự thay đổi của nhà cung cấp sản phẩm/dịch vụ như: thay đổi giá bán, thay đổi cách thức phục vụ, chăm sóc khách hàng… Việc quan sát được thực hiện tại nơi diễn ra sự giao dịch, cho nên được gọi là thử nghiệm tại hiện trường. - Phương pháp điều tra thăm dò Điều tra là việc tìm hiểu thật kỹ ngọn nguồn các sự kiện, chú trọng tới việc thu thập thông tin cùng các nhân chứng, vật chứng.
Trong nghiên cứu marketing phương pháp thu thập dữ liệu này được áp dụng khá phổ biến vì những ưu thế của nó nhằm bảo đảm 4 nguyên tắc của một nghiên cứu khoa học. Công cụ chủ yếu được dùng để thu thập các thông tin, sự kiện trong phương pháp này là “Bảng câu hỏi – Questions Form” do khách hàng tự trả lời. Nó đặc biệt hữu dụng trong nghiên cứu định lượng bởi vì: Đối tượng nghiên cứu chủ yếu của nghiên cứu marketing là các ý kiến, kỳ vọng của khách hàng, nhà cung cấp, người tiêu dùng… cần được đo lường, tính toán, so sánh một cách cụ thể. Vì vậy, cách thức để thu thập dữ liệu bằng “bảng câu hỏi” trong điều tra thăm dò là phù hợp hơn cả.
- Thảo luận nhóm (focus group) Thảo luận nhóm là phương pháp thu thập dữ liệu phổ biến nhất trong nghiên cứu định tính. Các dữ liệu được thu thập thông qua một cuộc thảo luận giữa một nhóm đối tượng nghiên cứu (nhóm tập trung hay nhóm chuyên đề) dưới sự dẫn dắt của người điều khiển chương trình (moderator). Hâu quả của thu thập dữ liệu sai cách - Không có khả năng trả lời chính xác các câu hỏi nghiên cứu 5 - Không có khả năng lặp lại và xác thực nghiên cứu - Phát hiện sai lệch dẫn đến lãng phí tài nguyên - Đánh lừa các nhà nghiên cứu khác để theo đuổi những con đường điều tra không có kết quả - Thỏa hiệp các quyết định đối với chính sách - Gây hại cho người tham gia và động vật - Mặc dù mức độ tác động từ việc Data collection bị lỗi có thể khác nhau tùy theo kỷ luật và bản chất của cuộc điều tra, nhưng có khả năng gây ra tác hại không cân xứng khi các kết quả nghiên cứu này được sử dụng để hỗ trợ các khuyến nghị chính sách công. Yếu tố quan trọng trong thu thập dữ liệu Đảm bảo chất lượng Vì đảm bảo chất lượng có trước việc Data collection, trọng tâm chính của nó là ‘phòng ngừa’ (tức là ngăn chặn các vấn đề với việc Data collection).
Phòng ngừa là hoạt động tiết kiệm chi phí nhất để đảm bảo tính toàn vẹn của việc Data collection. Biện pháp chủ động này được thể hiện rõ nhất bằng việc chuẩn hóa giao thức được phát triển trong sổ tay thủ tục toàn diện và chi tiết để Data collection. Sổ tay hướng dẫn viết kém làm tăng nguy cơ không xác định sớm được các vấn đề và sai sót trong quá trình nghiên cứu. Những thất bại này có thể được chứng minh theo một số cách: Sự không chắc chắn về thời gian, phương pháp và danh tính của (những) người chịu trách nhiệm xem xét dữ liệu Liệt kê một phần các mục cần thu thập Mô tả mơ hồ về các công cụ Data collection sẽ được sử dụng thay cho các hướng dẫn từng bước nghiêm ngặt về việc quản lý các bài kiểm tra Không xác định được nội dung và chiến lược cụ thể để đào tạo hoặc đào tạo lại các nhân viên chịu trách nhiệm Data collection Các hướng dẫn sử dụng, điều chỉnh và hiệu chuẩn thiết bị Data collection bị che khuất (nếu thích hợp) Không có cơ chế nào được xác định để ghi lại những thay đổi trong thủ tục có thể phát triển trong quá trình điều tra.
Kiểm soát chất lượng Mặc dù các hoạt động kiểm soát chất lượng (phát hiện / giám sát và hành động) diễn ra trong và sau khi Data collection, các chi tiết cần được thực hiện cẩn thận trong sổ tay thủ tục. Một cấu trúc thông tin liên lạc được xác định rõ ràng là tiền đề cần thiết để thiết lập hệ thống giám sát. Không được có bất kỳ sự không chắc chắn nào về luồng thông tin giữa các điều tra viên chính và các nhân viên sau khi phát hiện ra các sai sót trong quá trình Data collection. Một cấu trúc giao tiếp kém phát triển khuyến khích việc giám sát lỏng lẻo và hạn chế cơ hội phát hiện lỗi.
6 Việc phát hiện hoặc giám sát có thể dưới hình thức quan sát nhân viên trực tiếp trong các chuyến thăm thực địa, các cuộc gọi hội nghị, hoặc đánh giá thường xuyên và thường xuyên các báo cáo dữ liệu để xác định sự không nhất quán, giá trị cực đoan hoặc mã không hợp lệ. Mặc dù việc thăm địa điểm có thể không phù hợp với tất cả các lĩnh vực, nhưng việc không kiểm tra hồ sơ thường xuyên, dù là định lượng hay định lượng, sẽ khiến các nhà điều tra khó xác minh rằng việc Data collection đang tiến hành theo các thủ tục được thiết lập trong sổ tay hướng dẫn. Ngoài ra, nếu cấu trúc thông tin liên lạc không được mô tả rõ ràng trong sổ tay thủ tục, việc truyền tải bất kỳ thay đổi nào trong thủ tục đến nhân viên đều có thể bị tổn hại. Kiểm soát chất lượng cũng xác định các phản hồi bắt buộc hoặc “hành động” cần thiết để sửa chữa các thực hành Data collection bị lỗi và cũng giảm thiểu các sự cố xảy ra trong tương lai.
Những hành động này ít có khả năng xảy ra nếu các thủ tục Data collection được viết một cách mơ hồ và các bước cần thiết để giảm thiểu sự tái diễn không được thực hiện thông qua phản hồi và giáo dục 1. Các bước để thu thập dữ liệu Bước 1: Xác định mục tiêu nghiên cứu Trước khi bắt đầu quá trình thu thập dữ liệu, bạn cần xác định chính xác những gì bạn muốn đạt được. Bạn có thể bắt đầu bằng cách viết một bản tuyên bố vấn đề: vấn đề thực tế hoặc khoa học mà bạn muốn giải quyết là gì và tại sao nó lại quan trọng? Tiếp theo, hình thành một hoặc nhiều câu hỏi nghiên cứu xác định chính xác những gì bạn muốn tìm hiểu.