Chương 1: Giới thiệu đề tài GVHD: PGS. Thoại Nam Từ đó, nêu lên những giải pháp đề xuất chọn mẫu dữ liệu và xây dựng mô hình phân tích dựa vào học máy cho bài toán dự đoán điểm số của sinh viên dựa trên dữ liệu quá khứ của sinh viên đã học. Chương 4: Kết quả và đánh giá Từ những phân tích và đề xuất giải pháp trong chương 3, nội dung chính của chương này trình bày các thực nghiệm và những kết quả đạt được khi thực hiện gom nhóm lấy mẫu dữ liệu và xây dựng mô hình phân tích dự báo kết quả học tập của sinh viên Đại học của trường Đại học Bách Khoa - ĐHQG - TPHCM. Đánh giá kết quả thực hiện việc lấy mẫu dữ liệu và phân tích dự đoán điểm sinh viên đại học.
Chương 5: Kết luận Tóm lại các nội dung đã trình bày trong các chương, khẳng định lại các vấn đề cần nghiên cứu, đánh giá lại những mặt còn tồn đọng, và nêu lên các đề xuất phát triển trong tương lai. Kết luận chương 1 Phân tích dự đoán kết quả học tập của sinh viên là một lĩnh vực đang được nhiều sự quan tâm, nghiên cứu và vận dụng để cải thiện chất lượng giáo dục, đào tạo hiện nay tại Việt Nam nói chung và Đại học Bách Khoa - ĐHQG - TPHCM nói riêng. Phương pháp lấy mẫu trong thống kê và lấy mẫu dữ liệu để phân tích trong machine learning đóng vai trò quan trọng trong việc giảm chi phí, thời gian và độ phức tạp tính toán, đồng thời đảm bảo đại diện dữ liệu và đưa ra kết quả chính xác. Với mục tiêu vận dụng cơ sở lý thuyết về kỹ thuật lấy mẫu dữ liệu cho phân tích dữ liệu và học máy để đưa ra phương án chọn mẫu dữ liệu phù hợp với bộ dữ liệu điểm sinh viên đại học Bách Khoa và dự đoán kết quả học tập của sinh viên Đại học Bách Khoa khi lựa chọn đăng ký môn học.
Từ đó, đưa ra kết luận giúp cho các trường đại học đang sẵn có dữ liệu điểm sinh viên đại học có thể chọn mẫu dữ liệu tốt nhất, phù hợp với bộ dữ liệu của trường mình. Và nghiên cứu này cũng làm cơ sở tiền đề cho các nghiên cứu tiếp theo trong lĩnh vực giáo dục đại học trong thời gian sắp tới. HV: Trần Thị Thu Trang Trang 6 / 61 Chương 2: Cơ sở lý thuyết GVHD: PGS. Thoại Nam CHƯƠNG 2: TỔNG QUAN NGHIÊN CỨU Nội dung chính của chương này trình bày các kiến thức tổng quan về kiến thức nền tảng, cơ sở lý thuyết để thực hiện luận văn.
Là cơ sở nền tảng cho các phân tích, giải pháp giải quyết ở các chương tiếp theo Gồm các nội dung chính như sau: ➢ Một số khái niệm ➢ Ưu điểm, nhược điểm các phương pháp lấy mẫu theo thống kê truyền thống ➢ Phân biệt phương pháp Lấy mẫu ➢ Phương pháp lấy mẫu theo nhóm ➢ Phương pháp dự đoán điểm sinh viên đại học ➢ Đánh giá độ chính xác của mô hình dự đoán ➢ Các công trình nghiên cứu nổi bật trong giáo dục đại học HV: Trần Thị Thu Trang Trang 7 / 61 Chương 2: Cơ sở lý thuyết GVHD: PGS. Thoại Nam CHƯƠNG 2: TỔNG QUAN NGHIÊN CỨU 2. Một số khái niệm 2. Lấy mẫu (Sampling) là gì ? Theo lý thuyết điều tra chọn mẫu (theory of sample surveys) nhằm mục đích lựa chọn một mẫu đơn vị để đại diện cho một tổng thể lớn hơn.
Sự ra đời của phương pháp đại diện bắt nguồn từ [3], người đề xuất tạo ra các ước tính bằng cách sử dụng mẫu các thành phố và cá nhân được kiểm soát không ngẫu nhiên, thay vì điều tra dân số. Nhưng điều này thực sự với Neyman [4] rằng những điều cơ bản của lấy mẫu khảo sát hiện đại đã được ổn định. Neyman đề xuất một thiết lập chặt chẽ cho các khảo sát ngẫu nhiên, đặt nền móng cho các khảo sát xác suất nhưng có kiểm soát, cho phép kiểm soát thống kê độ chính xác của các công cụ ước tính [1]. “Lấy mẫu là một phương pháp cho phép lấy thông tin về tổng thể (population) dựa trên số liệu thống kê từ một tập hợp con của tổng thể (mẫu) mà không cần phải điều tra từng cá nhân” [20].
1: Định nghĩa Lấy mẫu Tuy nhiên, trong học máy có giám sát và không giám sát trong Machine Learning có thể lấy mẫu [1] theo các dạng sau: ➢ Phương pháp lấy mẫu ngẫu nhiên đơn giản ➢ Lấy mẫu với xác suất không bằng nhau ➢ Thuộc tính thống kê của thiết kế lấy mẫu HV: Trần Thị Thu Trang Trang 8 / 61 Chương 2: Cơ sở lý thuyết GVHD: PGS. 2: Supervised machine learning [24] 2. Cây quyết định (Decision Trees) Cây quyết định tạo ra một mô hình dự đoán nhãn bằng cách đánh giá cây câu hỏi đặc trưng nếu-thì-khác đúng/sai và ước tính số lượng câu hỏi tối thiểu cần thiết để đánh giá xác suất đưa ra quyết định đúng. Cây quyết định có thể được sử dụng để phân loại để dự đoán một danh mục hoặc hồi quy để dự đoán một giá trị số liên tục [24].
Hàm mất mát (Loss function) Hàm mất mát là một trong những tham số cần thiết để xác định mức độ gần của một mạng neuron cụ thể đối với trọng số trong quá trình đào tạo 2. Kỹ thuật xuống đồi (Gradient descent) Kỹ thuật xuống đồi (Gradient descent) là “kỹ thuật có thể giúp sự biến thiên của một hàm số luôn là giảm (xuống đồi) dựa trên sự thay đổi của các tham số cấu tạo nên hàm số này” [8]. Gradient Descent là cơ sở của nhiều trình tối ưu hoá và là một trong những thuật toán tối ưu hoá phổ biến nhất trong Machine Learning và Deep learning. HV: Trần Thị Thu Trang Trang 9 / 61 Chương 2: Cơ sở lý thuyết GVHD: PGS.
Thoại Nam Gradient descent sử dụng đạo hàm cấp một (gradient) của loss function khi cập nhật các tham số. Gradient cho độ dốc của một hàm tại thời điểm đó. Quá trình này bao gồm chuỗi dẫn xuất của giá trị mất mát (loss value) của từng tầng ẩn (hidden layer) từ các dẫn xuất của loss value của lớp trên nó, kết hợp chức năng kích hoạt trong phép tính toán. Trong mỗi lần lặp lại, khi tất cả các neuron có giá trị của gradient của loss funtion tương ứng với chúng, giá trị của tham số được cập nhật theo hướng ngược lại với các giá trị được chỉ ra bởi gradient.
• Mục tiêu: tìm vector các tham số sao cho tối ưu hoá hàm mục tiêu cụ thể P* = arg min P ( P) • Phương pháp Gradient descent: ( P) Gradient: g = { g } = { P = Pm−1} m jm Pi Parameters: Pm = − m g m Learning rate: m = arg min ( Pm −1 − g m ) = m=0 Pm * M Target parameters: P Như vậy, kết quả của gradient descent là kết hợp các trọng số (weight) của các độ dốc (gradient). HV: Trần Thị Thu Trang Trang 10 / 61 Chương 2: Cơ sở lý thuyết GVHD: PGS. Ưu điểm, nhược điểm lấy mẫu theo thống kê truyền thống Bảng 2. 1: Ưu điểm, khuyết điểm lấy mẫu theo thống kê truyền thống Phương pháp Ưu điểm Nhược điểm chọn mẫu Cần phải có một danh sách của các Dễ thực hiện, tính khách đơn vị mẫu.
Không dùng được cho Ngẫu quan cao. mẫu lớn hoặc mẫu dao động. nhiên Có thể lồng ghép vào tất Mẫu được chọn có thể phân tán khó đơn cả các kỹ thuật chọn mẫu thu thập. giản xác suất phức tạp khác.
Có khả năng bỏ sót vài nhóm trong tổng thể. Nhanh, dễ thực hiện. Độ Chọn chính xác cao, chọn đối Có thể bị trùng lặp, dẫn đến mẫu thiếu mẫu hệ tượng theo mục đích điều tính đại diện thống tra. Tính đại diện cao hơn.
Chọn Độ chính xác cao. Tính đại Cần thiết lập khung mẫu cho từng mẫu diện cao hơn và dễ quản lý tầng. Điều này thường khó thực hiện phân mẫu ngẫu nhiên đơn giản. trong thực tế.
tầng Chọn Áp dụng cho phạm vi rộng Tổng thể phải lớn. Nếu cùng cỡ mẫu mẫu lớn, độ phân tán cao. tính đại diện hoặc tính chính xác thấp theo Dễ chọn và chi phí rẻ hơn. hơn mẫu ngẫu nhiên đơn giản.
cụm Chọn Hiệu quả trong việc thu Mức độ chủ quan cao. Kết quả nghiên mẫu thập dữ liệu sơ cấp. Hiệu cứu không bao giờ có thể đại diện nhiều quả về chi phí và thời gian. Sự hiện diện của thông tin cấp bậc Mức độ linh hoạt cao.
nhóm là bắt buộc. HV: Trần Thị Thu Trang Trang 11 / 61 Chương 2: Cơ sở lý thuyết GVHD: PGS. Phân biệt các phương pháp Lấy mẫu Bảng 2. 2: Phân biệt các phương pháp Lấy mẫu Lấy mẫu trong Thống kê Lấy mẫu trong Học máy Lấy mẫu trong Học máy Thống kê truyền thống (Statistics) (Machine Learning) (Statistical Machine Learning hoặc Statistical Learning) Phương pháp Phụ thuộc vào dữ liệu (data-driven) Phụ thuộc vào dữ liệu (data-driven) Phụ thuộc vào dữ liệu (data-driven) Việc học Học từ dữ liệu mà không cần hướng Dựa trên rule-based programming và chính thức hoá dữ liệu dẫn được lập trình rõ ràng dưới dạng mối quan hệ giữa các biến (relationship (Learning) Không có (programmed instructions) between variables) Ngữ cảnh Được sử dụng trong lĩnh vực thống Áp dụng các phương pháp thống kê trong việc xây kê truyền thống Xây dựng và huấn luyện mô hình dựng mô hình machine learning Rút ra các kết luận về đặc điểm và thông tin của quần thể dựa trên một Tập trung vào việc chọn một tập dữ mẫu đại diện liệu huấn luyện từ tập dữ liệu ban Xây dựng mô hình dự đoán có hiệu suất cao trên dữ Mục đích - Sử dụng để ước lượng các tham số đầu để xây dựng mô hình hoặc học liệu mới (Purpose) và tính toán khoảng tin cậy, sai số, thuật và độ tin cậy của các ước lượng đối với quần thể - Tạo ra tập dữ liệu huấn luyện để xây dựng mô hình có tính đại diện, Ước lượng và đánh giá thông tin về tổng quát để mô hình có khả năng - Tạo ra một tập dữ liệu huấn luyện có tính tổng quát Mục tiêu quần thể gồm các tham số, tổng tổng quát hoá tốt và khả năng đại diện cho quần thể dữ liệu ban đầu chính quan hoặc mô hình của quần thể - Đảm bảo mô hình được huấn - Sử dụng các phương pháp thống kê để hiểu rõ hơn và (Goal) (population) dữ liệu ban đầu luyện trên đủ các trường hợp và có tối ưu hóa các thuật toán Machine Learning, thông qua khả năng tổng quát hóa tốt trên dữ việc xác định mẫu, quy tắc, và đặc trưng quan trọng, liệu mới đánh giá và so sánh các mô hình.