Nghiên cứu phân cụm dữ liệu với mô hình som và ứng dụng trong tư vấn tuyển sinh đại học

Nghiên cứu phân cụm dữ liệu với mô hình SOM và ứng dụng hiệu quả trong tư vấn tuyển sinh đại học, giúp tối ưu hóa quyết định cho sinh viên.

• Tác giả: Ngô Trung Hiệu
• Người hướng dẫn: ThS. Đỗ Quang Khôi
• Trường học: Trường Đại Học Quảng Nam
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Phân Cụm Dữ Liệu Với Mô Hình SOM Trong Tư Vấn Tuyển Sinh Đại Học
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2016
• Địa điểm: Quảng Nam

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Mục đích nghiên cứu
• 0.3. Đối tượng và phạm vi nghiên cứu
• 0.4. Phương pháp nghiên cứu
• 0.5. Lịch sử nghiên cứu
• 0.6. Đóng góp của đề tài
• 0.7. Cấu trúc khóa luận
• 1. CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NƠRON
• 1.1. Mạng nơron sinh học
• 1.1.1. Cấu trúc của mạng nơron sinh học
• 1.1.2. Hoạt động của nơron sinh học
• 1.2. Mạng nơron nhân tạo
• 1.2.1. Cấu trúc và mô hình của một nơron nhân tạo
• 1.2.2. Mô hình của mạng nơron nhân tạo
• 1.3. Mạng nơron trong khai phá dữ liệu
• 2. CHƯƠNG 2: PHÂN CỤM DỮ LIỆU VỚI MÔ HÌNH SOM
• 2.1. Phân cụm dữ liệu
• 2.1.1. Phân cụm và các thành phần trong phân cụm dữ liệu
• 2.1.2. Một số kỹ thuật phân cụm dữ liệu
• 2.1.2.1. Phân cụm phân hoạch (partitionnal clustering)
• 2.1.2.2. Phân cụm phân cấp (hierarchical clustering)
• 2.1.2.3. Phân cụm dựa trên mật độ (density - based clustering)
• 2.1.2.4. Phân cụm dựa trên lưới (grid - based clustering)
• 2.1.2.5. Phân cụm dựa trên mô hình (model - based clustering)
• 2.1.2.6. Phân cụm dữ liệu mờ (fuzzy clustering)
• 2.1.3. Ứng dụng của phân cụm dữ liệu
• 2.2. Mạng nơron kohonen (som)
• 2.2.1. Giới thiệu về mạng kohonen (som)
• 2.2.2. Cấu trúc của som
• 2.2.3. Khởi tạo som
• 2.2.4. Huấn luyện som
• 2.2.5. Sử dụng som trong phân cụm dữ liệu
• 2.2.6. Som với bài toán phân cụm
• 2.2.6.1. Som phân cụm với bản đồ một chiều
• 2.2.6.2. Som phân cụm với bản đồ hai chiều
• 2.2.7. Phân cụm trong không gian bản đồ
• 2.2.8. Phân cụm trong không gian trọng số
• 2.2.9. Một vài ứng dụng của som
• 2.3. Kết luận chương 2
• 3. CHƯƠNG 3: ỨNG DỤNG MÔ HÌNH SOM TRONG CÔNG TÁC TƯ VẤN TUYỂN SINH ĐẠI HỌC
• 3.1. Giới thiệu chương trình
• 3.2. Giới thiệu công cụ som toolbox
• 3.3. Chương trình thử nghiệm
• 3.4. Cấu trúc chương trình
• 3.5. Xây dựng tập dữ liệu
• 3.6. Xử lý dữ liệu trước huấn luyện
• 3.7. Khởi tạo som và huấn luyện
• 3.8. Kết quả chạy chương trình
• 3.9. Phân tích kết quả
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Phân Cụm Dữ Liệu và SOM

Nghiên cứu về phân cụm dữ liệu và ứng dụng của mô hình SOM (Self-Organizing Map) đang ngày càng trở nên quan trọng trong nhiều lĩnh vực, đặc biệt là trong tư vấn tuyển sinh đại học. Sự bùng nổ của dữ liệu đã tạo ra nhu cầu cấp thiết về các công cụ và kỹ thuật để tự động chuyển đổi lượng dữ liệu khổng lồ thành thông tin hữu ích. Phân cụm dữ liệu đóng vai trò quan trọng trong việc khai thác thông tin từ các tập dữ liệu lớn, giúp các tổ chức đưa ra quyết định dựa trên dữ liệu. Mô hình SOM là một phương pháp mạnh mẽ trong phân cụm dữ liệu, cho phép khám phá các cấu trúc ẩn trong dữ liệu một cách trực quan và hiệu quả. Việc ứng dụng SOM trong tư vấn tuyển sinh đại học hứa hẹn mang lại những lợi ích đáng kể, giúp thí sinh và các trường đại học đưa ra lựa chọn thông minh hơn. Theo khóa luận của Ngô Trung Hiệu (2016), công tác tư vấn tuyển sinh hiện nay vẫn còn nhiều hạn chế, thí sinh chưa nắm rõ thông tin, ảnh hưởng đến định hướng nghề nghiệp.

1.1. Tầm quan trọng của phân tích dữ liệu tuyển sinh

Phân tích dữ liệu tuyển sinh đóng vai trò then chốt trong việc hiểu rõ xu hướng tuyển sinh, nhu cầu của thí sinh và hiệu quả của các chiến dịch tư vấn tuyển sinh. Bằng cách phân tích dữ liệu về kết quả học tập, nguyện vọng xét tuyển, và các yếu tố khác, các trường đại học có thể điều chỉnh chiến lược tuyển sinh đại học để thu hút được những ứng viên phù hợp. Sử dụng các công cụ như phân cụm dữ liệu và mô hình SOM, phân tích dữ liệu tuyển sinh còn giúp profiling học sinh và phát hiện ra các nhóm ngành tiềm năng, từ đó định hướng cho thí sinh và phát triển các chương trình đào tạo đáp ứng nhu cầu thị trường. Phân tích dữ liệu là chìa khóa để cải thiện quy trình tuyển sinh.

1.2. Giới thiệu về mô hình SOM và ứng dụng

Mô hình SOM là một loại mạng nơ-ron tự tổ chức, được sử dụng rộng rãi trong phân cụm dữ liệu và giảm chiều dữ liệu. SOM có khả năng ánh xạ dữ liệu từ không gian nhiều chiều xuống không gian hai chiều một cách trực quan, giúp dễ dàng nhận biết các cụm dữ liệu và mối quan hệ giữa chúng. Trong tư vấn tuyển sinh, mô hình SOM có thể được sử dụng để phân nhóm thí sinh dựa trên các tiêu chí như kết quả học tập, sở thích nghề nghiệp, và nguyện vọng xét tuyển. Từ đó, có thể đưa ra các lời khuyên hướng nghiệp phù hợp cho từng nhóm thí sinh và giúp các trường đại học xác định các nhóm ngành tiềm năng.

II. Thách Thức Trong Tư Vấn Tuyển Sinh Đại Học Hiện Nay

Công tác tư vấn tuyển sinh đại học hiện nay đối mặt với nhiều thách thức. Thí sinh thường thiếu thông tin đầy đủ và chính xác về các ngành học, cơ hội nghề nghiệp, và yêu cầu tuyển sinh. Sự mơ hồ này dẫn đến việc lựa chọn ngành học không phù hợp, gây lãng phí thời gian và nguồn lực. Các trường đại học cũng gặp khó khăn trong việc tiếp cận và thu hút được những ứng viên phù hợp với tiêu chí và định hướng phát triển của trường. Thêm vào đó, việc đánh giá hiệu quả của các hoạt động tư vấn tuyển sinh còn nhiều hạn chế, gây khó khăn cho việc xây dựng chiến lược tuyển sinh hiệu quả. Theo Ngô Trung Hiệu (2016), trên thực tế thí sinh vẫn còn mơ hồ, chưa nắm rõ được các thông tin tuyển sinh của các trường. Điều này làm ảnh hưởng không nhỏ đến việc định hướng nghề nghiệp của thí sinh.

2.1. Vấn đề thiếu thông tin và định hướng nghề nghiệp

Một trong những vấn đề lớn nhất trong tư vấn tuyển sinh là sự thiếu hụt thông tin và định hướng nghề nghiệp cho thí sinh. Nhiều thí sinh không có đủ thông tin về các ngành học khác nhau, cơ hội nghề nghiệp sau khi tốt nghiệp, và yêu cầu tuyển sinh của các trường đại học. Điều này dẫn đến việc lựa chọn ngành học dựa trên cảm tính hoặc theo xu hướng, thay vì dựa trên sở thích, năng lực và tiềm năng của bản thân. Vì vậy, cần có các giải pháp để cung cấp thông tin đầy đủ, chính xác và kịp thời cho thí sinh, giúp họ đưa ra quyết định sáng suốt về tương lai nghề nghiệp. Hướng nghiệp là yếu tố quan trọng cần được chú trọng.

2.2. Khó khăn trong dự đoán tuyển sinh và phân tích nguyện vọng

Việc dự đoán tuyển sinh và phân tích nguyện vọng xét tuyển của thí sinh là một thách thức lớn đối với các trường đại học. Số lượng thí sinh đăng ký xét tuyển mỗi năm thay đổi, và các yếu tố ảnh hưởng đến quyết định của thí sinh cũng rất đa dạng. Do đó, việc dự đoán chính xác số lượng và chất lượng thí sinh đăng ký vào từng ngành học là rất khó khăn. Điều này gây khó khăn cho việc lập kế hoạch tuyển sinh, phân bổ nguồn lực và đảm bảo chất lượng đào tạo. Cần có các công cụ và phương pháp phân tích dữ liệu hiệu quả để hỗ trợ các trường đại học trong việc dự đoán tuyển sinh và phân tích nguyện vọng của thí sinh.

III. Phân Cụm Dữ Liệu với Mô Hình SOM Giải Pháp Tuyển Sinh

Phân cụm dữ liệu với mô hình SOM mang đến một giải pháp hiệu quả cho những thách thức trong tư vấn tuyển sinh đại học. Bằng cách phân tích dữ liệu về thí sinh, SOM có thể tạo ra các cụm dữ liệu đại diện cho các nhóm thí sinh có đặc điểm tương đồng. Các cụm dữ liệu này có thể được sử dụng để profiling học sinh, xác định các nhóm ngành tiềm năng, và đưa ra các lời khuyên hướng nghiệp phù hợp. Mô hình SOM cũng có thể giúp các trường đại học tối ưu hóa chiến lược tuyển sinh bằng cách tập trung vào các nhóm thí sinh có khả năng thành công cao. Theo nghiên cứu, SOM có khả năng ánh xạ dữ liệu từ không gian nhiều chiều xuống không gian hai chiều một cách trực quan, giúp dễ dàng nhận biết các cụm dữ liệu và mối quan hệ giữa chúng (Ngô Trung Hiệu, 2016).

3.1. Ứng dụng mạng SOM trong profiling học sinh

Mạng SOM có thể được sử dụng để profiling học sinh dựa trên nhiều yếu tố như kết quả học tập, điểm thi, sở thích nghề nghiệp, và nguyện vọng xét tuyển. Bằng cách phân tích dữ liệu này, SOM có thể tạo ra các cụm dữ liệu đại diện cho các nhóm học sinh có đặc điểm tương đồng. Thông tin này có thể được sử dụng để đưa ra các lời khuyên hướng nghiệp phù hợp cho từng nhóm học sinh, giúp họ lựa chọn ngành học phù hợp với năng lực và sở thích của bản thân. Profiling học sinh là bước quan trọng trong tư vấn tuyển sinh.

3.2. Xác định nhóm ngành tiềm năng bằng thuật toán phân cụm

Thuật toán phân cụm, đặc biệt là mô hình SOM, có thể giúp xác định các nhóm ngành tiềm năng dựa trên xu hướng tuyển sinh và nhu cầu thị trường lao động. Bằng cách phân tích dữ liệu về số lượng sinh viên đăng ký vào từng ngành học, tỷ lệ việc làm sau khi tốt nghiệp, và mức lương trung bình của các ngành nghề khác nhau, SOM có thể xác định các nhóm ngành có tiềm năng phát triển trong tương lai. Thông tin này có thể được sử dụng để định hướng cho thí sinh và phát triển các chương trình đào tạo đáp ứng nhu cầu thị trường. Việc này giúp các trường chủ động xây dựng chiến lược tuyển sinh.

IV. Hướng Dẫn Sử Dụng SOM Toolbox Trong Tư Vấn Tuyển Sinh

SOM Toolbox là một công cụ mạnh mẽ để xây dựng và phân tích mô hình SOM. Trong tư vấn tuyển sinh, SOM Toolbox có thể được sử dụng để xử lý dữ liệu, huấn luyện mô hình SOM, và trực quan hóa kết quả. Để sử dụng SOM Toolbox hiệu quả, cần có kiến thức về khoa học dữ liệu, học máy, và phân tích thống kê. Tuy nhiên, với hướng dẫn chi tiết và các ví dụ minh họa, người dùng có thể dễ dàng làm quen và sử dụng SOM Toolbox để giải quyết các bài toán trong tư vấn tuyển sinh. Theo Ngô Trung Hiệu (2016), chương trình thử nghiệm bao gồm xây dựng tập dữ liệu, xử lý dữ liệu trước huấn luyện, khởi tạo SOM và huấn luyện.

4.1. Xây dựng tập dữ liệu cho mô hình SOM

Việc xây dựng tập dữ liệu chất lượng là yếu tố quan trọng để đảm bảo hiệu quả của mô hình SOM. Tập dữ liệu cần chứa đầy đủ thông tin về thí sinh, bao gồm kết quả học tập, điểm thi, sở thích nghề nghiệp, nguyện vọng xét tuyển, và các yếu tố khác có liên quan. Dữ liệu cần được thu thập từ nhiều nguồn khác nhau, đảm bảo tính chính xác và đầy đủ. Trước khi đưa vào mô hình SOM, dữ liệu cần được làm sạch, chuẩn hóa, và chuyển đổi sang định dạng phù hợp. Việc này giúp mô hình SOM học được các mẫu dữ liệu một cách hiệu quả hơn.

4.2. Huấn luyện mô hình SOM và phân tích kết quả

Sau khi xây dựng tập dữ liệu, bước tiếp theo là huấn luyện mô hình SOM bằng cách sử dụng SOM Toolbox. Quá trình huấn luyện bao gồm việc khởi tạo mạng SOM, thiết lập các tham số huấn luyện, và lặp đi lặp lại quá trình cập nhật trọng số của các nơ-ron. Sau khi huấn luyện xong, cần phân tích kết quả để đánh giá hiệu quả của mô hình SOM. Các phương pháp phân tích bao gồm trực quan hóa bản đồ SOM, phân tích các thành phần của bản đồ, và đánh giá chất lượng các cụm dữ liệu. Kết quả phân tích có thể được sử dụng để profiling học sinh, xác định nhóm ngành tiềm năng, và đưa ra các lời khuyên hướng nghiệp.

4.3. Trực quan hóa dữ liệu bằng U Matrix

U-Matrix là một phương pháp trực quan hóa mô hình SOM hiệu quả. Nó hiển thị khoảng cách giữa các đơn vị lân cận trên bản đồ SOM, giúp dễ dàng nhận biết các cụm dữ liệu và ranh giới giữa chúng. Các vùng có màu sáng trên U-Matrix đại diện cho các khu vực có khoảng cách lớn giữa các đơn vị, cho thấy sự khác biệt giữa các cụm dữ liệu. Các vùng có màu tối đại diện cho các khu vực có khoảng cách nhỏ, cho thấy sự tương đồng giữa các đơn vị. U-Matrix là công cụ hữu ích để đánh giá chất lượng mô hình SOM và xác định các cụm dữ liệu quan trọng.

V. Kết Quả Nghiên Cứu Ứng Dụng SOM Trong Tuyển Sinh Đại Học

Nghiên cứu ứng dụng mô hình SOM trong tuyển sinh đại học đã cho thấy những kết quả khả quan. SOM có thể giúp phân nhóm thí sinh dựa trên các tiêu chí như kết quả học tập, sở thích nghề nghiệp, và nguyện vọng xét tuyển. Các nhóm thí sinh này có thể được sử dụng để đưa ra các lời khuyên hướng nghiệp phù hợp và phát triển các chương trình đào tạo đáp ứng nhu cầu của thị trường. Ngoài ra, SOM cũng có thể giúp các trường đại học tối ưu hóa chiến lược tuyển sinh bằng cách tập trung vào các nhóm thí sinh có khả năng thành công cao. Bảng 3 trong khóa luận của Ngô Trung Hiệu (2016) thể hiện thông tin về một số trường đại học ở miền Trung Việt Nam.

5.1. Đánh giá hiệu quả của mô hình SOM trong thực tiễn

Để đánh giá hiệu quả của mô hình SOM trong thực tiễn, cần so sánh kết quả tuyển sinh trước và sau khi áp dụng SOM. Các tiêu chí đánh giá có thể bao gồm số lượng thí sinh đăng ký xét tuyển, chất lượng thí sinh, tỷ lệ sinh viên tốt nghiệp, và mức độ hài lòng của sinh viên. Nếu kết quả tuyển sinh được cải thiện đáng kể sau khi áp dụng SOM, có thể kết luận rằng mô hình SOM là một công cụ hiệu quả trong tư vấn tuyển sinh.

5.2. Triển vọng và hướng phát triển của ứng dụng SOM

Ứng dụng SOM trong tuyển sinh đại học có nhiều triển vọng và hướng phát triển. Trong tương lai, SOM có thể được tích hợp với các công nghệ khác như trí tuệ nhân tạo (AI) và học máy để tạo ra các hệ thống tư vấn tuyển sinh thông minh hơn. Các hệ thống này có thể cung cấp thông tin cá nhân hóa cho từng thí sinh, dự đoán khả năng thành công của thí sinh trong từng ngành học, và đưa ra các lời khuyên hướng nghiệp chính xác hơn. AI trong giáo dục là xu hướng tất yếu.

VI. Kết Luận Hướng Nghiên Cứu Tiếp Theo Về SOM

Nghiên cứu về phân cụm dữ liệu với mô hình SOM trong tư vấn tuyển sinh đại học đã cho thấy tiềm năng to lớn của SOM trong việc giải quyết các bài toán thực tế. SOM có thể giúp các trường đại học hiểu rõ hơn về thí sinh, tối ưu hóa chiến lược tuyển sinh, và nâng cao chất lượng đào tạo. Tuy nhiên, vẫn còn nhiều vấn đề cần được nghiên cứu sâu hơn, như việc lựa chọn tham số huấn luyện SOM, đánh giá chất lượng các cụm dữ liệu, và tích hợp SOM với các công nghệ khác. Các nghiên cứu trong tương lai nên tập trung vào việc phát triển các phương pháp đánh giá hiệu quả tuyển sinh và cải thiện quy trình tuyển sinh dựa trên SOM.

6.1. Tổng kết những đóng góp của nghiên cứu

Nghiên cứu đã đóng góp vào việc làm rõ tiềm năng của mô hình SOM trong tư vấn tuyển sinh đại học. Nó cung cấp một phương pháp tiếp cận mới để phân tích dữ liệu tuyển sinh, profiling học sinh, và xác định các nhóm ngành tiềm năng. Kết quả nghiên cứu có thể được sử dụng để cải thiện chiến lược tuyển sinh của các trường đại học và cung cấp thông tin hướng nghiệp tốt hơn cho thí sinh. Nghiên cứu cũng mở ra nhiều hướng nghiên cứu mới trong lĩnh vực ứng dụng mô hình SOM trong giáo dục.

6.2. Hướng nghiên cứu và phát triển trong tương lai

Trong tương lai, cần tập trung vào việc phát triển các phương pháp đánh giá hiệu quả tuyển sinh dựa trên mô hình SOM. Các phương pháp này cần xem xét nhiều yếu tố khác nhau, như số lượng thí sinh đăng ký xét tuyển, chất lượng thí sinh, tỷ lệ sinh viên tốt nghiệp, và mức độ hài lòng của sinh viên. Ngoài ra, cần nghiên cứu các phương pháp tích hợp SOM với các công nghệ khác như AI và học máy để tạo ra các hệ thống tư vấn tuyển sinh thông minh hơn. Data mining sẽ tiếp tục đóng vai trò quan trọng trong lĩnh vực này.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển mạnh mẽ của công nghệ thông tin cùng quá trình tin học hóa sâu rộng trong các hoạt động kinh tế - xã hội đã thúc đẩy khối lượng dữ liệu lưu trữ tăng trưởng vượt bậc. Các hệ thống cơ sở dữ liệu quy mô lớn từ cấp độ Gigabyte đến Terabyte xuất hiện ngày càng nhiều, đặt ra yêu cầu cấp thiết về các công cụ và kỹ thuật tự động nhằm chuyển hóa dữ liệu thô thành tri thức hữu ích phục vụ dự đoán và trợ giúp ra quyết định. Trong bối cảnh đó, khai phá dữ liệu (Data Mining) và phân cụm dữ liệu (Data Clustering) trở thành những lĩnh vực nghiên cứu trọng điểm.

Song song với thách thức xử lý dữ liệu, công tác tuyển sinh đại học và cao đẳng tại Việt Nam luôn là nhiệm vụ trọng tâm của các cơ sở giáo dục. Mặc dù các hình thức tư vấn tuyển sinh đã được triển khai đa dạng, học sinh và phụ huynh vẫn gặp khó khăn trong việc nắm bắt toàn diện thông tin tuyển sinh giữa một mạng lưới trường học phức tạp. Tình trạng thiếu thông tin định hướng rõ ràng ảnh hưởng trực tiếp đến việc lựa chọn ngành nghề và cơ hội trúng tuyển của thí sinh. Khóa luận tốt nghiệp của tác giả Ngô Trung Hiệu (Khoa Công nghệ Thông tin, Trường Đại học Quảng Nam, 2016) được thực hiện nhằm giải quyết bài toán thực tiễn này thông qua ứng dụng mô hình mạng tự tổ chức SOM (Self-Organizing Map).

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định cụ thể:

1. Nắm vững các kiến thức cơ bản về mạng nơron nhân tạo, kỹ thuật phân cụm dữ liệu và mô hình mạng nơron Kohonen (SOM).
2. Nghiên cứu cơ chế ứng dụng mô hình SOM trong bài toán phân cụm dữ liệu đa chiều và trực quan hóa cấu trúc dữ liệu.
3. Thu thập dữ liệu tuyển sinh thực tế và áp dụng mô hình SOM để phân cụm các trường đại học, hỗ trợ phụ huynh và học sinh đưa ra quyết định chọn trường phù hợp với năng lực học tập.

Đối tượng nghiên cứu của khóa luận tập trung vào các thuật toán phân cụm dữ liệu theo mô hình SOM và bộ công cụ SOM Toolbox xây dựng trên môi trường Matlab. Phạm vi nghiên cứu về mặt không gian và dữ liệu là thông tin tuyển sinh của 20 trường đại học đại diện tại khu vực Miền Trung và Tây Nguyên, được đánh giá qua 16 chỉ tiêu đặc trưng.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống cơ sở lý thuyết dựa trên mô hình toán học của mạng nơron nhân tạo và các nguyên lý khai phá dữ liệu không giám sát. Tác giả vận dụng mô hình nơron hình thức M-P (McCulloch - Pitts), mạng truyền thẳng nhiều lớp Perceptron (MLP) cùng các quy tắc học Hebbian và quy tắc học cạnh tranh (Competitive Learning).

Đối với bài toán phân nhóm, nghiên cứu tổng hợp 6 nhóm kỹ thuật phân cụm dữ liệu chính trong khai phá dữ liệu:

Nhóm kỹ thuật phân cụm	Nguyên lý hoạt động cơ bản	Thuật toán tiêu biểu
Phân cụm phân hoạch (Partitioning)	Chia tập dữ liệu $D$ gồm $n$ đối tượng thành $k$ cụm, liên tục tối ưu hóa hàm mục tiêu cục bộ theo chiến lược tham lam.	K-means, K-medoids, PAM, CLARA, CLARANS
Phân cụm phân cấp (Hierarchical)	Xây dựng cây phân cấp cụm theo hướng tiếp cận tích tụ (Bottom-Up) hoặc chia tách (Top-Down).	BIRCH, CURE, ROCK, DIANA, MONA
Phân cụm dựa trên mật độ (Density-based)	Nhóm các điểm dữ liệu dựa trên hàm mật độ lân cận, có khả năng phát hiện cụm với hình dạng bất kỳ và lọc nhiễu.	DBSCAN
Phân cụm dựa trên lưới (Grid-based)	Lượng tử hóa không gian dữ liệu đa chiều vào các ô lưới hữu hạn để thao tác trực tiếp trên ô thay vì từng đối tượng.	STING, WaveCluster, CLIQUE
Phân cụm dựa trên mô hình (Model-based)	Khớp dữ liệu với một mô hình toán học hoặc hàm phân bố xác suất giả định bằng thống kê hoặc nơron.	EM, COBWEB
Phân cụm dữ liệu mờ (Fuzzy)	Cho phép một đối tượng dữ liệu thuộc về nhiều cụm khác nhau với mức độ thuộc tính xác định.	FCM (Fuzzy C-Means)

Mô hình trung tâm được triển khai là mạng Kohonen (Self-Organizing Map - SOM). Mạng SOM chuyển đổi các mối quan hệ tô-pô phức tạp từ không gian dữ liệu đầu vào $n$ chiều sang không gian nơron một chiều hoặc hai chiều (dạng lưới chữ nhật hoặc lục giác) theo nguyên lý học cạnh tranh "Winner-take-all". Đơn vị chiến thắng BMU (Best Matching Unit) được xác định thông qua việc cực tiểu hóa khoảng cách Euclide giữa vectơ đầu vào và vectơ trọng số.

Phương pháp nghiên cứu được tác giả áp dụng bao gồm:

• Phương pháp phân tích và tổng hợp lý thuyết: Thu thập, hệ thống hóa các tài liệu chuyên ngành về mạng nơron, giải thuật học máy và các mô hình phân cụm.
• Phương pháp thống kê và phân tích dữ liệu: Thu thập số liệu tuyển sinh từ cổng thông tin điện tử của các cơ sở đào tạo, chuẩn hóa và xây dựng vectơ thuộc tính 16 chiều.
• Phương pháp thực nghiệm mô phỏng: Cài đặt và thực thi thuật toán phân cụm trên bộ công cụ SOM Toolbox trong môi trường Matlab, sau đó phân tích các thành phần trực quan để rút ra kết luận.

Nội dung chính theo từng chương

Chương 1: Tổng quan về mạng nơron

Chương 1 trình bày cấu trúc sinh học và toán học của mạng nơron. Tác giả mô tả chi tiết các thành phần của nơron sinh học gồm Myelin, sợi trục (Axon), sợi nhánh (Dendrite), thân tế bào (Soma), nút Ranvier và khớp thần kinh (Synapse), cùng cơ chế truyền xung điện giải phóng chất hóa học qua các khớp kích thích và ức chế.

Dựa trên nguyên lý sinh học, mô hình nơron nhân tạo M-P được biểu diễn toán học qua công thức: $$y = f\left(\sum_{j=1}^{m} w_{ij} x_j - \theta_i\right)$$ Trong đó, $x_j$ là tín hiệu đầu vào, $w_{ij}$ là trọng số liên kết, $\theta_i$ là ngưỡng kích hoạt và $f$ là hàm truyền. Khóa luận phân tích các dạng hàm truyền thông dụng gồm: hàm bước nhảy (giới hạn chặt), hàm bậc thang, hàm ngưỡng đơn cực (Sigmoid) và hàm ngưỡng hai cực (Tanh).

Cấu trúc mạng nơron nhân tạo được phân loại thành mạng truyền thẳng (như mạng Perceptron đa lớp MLP) và mạng hồi quy. Trong khai phá dữ liệu, mạng nơron vận dụng phương pháp học quy nạp để điều chỉnh trọng số thông qua tối ưu hóa hàm lỗi. Tác giả phân định rõ ba phương thức học chính: học có giám sát (so sánh đầu ra với mẫu đích), học không giám sát (mạng tự phát hiện quy luật phân bố không cần nhãn) và học tăng cường (học dựa trên phản hồi đánh giá tích cực hoặc tiêu cực từ môi trường).

Chương 2: Phân cụm dữ liệu với mô hình SOM

Chương 2 đi sâu vào lý thuyết phân cụm dữ liệu và chi tiết cấu trúc, thuật toán huấn luyện mô hình SOM. Phân cụm dữ liệu được định vị là phương pháp học không giám sát nhằm chia tập dữ liệu thành các nhóm đồng nhất dựa trên các phép đo khoảng cách, phổ biến nhất là khoảng cách Euclide. Tác giả phân tích các thành phần cấu thành quá trình phân cụm gồm: mẫu đại diện, trích chọn và lựa chọn đặc trưng, đo lường lân cận, trừu tượng hóa dữ liệu và đánh giá tính đúng đắn.

Về mô hình mạng Kohonen SOM, chương này trình bày chi tiết:

• Cấu trúc mạng: Gồm mảng các nơron sắp xếp trên lưới 1D hoặc 2D, mỗi nơron $i$ liên kết với một vectơ tham chiếu $M_i = [m_{i1}, m_{i2}, \dots, m_{in}]^T$ cùng số chiều với vectơ dữ liệu đầu vào.
• Phương pháp khởi tạo trọng số: Ba phương pháp được tác giả phân tích gồm khởi tạo ngẫu nhiên, khởi tạo bằng mẫu ban đầu từ bộ dữ liệu và khởi tạo tuyến tính dựa trên phân tích thành phần chính (PCA) tương ứng với hai trị riêng lớn nhất.
• Quy trình huấn luyện: Diễn ra qua hai bước lặp. Bước 1 tìm kiếm phần tử BMU ($c$) có khoảng cách Euclide nhỏ nhất với mẫu đầu vào $x$: $|x - m_c| = \min_i |x - m_i|$. Bước 2 cập nhật trọng số của BMU và các nơron trong vùng lân cận topo theo công thức: $$\Delta w_j(t) = \alpha(t) h_{cj}(t) [x(t) - w_j(t)]$$ Trong đó $\alpha(t)$ là tốc độ học giảm dần theo thời gian, $h_{cj}(t)$ là hàm bán kính lân cận thu hẹp dần qua hai giai đoạn (giai đoạn điều chỉnh khoảng cách tổng thể và giai đoạn tinh chỉnh chi tiết).
• Kỹ thuật phân cụm và trực quan hóa: Khóa luận trình bày việc sử dụng SOM như một bước trung gian nén dữ liệu hai mức (Two-level clustering). Cấu trúc cụm được biểu diễn trực quan thông qua ma trận khoảng cách hợp nhất (U-matrix), đồ thị các mặt phẳng thành phần (Component planes), phương pháp chiếu Sammon và chỉ số lỗi lượng tử trung bình $e_q = \frac{1}{N} \sum_{i=1}^N |x_i - m_c|$. Việc gom cụm trên bản đồ nơron được tiến hành theo phương pháp phân cụm trong không gian bản đồ (dựa trên tìm kiếm độ dốc hàm mật độ) hoặc phân cụm trong không gian trọng số.

Chương 3: Ứng dụng mô hình SOM trong công tác tư vấn tuyển sinh đại học

Chương 3 trình bày bài toán thực nghiệm phân cụm các trường đại học tại khu vực Miền Trung và Tây Nguyên nhằm xây dựng công cụ hỗ trợ tư vấn tuyển sinh. Tác giả lựa chọn công cụ SOM Toolbox — một thư viện hàm mở rộng trên nền tảng Matlab do nhóm nghiên cứu tại Đại học Công nghệ Helsinki (Phần Lan) phát triển.

Quy trình triển khai chương trình thử nghiệm gồm 6 bước:

1. Đọc dữ liệu từ bảng thống kê vào môi trường Matlab.
2. Xây dựng cấu trúc dữ liệu SOM.
3. Tiền xử lý và chuẩn hóa dữ liệu trước khi huấn luyện.
4. Khởi tạo mạng và tiến hành huấn luyện theo thuật toán SOM.
5. Mô phỏng kết quả bằng các công cụ trực quan hóa (U-matrix, Component planes).
6. Phân tích các cụm nơron và diễn giải ý nghĩa thực tế để trợ giúp học sinh.

Tập dữ liệu thực nghiệm được thu thập từ các trang web chính thức của 20 trường đại học khu vực Miền Trung và Tây Nguyên. Mỗi trường được mô hình hóa thành một vectơ 16 chiều tương ứng với 16 chỉ tiêu tuyển sinh và đào tạo:

Ký hiệu	Tên chỉ tiêu đặc trưng
$x_1$	Số khoa ngành
$x_2$	Tổng số sinh viên
$x_3$	Tỉ lệ giáo viên trên 100 sinh viên
$x_4$	Số chỗ ở ký túc xá trên 100 sinh viên
$x_5$	Diện tích phòng thí nghiệm thực hành trên 1 sinh viên
$x_6$	Số học bổng hằng năm
$x_7$	Số sinh viên được cử đi học nước ngoài
$x_8$	Số tài liệu thư viện trên 1 sinh viên
$x_9$	Học phí
$x_{10}$	Tỉ lệ sinh viên ra trường
$x_{11}$	Tỉ lệ sinh viên có việc làm
$x_{12}$	Chỉ tiêu tuyển sinh
$x_{13}$	Tỉ lệ chọi
$x_{14}$	Tỉ lệ dự thi
$x_{15}$	Điểm chuẩn nguyện vọng 1
$x_{16}$	Điểm chuẩn nguyện vọng 2

Các dữ liệu đa chiều này sau khi đưa qua SOM Toolbox sẽ được ánh xạ về bản đồ lưới hai chiều, giúp nhận diện rõ ranh giới các nhóm trường có đặc tính tương đồng về chất lượng đào tạo, mức độ cạnh tranh và điều kiện cơ sở vật chất.

Kết quả và đóng góp

Nghiên cứu đạt được các kết quả cụ thể dựa trên nội dung văn bản:

• Hệ thống hóa hoàn chỉnh cơ sở lý thuyết về mạng nơron nhân tạo, các phương thức học máy và 6 nhóm giải thuật phân cụm dữ liệu phổ biến trong khai phá dữ liệu.
• Làm rõ cơ chế toán học và quy trình tính toán của mô hình Kohonen SOM, bao gồm phương pháp tìm kiếm BMU theo khoảng cách Euclide, luật cập nhật trọng số lân cận và cơ chế trực quan hóa bằng ma trận U-matrix.
• Xây dựng thành công bộ dữ liệu gồm 20 trường đại học tại Miền Trung và Tây Nguyên với 16 biến thuộc tính đặc trưng phản ánh điều kiện học tập, chỉ tiêu, học phí và điểm trúng tuyển.
• Triển khai thực nghiệm quy trình phân cụm dữ liệu trên bộ công cụ SOM Toolbox (Matlab), chứng minh tính khả thi của việc nén và trực quan hóa dữ liệu tuyển sinh phức tạp về dạng bản đồ trực quan hai chiều.

Về mặt đóng góp học thuật và ứng dụng, tác giả đã kết nối lý thuyết phân cụm nơron không giám sát vào bài toán tư vấn tuyển sinh đại học — một lĩnh vực thường thiếu các công cụ phân tích tự động định lượng. Nghiên cứu cung cấp một cách tiếp cận khách quan giúp phân nhóm các trường đại học dựa trên các tương đồng thực tế, tạo cơ sở để thí sinh đối chiếu năng lực học tập và điều kiện kinh tế với từng nhóm trường cụ thể.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế gắn liền với phạm vi triển khai của đề tài:

• Quy mô mẫu thực nghiệm còn hạn chế, mới dừng lại ở 20 trường đại học thuộc phạm vi địa lý Miền Trung và Tây Nguyên, chưa bao quát toàn bộ hệ thống đại học trên toàn quốc.
• Tập dữ liệu thu thập từ các trang web đôi khi gặp tình trạng thiếu thông tin cục bộ ở một số chỉ tiêu, đòi hỏi phải xử lý dữ liệu khuyết.
• Chưa đi sâu vào việc so sánh định lượng và đánh giá tính tối ưu của mạng SOM với các giải pháp phân cụm khác (như K-means, DBSCAN, FCM) trên cùng một bộ dữ liệu tuyển sinh.

Hướng nghiên cứu tiếp theo mà tác giả định hướng bao gồm:

• Mở rộng tập dữ liệu khảo sát ra các trường đại học, cao đẳng trên phạm vi toàn quốc để nâng cao tính đại diện.
• Tự động hóa quá trình thu thập và cập nhật dữ liệu tuyển sinh hàng năm.
• Nghiên cứu kết hợp mạng SOM với các phương pháp khai phá dữ liệu khác để tự động sinh luật tư vấn tuyển sinh trực tiếp cho thí sinh.

Giá trị tham khảo

Báo cáo khóa luận có giá trị tham khảo hữu ích cho các đối tượng sau:

• Sinh viên chuyên ngành Công nghệ thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo: Tài liệu cung cấp phần tổng quan lý thuyết chi tiết, mạch lạc về cấu trúc nơron sinh học/nhân tạo và hệ thống phân loại toàn diện 6 nhóm kỹ thuật phân cụm dữ liệu tại Chương 1 và Chương 2.
• Người nghiên cứu thực hành thuật toán SOM trên Matlab: Nội dung giới thiệu và quy trình thử nghiệm với thư viện SOM Toolbox của Đại học Công nghệ Helsinki (Chương 3) là tài liệu mẫu đáng tham khảo về các bước thiết lập ma trận, tiền xử lý, huấn luyện và trực quan hóa ma trận khoảng cách.
• Cán bộ và chuyên viên làm công tác khảo thí, tư vấn tuyển sinh: Hệ thống 16 tiêu chí định lượng đánh giá trường đại học là khung tham chiếu tốt để xây dựng các hệ thống hỗ trợ ra quyết định hoặc phân loại chất lượng giáo dục đại học.

Câu hỏi thường gặp

1. Mô hình SOM sử dụng nguyên tắc học nào và đơn vị chiến thắng BMU được xác định ra sao?
Mạng SOM hoạt động theo phương thức học không giám sát và cơ chế học cạnh tranh (Competitive Learning) theo nguyên tắc "Winner-take-all". Đơn vị chiến thắng BMU (kí hiệu là $c$) là nơron có vectơ trọng số đạt độ tương tự lớn nhất với mẫu đầu vào $x$, được xác định bằng cách tìm giá trị cực tiểu của khoảng cách Euclide: $$|x - m_c| = \min_i |x - m_i|$$

2. Bộ dữ liệu thử nghiệm trong khóa luận bao gồm bao nhiêu đối tượng và đặc trưng?
Bộ dữ liệu thử nghiệm được tác giả thu thập từ 20 trường đại học đại diện cho khu vực Miền Trung và Tây Nguyên, mỗi trường được biểu diễn bằng một vectơ 16 chiều tương ứng với 16 tiêu chí đánh giá ($x_1$ đến $x_{16}$), bao gồm: số khoa ngành, tổng sinh viên, tỉ lệ giáo viên/sinh viên, chỗ ở KTX, diện tích phòng thí nghiệm, học bổng, cử đi nước ngoài, tài liệu thư viện, học phí, tỉ lệ tốt nghiệp, tỉ lệ việc làm, chỉ tiêu, tỉ lệ chọi, tỉ lệ dự thi, điểm chuẩn NV1 và điểm chuẩn NV2.

3. Khóa luận sử dụng công cụ phần mềm nào để huấn luyện mô hình phân cụm?
Nghiên cứu sử dụng bộ công cụ SOM Toolbox, một thư viện mở rộng chứa các hàm chuyên dụng được viết trên môi trường Matlab bởi nhóm tác giả thuộc Đại học Công nghệ Helsinki (Phần Lan), phục vụ mục đích tiền xử lý dữ liệu, khởi tạo, huấn luyện mạng SOM và trực quan hóa kết quả.

4. Mạng SOM có những phương pháp khởi tạo trọng số ban đầu nào?
Tác giả nêu rõ ba phương pháp khởi tạo vectơ trọng số cho mạng SOM: khởi tạo ngẫu nhiên (dùng khi chưa biết rõ phân bố dữ liệu), khởi tạo sử dụng các mẫu ban đầu từ chính tập dữ liệu đầu vào, và khởi tạo tuyến tính (sử dụng hai vectơ đặc trưng tương ứng với các giá trị riêng lớn nhất từ phân tích thành phần chính PCA).

5. Ma trận khoảng cách hợp nhất U-matrix trong SOM có ý nghĩa gì?
Ma trận U-matrix (Unified Distance Matrix) dùng để trực quan hóa khoảng cách không gian giữa các vectơ trọng số của các nơron lân cận. Trên bản đồ hiển thị mức xám, các vùng sáng biểu thị khoảng cách nhỏ giữa các trọng số (tương ứng với các điểm dữ liệu nằm trong cùng một cụm), trong khi các vùng tối có giá trị khoảng cách lớn (đóng vai trò là ranh giới hoặc đường phân chia giữa các cụm khác nhau).

Kết luận

Khóa luận tốt nghiệp của tác giả Ngô Trung Hiệu đã hệ thống hóa toàn diện các kiến thức nền tảng về mạng nơron nhân tạo và các kỹ thuật phân cụm dữ liệu trong khai phá dữ liệu, trọng tâm là mô hình mạng nơron tự tổ chức Kohonen (SOM). Bằng việc khai thác công cụ SOM Toolbox trên nền tảng Matlab, đề tài đã tiến hành thử nghiệm phân cụm thành công 20 trường đại học khu vực Miền Trung và Tây Nguyên dựa trên 16 biến chỉ tiêu tuyển sinh và đào tạo thực tế. Kết quả nghiên cứu chứng minh tính khả thi của mô hình SOM trong việc xử lý, nén dữ liệu đa chiều và trực quan hóa cấu trúc trường học, mở ra hướng ứng dụng thiết thực phục vụ công tác tư vấn tuyển sinh và định hướng chọn trường cho học sinh.

Trích đoạn nội dung tài liệu

Chương 1 đã trình bày những nội dung chủ yếu về cấu trúc mạng nơron các đơn vị xử lý, trạng thái kích hoạt, các luật học và môi trường hệ thống có thể hoạt động được. Về tổng thể, hình trạng mạng noron được chia làm hai loại là mạng noron truyền thẳng và mạng noron hồi quy. Thuật toán học mạng noron được chia làm hai nhóm chính đó là học có giám sát và học không có giám sát. - 16 - -- Chương 2: PHÂN CỤM DỮ LIỆU VỚI MÔ HÌNH SOM 2.

Phân cụm dữ liệu 2. Khái niệm PCDL là một kỹ thuật quan trọng và phổ biến trong xử lý thông tin, nhằm khám phá cấu trúc của các mẫu dữ liệu để tạo ra các nhóm dữ liệu từ tập dữ liệu lớn và mối quan hệ giữa chúng bằng cách tổ chức chúng thành các cụm dữ liệu. PCDL là một kỹ thuật tìm kiếm, phát hiện các cụm, các mẫu dữ liệu tự nhiên, tìm ẩn, quan trọng trong tập dữ liệu lớn. Từ đó cung cấp thông tin và tri thức hữu ích cho việc ra quyết định.

PCDL là quá trình nhóm các điểm dữ liệu trong CSDL thành các cụm sao cho tại những điểm trong cùng một cụm có độ tương ứng lớn và những điểm không cùng một cụm có độ tương ứng là rất nhỏ. Độ tương tự giữa các đối tượng được xác định dựa trên những giá trị đặc tả đối tượng. Thông thường phép đo khoảng cách thường được dùng để đánh giá độ tương tự hay không tương tự giữa các đối tượng dữ liệu. Mô hình phân cụm dữ liệu - 17 - -- Hình 2.1 mô tả một ví dụ về PCDL.

Như đã thấy, ở hình 2.1 (a) thể hiện mẫu đầu vào và ở hình 2.1 (b) là các cụm được nhóm dựa vào sự tương đồng của các đối tượng. Quá trình phân cụm là quá trình tìm ra các đối tượng trong CSDL một cách tự động. PCDL giải quyết vấn đề tìm một cấu trúc trong tập hợp dữ liệu chưa biết trước các thông tin về lớp hay các thông tin về tập huấn luyện. Vì vậy, PCDL là một phương pháp học không giám sát hay nói cách dễ hiểu thì PCDL là một ví dụ của phương pháp học không có thầy.

Không giống như phân lớp dữ liệu, PCDL không đòi hỏi phải định trước các lớp và mẫu dữ liệu huấn luyện đã gắn nhãn lớp. Vì thế, có thể coi PCDL là một cách học bằng quan sát, trong khi phân lớp dữ liệu là học bằng ví dụ. Ngoài ra, PCDL còn được sử dụng như một bước tiền xử lý cho các bài toán KPDL khác như phân loại và mô tả đặc điểm, có tác dụng trong việc phát hiện ra các cụm. Đã có rất nhiều thuật toán cũng có như hệ thống được phát triển cho bài toán phân cụm trong CSDL lớn.

PCDL được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau như phân tích dữ liệu, xử lý ảnh, nhận dạng mẫu, sinh vật học, đánh giá thị trường, kinh doanh, giáo dục, … Sự đa dạng của thuật toán phân cụm là do sự khác nhau của những ứng dụng thực tế, dẫn tới những yêu cầu về dữ liệu khác nhau và việc sử dụng thuật toán phân cụm cũng khác nhau. Phân cụm và các thành phần trong phân cụm dữ liệu Mục đích của phân cụm là làm giảm kích thước dữ liệu bằng cách phân loại hoặc nhóm các thành phần dữ liệu giống nhau. Phân cụm dữ liệu là quá trình áp dụng các phương pháp, thuật toán để tổ chức dữ liệu thành các nhóm có những đặc điểm tương tự nhau. Một cụm là một tập hợp dữ liệu mà các phần tử tương tự nhau trong cùng một cụm và các phần tử không tương tự sẽ thuộc một cụm khác.