Tổng quan nghiên cứu

Thị trường công nghệ thông tin tại Việt Nam đang duy trì tốc độ phát triển mạnh mẽ với nhu cầu tuyển dụng hàng chục nghìn nhân sự mỗi năm. Tuy nhiên, theo các thống kê đào tạo thực tế, có khoảng 30% học viên đăng ký theo học các chương trình công nghệ thông tin gặp khó khăn trong việc xác định chuyên ngành phù hợp ngay từ giai đoạn nhập học. Tình trạng chọn sai hướng đi giữa hai mũi nhọn đào tạo chính là Lập trình và Kiểm thử phần mềm dẫn đến tỷ lệ chuyển ngành hoặc bỏ học lên tới 18%, gây lãng phí lớn về thời gian và chi phí đào tạo.

Nhằm giải quyết triệt để vấn đề này, đề tài nghiên cứu tập trung xây dựng mô hình phân lớp dữ liệu học viên tại Học viện Đào tạo Công nghệ thông tin NIIT-ICT Hà Nội giai đoạn 2018–2022. Mục tiêu trọng tâm của nghiên cứu là ứng dụng hai thuật toán học máy giám sát gồm Cây quyết định C4.5 và Rừng ngẫu nhiên (Random Forest) để tìm ra các đặc trưng chi phối quyết định chọn ngành, đồng thời tự động hóa quy trình tư vấn tuyển sinh.

Phạm vi nghiên cứu được triển khai trực tiếp trên nguồn dữ liệu tuyển sinh thực tế tại trụ sở học viện ở Hà Nội. Dữ liệu gốc bao gồm gần 5.000 bản ghi thô thu thập trong 5 năm liên tiếp, sau đó được làm sạch và chuẩn hóa thành 217 bản ghi hoàn chỉnh với 5 thuộc tính đầu vào cốt lõi. Ý nghĩa khoa học và thực tiễn của công trình thể hiện qua việc nâng cao độ chính xác dự báo phân lớp đạt trên 90%, đồng thời cắt giảm hơn 65% thời gian tư vấn thủ công cho mỗi hồ sơ nhập học.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết phân lớp dữ liệu thuộc nhánh học máy có giám sát (Supervised Learning), tập trung vào hai mô hình trụ cột:

Mô hình Cây quyết định với thuật toán C4.5 do Ross Quinlan phát triển. Đây là bước cải tiến vượt bậc từ thuật toán ID3 với dung lượng mã nguồn ban đầu khoảng 9.000 dòng lệnh C. Thuật toán hoạt động dựa trên lý thuyết độ lợi thông tin của Claude Shannon, sử dụng chỉ số Entropy để định lượng độ hỗn loạn của tập dữ liệu và chỉ số Tỉ số độ lợi (Gain Ratio) để lựa chọn thuộc tính phân tách tối ưu tại từng nút mạng. C4.5 khắc phục hiệu quả hiện tượng thiên vị các thuộc tính có nhiều giá trị, đồng thời tích hợp cơ chế cắt tỉa cây (pruning) để tránh hiện tượng quá khớp (overfitting).

Mô hình Rừng ngẫu nhiên (Random Forest) đại diện cho phương pháp học kết hợp (Ensemble Learning). Thuật toán kết hợp hàng trăm cây quyết định độc lập thông qua kỹ thuật đóng bao Bootstrap Aggregation (Bagging). Mỗi cây con được huấn luyện trên một tập dữ liệu con lấy mẫu ngẫu nhiên có lặp lại, kết quả dự đoán cuối cùng được xác định thông qua cơ chế bỏ phiếu đa số (Majority Voting). Cơ chế này giúp mô hình triệt tiêu phương sai, duy trì độ ổn định cao và hạn chế tối đa rủi ro quá khớp.

Hệ thống khái niệm chính được sử dụng xuyên suốt bao gồm: Entropy (thước đo độ hỗn loạn dữ liệu), Information Gain (độ lợi thông tin), Gain Ratio (tỉ số độ lợi chuẩn hóa), Overfitting (hiện tượng quá vừa dữ liệu huấn luyện) và Ma trận nhầm lẫn (Confusion Matrix).

Phương pháp nghiên cứu

Nguồn dữ liệu của đề tài được trích xuất từ hệ thống quản lý tuyển sinh học viên dài hạn của Học viện NIIT-ICT Hà Nội từ năm 2018 đến tháng 8 năm 2022, bao gồm gần 5.000 bản ghi với 15 trường thông tin ban đầu.

Về quy mô và phương pháp chọn mẫu, nghiên cứu áp dụng phương pháp chọn mẫu có chủ đích kết hợp lọc dữ liệu nhiều tầng. Quá trình làm sạch dữ liệu tiến hành loại bỏ các bản ghi khuyết thiếu giá trị, loại bỏ các thuộc tính không mang tính phân loại chuyên môn (như tiêu chí tài chính, quê quán ở vùng sâu vùng xa có lượng mẫu quá ít) và khử các bản ghi trùng lặp. Tập dữ liệu sau tinh chỉnh đạt 217 bản ghi chuẩn với 5 đặc trưng: Vùng miền (Thành phố, Nông thôn), Giới tính (Nam, Nữ), Trình độ học vấn (Phổ thông trung học, Cao đẳng - Đại học, Cao học), Độ tuổi (Trẻ dưới 18 tuổi, Thanh niên 19–34 tuổi, Trung niên từ 35 tuổi trở lên) và Thiên hướng tư duy (Khoa học tự nhiên, Khoa học xã hội). Từ tập dữ liệu này, một tập mẫu chuẩn gồm 35 bản ghi đại diện đã được trích xuất để thực hiện tính toán ma trận thực nghiệm từng bước.

Phương pháp phân tích dữ liệu kết hợp tính toán giải tích thuật toán và thực nghiệm trên các nền tảng công nghệ chuyên dụng. Tác giả sử dụng công cụ khai phá dữ liệu Weka với bản cài đặt J48 (phiên bản Java của C4.5) và Random Forest, kết hợp lập trình trên ngôn ngữ Python và R. Để đánh giá độ chính xác, nghiên cứu triển khai song song hai phương pháp: K-fold Cross-Validation (K=10) và phương pháp phân chia tập huấn luyện - kiểm tra (Holdout với tỷ lệ 70% đào tạo và 30% kiểm tra). Lý do lựa chọn C4.5 xuất phát từ khả năng sinh ra các tập luật tường minh dạng IF-THEN dễ chuyển đổi thành ngôn ngữ nghiệp vụ, trong khi Random Forest được lựa chọn nhờ năng lực dự báo chính xác vượt trội trên các tập dữ liệu phi tuyến tính.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Phân tích định lượng từ thuật toán C4.5 trên tập dữ liệu mẫu ban đầu (35 bản ghi với Entropy tổng thể đạt 0.96, gồm 13 mẫu ngành Lập trình và 22 mẫu ngành Kiểm thử) đã chỉ ra rằng thuộc tính Thiên hướng (TH) sở hữu Tỉ số độ lợi Gain Ratio cao nhất đạt 0.21, vượt trội hơn so với Vùng miền (0.19), Trình độ (0.20), Giới tính (0.18) và Độ tuổi (0.15). Do đó, Thiên hướng được chọn làm nút gốc phân tách cấp 1 của toàn bộ cây quyết định.

Tại nhánh Thiên hướng Khoa học tự nhiên (KHTN gồm 22 mẫu), thuộc tính Trình độ và Giới tính đóng vai trò quyết định cấp 2. Đáng chú ý, 100% học viên Nam có thiên hướng KHTN đều được phân loại chính xác vào ngành Lập trình với chỉ số Entropy triệt tiêu hoàn toàn về mức 0. Đối với nhóm học viên Nữ có thiên hướng KHTN, trình độ học vấn tạo ra sự phân hóa rõ rệt: nhóm có trình độ Phổ thông trung học nghiêng 80% về ngành Kiểm thử, trong khi nhóm có trình độ Cao học lại có xu hướng chuyển dịch mạnh sang Lập trình.

Tại nhánh Thiên hướng Khoa học xã hội (KHXH gồm 13 mẫu), sự phân hóa diễn ra rất mạnh mẽ với tỷ lệ hơn 92% (12/13 mẫu) thuộc về ngành Kiểm thử phần mềm. Chỉ có duy nhất trường hợp học viên Nữ trình độ Phổ thông trung học có độ tuổi trẻ mới xuất hiện xác suất phân loại sang ngành Lập trình.

So sánh thực nghiệm giữa hai giải thuật trên công cụ Weka cho thấy mô hình Random Forest đạt hiệu năng tổng thể vượt trội với độ chính xác phân loại đạt 91.2%, cao hơn đáng kể so với mức 83.5% của cây quyết định C4.5/J48. Tỷ lệ dương tính giả (False Positive Rate) của Random Forest cũng giảm xuống dưới mức 8.5%, giúp hạn chế tối đa việc đưa ra các khuyến nghị sai lệch cho người học.

Thảo luận kết quả

Kết quả nghiên cứu phản ánh sự tương thích sâu sắc giữa đặc điểm tư duy cá nhân và tính chất đặc thù của ngành nghề CNTT. Người có thiên hướng Khoa học tự nhiên sở hữu nền tảng tư duy logic, toán học và cấu trúc chặt chẽ, vốn là những yêu cầu tiên quyết của nghề Lập trình viên. Ngược lại, học viên có thiên hướng Khoa học xã hội thường thể hiện sự tỉ mỉ, khả năng đọc hiểu tài liệu nghiệp vụ và sự nhạy bén trong việc nắm bắt trải nghiệm người dùng, rất phù hợp với vị trí Kiểm thử viên.

Trong quá trình phân tích, dữ liệu thực nghiệm được trực quan hóa thông qua Ma trận nhầm lẫn (Confusion Matrix) dạng lưới 2x2. Ma trận này thể hiện trực tiếp số lượng mẫu thực dương (True Positive) và âm tính thực (True Negative) trên đường chéo chính, tách biệt rõ ràng các sai số loại I và loại II. Đồng thời, cây quyết định phân cấp đa tầng (Multi-level Tree Graph) giúp mô hình hóa toàn bộ 7 tập luật suy diễn, cho phép người dùng quan sát trực quan từng điều kiện rẽ nhánh. Các biểu đồ phân phối học viên theo 5 chiều thuộc tính cũng được tích hợp trực tiếp vào giao diện ứng dụng, giúp cán bộ tư vấn dễ dàng giải thích lý do đề xuất ngành học cho học viên.

So với các nghiên cứu phân loại tuyển sinh truyền thống vốn chỉ dựa trên điểm thi văn hóa, việc tích hợp đồng thời 5 đặc trưng nhân khẩu học và tư duy đã giúp mô hình hóa hành vi người học toàn diện hơn, giảm thiểu nguy cơ học viên bỏ học giữa chừng từ mức 18% xuống dưới 5% trong các đợt áp dụng thử nghiệm.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, bốn giải pháp trọng tâm được đề xuất nhằm nâng cao hiệu quả công tác tư vấn và phân luồng đào tạo:

Thứ nhất, tích hợp trực tiếp module phân lớp Random Forest vào cổng đăng ký tuyển sinh trực tuyến của Học viện NIIT-ICT Hà Nội. Hệ thống cần đặt mục tiêu tự động hóa khâu tiền phân loại với độ chính xác đạt trên 90% ngay khi tiếp nhận hồ sơ đầu vào, hoàn thành triển khai trong Quý 1 năm 2024 dưới sự phụ trách của Bộ phận Công nghệ thông tin và Phòng Tuyển sinh.

Thứ hai, chuẩn hóa bộ công cụ đánh giá Thiên hướng năng lực đầu vào bằng bài kiểm tra trắc nghiệm chuẩn hóa 20 câu hỏi ngắn. Giải pháp này giúp loại bỏ tính chủ quan khi khai báo hồ sơ, hướng tới mục tiêu giảm tỷ lệ dữ liệu nhiễu xuống dưới 2% trong vòng 6 tháng đầu triển khai, do Hội đồng chuyên môn đào tạo của học viện chủ trì.

Thứ ba, mở rộng tập đặc trưng của mô hình phân lớp từ 5 thuộc tính hiện tại lên 8 thuộc tính trong giai đoạn tiếp theo, bổ sung thêm các biến số về trình độ ngoại ngữ, kỹ năng mềm và kỳ vọng mức thu nhập sau tốt nghiệp. Mục tiêu nâng chỉ số F1-Score của mô hình lên trên 0.94 vào cuối năm 2024, do Nhóm nghiên cứu dữ liệu đảm nhiệm.

Thứ tư, tổ chức đào tạo chuyển giao công nghệ định kỳ cho 100% cán bộ phòng tư vấn tuyển sinh nhằm khai thác tối đa phần mềm hỗ trợ ra quyết định. Mục tiêu cắt giảm thời gian tư vấn trung bình từ 45 phút xuống còn 15 phút cho mỗi lượt học viên, hoàn thành tập huấn trong Quý 2 năm 2024 dưới sự điều phối của Phòng Đào tạo.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị ứng dụng thực tiễn và học thuật cao đối với bốn nhóm đối tượng chính:

Ban lãnh đạo và cán bộ quản trị tại các viện đào tạo, trường đại học, cao đẳng và trung tâm dạy nghề CNTT. Luận văn cung cấp mô hình chuyển đổi số toàn diện trong tuyển sinh, giúp nhà quản lý tối ưu hóa chỉ tiêu đào tạo theo từng ngành học và nâng cao tỷ lệ sinh viên ra trường có việc làm đúng chuyên môn lên trên 85%.

Đội ngũ chuyên viên tư vấn hướng nghiệp và tuyển sinh tại các cơ sở giáo dục. Bộ 7 quy tắc suy diễn trích xuất từ cây quyết định C4.5 cung cấp căn cứ khoa học vững chắc, giúp chuyên viên đưa ra lời khuyên khách quan, giảm thiểu sự phụ thuộc vào cảm tính cá nhân trong quá trình phân luồng người học.

Các nhà khoa học dữ liệu, giảng viên và sinh viên sau đại học chuyên ngành Công nghệ thông tin. Luận văn là tài liệu tham khảo chi tiết về toàn bộ vòng đời của một dự án khai phá dữ liệu thực chiến: từ tiền xử lý dữ liệu thô, cân bằng tập mẫu, thực thi thuật toán C4.5 và Random Forest trên Weka, cho đến việc xây dựng phần mềm ứng dụng hoàn chỉnh có khả năng xuất dữ liệu đa định dạng (Excel, JSON, PDF, SQLite, MySQL, MongoDB).

Người học có nguyện vọng chuyển ngành hoặc chuẩn bị theo học CNTT. Người đọc có thể tự đối chiếu 5 đặc trưng bản thân với các nhánh điều kiện của cây quyết định để tự định hướng chính xác con đường nghề nghiệp giữa Lập trình và Kiểm thử.

Câu hỏi thường gặp

Thuộc tính Thiên hướng đóng vai trò như thế nào trong mô hình phân lớp cây quyết định C4.5?

Thuộc tính Thiên hướng đạt Tỉ số độ lợi thông tin Gain Ratio cao nhất là 0.21, vượt qua các thuộc tính Trình độ (0.20) và Vùng miền (0.19). Điều này chứng minh thiên hướng tư duy logic tự nhiên hoặc khoa học xã hội là yếu tố có năng lực phân loại mạnh nhất, giúp tách tập dữ liệu thành các nhóm thuần khiết nhất ngay tại nút gốc của cây quyết định.

Nghiên cứu áp dụng phương pháp nào để khắc phục triệt để hiện tượng quá khớp dữ liệu?

Tác giả kết hợp hai cơ chế kiểm soát hiện tượng quá khớp: sử dụng kỹ thuật cắt tỉa cây (pruning) sau khi phát triển đối với thuật toán C4.5, đồng thời ứng dụng mô hình Rừng ngẫu nhiên (Random Forest). Với kỹ thuật đóng bao Bagging và đánh giá Out-Of-Bag trên 30% mẫu dữ liệu độc lập, Random Forest giúp triệt tiêu biến sai và duy trì độ ổn định cao trên dữ liệu mới.

Quy mô 217 bản ghi sau khi làm sạch có đảm bảo tính đại diện và độ tin cậy khoa học không?

Bộ dữ liệu 217 bản ghi được tinh lọc chuẩn mực từ gần 5.000 hồ sơ gốc giai đoạn 2018–2022 thông qua các bước loại bỏ dị biệt và khử trùng lặp nghiêm ngặt. Thuật toán C4.5 vốn được chứng minh có hiệu quả vượt trội trên các tập dữ liệu kích thước vừa và nhỏ. Kết hợp cùng kỹ thuật kiểm định chéo K-fold Cross-Validation, kết quả phân lớp hoàn toàn đảm bảo độ tin cậy thống kê.

Điểm khác biệt căn bản giữa thuật toán C4.5 và Random Forest khi ứng dụng vào bài toán tư vấn tuyển sinh là gì?

Thuật toán C4.5 tạo ra một cây quyết định duy nhất với các luật IF-THEN rõ ràng, giúp con người dễ dàng đọc hiểu và giải thích nguyên nhân tư vấn cho học viên. Trong khi đó, Random Forest tổng hợp kết quả từ nhiều cây ngẫu nhiên, cho độ chính xác cao hơn khoảng 7.7% và khả năng chống nhiễu tốt hơn, nhưng mô hình hoạt động phức tạp hơn dạng hộp đen.

Ứng dụng phần mềm demo xây dựng trong luận văn cung cấp những tính năng nghiệp vụ cụ thể nào?

Phần mềm demo tích hợp đầy đủ quy trình làm sạch dữ liệu tự động, phân lớp theo cả hai thuật toán C4.5 và Random Forest, hiển thị trực quan ma trận nhầm lẫn và biểu đồ thống kê. Đặc biệt, ứng dụng hỗ trợ xuất báo cáo linh hoạt sang các tệp Excel, JSON, PDF và kết nối đồng bộ trực tiếp với các hệ quản trị cơ sở dữ liệu phổ biến như SQLite, MySQL và MongoDB.

Kết luận

Toàn bộ quá trình nghiên cứu và thực nghiệm của luận văn đã đạt được những kết quả cụ thể sau:

  • Thu thập và chuẩn hóa thành công tập dữ liệu tuyển sinh 5 năm (2018–2022) từ gần 5.000 bản ghi thô thành 217 bản ghi đặc trưng chuẩn phục vụ khai phá dữ liệu học máy.
  • Chứng minh thuộc tính Thiên hướng tư duy là yếu tố chi phối lớn nhất với Gain Ratio đạt 0.21, đồng thời trích xuất thành công hệ thống 7 luật quyết định tường minh cho bài toán tư vấn chọn ngành.
  • Khẳng định tính vượt trội của mô hình học máy kết hợp Rừng ngẫu nhiên (Random Forest) với độ chính xác đạt trên 91%, giảm thiểu đáng kể tỷ lệ sai số so với cây quyết định đơn lẻ.
  • Xây dựng hoàn chỉnh ứng dụng phần mềm thực nghiệm có khả năng làm sạch dữ liệu, tự động dự báo chuyên ngành và trích xuất báo cáo đa nền tảng linh hoạt.
  • Hoàn thiện đề xuất lộ trình mở rộng quy mô dữ liệu và bổ sung các đặc trưng hành vi người học nhằm áp dụng rộng rãi cho các cơ sở đào tạo CNTT trong giai đoạn 2024–2025.

Đóng góp chính của luận văn là đã chuyển hóa bài toán tư vấn tuyển sinh mang nặng tính cảm tính thành một quy trình khoa học dữ liệu chuẩn mực, mang lại giá trị thực tiễn to lớn cho Học viện NIIT-ICT Hà Nội. Kế hoạch tiếp theo trong giai đoạn 2024–2025 là hoàn thiện giao diện Web Service để tích hợp sâu vào hệ thống quản lý đào tạo trực tuyến toàn diện. Các đơn vị đào tạo công nghệ thông tin và các nhà nghiên cứu quan tâm có thể trực tiếp kế thừa khung mô hình phân lớp này để tối ưu hóa hiệu quả tuyển sinh và định hướng nghề nghiệp cho người học trong thời đại số.