Tìm Hiểu Web Scraping và Topic Analysis Để Phân Tích Các Thông Báo Tuyển Dụng

• Tác giả: Nguyễn Quốc Đạt
• Người hướng dẫn: ThS. Quách Đình Hoàng
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phân Tích Tuyển Dụng Qua Web Scraping Và Topic Analysis
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2019
• Địa điểm: Hồ Chí Minh

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. GIỚI THIỆU BÀI TOÁN
• 1.2. MỤC TIÊU
• 1.3. BỐ CỤC CỦA BÁO CÁO
• 2. CHƯƠNG 2: TỔNG QUAN WEB SCRAPING
• 2.1. KHÁI NIỆM WEB SCRAPING
• 2.2. CẤU TRÚC TÀI LIỆU HTML
• 3. CHƯƠNG 3: TỔNG QUAN TOPIC ANALYSIS
• 3.1. Khái niệm chủ đề
• 3.2. Khái niệm topic analysis và topic model
• 3.3. BÀI TOÁN TOPIC ANALYSIS
• 3.3.1. Đối tượng và dữ liệu quan tâm
• 3.3.2. Các bước thực hiện
• 3.4. CÁC THUẬT TOÁN PHÂN TÍCH CHỦ ĐỀ (TOPIC ANALYSIS)
• 3.4.1. Thuật toán PLSA
• 3.4.2. Thuật toán LDA
• 4. CHƯƠNG 4: THỰC HIỆN THU THẬP CÁC THÔNG BÁO TUYỂN DỤNG
• 4.1. ĐỐI TƯỢNG VÀ DỮ LIỆU QUAN TÂM
• 4.2. GIỚI THIỆU CÔNG CỤ R VÀ CÁC THƯ VIỆN
• 4.2.1. Giới thiệu ngôn ngữ R
• 4.2.2. Các gói thư viện hỗ trợ web scraping
• 4.3. THỰC HIỆN TẢI XUỐNG DỮ LIỆU VỚI CÔNG CỤ R
• 5. CHƯƠNG 5: ỨNG DỤNG TOPIC MODEL PHÂN TÍCH THÔNG BÁO TUYỂN DỤNG
• 5.1. CÁC CÔNG CỤ VÀ THƯ VIỆN CẦN THIẾT
• 5.1.1. Thư viện Tm
• 5.1.2. Thư viện Quanteda
• 5.1.3. Thư viện Topicmodels
• 5.2. DỮ LIỆU VÀ TIỀN XỬ LÝ
• 5.2.1. Mô tả dữ liệu
• 5.2.2. Tiền xử lý dữ liệu
• 5.2.3. THỰC HIỆN TOPIC ANALYSIS CÁC THÔNG BÁO TUYỂN DỤNG
• 6. CHƯƠNG 6: ĐÁNH GIÁ KẾT QUẢ PHÂN TÍCH
• 6.1. BIỂU DIỄN KẾT QUẢ
• 6.2. GIẢI THÍCH KẾT QUẢ
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC A
• PHỤ LỤC B
• PHỤ LỤC C
• PHỤ LỤC D

I. Tổng quan về Phân tích Tuyển dụng bằng Web Scraping và Topic Analysis

Nghiên cứu này tập trung vào việc ứng dụng web scraping tuyển dụng và topic analysis tuyển dụng để phân tích thông tin tuyển dụng. Việc sử dụng kỹ thuật web scraping tự động hóa quá trình thu thập dữ liệu từ các trang web tuyển dụng, giải quyết bài toán thu thập dữ liệu tuyển dụng một cách hiệu quả. Dữ liệu thu thập được sau đó được xử lý bằng topic analysis, cụ thể là LDA topic modeling, để nhận diện xu hướng tuyển dụng và các nhân tố tuyển dụng quan trọng. Phân tích dữ liệu tuyển dụng này đem lại cái nhìn sâu sắc về thị trường lao động, hỗ trợ tối ưu hóa tuyển dụng và định hướng chiến lược tuyển dụng. Phân tích số liệu tuyển dụng giúp đánh giá hiệu quả tuyển dụng và chi phí tuyển dụng. Nghiên cứu này góp phần vào việc ứng dụng big data tuyển dụng và data mining tuyển dụng trong lĩnh vực nhân sự.

1.1 Thu thập dữ liệu tuyển dụng bằng Web Scraping

Giai đoạn đầu tiên là thu thập dữ liệu tuyển dụng bằng kỹ thuật web scraping tuyển dụng. Quá trình này bao gồm việc xác định các nguồn dữ liệu, chủ yếu là các trang web tuyển dụng trực tuyến. Tiếp theo, sử dụng các công cụ và thư viện như python web scraping hay R programming tuyển dụng để truy cập và trích xuất dữ liệu từ các trang web. Kỹ thuật web scraping cần được thực hiện cẩn thận để tuân thủ các điều khoản sử dụng của trang web và tránh gây quá tải cho hệ thống. Cấu trúc HTML của các trang web cần được hiểu rõ để xác định chính xác vị trí của thông tin tuyển dụng cần thu thập. Dữ liệu được lưu trữ dưới dạng có cấu trúc, thường là file CSV, dễ dàng sử dụng cho các bước phân tích tiếp theo. Việc lựa chọn công cụ web scraping phù hợp là quan trọng để đảm bảo hiệu quả và độ chính xác của quá trình thu thập. Nguồn tuyển dụng đa dạng, nghiên cứu cần lựa chọn các trang đại diện để đảm bảo tính đại diện của dữ liệu. Chi phí tuyển dụng cho giai đoạn này chủ yếu là thời gian và công sức lập trình và tối ưu hóa quy trình web scraping.

1.2 Phân tích dữ liệu bằng Topic Analysis

Sau khi thu thập dữ liệu, giai đoạn tiếp theo là phân tích dữ liệu tuyển dụng bằng topic analysis tuyển dụng. Kỹ thuật topic modeling như LDA topic modeling hay NMF topic modeling được sử dụng để phân nhóm thông tin tuyển dụng thành các chủ đề khác nhau. Mỗi chủ đề đại diện cho một nhóm yêu cầu công việc, kỹ năng hoặc xu hướng tuyển dụng cụ thể. Phân tích sentiment tuyển dụng có thể được thực hiện song song để đánh giá thái độ tích cực hay tiêu cực của thông tin tuyển dụng. Quá trình này bao gồm các bước tiền xử lý dữ liệu như làm sạch dữ liệu, loại bỏ từ dừng (stop words), và chuyển đổi dữ liệu thành dạng ma trận. Thuật toán topic modeling sau đó được áp dụng để xác định các chủ đề tiềm ẩn trong dữ liệu. Mẫu hình topic được tạo ra cần được diễn giải để hiểu ý nghĩa của các chủ đề. Visualisation dữ liệu tuyển dụng và dashboard tuyển dụng giúp thể hiện trực quan kết quả phân tích. Kết quả cho thấy các từ khóa tuyển dụng quan trọng, xu hướng tuyển dụng, và nhu cầu về kỹ năng của nhà tuyển dụng. NLP tuyển dụng và Natural Language Processing tuyển dụng hỗ trợ việc hiểu và phân tích ngữ nghĩa trong dữ liệu.

1.3 Ứng dụng và Kết luận

Kết quả của nghiên cứu cung cấp thông tin giá trị cho các nhà tuyển dụng, giúp họ hiểu rõ hơn về nhu cầu nhân lực hiện tại và tương lai. Việc dự đoán xu hướng tuyển dụng giúp các doanh nghiệp có kế hoạch tuyển dụng hiệu quả hơn. Dữ liệu phân tích có thể được dùng để xây dựng chiến lược tuyển dụng tối ưu, bao gồm việc lựa chọn kênh tuyển dụng phù hợp, xác định mức lương cạnh tranh và các chính sách đãi ngộ hấp dẫn. Nghiên cứu cũng giúp các trường đại học và cơ sở đào tạo hiểu rõ hơn về nhu cầu nhân lực của thị trường, từ đó điều chỉnh chương trình đào tạo để đáp ứng nhu cầu xã hội. Tự động hóa tuyển dụng và tối ưu hóa tuyển dụng góp phần tiết kiệm thời gian và chi phí. Báo cáo tuyển dụng và bảng biểu tuyển dụng giúp trình bày kết quả một cách rõ ràng và dễ hiểu. Đánh giá tuyển dụng trở nên khách quan và dựa trên dữ liệu. Thống kê tuyển dụng cung cấp thông tin định lượng chính xác. Tuy nhiên, nghiên cứu còn một số hạn chế cần được giải quyết trong tương lai như mở rộng nguồn dữ liệu và cải thiện độ chính xác của mô hình phân tích. Thực tiễn tuyển dụng thường phức tạp hơn và cần kết hợp nhiều yếu tố khác.