Trích Xuất Dữ Liệu Từ Resume Dựa Trên Mô Hình Question - Answering Kết Hợp BERT

Luận văn thạc sĩ về trích xuất dữ liệu resume tự động sử dụng mô hình Question Answering kết hợp BERT. Giải pháp hiệu quả cho ngành khoa học máy tính và tuyển dụng.

• Tác giả: Trần Quốc Tính
• Người hướng dẫn: Pgs. Ts Quản Thành Thơ
• Trường học: Trường Đại học Bách Khoa – ĐHQG -HCM
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Trích xuất dữ liệu từ resume dựa trên mô hình Question - Answering kết hợp BERT
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT
• LỜI CAM ĐOAN
• 1. GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu chung
• 1.2. Mục tiêu đề tài
• 1.3. Giới hạn đề tài
• 1.4. Đối tượng nghiên cứu
• 2. CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Tình hình nghiên cứu thế giới
• 2.2. Đề xuất phương pháp nghiên cứu
• 2.2.1. Giới thiệu Word Representation
• 2.2.2. Kỹ thuật Word Embedding
• 2.2.3. Kiến trúc Transformer
• 2.2.4. Mô hình Bidirectional Encoder Representation from Transformer - BERT
• 2.2.5. Mô hình hỏi đáp dựa trên BERT
• 4. MÔ HÌNH ĐỀ XUẤT
• 4.1. Dữ liệu thử nghiệm
• 4.2. Tiền xử lí dữ liệu
• 4.3. Xây dựng mô hình
• 4.4. Phương pháp đánh giá
• 5. KẾT QUẢ THỬ NGHIỆM
• 5.1. Mục tiêu thử nghiệm
• 5.2. Quá trình thử nghiệm
• 5.3. Kết quả thử nghiệm
• 5.4. Demo hệ thống
• 5.4.1. Đánh giá kết quả
• 5.4.2. Một số hạn chế
• 5.4.3. Hướng phát triển
• 5.4.4. Tiềm năng trong thực tế
• TÀI LIỆU THAM KHẢO
• PHẦN LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Tổng Quan Trích Xuất Resume Tự Động Với BERT Là Gì

Trong bối cảnh chuyển đổi số mạnh mẽ, các doanh nghiệp ngày càng chú trọng việc ứng dụng công nghệ vào quy trình tuyển dụng. Trích xuất dữ liệu resume tự động với BERT nổi lên như một giải pháp tuyển dụng thông minh, giúp tối ưu hóa thời gian và chi phí. Thay vì xử lý thủ công hàng loạt hồ sơ ứng viên, hệ thống tự động trích xuất thông tin quan trọng từ resume, chuyển đổi chúng thành dữ liệu có cấu trúc. Điều này cho phép nhà tuyển dụng dễ dàng tìm kiếm, so sánh và đánh giá ứng viên, từ đó đưa ra quyết định tuyển dụng hiệu quả hơn. Phương pháp này đặc biệt hữu ích trong việc xử lý số lượng lớn hồ sơ, giảm thiểu sai sót và tăng cường tính minh bạch trong quy trình tuyển dụng. Theo Đại học Bách Khoa TP.HCM, việc chuyển đổi số (Digital Transformation) đang diễn ra mạnh mẽ, thúc đẩy nhu cầu tự động hóa quy trình xử lý hồ sơ. Giải pháp này không chỉ là một xu hướng mà còn là yêu cầu tất yếu để các doanh nghiệp nâng cao năng lực cạnh tranh.

1.1. Vai Trò Của Resume Parser Trong Tuyển Dụng Hiện Đại

Trong kỷ nguyên số, số lượng hồ sơ ứng tuyển ngày càng tăng, gây khó khăn cho nhà tuyển dụng trong việc sàng lọc thủ công. Resume Parser đóng vai trò quan trọng trong việc tự động trích xuất thông tin từ các hồ sơ này, giúp nhà tuyển dụng tiết kiệm thời gian và công sức. Công nghệ này cho phép chuyển đổi dữ liệu từ các định dạng khác nhau (PDF, Word,...) thành dữ liệu có cấu trúc, dễ dàng phân tích và so sánh. Từ đó, nhà tuyển dụng có thể nhanh chóng xác định ứng viên phù hợp với yêu cầu công việc.

1.2. Lợi Ích Của AI Trong Tuyển Dụng Tự Động Hóa Và Chính Xác

AI trong tuyển dụng mang lại nhiều lợi ích vượt trội, đặc biệt là trong việc tự động hóa các tác vụ lặp đi lặp lại và nâng cao độ chính xác. Nhờ vào các thuật toán học máy, hệ thống có thể phân tích dữ liệu ứng viên một cách khách quan, loại bỏ các yếu tố chủ quan có thể ảnh hưởng đến quá trình tuyển dụng. Hơn nữa, AI còn có khả năng học hỏi và cải thiện hiệu suất theo thời gian, giúp quy trình tuyển dụng ngày càng hiệu quả hơn.

II. Thách Thức Vì Sao Trích Xuất Resume Thủ Công Mất Thời Gian

Quá trình trích xuất resume thủ công thường gặp nhiều khó khăn do sự đa dạng về định dạng và cấu trúc của các CV. Mỗi ứng viên có thể trình bày thông tin theo cách riêng, gây khó khăn cho việc tìm kiếm và so sánh. Việc đọc và phân tích từng hồ sơ đòi hỏi nhiều thời gian và công sức của nhân viên HR, ảnh hưởng đến hiệu suất làm việc. Thêm vào đó, việc xử lý thủ công có thể dẫn đến sai sót, bỏ sót thông tin quan trọng, ảnh hưởng đến quyết định tuyển dụng. Vì vậy, việc tìm kiếm một giải pháp tự động hóa quy trình này là vô cùng cần thiết. Theo nghiên cứu từ Trường Đại học Bách Khoa TP.HCM, resume là dạng dữ liệu phi cấu trúc, gây khó khăn cho việc phân tích cú pháp.

2.1. Vấn Đề Với Dữ Liệu Phi Cấu Trúc Sự Khác Biệt Trong Định Dạng CV

Một trong những thách thức lớn nhất trong trích xuất dữ liệu resume là sự đa dạng của dữ liệu phi cấu trúc. Các CV thường có nhiều định dạng khác nhau, từ PDF đến Word, và không có một tiêu chuẩn chung nào về cách trình bày thông tin. Điều này gây khó khăn cho việc tự động hóa quy trình trích xuất, đòi hỏi các giải pháp phải có khả năng xử lý linh hoạt các định dạng khác nhau.

2.2. Rủi Ro Sai Sót Thủ Công Ảnh Hưởng Đến Chất Lượng Tuyển Dụng

Việc xử lý resume thủ công không chỉ tốn thời gian mà còn tiềm ẩn nhiều rủi ro sai sót. Nhân viên HR có thể bỏ sót thông tin quan trọng, đánh giá sai kinh nghiệm hoặc kỹ năng của ứng viên. Điều này có thể dẫn đến việc tuyển dụng những ứng viên không phù hợp, ảnh hưởng đến hiệu quả hoạt động của doanh nghiệp.

2.3 Tốn kém nguồn lực và chi phí cho việc tuyển dụng

Việc tuyển dụng nhân sự bằng phương pháp thủ công đòi hỏi một nguồn lực lớn từ nhân viên tuyển dụng, dẫn đến việc tốn kém chi phí cho doanh nghiệp. Nhân viên HR phải mất hàng giờ đồng hồ để sàng lọc, đọc và đối chiếu thông tin từ các CV khác nhau. Điều này không chỉ làm giảm năng suất làm việc của nhân viên mà còn kéo dài thời gian tuyển dụng, gây ảnh hưởng đến hoạt động kinh doanh của công ty. Do đó, việc tự động hóa quy trình tuyển dụng là một giải pháp tối ưu giúp doanh nghiệp tiết kiệm chi phí và nâng cao hiệu quả tuyển dụng.

III. Giải Pháp BERT Nền Tảng Cho Trích Xuất Resume Thông Minh

BERT (Bidirectional Encoder Representations from Transformers) là một mô hình ngôn ngữ pretrained mạnh mẽ, có khả năng hiểu và xử lý ngôn ngữ tự nhiên một cách hiệu quả. Trong lĩnh vực tuyển dụng, BERT được ứng dụng để trích xuất thông tin từ resume với độ chính xác cao, nhờ khả năng hiểu ngữ cảnh và mối quan hệ giữa các từ trong câu. Việc sử dụng BERT giúp tự động hóa quy trình trích xuất, giảm thiểu sai sót và tăng cường tính khách quan trong việc đánh giá ứng viên. Theo luận văn thạc sĩ của Trần Quốc Tính, BERT có thể được tinh chỉnh để trả lời các câu hỏi liên quan đến thông tin trong resume.

3.1. BERT Cho Tuyển Dụng Cách Mô Hình Ngôn Ngữ Hiểu CV

BERT cho tuyển dụng hoạt động bằng cách phân tích CV và xác định các thông tin quan trọng như kinh nghiệm làm việc, kỹ năng, học vấn,... Mô hình này có khả năng hiểu ngữ cảnh của các từ và cụm từ, giúp trích xuất thông tin chính xác hơn so với các phương pháp truyền thống. Việc sử dụng BERT giúp nhà tuyển dụng có được cái nhìn tổng quan về ứng viên một cách nhanh chóng và hiệu quả.

3.2. Ưu Điểm Vượt Trội Độ Chính Xác Cao Của Trích Xuất Với BERT

Một trong những ưu điểm lớn nhất của việc sử dụng BERT trong trích xuất resume là độ chính xác cao. Mô hình này có khả năng xử lý các ngôn ngữ tự nhiên phức tạp, hiểu được các sắc thái ý nghĩa và tránh được các lỗi thường gặp trong quá trình trích xuất thủ công. Điều này giúp nhà tuyển dụng tin tưởng hơn vào kết quả trích xuất và đưa ra quyết định tuyển dụng chính xác hơn.

3.3 Fine tuning mô hình BERT để trích xuất thông tin chính xác

Để nâng cao độ chính xác của mô hình BERT trong việc trích xuất thông tin từ CV, phương pháp fine-tuning được áp dụng. Quá trình này bao gồm việc điều chỉnh các tham số của mô hình BERT đã được huấn luyện trước đó trên một bộ dữ liệu nhỏ hơn, đặc biệt phù hợp với nhiệm vụ trích xuất thông tin từ CV. Bằng cách này, mô hình BERT có thể học cách nhận biết và trích xuất các thông tin quan trọng từ CV một cách chính xác hơn, giúp nhà tuyển dụng tiết kiệm thời gian và công sức trong việc sàng lọc hồ sơ ứng viên.

IV. Phương Pháp Quy Trình Trích Xuất Resume Tự Động Bằng BERT

Quy trình trích xuất resume tự động bằng BERT bao gồm nhiều bước, từ tiền xử lý dữ liệu đến huấn luyện và triển khai mô hình. Đầu tiên, các resume được chuyển đổi sang định dạng văn bản và làm sạch dữ liệu. Sau đó, mô hình BERT được huấn luyện trên một tập dữ liệu lớn các resume đã được gắn nhãn. Cuối cùng, mô hình được triển khai để tự động trích xuất thông tin từ các resume mới. Toàn bộ quy trình được tối ưu hóa để đảm bảo độ chính xác và hiệu quả cao. Theo nghiên cứu, việc sử dụng BERT kết hợp với phương pháp hỏi đáp giúp tăng cường khả năng trích xuất thông tin.

4.1. Tiền Xử Lý Dữ Liệu Chuẩn Hóa Resume Cho Mô Hình BERT

Để đảm bảo hiệu quả của mô hình BERT, dữ liệu resume cần được tiền xử lý kỹ lưỡng. Bước này bao gồm việc loại bỏ các ký tự đặc biệt, chuyển đổi định dạng, và chuẩn hóa văn bản. Việc chuẩn hóa dữ liệu giúp mô hình BERT dễ dàng phân tích và hiểu thông tin trong resume.

4.2. Huấn Luyện Mô Hình BERT Dạy Máy Cách Đọc Hiểu CV

Sau khi dữ liệu đã được chuẩn hóa, mô hình BERT được huấn luyện trên một tập dữ liệu lớn các resume đã được gắn nhãn. Quá trình huấn luyện này giúp mô hình học cách nhận diện và trích xuất các thông tin quan trọng như kinh nghiệm làm việc, kỹ năng, học vấn,... Việc huấn luyện mô hình đòi hỏi một lượng lớn dữ liệu và tài nguyên tính toán.

4.3 Triển khai và tích hợp vào hệ thống quản lý tuyển dụng ATS

Sau khi mô hình BERT đã được huấn luyện và đạt được độ chính xác mong muốn, bước tiếp theo là triển khai và tích hợp nó vào hệ thống quản lý tuyển dụng (ATS) của doanh nghiệp. Việc tích hợp này giúp tự động hóa quy trình trích xuất thông tin từ CV, giảm thiểu sự can thiệp của con người và tăng tốc độ xử lý hồ sơ. Mô hình BERT có thể được triển khai dưới dạng API, cho phép các ứng dụng khác truy cập và sử dụng chức năng trích xuất thông tin từ CV một cách dễ dàng.

V. Ứng Dụng Các Công Ty Đang Sử Dụng BERT Để Tuyển Dụng

Nhiều công ty lớn và nhỏ đã bắt đầu ứng dụng BERT vào quy trình tuyển dụng của mình. Các công ty này sử dụng BERT để tự động trích xuất thông tin từ resume, tìm kiếm ứng viên phù hợp, và cải thiện hiệu quả của quy trình tuyển dụng. Việc sử dụng BERT giúp các công ty tiết kiệm thời gian và chi phí, đồng thời nâng cao chất lượng tuyển dụng. Hiện nay, nhiều phần mềm quản lý tuyển dụng (ATS) đã tích hợp công nghệ BERT để cung cấp cho khách hàng những giải pháp tuyển dụng thông minh.

5.1. Case Study Thành Công Của Trích Xuất Resume Với BERT

Một số công ty đã chia sẻ những câu chuyện thành công về việc sử dụng BERT trong trích xuất resume. Các công ty này đã ghi nhận sự cải thiện đáng kể về hiệu quả và độ chính xác của quy trình tuyển dụng. Việc sử dụng BERT giúp các công ty tìm kiếm ứng viên phù hợp nhanh chóng hơn, giảm thiểu sai sót và nâng cao chất lượng tuyển dụng.

5.2. Lợi Ích Thực Tế Giảm Chi Phí Tuyển Dụng Nhờ BERT

Một trong những lợi ích lớn nhất của việc sử dụng BERT trong tuyển dụng là giảm chi phí. Việc tự động hóa quy trình trích xuất và tìm kiếm ứng viên giúp giảm thiểu thời gian và công sức của nhân viên HR, từ đó giảm chi phí tuyển dụng. Ngoài ra, việc nâng cao chất lượng tuyển dụng cũng giúp giảm chi phí đào tạo và thay thế nhân viên.

5.3 Đo lường và đánh giá hiệu quả của việc ứng dụng BERT trong tuyển dụng

Để đánh giá hiệu quả của việc ứng dụng BERT trong tuyển dụng, các doanh nghiệp cần thiết lập các chỉ số đo lường cụ thể, chẳng hạn như thời gian tuyển dụng trung bình, chi phí tuyển dụng trên mỗi nhân viên, tỷ lệ ứng viên phù hợp với yêu cầu công việc, v.v. Bằng cách theo dõi và so sánh các chỉ số này trước và sau khi triển khai giải pháp BERT, doanh nghiệp có thể đánh giá được mức độ cải thiện và tối ưu hóa quy trình tuyển dụng.

VI. Tương Lai Xu Hướng Phát Triển Của Trích Xuất Resume Với AI

Tương lai của trích xuất resume sẽ ngày càng gắn liền với AI và các công nghệ học máy tiên tiến. Các mô hình BERT sẽ tiếp tục được cải thiện và tối ưu hóa để đạt được độ chính xác và hiệu quả cao hơn. Ngoài ra, các công nghệ mới như học sâu (Deep Learning) và xử lý ngôn ngữ tự nhiên (NLP) sẽ được tích hợp để tạo ra những giải pháp tuyển dụng thông minh hơn nữa. Xu hướng này hứa hẹn sẽ mang lại những thay đổi lớn trong ngành HR.

6.1. Phát Triển Của AI Tự Động Hóa Toàn Diện Quy Trình Tuyển Dụng

Trong tương lai, AI sẽ đóng vai trò ngày càng quan trọng trong việc tự động hóa toàn diện quy trình tuyển dụng. Các công nghệ AI sẽ được sử dụng để sàng lọc resume, phỏng vấn ứng viên, đánh giá kỹ năng, và đưa ra quyết định tuyển dụng. Điều này giúp các công ty tiết kiệm thời gian và chi phí, đồng thời nâng cao chất lượng tuyển dụng.

6.2. Ứng Dụng Deep Learning Nâng Cao Khả Năng Hiểu Ngôn Ngữ Của Máy

Deep Learning là một lĩnh vực con của học máy, tập trung vào việc xây dựng các mô hình có khả năng học hỏi từ dữ liệu một cách tự động. Trong lĩnh vực trích xuất resume, Deep Learning được sử dụng để nâng cao khả năng hiểu ngôn ngữ của máy, giúp mô hình có thể trích xuất thông tin chính xác hơn từ các resume phức tạp.

6.3 Mở rộng phạm vi trích xuất dữ liệu từ CV sang các nguồn khác

Trong tương lai, phạm vi trích xuất dữ liệu không chỉ giới hạn ở CV mà còn mở rộng sang các nguồn thông tin khác như hồ sơ LinkedIn, trang web cá nhân, mạng xã hội, v.v. Việc kết hợp thông tin từ nhiều nguồn khác nhau sẽ giúp nhà tuyển dụng có được cái nhìn toàn diện hơn về ứng viên, từ đó đưa ra quyết định tuyển dụng chính xác và hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cuộc cách mạng công nghiệp 4.0, chuyển đổi số đã trở thành xu hướng tất yếu trong nhiều lĩnh vực như văn phòng, giáo dục, ngân hàng và y tế. Theo ước tính, hàng ngày các công ty và cơ quan tuyển dụng phải xử lý một lượng lớn hồ sơ xin việc (resume), gây tốn kém thời gian và công sức nếu thực hiện thủ công. Do đó, việc phát triển hệ thống tự động trích xuất thông tin từ resume không có cấu trúc thành dữ liệu có cấu trúc chung là rất cần thiết. Mục tiêu của nghiên cứu là xây dựng một mô hình dựa trên kỹ thuật học sâu, cụ thể là mô hình BERT kết hợp phương pháp hỏi đáp (Question Answering - QA), nhằm tự động trích xuất các trường dữ liệu quan trọng như tên, email, kinh nghiệm làm việc, học vấn, chứng chỉ, kỹ năng, v.v. từ resume tiếng Anh. Nghiên cứu sử dụng bộ dữ liệu gồm 1000 resume thu thập từ website VietnamWorks với 2386 câu hỏi liên quan đến 9 trường dữ liệu chính. Phạm vi nghiên cứu tập trung vào dữ liệu tiếng Anh, áp dụng mô hình BERT fine-tune trên bộ dữ liệu này, với mục tiêu nâng cao hiệu quả trích xuất thông tin, hỗ trợ tối ưu quá trình tuyển dụng và quản lý hồ sơ ứng viên. Kết quả nghiên cứu có ý nghĩa lớn trong việc giảm thiểu thời gian xử lý hồ sơ, tăng độ chính xác và khả năng tự động hóa trong tuyển dụng hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình chính sau:

• Word Embedding: Kỹ thuật biểu diễn từ dưới dạng vectơ số nhằm giữ lại ngữ nghĩa và ngữ cảnh của từ trong văn bản. Các phương pháp nổi bật gồm Word2Vec, GloVe, fastText và BERT. Word2Vec sử dụng mô hình Skip-Gram để học biểu diễn từ dựa trên ngữ cảnh xung quanh, trong khi BERT là mô hình biểu diễn từ hai chiều dựa trên kiến trúc Transformer, cho phép hiểu ngữ cảnh toàn diện hơn.

• Kiến trúc Transformer: Mô hình mạng nơ-ron dựa trên cơ chế self-attention, giúp xử lý dữ liệu tuần tự hiệu quả, khắc phục hạn chế của RNN trong việc xử lý phụ thuộc dài hạn và cho phép xử lý song song. Transformer gồm các thành phần chính như multi-head attention, feed-forward networks, positional encoding, encoder và decoder.

• Mô hình BERT (Bidirectional Encoder Representations from Transformers): Mô hình học sâu dựa trên Transformer, được huấn luyện trước với hai nhiệm vụ chính là Masked Language Model (MLM) và Next Sentence Prediction (NSP). BERT cho phép mô hình học ngữ cảnh hai chiều, nâng cao khả năng hiểu ngôn ngữ tự nhiên.

• Phương pháp Question Answering (QA) dựa trên BERT: Sử dụng mô hình BERT fine-tune cho bài toán hỏi đáp, trong đó đầu vào là cặp câu hỏi và đoạn văn bản (context), mô hình dự đoán vị trí bắt đầu và kết thúc của câu trả lời trong đoạn văn. Phương pháp này giúp trích xuất chính xác thông tin cần thiết từ các đoạn văn bản phức tạp như resume.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Bộ dữ liệu gồm 1000 resume tiếng Anh thu thập từ website VietnamWorks, với 2386 câu hỏi và câu trả lời thủ công cho 9 trường dữ liệu: Education, Experience, Certificate, Reference, Hobby, Activity, Major, Job Title, Skill.

• Tiền xử lý dữ liệu: Chuyển đổi resume sang dạng văn bản thuần, xác định vị trí bắt đầu câu trả lời (answer_start) trong ngữ cảnh, chuẩn hóa dữ liệu theo định dạng phù hợp cho mô hình QA.

• Phân đoạn văn bản (Segmentation): Áp dụng kỹ thuật word embedding kết hợp sliding window để phân đoạn resume thành các đoạn nhỏ (segment). Mỗi segment được biểu diễn bằng vectơ sent2vec, sau đó tính độ tương đồng cosine với từ khóa đại diện trường dữ liệu cần trích xuất để chọn segment phù hợp nhất.

• Xây dựng mô hình: Fine-tune mô hình BERT trên bộ dữ liệu đã tiền xử lý, đầu vào là cặp câu hỏi và segment văn bản, đầu ra là vị trí bắt đầu và kết thúc câu trả lời. Quá trình huấn luyện sử dụng hàm loss cross-entropy, tối ưu tham số bằng các thuật toán tối ưu hiện đại.

• Phương pháp đánh giá: Sử dụng confusion matrix để đánh giá hiệu suất mô hình, đồng thời đo lường bằng các chỉ số Exact Match (EM) và F1-score, phổ biến trong bài toán hỏi đáp. EM đo lường tỷ lệ dự đoán chính xác tuyệt đối, F1-score cân bằng giữa precision và recall dựa trên từ vựng.

• Timeline nghiên cứu: Nghiên cứu bắt đầu từ tháng 9/2021, hoàn thành huấn luyện và thử nghiệm mô hình vào tháng 12/2021, bảo vệ luận văn tháng 1/2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Mô hình BERT fine-tune trên bộ dữ liệu VietnamWorks đạt Exact Match (EM) 0.97 trên tập huấn luyện và 0.73 trên tập kiểm tra, với F1-score tương ứng khoảng 0.93 trên tập huấn luyện. Kết quả này cho thấy mô hình có khả năng trích xuất thông tin chính xác cao trên dữ liệu huấn luyện và chấp nhận được trên dữ liệu mới.

• So sánh với các mô hình khác như RoBERTa, ALBERT và ELECTRA, mô hình ALBERT cho kết quả tốt hơn gần như ở mọi chỉ số, nhờ vào kiến trúc tối ưu giảm tham số và cải tiến nhiệm vụ huấn luyện Sentence-Order Prediction (SOP).

• Phương pháp phân đoạn văn bản bằng kỹ thuật word embedding và sliding window giúp thu hẹp phạm vi tìm kiếm câu trả lời, tăng độ chính xác trích xuất, đặc biệt với các resume có cấu trúc dài và phức tạp.

• Hệ thống demo cho thấy khả năng trích xuất các trường dữ liệu như kỹ năng, kinh nghiệm, học vấn từ resume tiếng Anh với độ chính xác cao, hỗ trợ hiệu quả cho quy trình tuyển dụng tự động.

Thảo luận kết quả

Kết quả đạt được phản ánh hiệu quả của việc kết hợp mô hình BERT với phương pháp hỏi đáp trong trích xuất thông tin từ resume. Việc fine-tune toàn bộ tham số của BERT giúp mô hình thích nghi tốt với đặc thù dữ liệu resume đa dạng về cấu trúc và nội dung. So với các phương pháp truyền thống như rule-based hay semantic-based sử dụng CRF, BiLSTM, mô hình BERT tận dụng khả năng học ngữ cảnh hai chiều và attention đa đầu, giúp cải thiện đáng kể độ chính xác.

Tuy nhiên, kết quả trên tập kiểm tra còn có thể cải thiện, do bộ dữ liệu chưa được tinh chỉnh kỹ lưỡng và số lượng dữ liệu còn hạn chế. Việc áp dụng mô hình ALBERT cho thấy tiềm năng giảm tham số mà vẫn giữ hiệu suất cao, phù hợp cho triển khai thực tế với tài nguyên hạn chế.

Ngoài ra, phương pháp phân đoạn văn bản dựa trên cosine similarity giúp giảm thiểu sai sót khi xử lý các resume có cấu trúc phức tạp, tuy nhiên vẫn còn hạn chế với các trường hợp resume không theo chuẩn hoặc có nhiều đoạn văn bản lặp lại. Việc trình bày kết quả qua biểu đồ F1-score và EM trong quá trình huấn luyện và kiểm tra giúp trực quan hóa hiệu quả mô hình, đồng thời chỉ ra các điểm cần cải tiến.

Đề xuất và khuyến nghị

1. Tối ưu bộ dữ liệu huấn luyện: Thu thập và làm sạch thêm dữ liệu resume đa dạng hơn, mở rộng số lượng câu hỏi và câu trả lời để tăng tính đại diện, giúp mô hình học sâu hiệu quả hơn, hướng tới đạt EM trên 0.8x trên tập kiểm tra.

2. Phát triển mô hình cho tiếng Việt: Áp dụng kỹ thuật fine-tune mô hình BERT tiếng Việt kết hợp với phương pháp hỏi đáp để mở rộng khả năng trích xuất thông tin từ resume tiếng Việt, đáp ứng nhu cầu tuyển dụng trong nước.

3. Cải tiến kỹ thuật phân đoạn văn bản: Nghiên cứu và áp dụng các kỹ thuật segmentation hiện đại hơn như clustering hoặc attention-based segmentation để nâng cao độ chính xác phân đoạn, đặc biệt với resume có cấu trúc phức tạp.

4. Triển khai hệ thống ứng dụng thực tế: Xây dựng phần mềm trích xuất dữ liệu từ resume tích hợp với hệ thống quản lý tuyển dụng (ATS), giúp tự động hóa quy trình sàng lọc hồ sơ, giảm thời gian và chi phí cho nhà tuyển dụng trong vòng 6-12 tháng tới.

5. Nâng cao hiệu suất mô hình: Thử nghiệm các mô hình transformer mới như ELECTRA, DeBERTa hoặc kết hợp ensemble để cải thiện độ chính xác và khả năng tổng quát hóa, đồng thời tối ưu hóa tài nguyên tính toán.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức sâu về ứng dụng mô hình BERT và kỹ thuật hỏi đáp trong xử lý ngôn ngữ tự nhiên, đặc biệt trong trích xuất thông tin từ văn bản phi cấu trúc.

2. Chuyên gia phát triển phần mềm tuyển dụng và quản lý nhân sự: Tham khảo để xây dựng hoặc cải tiến các hệ thống tự động trích xuất và phân tích resume, nâng cao hiệu quả sàng lọc ứng viên.

3. Các công ty tuyển dụng và phòng nhân sự: Hiểu rõ về công nghệ trích xuất thông tin tự động, từ đó áp dụng hoặc lựa chọn giải pháp phù hợp nhằm tiết kiệm thời gian và nâng cao chất lượng tuyển dụng.

4. Nhà phát triển mô hình NLP và học sâu: Tài liệu chi tiết về quá trình tiền xử lý dữ liệu, fine-tune mô hình BERT cho bài toán hỏi đáp, cùng các phương pháp đánh giá hiệu suất mô hình, hữu ích cho việc phát triển các ứng dụng NLP khác.

Câu hỏi thường gặp

1. Mô hình BERT có ưu điểm gì so với các phương pháp truyền thống trong trích xuất thông tin từ resume?
   BERT sử dụng kiến trúc Transformer với cơ chế attention đa đầu, cho phép hiểu ngữ cảnh hai chiều của từ trong câu, giúp trích xuất thông tin chính xác hơn so với các phương pháp rule-based hay CRF truyền thống vốn dựa nhiều vào quy tắc cứng nhắc hoặc mô hình tuần tự đơn chiều.

2. Bộ dữ liệu sử dụng trong nghiên cứu có đặc điểm gì nổi bật?
   Bộ dữ liệu gồm 1000 resume tiếng Anh từ VietnamWorks, với 2386 câu hỏi và câu trả lời thủ công cho 9 trường dữ liệu quan trọng. Dữ liệu được chuẩn hóa, xác định vị trí câu trả lời trong ngữ cảnh, phù hợp cho huấn luyện mô hình hỏi đáp.

3. Phương pháp phân đoạn văn bản (segmentation) được thực hiện như thế nào?
   Sử dụng kỹ thuật word embedding kết hợp sliding window để tạo các đoạn nhỏ trong resume, sau đó tính độ tương đồng cosine giữa vectơ đoạn và vectơ từ khóa đại diện trường dữ liệu cần trích xuất, chọn đoạn có độ tương đồng cao nhất để đưa vào mô hình trích xuất.

4. Các chỉ số đánh giá mô hình được sử dụng là gì?
   Exact Match (EM) đo lường tỷ lệ dự đoán chính xác tuyệt đối, F1-score cân bằng giữa precision và recall dựa trên từ vựng, cùng với confusion matrix giúp đánh giá chi tiết các trường hợp dự đoán đúng/sai, từ đó đánh giá toàn diện hiệu suất mô hình.

5. Mô hình có thể áp dụng cho resume tiếng Việt không?
   Hiện tại nghiên cứu tập trung trên resume tiếng Anh. Tuy nhiên, với sự phát triển của các mô hình BERT tiếng Việt, có thể fine-tune tương tự để áp dụng cho resume tiếng Việt, mở rộng phạm vi ứng dụng trong tương lai.

Kết luận

• Đã xây dựng thành công mô hình trích xuất thông tin từ resume tiếng Anh dựa trên phương pháp hỏi đáp kết hợp BERT, đạt độ chính xác cao với Exact Match trên 0.9 trên tập huấn luyện và khoảng 0.73 trên tập kiểm tra.
• Phương pháp phân đoạn văn bản bằng kỹ thuật word embedding và sliding window giúp nâng cao hiệu quả trích xuất, đặc biệt với resume có cấu trúc phức tạp.
• So sánh với các mô hình transformer khác cho thấy ALBERT là lựa chọn tiềm năng với hiệu suất tốt và tham số tối ưu hơn.
• Nghiên cứu mở ra hướng phát triển cho trích xuất thông tin resume tiếng Việt và ứng dụng thực tế trong hệ thống tuyển dụng tự động.
• Đề xuất các bước tiếp theo gồm mở rộng bộ dữ liệu, cải tiến kỹ thuật phân đoạn, phát triển mô hình cho tiếng Việt và triển khai ứng dụng thực tế nhằm nâng cao hiệu quả tuyển dụng.

Khuyến khích các nhà nghiên cứu và doanh nghiệp ứng dụng mô hình này để tự động hóa quy trình tuyển dụng, đồng thời tiếp tục nghiên cứu mở rộng và tối ưu hóa mô hình cho các ngôn ngữ và lĩnh vực khác.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA -------------------- TRẦN QUỐC TÍNH TRÍCH XUẤT DỮ LIỆU TỪ RESUME DỰA TRÊN MÔ HÌNH QUESTION - ANSWERING KẾT HỢP BERT Chuyên ngành: Khoa học Máy tính Mã số: 8.01 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 01 năm 2022 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI: TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học: PGS. TS Quản Thành Thơ Cán bộ chấm nhận xét 1: Lê Văn Quốc Anh Cán bộ chấm nhận xét 2: Nguyễn Lưu Thùy Ngân Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp.

HCM ngày 12 tháng 01 năm 2022 (trực tuyến). Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. Nguyễn Đức Dũng………….- Chủ tịch Hội đồng 2. Nguyễn Tiến Thịnh………….

Lê Văn Quốc Anh ……………. Nguyễn Lưu Thùy Ngân…………. Lê Thanh Vân …….- Ủy viên Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH TS.

Nguyễn Đức Dũng ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trần Quốc Tính. Ngày, tháng, năm sinh: 21/08/1997 .Nơi sinh: Phú Yên. Chuyên ngành: Khoa học máy tính. TÊN ĐỀ TÀI : Trích xuất dữ liệu từ resume dựa trên mô hình Question - Answering kết hợp BERT / Extract information from resume based on BERT Question - Answering model.

NHIỆM VỤ VÀ NỘI DUNG : Phát triển một mô hình dựa trên các kỹ thuật học sâu hiện đại có khả năng tự động trích xuất dữ liệu từ resume. Phương pháp đề xuất được đưa ra ở đây là phương pháp hỏi đáp dựa trên kiến trúc transformer kết hợp sử dụng segmentation text để phân đoạn resume thành những segment của những phần thông tin cần trích xuất sau đó dựa vào kĩ thuật hỏi đáp để trích xuất ra những thông tin trên những segment chúng ta đã phân tách. Mô hình hỏi đáp sẽ được xây dựng bằng các fine- tune mô hình bert. NGÀY GIAO NHIỆM VỤ : 06/09/2021 IV.

NGÀY HOÀN THÀNH NHIỆM VỤ: 12/12/2021 V. CÁN BỘ HƯỚNG DẪN : PGS. Quản Thành Thơ Tp. năm 2022 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN PGS.

Quản Thành Thơ TRƯỞNG KHOA KHOA HỌC KỸ THUẬT VÀ MÁY TÍNH i Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính LỜI CẢM ƠN Để hoàn thành được đề tài luận văn thạc sĩ này, tôi xin bày tỏ sự cảm kích đặc biệt cũng như lời cảm ơn chân thành đến người thầy của tôi, PGS. Quản Thành Thơ, người đã định hướng, trực tiếp dìu dắt và tận tình chỉ bảo cho tôi trong suốt quá trình thực hiện. Xin chân thành cảm ơn những bài giảng, những buổi thảo luận về tư duy và phương pháp thực hiện đã giúp tôi có được thêm nhiều kiến thức quý giá trong việc hoàn thành tốt luận văn này. Đồng thời, thầy cũng là người luôn cho tôi không chỉ những lời khuyên vô cùng quý giá về kiến thức chuyên môn mà còn là sự tận tâm trong quá trình giảng dạy.

Một lần nữa, tôi xin gửi lời cảm ơn đến thầy bằng tất cả tấm lòng và sự biết ơn của mình. Tôi cũng xin chân thành cảm ơn quý Thầy Cô ở Khoa Khoa Học Máy Tính – Trường Đại Học Bách Khoa TP.HCM đã cùng với tri thức và tâm huyết của mình để truyền đạt kiến thức quý báu cho những học viên cao học như tôi trong suốt thời gian học tập và nghiên cứu. Sau cùng, tôi xin cảm ơn gia đình, anh chị, bạn bè, các bạn học viên, những người đã giúp đỡ, hỗ trợ tôi cũng như góp ý cho tôi quá trình thực hiện và hoàn thành đề tài luận văn thạc sĩ này. Chân thành cảm ơn.

Hồ Chí Minh, ngày 15 tháng 11 năm 2021. Học Viên Trần Quốc Tính ii Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính TÓM TẮT LUẬN VĂN Trong thời đại công nghiệp 4.0 khi mà cụm từ Chuyển Đổi Số (Digital Transforma- tion) [1] thường được nhắc đến ở nhiều nơi như ở văn phòng công sở, trường học, ngân hàng, bệnh viện v. thì dường như mọi việc đều được đưa lên máy tính điện tử, một công cụ mà ta có thể tận dụng khả năng tính toán và bộ nhớ siêu hạng của nó để xử lí các công việc mà con người mất rất nhiều thời gian và công sức để hoàn thành. Các công ty doanh nghiệp và cơ quan tuyển dụng cũng vậy, họ xử lý rất nhiều hồ sơ hàng ngày.

Rõ ràng đây không nên là nhiệm vụ của con người, chúng ta cần có một hệ thống thông minh tự động có thể lấy ra tất cả các thông tin quan trọng từ các resume không có cấu trúc và chuyển tất cả chúng sang một định dạng có cấu trúc chung để sau đó có thể được xếp hạng cho một vị trí công việc cụ thể. Thông tin được trích xuất có thể bao gồm tên, địa chỉ email, hồ sơ xã hội, trang web cá nhân, số năm kinh nghiệm làm việc, kinh nghiệm làm việc, số năm học, kinh nghiệm giáo dục, chứng chỉ, kinh nghiệm tình nguyện, tham khảo v. Thông tin được trích xuất sau đó được lưu trữ trong cơ sở dữ liệu (thường là NoSQL) để sử dụng sau này. Không giống như các dữ liệu phi cấu trúc khác (ví dụ: nội dung email, nội dung trang web, v.), resume là dạng dữ liệu dường như có cấu trúc hơn.

Thông tin được lưu trữ trong các tập hợp rời rạc. Mỗi bộ chứa dữ liệu về chi tiết liên hệ, kinh nghiệm làm việc hoặc học vấn của người đó. Mặc dù các resume này rất khó phân tích cú pháp. Điều này là do chúng khác nhau về các loại thông tin, thứ tự của chúng, cách viết, v.

Hơn nữa, chúng có thể được viết ở nhiều định dạng khác nhau. Một số định dạng phổ biến bao gồm ’. Để phân tích cú pháp dữ liệu từ các loại resume một cách hiệu quả thì mô hình không được dựa vào thứ tự hoặc kiểu dữ liệu. Trong luận văn này ta tập trung vào xây dựng hệ thống trích xuất dữ liệu, một hệ thống dựa trên nền tảng mô hình BERT [2] và phương pháp trích xuất hỏi đáp.

Luận văn tập trung tìm hiểu và phân tích bài toán hỏi đáp trên nền tảng mô hình BERT, nghiên cứu các phương pháp hiện có để chọn lựa giải pháp phù hợp, thực hiện các kỹ thuật làm sạch dữ liệu, rút trích đặc trưng và điều chỉnh tham số. Đồng thời chúng ta cũng nghiên cứu và áp dụng các kỹ thuật học sâu trong việc tìm ra các câu trả lời phù hợp với thực thể ta cần rút trích bằng cách thực hiện bằng cách tỉnh chỉnh mô hình BERT với mục đích hỏi đáp để trả lời các câu hỏi được đưa vào khi mô hình đọc qua resume sau đó nghiên cứu và đề xuất giải pháp liên quan đến khai phá dữ liệu nhằm nâng cao tính hiệu quả của giải thuật trong việc xử lý dữ liệu mới. Cuối cùng chúng ta sẽ thực hiện một số kịch bản thử nghiệm để đánh giá các giải pháp đề xuất. iii Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính ABSTRACT In the industrial age 4.0 when the phrase Digital Transformation [1] is often men- tioned in many places such as in offices, schools, banks, hospitals, etc.

It seems that everything is put on an electronic computer, a tool that can take advantage of its super-computing ability and memory to handle tasks that take a lot of time and effort. power to complete. Corporate companies and recruitment agencies too, they process a lot of applications on a daily basis. Obviously this shouldn’t be a human task, we need an intelligent automated system that can pull out all the important informa- tion from unstructured resumes and transfer it all.

them into a common structured format that can then be rated for a specific job position. Extracted information may include name, email address, social profiles, personal website, number of years of work experience, work experience, years of education, educational experience, certi- fications, experience volunteer experience, reference etc. The extracted information is then stored in a database (usually NoSQL) for later use. Unlike other unstructured data (e.

email body, web page content, etc.), resume is a seemingly more structured form of data. Information is stored in discrete sets. Each set contains data about the person’s contact details, work experience or education. Although these resumes are difficult to parse.

This is because they differ in the types of information, their order, spelling, etc. Furthermore, they can be written in a variety of formats. Some com- mon formats include ’. To parse data from resume types efficiently, the model must not rely on order or data type.

In this thesis, we focus on building a data extraction system, a system based on the BERT [2] model and the QA extraction method. The thesis focuses on understand- ing and analyzing the question-and-answer problem on the basis of the BERT model, studying the existing methods to choose the appropriate solution, implementing data cleaning techniques, feature extraction and parameter adjustment. At the same time, we also study and apply deep learning techniques in finding the right answers for the entity we need to extract by refining the BERT model for the purpose of asking and answering questions. Answer the questions included when the model reads through the resume, then research and propose solutions related to data mining to improve the effectiveness of the algorithm in processing new data.

Finally, we will perform some test scenarios to evaluate the proposed solutions. iv Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi và được sự hướng dẫn khoa học của PGS. Quản Thành Thơ. Các nội dung nghiên cứu, kết quả trong đề tài này là trung thực và chưa công bố dưới bất kỳ hình thức nào trước đây.

Những số liệu trong các bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá được chính tác giả thu thập từ việc đo đạc thực tế và các nguồn khác nhau có ghi rõ trong phần tài liệu tham khảo. Ngoài ra, trong luận văn còn sử dụng một số nhận xét, đánh giá cũng như số liệu của các tác giả khác, cơ quan tổ chức khác đều có trích dẫn và chú thích nguồn gốc. Nếu phát hiện có bất kỳ sự gian lận nào tôi xin hoàn toàn chịu trách nhiệm về nội dung luận văn của mình. Hồ Chí Minh, ngày 15 tháng 11 năm 2021.

Học Viên Trần Quốc Tính v Trường Đại Học Bách Khoa Tp.Hồ Chí Minh Khoa Khoa Học và Kỹ Thuật Máy Tính Mục lục NHIỆM VỤ LUẬN VĂN THẠC SĨ. ii TÓM TẮT LUẬN VĂN. iv LỜI CAM ĐOAN .