Tổng quan nghiên cứu

Trong bối cảnh làn sóng sa thải nhân viên diễn ra mạnh mẽ gần đây, nhu cầu tìm kiếm việc làm trở nên cấp thiết hơn bao giờ hết. Theo ước tính, hàng nghìn người lao động tại các thành phố lớn như TP. Hồ Chí Minh, Bình Dương, Long An đang đối mặt với thách thức tìm kiếm công việc phù hợp. Đồng thời, các nhà tuyển dụng cũng gặp khó khăn trong việc tiếp cận ứng viên tiềm năng. Internet và mạng xã hội, đặc biệt là Facebook, đã trở thành nguồn thông tin quan trọng để kết nối người tìm việc và nhà tuyển dụng. Tuy nhiên, việc xử lý và khai thác hiệu quả lượng dữ liệu khổng lồ này đòi hỏi các giải pháp công nghệ tiên tiến.

Luận văn tập trung nghiên cứu ứng dụng xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) để phát triển hệ thống tư vấn việc làm, giúp tự động nhận dạng các thực thể quan trọng trong các bài đăng tuyển dụng và tìm việc trên mạng xã hội. Mục tiêu cụ thể là xây dựng mô hình nhận dạng thực thể (Named Entity Recognition - NER) cho tiếng Việt dựa trên mô hình BERT, từ đó phát triển hệ thống tư vấn việc làm hỗ trợ người dùng tìm kiếm và đăng tin hiệu quả. Nghiên cứu được thực hiện trong giai đoạn từ tháng 9/2022 đến tháng 6/2023, tập trung thu thập dữ liệu từ các nhóm Facebook tại các địa phương trọng điểm như TP. Hồ Chí Minh, Bình Dương, Long An.

Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao hiệu quả kết nối giữa người tìm việc và nhà tuyển dụng, giảm thiểu thời gian và chi phí tìm kiếm, đồng thời góp phần thúc đẩy thị trường lao động trực tuyến phát triển bền vững. Các chỉ số đánh giá như độ chính xác nhận dạng thực thể và mức độ hài lòng của người dùng được kỳ vọng cải thiện rõ rệt nhờ ứng dụng mô hình NLP hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính trong lĩnh vực xử lý ngôn ngữ tự nhiên và học sâu:

  1. Mô hình BERT (Bidirectional Encoder Representations from Transformers): Đây là mô hình ngôn ngữ tiên tiến sử dụng kiến trúc Transformer với cơ chế attention đa đầu, cho phép học các mối quan hệ ngữ cảnh hai chiều giữa các từ trong câu. BERT được huấn luyện trước trên kho dữ liệu lớn và có khả năng fine-tuning cho các tác vụ cụ thể như nhận dạng thực thể. Mô hình này giúp cải thiện đáng kể độ chính xác so với các phương pháp truyền thống.

  2. Phương pháp nhận dạng thực thể (Named Entity Recognition - NER): NER là bài toán xác định và phân loại các thực thể quan trọng trong văn bản như tên người, địa điểm, thời gian, chức vụ, mức lương,... Trong nghiên cứu này, 10 thực thể chính được định nghĩa gồm: format (hình thức công việc), contact (thông tin liên lạc), requirement (yêu cầu công việc), task (nhiệm vụ), type (loại tuyển dụng), salary (mức lương), title (chức vụ), time (thời gian), place (nơi làm việc), address (địa chỉ).

Các khái niệm nền tảng khác bao gồm: word embedding (biểu diễn từ dưới dạng vector số), kỹ thuật word2vec, one-hot encoding, và các kiến trúc mạng nơ-ron học sâu cấp độ từ và ký tự.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ 1141 bài đăng tuyển dụng và tìm việc trên các nhóm Facebook tại TP. Hồ Chí Minh, Bình Dương, Long An. Dữ liệu sau đó được làm sạch, loại bỏ ký tự đặc biệt, emoji và chuẩn hóa bằng công cụ phân tách từ RDRSegmenter trong VnCoreNLP để xử lý tiếng Việt phức tạp.

Phương pháp phân tích chính là xây dựng và huấn luyện mô hình NER dựa trên mô hình PhoBERT (phiên bản BERT dành cho tiếng Việt). Bộ dữ liệu được làm giàu (data augmentation) bằng cách thay thế ngẫu nhiên các cụm từ thực thể trong câu bằng các cụm từ tương đương, từ đó mở rộng lên 12.508 mẫu. Dữ liệu được chia thành tập huấn luyện và kiểm thử theo tỷ lệ 80/20.

Quá trình huấn luyện sử dụng thuật toán AdamW với learning rate 3e-5, batch size 32, trong 10 epochs. Kết quả được đánh giá bằng các chỉ số precision, recall và F1-score. Ngoài ra, hệ thống tư vấn việc làm được xây dựng với kiến trúc backend sử dụng Python và Django, kết nối cơ sở dữ liệu Postgres SQL, và frontend là ứng dụng di động trên nền tảng iOS.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả mô hình PhoBERT trong nhận dạng thực thể tiếng Việt: Mô hình đạt F1-score trung bình cao, với các thực thể như salary, address, và time có số lượng mẫu lớn lần lượt đạt F1-score trên 85%. Ví dụ, thực thể salary có hơn 17.000 mẫu sau làm giàu dữ liệu, giúp mô hình nhận dạng chính xác các thông tin về mức lương trong bài đăng.

  2. Tăng trưởng dữ liệu làm giàu giúp cải thiện độ chính xác: Từ bộ dữ liệu gốc 1141 mẫu, sau khi làm giàu lên 12.508 mẫu, mô hình có khả năng tổng quát hóa tốt hơn, đặc biệt với các thực thể ít xuất hiện như requirement và place. Số lượng thực thể time lên đến hơn 33.000 mẫu, giúp mô hình nhận dạng thông tin thời gian hiệu quả.

  3. So sánh với các nghiên cứu liên quan: So với bộ dữ liệu NER về COVID-19 với 10.027 câu và các thực thể y tế, mô hình PhoBERT cũng đạt F1-score cao trên 98% cho một số thực thể. Điều này cho thấy tính ứng dụng rộng rãi và hiệu quả của mô hình BERT trong các lĩnh vực khác nhau, trong đó có tư vấn việc làm.

  4. Hệ thống tư vấn việc làm hoạt động ổn định: Backend cào dữ liệu 24/7 từ hàng trăm nhóm Facebook, cung cấp dữ liệu liên tục cho mô hình và người dùng. Ứng dụng iOS hỗ trợ tìm kiếm việc làm theo hashtag, bộ lọc đa dạng, giúp người dùng dễ dàng tiếp cận thông tin phù hợp.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình đạt hiệu quả cao là nhờ việc sử dụng mô hình PhoBERT, vốn được huấn luyện trên kho dữ liệu tiếng Việt lớn, kết hợp với kỹ thuật làm giàu dữ liệu giúp tăng tính đa dạng và số lượng mẫu huấn luyện. Việc áp dụng cấu trúc BIO trong gán nhãn giúp mô hình phân biệt chính xác các thực thể trong câu phức tạp.

So với các phương pháp truyền thống dựa trên quy tắc, mô hình học sâu tự động khám phá đặc trưng ẩn, giảm thiểu công sức gán nhãn thủ công và tăng khả năng mở rộng. Kết quả này phù hợp với xu hướng ứng dụng mạng nơ-ron học sâu trong NER trên thế giới.

Dữ liệu có thể được trình bày qua biểu đồ phân bố số lượng thực thể trước và sau làm giàu, biểu đồ so sánh F1-score giữa các thực thể, và bảng thống kê kết quả huấn luyện chi tiết. Điều này giúp minh họa rõ ràng sự cải thiện và hiệu quả của mô hình.

Đề xuất và khuyến nghị

  1. Mở rộng thu thập dữ liệu đa dạng hơn: Tiếp tục cào dữ liệu từ nhiều nguồn mạng xã hội và các trang tuyển dụng khác để tăng tính đại diện và đa dạng cho bộ dữ liệu, giúp mô hình nhận dạng chính xác hơn với các dạng câu khác nhau. Thời gian thực hiện: 6-12 tháng, chủ thể: nhóm phát triển hệ thống.

  2. Cải tiến mô hình bằng kỹ thuật fine-tuning nâng cao: Áp dụng các kỹ thuật fine-tuning mới như learning rate scheduling, data balancing để tối ưu hiệu suất mô hình, đặc biệt với các thực thể ít xuất hiện. Thời gian: 3-6 tháng, chủ thể: nhóm nghiên cứu AI.

  3. Phát triển giao diện người dùng thân thiện hơn: Nâng cấp ứng dụng di động với các tính năng gợi ý việc làm thông minh dựa trên hồ sơ người dùng, tích hợp chatbot tư vấn tự động. Thời gian: 6 tháng, chủ thể: đội ngũ phát triển frontend.

  4. Tăng cường bảo mật và quyền riêng tư: Xây dựng các chính sách bảo vệ dữ liệu người dùng, mã hóa thông tin nhạy cảm trong hệ thống để đảm bảo an toàn thông tin. Thời gian: 3 tháng, chủ thể: bộ phận an ninh mạng.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Xử lý ngôn ngữ tự nhiên: Luận văn cung cấp kiến thức nền tảng, phương pháp và mô hình thực nghiệm cụ thể về NER tiếng Việt, giúp phát triển các nghiên cứu tiếp theo.

  2. Các công ty phát triển phần mềm tuyển dụng và tư vấn việc làm: Hệ thống và mô hình được xây dựng có thể ứng dụng trực tiếp hoặc làm cơ sở để phát triển sản phẩm công nghệ hỗ trợ tuyển dụng.

  3. Chuyên gia phân tích dữ liệu và AI: Tham khảo cách thu thập, xử lý dữ liệu tiếng Việt phức tạp, kỹ thuật làm giàu dữ liệu và huấn luyện mô hình học sâu hiệu quả.

  4. Nhà quản lý thị trường lao động và chính sách: Hiểu rõ xu hướng ứng dụng công nghệ trong kết nối người lao động và nhà tuyển dụng, từ đó đề xuất các chính sách hỗ trợ phù hợp.

Câu hỏi thường gặp

  1. Mô hình PhoBERT có ưu điểm gì so với các mô hình khác trong NER tiếng Việt?
    PhoBERT được huấn luyện trên kho dữ liệu tiếng Việt lớn, sử dụng kiến trúc Transformer giúp học ngữ cảnh hai chiều hiệu quả, từ đó cải thiện độ chính xác nhận dạng thực thể so với các mô hình truyền thống hoặc mạng nơ-ron đơn giản.

  2. Làm thế nào để xử lý tiếng Việt có nhiều từ phức và dấu câu trong bài toán NER?
    Sử dụng công cụ phân tách từ chuyên biệt như RDRSegmenter trong VnCoreNLP giúp nối các âm tiết thành từ hoàn chỉnh, tăng tính chính xác khi gán nhãn và huấn luyện mô hình.

  3. Phương pháp làm giàu dữ liệu (data augmentation) được thực hiện như thế nào?
    Phương pháp thay thế ngẫu nhiên các cụm từ thực thể trong câu bằng các cụm từ tương đương cùng loại giúp tăng số lượng mẫu huấn luyện, cải thiện khả năng tổng quát hóa của mô hình.

  4. Hệ thống tư vấn việc làm có thể áp dụng ở những địa phương nào?
    Hiện tại hệ thống thu thập dữ liệu từ các nhóm Facebook tại TP. Hồ Chí Minh, Bình Dương, Long An, tuy nhiên kiến trúc có thể mở rộng để áp dụng cho các địa phương khác với việc bổ sung nguồn dữ liệu phù hợp.

  5. Làm sao để đánh giá hiệu quả của mô hình NER trong thực tế?
    Ngoài các chỉ số precision, recall, F1-score trên tập kiểm thử, có thể đánh giá qua phản hồi người dùng về độ chính xác thông tin trích xuất, thời gian tìm kiếm việc làm giảm, và tỷ lệ kết nối thành công giữa người tìm việc và nhà tuyển dụng.

Kết luận

  • Đã xây dựng thành công mô hình nhận dạng thực thể tiếng Việt dựa trên PhoBERT với F1-score cao, đáp ứng yêu cầu bài toán tư vấn việc làm.
  • Thu thập và làm giàu dữ liệu từ các bài đăng trên mạng xã hội giúp nâng cao hiệu quả mô hình.
  • Hệ thống tư vấn việc làm được phát triển hoàn chỉnh với backend xử lý dữ liệu và frontend ứng dụng iOS thân thiện.
  • Kết quả nghiên cứu góp phần thúc đẩy ứng dụng NLP trong thị trường lao động trực tuyến tại Việt Nam.
  • Đề xuất các hướng phát triển tiếp theo nhằm mở rộng dữ liệu, cải tiến mô hình và nâng cao trải nghiệm người dùng trong 6-12 tháng tới.

Mời các nhà nghiên cứu, doanh nghiệp và chuyên gia quan tâm tiếp cận và ứng dụng kết quả nghiên cứu để phát triển các giải pháp công nghệ hỗ trợ thị trường lao động hiệu quả hơn.