Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của các cổng lập trình trực tuyến trên toàn cầu, việc cung cấp các bài toán phù hợp với trình độ người dùng trở thành một thách thức quan trọng. Theo báo cáo của ngành, tính đến tháng 6 năm 2021, cổng lập trình trực tuyến Dlab của Học viện Công nghệ Bưu chính Viễn thông đã thu hút 6.435 người dùng với hơn 1.151.000 lượt giải bài tập, trong đó có 1.245 bài toán được xây dựng trong vòng một năm. Vấn đề nghiên cứu tập trung vào việc phát triển phương pháp tư vấn cộng tác nhằm gợi ý các bài toán phù hợp với khả năng lập trình của từng người dùng, từ đó nâng cao hiệu quả học tập và rèn luyện kỹ năng lập trình.

Mục tiêu cụ thể của luận văn là nghiên cứu và đề xuất phương pháp tư vấn cộng tác dựa trên mô hình đồ thị hai phía, đồng thời so sánh hiệu quả với các phương pháp lọc cộng tác truyền thống như User-based và Item-based. Phạm vi nghiên cứu bao gồm dữ liệu thu thập từ cổng lập trình trực tuyến Dlab trong khoảng thời gian từ tháng 8/2020 đến tháng 6/2021, với đối tượng là 6.120 người dùng đã tham gia lập trình ít nhất 20 bài tập. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ chính xác của hệ thống tư vấn, giảm thiểu sai số dự đoán và hỗ trợ người dùng tiếp cận bài toán phù hợp nhanh chóng, góp phần nâng cao chất lượng đào tạo nguồn nhân lực công nghệ thông tin.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình nghiên cứu sau:

  • Phương pháp lọc cộng tác (Collaborative Filtering - CF): Đây là kỹ thuật phổ biến trong hệ thống tư vấn, khai thác sự tương đồng về hành vi đánh giá giữa người dùng để dự đoán sở thích và gợi ý sản phẩm phù hợp. CF được chia thành hai loại chính: User-based (dựa trên người dùng) và Item-based (dựa trên sản phẩm/bài toán).

  • Mô hình đồ thị hai phía (Bipartite Graph Model): Mô hình biểu diễn mối quan hệ giữa hai tập đỉnh là người dùng và bài toán, trong đó các cạnh thể hiện đánh giá của người dùng đối với bài toán. Mô hình này cho phép khai thác các đường đi giữa người dùng và bài toán để dự đoán mức độ phù hợp.

  • Khái niệm chính:

    • Ma trận đánh giá (Rating Matrix): Biểu diễn đánh giá của người dùng đối với bài toán, với giá trị 1 (đúng), -1 (sai), 0 (chưa giải).
    • Độ tương đồng Pearson và Vector Cosin: Các công thức tính tương đồng giữa người dùng hoặc bài toán để phục vụ cho phương pháp lọc cộng tác.
    • Đường đi trong đồ thị: Các đường đi có độ dài lẻ giữa người dùng và bài toán, phân loại theo trọng số cạnh (dương, âm, hỗn hợp) để dự đoán mức độ phù hợp.

Phương pháp nghiên cứu

Nguồn dữ liệu được thu thập trực tiếp từ cổng lập trình trực tuyến Dlab của Học viện Công nghệ Bưu chính Viễn thông, bao gồm 6.435 người dùng và 1.245 bài toán trong khoảng thời gian từ tháng 8/2020 đến tháng 6/2021. Trong đó, 6.120 người dùng đã tham gia lập trình ít nhất 20 bài được chọn làm mẫu nghiên cứu.

Phương pháp phân tích chính là xây dựng và thử nghiệm ba thuật toán tư vấn cộng tác:

  • User -based Collaborative Filtering: Tính toán độ tương đồng giữa người dùng dựa trên đánh giá chung, sử dụng độ tương đồng Pearson và vector cosin.

  • Item-based Collaborative Filtering: Tính toán độ tương đồng giữa các bài toán dựa trên đánh giá của người dùng, cũng sử dụng các công thức tương tự.

  • Graph-based Collaborative Filtering (đề xuất): Biểu diễn mối quan hệ người dùng - bài toán dưới dạng đồ thị hai phía, phân tích số lượng đường đi có trọng số dương, âm và hỗn hợp để dự đoán mức độ phù hợp.

Quy trình nghiên cứu bao gồm chia dữ liệu thành tập huấn luyện và kiểm tra, thử nghiệm với các kích thước tập huấn luyện 2.000, 3.000 và 4.000 người dùng, đồng thời đánh giá sai số dự đoán bằng chỉ số MAE (Mean Absolute Error). Thời gian nghiên cứu tập trung trong năm 2021 với dữ liệu thực nghiệm từ cổng Dlab.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả của phương pháp Graph-based vượt trội: Trong các thử nghiệm với dữ liệu thưa thớt (chỉ 5 đánh giá biết trước), phương pháp Graph-based đạt giá trị MAE khoảng 0,208, thấp hơn so với User-based và Item-based (lần lượt khoảng 0,2042 và 0,1924). Khi tăng kích thước tập huấn luyện lên 4.000 người dùng và số lượng đánh giá biết trước lên 20, MAE của Graph-based giảm xuống còn 0,1712, trong khi các phương pháp còn lại vẫn trên 0,19.

  2. Khả năng dự đoán trong điều kiện dữ liệu thưa: Phương pháp Graph-based tận dụng các đường đi gián tiếp trong đồ thị để đưa ra dự đoán, giúp khắc phục hạn chế của các phương pháp truyền thống khi ma trận đánh giá thưa thớt.

  3. Tính toán nhanh và hiệu quả: Với số lượng bài toán ít hơn nhiều so với người dùng, phương pháp Item-based cho phép tính toán nhanh hơn User-based, tuy nhiên vẫn không bằng Graph-based về độ chính xác.

  4. Vấn đề liên thông trong đồ thị: Dữ liệu thưa thớt có thể dẫn đến đồ thị không liên thông, ảnh hưởng đến kết quả dự đoán khi tăng độ dài đường đi L. Việc lọc dữ liệu chọn người dùng và bài toán có số lượng đánh giá tối thiểu giúp cải thiện tính liên thông và độ chính xác.

Thảo luận kết quả

Kết quả thực nghiệm cho thấy phương pháp Graph-based có ưu thế rõ rệt trong việc xử lý dữ liệu thưa thớt, một vấn đề phổ biến trong các hệ thống tư vấn cộng tác. Việc sử dụng mô hình đồ thị hai phía cho phép khai thác các mối quan hệ gián tiếp giữa người dùng và bài toán, từ đó nâng cao độ chính xác dự đoán so với các phương pháp dựa trên độ tương đồng trực tiếp.

So với các nghiên cứu trước đây tập trung vào User-based hoặc Item-based, phương pháp đề xuất không chỉ cải thiện sai số dự đoán mà còn giảm thiểu ảnh hưởng của các vấn đề như cold-start và gian lận trong đánh giá. Việc phân tích số lượng đường đi theo trọng số dương và âm giúp hệ thống có thể phân biệt rõ ràng mức độ phù hợp, tránh dự đoán sai do dữ liệu nhiễu.

Dữ liệu thực nghiệm từ cổng Dlab với hơn 6.000 người dùng và 1.200 bài toán cung cấp nền tảng thực tế để đánh giá hiệu quả của phương pháp. Biểu đồ so sánh MAE giữa các phương pháp thể hiện sự vượt trội của Graph-based, đặc biệt khi dữ liệu huấn luyện tăng lên, cho thấy tính ổn định và khả năng mở rộng của phương pháp.

Đề xuất và khuyến nghị

  1. Triển khai thuật toán Graph-based trên các cổng lập trình trực tuyến: Động từ hành động là "ứng dụng" nhằm giảm sai số dự đoán (target metric: MAE < 0,18) trong vòng 6 tháng, do các đơn vị phát triển cổng lập trình trực tuyến thực hiện.

  2. Tăng cường thu thập dữ liệu đánh giá: Khuyến nghị các cổng lập trình khuyến khích người dùng tham gia đánh giá bài toán để giảm độ thưa thớt dữ liệu, nâng cao chất lượng dự đoán, thực hiện liên tục trong năm học.

  3. Xây dựng hệ thống lọc dữ liệu đầu vào: Áp dụng các tiêu chí lọc người dùng và bài toán (ví dụ: người dùng đã giải ít nhất 20 bài, bài toán có ít nhất 20 người giải) để đảm bảo tính liên thông của đồ thị, triển khai trong 3 tháng đầu năm.

  4. Phát triển giao diện gợi ý cá nhân hóa: Thiết kế giao diện trực quan giúp người dùng dễ dàng tiếp cận các bài toán được đề xuất, tăng trải nghiệm người dùng, hoàn thành trong vòng 4 tháng.

  5. Nghiên cứu mở rộng mô hình kết hợp: Kết hợp phương pháp Graph-based với các kỹ thuật học máy nâng cao để cải thiện dự đoán trong các trường hợp dữ liệu cực kỳ thưa hoặc người dùng mới, nghiên cứu trong 1-2 năm tiếp theo.

Đối tượng nên tham khảo luận văn

  1. Các nhà phát triển cổng lập trình trực tuyến: Hưởng lợi từ việc áp dụng phương pháp tư vấn cộng tác hiệu quả, giúp nâng cao trải nghiệm người dùng và tăng tính tương tác trên nền tảng.

  2. Giảng viên và nhà quản lý giáo dục trong lĩnh vực CNTT: Sử dụng kết quả nghiên cứu để thiết kế chương trình đào tạo, lựa chọn bài tập phù hợp với trình độ sinh viên, nâng cao hiệu quả giảng dạy.

  3. Nhà nghiên cứu trong lĩnh vực hệ thống tư vấn và học máy: Tham khảo mô hình đồ thị hai phía và thuật toán Graph-based để phát triển các hệ thống tư vấn trong các lĩnh vực khác như thương mại điện tử, mạng xã hội.

  4. Các tổ chức tổ chức thi lập trình và đào tạo kỹ năng lập trình: Áp dụng phương pháp để xây dựng hệ thống gợi ý bài tập phù hợp, hỗ trợ thí sinh luyện tập hiệu quả, tăng chất lượng tuyển chọn.

Câu hỏi thường gặp

  1. Phương pháp Graph-based khác gì so với User-based và Item-based?
    Graph-based sử dụng mô hình đồ thị hai phía để khai thác các đường đi gián tiếp giữa người dùng và bài toán, giúp dự đoán chính xác hơn trong điều kiện dữ liệu thưa thớt, trong khi User-based và Item-based chỉ dựa trên độ tương đồng trực tiếp.

  2. Dữ liệu thưa thớt ảnh hưởng thế nào đến hệ thống tư vấn?
    Dữ liệu thưa làm giảm khả năng tìm kiếm người dùng hoặc bài toán tương tự, dẫn đến sai số dự đoán cao. Graph-based khắc phục bằng cách tận dụng các mối quan hệ gián tiếp qua các đường đi trong đồ thị.

  3. Làm thế nào để cải thiện tính liên thông của đồ thị trong mô hình Graph-based?
    Bằng cách lọc dữ liệu đầu vào, chọn người dùng và bài toán có số lượng đánh giá tối thiểu, giúp giảm sự phân mảnh của đồ thị, từ đó nâng cao hiệu quả dự đoán.

  4. Phương pháp này có áp dụng được cho các lĩnh vực khác không?
    Có, mô hình đồ thị hai phía và thuật toán Graph-based có thể được điều chỉnh để áp dụng trong các hệ thống tư vấn sản phẩm, dịch vụ, hoặc mạng xã hội, nơi có mối quan hệ tương tác giữa hai tập đối tượng.

  5. Thời gian triển khai phương pháp này trên cổng lập trình trực tuyến là bao lâu?
    Tùy thuộc vào quy mô dữ liệu và hạ tầng, nhưng theo đề xuất, việc ứng dụng và tối ưu thuật toán có thể hoàn thành trong vòng 6 tháng đến 1 năm, bao gồm thu thập dữ liệu, xây dựng mô hình và tích hợp hệ thống.

Kết luận

  • Đã nghiên cứu và đề xuất thành công phương pháp tư vấn cộng tác dựa trên mô hình đồ thị hai phía cho cổng lập trình trực tuyến.
  • Phương pháp Graph-based cho kết quả dự đoán chính xác hơn so với các phương pháp User-based và Item-based truyền thống, đặc biệt trong điều kiện dữ liệu thưa thớt.
  • Thuật toán tận dụng các đường đi có trọng số dương và âm để phân loại mức độ phù hợp giữa người dùng và bài toán, giảm thiểu sai số dự đoán.
  • Thực nghiệm trên dữ liệu thực tế của cổng Dlab với hơn 6.000 người dùng và 1.200 bài toán đã chứng minh tính hiệu quả và khả năng ứng dụng thực tiễn.
  • Đề xuất các bước tiếp theo bao gồm triển khai thực tế, mở rộng mô hình kết hợp và phát triển giao diện gợi ý cá nhân hóa nhằm nâng cao trải nghiệm người dùng và hiệu quả đào tạo.

Hành động tiếp theo: Các đơn vị quản lý và phát triển cổng lập trình trực tuyến nên xem xét áp dụng phương pháp Graph-based để nâng cao chất lượng hệ thống tư vấn, đồng thời tiếp tục nghiên cứu mở rộng để đáp ứng nhu cầu ngày càng đa dạng của người dùng.