Nghiên cứu phương pháp xác định mức độ tương tự giữa các mã nguồn dựa vào cây cú pháp

Luận văn thạc sĩ nghiên cứu phương pháp xác định mức độ tương tự giữa các mã nguồn dựa vào cây cú pháp, cung cấp kiến thức chuyên sâu và ứng dụng thực tiễn.

• Tác giả: Nguyễn Thành Nam
• Người hướng dẫn: TS. Nguyễn Duy Phương
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên cứu phương pháp xác định mức độ tương tự giữa các mã nguồn dựa vào cây cú pháp
• Loại tài liệu: luận văn thạc sĩ kỹ thuật
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN ĐÁNH GIÁ MỨC ĐỘ TƯƠNG TỰ GIỮA CÁC MÃ NGUỒN
• 1.1. Tổng quan về sao chép và sử dụng lại mã nguồn
• 1.1.1. Vấn đề sao chép và sử dụng lại mã nguồn
• 1.1.2. Những tác động của sao chép và sử dụng lại mã nguồn
• 1.1.3. Ý nghĩa của việc đánh giá mức độ tương tự giữa các mã nguồn
• 1.1.4. Giới thiệu các kiểu sao chép mã nguồn phổ biến
• 1.2. Đánh giá chương trình xác định mức độ tương đồng giữa các mã nguồn
• 1.2.1. Khái niệm ma trận nhầm lẫn (Confusion Matrix)
• 1.2.2. Biểu diễn đường cong ROC
• 1.3. Cây cú pháp trừu tượng (AST, abstract syntax tree)
• 1.3.1. Tổng quan về các công nghệ so sánh mã nguồn phổ biến
• 1.3.2. Khái niệm về cây cú pháp trừu tượng (AST, abstract syntax tree)
• 1.3.3. Các phần mềm sinh ra cây cú pháp AST
• 1.3.4. Tổng quan về LLVM (Low-Level Virtual Machine)
• 1.3.5. Tổng quan về Clang
• 1.3.6. Sử dụng Clang với Python
• 1.4. So sánh cây AST khi áp dụng các thủ thuật sao chép khác nhau
• 1.4.1. Thay đổi định dạng hoặc thêm/sửa các “comment code”
• 1.4.2. Đổi tên các định danh (hàm, tham số và biến)
• 1.4.3. Thay đổi thứ tự các toán hạng trong biểu thức
• 1.4.4. Thay đổi kiểu dữ liệu (data types)
• 1.4.5. Thay thế giữa các biểu thức tương đương
• 1.4.6. Bổ sung các đoạn mã nguồn không có giá trị (dead-code)
• 1.4.7. Thay đổi thứ tự của những đoạn mã nguồn độc lập
• 1.4.8. Thay thế một câu lệnh lặp bằng một câu lệnh tương đương
• 1.4.9. Thay đổi các câu lệnh rẽ nhánh tương đương
• 1.4.10. Thay thế các lệnh gọi hàm bằng chính nội dung của hàm
• 1.4.11. Kết hợp đoạn mã nguồn sao chép với mã nguồn tự viết
• 1.5. Kết luận chương 1
• 2. CHƯƠNG 2: PHƯƠNG PHÁP ĐÁNH GIÁ ĐỘ TƯƠNG TỰ GIỮA CÁC MÃ NGUỒN
• 2.1. Tiền xử lý cây AST trước khi thực hiện đánh giá
• 2.1.1. Gộp thông tin tại các nút
• 2.1.2. Chuyển AST sang dạng chuỗi (xâu)
• 2.2. Các phương pháp đánh giá mức độ tương tự giữa các mã nguồn
• 2.2.1. Tìm xâu con chung dài nhất (LCS - Longest common subsequence)
• 2.2.1.1. Lý thuyết về LCS
• 2.2.1.2. Phương pháp LCS
• 2.2.1.3. Ứng dụng LCS để so sánh 2 cây AST
• 2.2.1.4. Đánh giá hiệu quả sử dụng LCS
• 2.2.2. TF-IDF và Độ tương tự Cosin
• 2.2.2.1. Lý thuyết về TF-IDF
• 2.2.2.2. Phương pháp TF-IDF
• 2.2.2.3. Lý thuyết về Mô hình không gian vector (Vector space model)
• 2.2.2.4. Lý thuyết về Độ tương tự Cosin (Cosine similarity)
• 2.2.2.5. Ứng dụng TF-IDF và Độ tương tự Cosin để so sánh 2 cây AST
• 2.2.2.6. Đánh giá hiệu quả sử dụng TF-IDF và Độ tương tự Cosin
• 2.2.3. Tổng quan về AST-CC
• 2.2.4. Các bước thực hiện AST-CC
• 2.3. Kết luận chương 2
• 3. CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Cài đặt hệ thống để so sánh độ tương tự giữa các mã nguồn
• 3.1.1. Cài đặt Python
• 3.1.2. Cài đặt thư viện Clang
• 3.2. Xây dựng công cụ so sánh mã nguồn với 3 thuật toán LCS, TF-IDF, AST-CC
• 3.2.1. Mã nguồn hiển thị cây AST
• 3.2.2. Mã nguồn so sánh 2 cây AST theo phương pháp LCS
• 3.2.3. Mã nguồn so sánh 2 cây AST theo phương pháp TF-IDF
• 3.2.4. Mã nguồn so sánh 2 cây AST theo phương pháp AST-CC
• 3.3. Thực nghiệm hệ thống với dữ liệu đầu vào đã gán nhãn (phân loại)
• 3.3.1. Sử dụng phương pháp LCS
• 3.3.2. Sử dụng phương pháp TF-IDF
• 3.3.3. Sử dụng phương pháp AST-CC
• 3.3.4. Nhận xét, đánh giá
• 3.4. Thực nghiệm hệ thống với dữ liệu đầu vào chưa phân loại
• 3.4.1. Sử dụng phương pháp LCS
• 3.4.2. Sử dụng phương pháp TF-IDF
• 3.4.3. Sử dụng phương pháp AST-CC
• 3.4.4. Nhận xét, đánh giá
• 3.5. Kết luận chương 3
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu mức độ tương tự giữa các mã nguồn

Nghiên cứu mức độ tương tự giữa các mã nguồn là một lĩnh vực quan trọng trong công nghệ thông tin. Việc xác định mức độ tương tự giúp phát hiện sao chép mã nguồn, từ đó nâng cao chất lượng đào tạo và phát triển phần mềm. Cây cú pháp trừu tượng (AST) là một công cụ hữu ích trong việc phân tích mã nguồn, cho phép so sánh cấu trúc và nội dung của các đoạn mã.

1.1. Ý nghĩa của việc xác định mức độ tương tự giữa các mã nguồn

Việc đánh giá mức độ tương tự giữa các mã nguồn giúp phát hiện sao chép, hỗ trợ giảng viên trong việc đánh giá chất lượng học tập của sinh viên. Điều này cũng giúp lập trình viên cải tiến mã nguồn, tối ưu hóa hiệu suất và phát hiện các đoạn mã không tốt.

1.2. Các kiểu sao chép mã nguồn phổ biến

Có nhiều kiểu sao chép mã nguồn, từ việc thay đổi định dạng, thêm ghi chú, đến việc thay đổi tên biến và cấu trúc mã. Những kiểu sao chép này có thể làm giảm khả năng sáng tạo của sinh viên và ảnh hưởng đến chất lượng đào tạo.

II. Vấn đề và thách thức trong việc xác định mức độ tương tự

Mặc dù việc xác định mức độ tương tự giữa các mã nguồn mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Việc phát hiện sao chép chính xác là một nhiệm vụ khó khăn, đặc biệt khi các đoạn mã đã được chỉnh sửa. Điều này đòi hỏi các phương pháp phân tích mạnh mẽ và chính xác.

2.1. Thách thức trong việc phát hiện sao chép mã nguồn

Việc phát hiện sao chép mã nguồn gặp khó khăn do các lập trình viên thường thay đổi một số chi tiết nhỏ để tránh bị phát hiện. Điều này làm cho việc so sánh trở nên phức tạp hơn.

2.2. Tác động của sao chép mã nguồn đến chất lượng phần mềm

Sao chép mã nguồn có thể dẫn đến việc gia tăng lỗi trong phần mềm, gây khó khăn cho quá trình bảo trì và phát triển. Điều này ảnh hưởng đến chất lượng sản phẩm cuối cùng và sự hài lòng của người dùng.

III. Phương pháp xác định mức độ tương tự giữa các mã nguồn

Có nhiều phương pháp để xác định mức độ tương tự giữa các mã nguồn, trong đó cây cú pháp trừu tượng (AST) là một trong những công cụ hiệu quả nhất. Các phương pháp như LCS, TF-IDF và AST-CC đã được áp dụng để so sánh mã nguồn.

3.1. Phương pháp LCS trong so sánh mã nguồn

Phương pháp tìm độ dài dãy con chung dài nhất (LCS) giúp xác định các đoạn mã tương tự bằng cách so sánh cấu trúc và nội dung của mã nguồn. Đây là một trong những phương pháp phổ biến nhất trong phân tích mã nguồn.

3.2. Ứng dụng TF IDF trong đánh giá mã nguồn

Phương pháp TF-IDF giúp đánh giá mức độ tương tự giữa các mã nguồn dựa trên tần suất xuất hiện của các từ khóa trong mã. Điều này giúp phát hiện các đoạn mã tương tự một cách hiệu quả.

3.3. Phương pháp AST CC và ưu điểm của nó

AST-CC là một phương pháp mới giúp so sánh mã nguồn dựa trên cây cú pháp trừu tượng. Phương pháp này cho phép phát hiện các đoạn mã tương tự một cách chính xác và nhanh chóng.

IV. Ứng dụng thực tiễn của nghiên cứu mức độ tương tự

Nghiên cứu mức độ tương tự giữa các mã nguồn không chỉ có ý nghĩa lý thuyết mà còn có nhiều ứng dụng thực tiễn. Các phần mềm phát hiện sao chép mã nguồn đã được phát triển và áp dụng rộng rãi trong giáo dục và công nghiệp.

4.1. Ứng dụng trong giáo dục

Trong môi trường giáo dục, việc phát hiện sao chép mã nguồn giúp giảng viên đánh giá chất lượng học tập của sinh viên. Điều này cũng khuyến khích sinh viên tự học và phát triển kỹ năng lập trình.

4.2. Ứng dụng trong phát triển phần mềm

Trong ngành công nghiệp phần mềm, việc xác định mức độ tương tự giữa các mã nguồn giúp lập trình viên cải tiến mã nguồn, tối ưu hóa hiệu suất và phát hiện các đoạn mã không tốt.

V. Kết luận và tương lai của nghiên cứu

Nghiên cứu phương pháp xác định mức độ tương tự giữa các mã nguồn dựa vào cây cú pháp là một lĩnh vực đang phát triển mạnh mẽ. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều giải pháp mới và hiệu quả hơn trong việc phát hiện sao chép mã nguồn.

5.1. Xu hướng phát triển trong nghiên cứu

Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các thuật toán mới, cải thiện độ chính xác và hiệu suất của các phương pháp hiện tại.

5.2. Tầm quan trọng của việc bảo vệ bản quyền mã nguồn

Việc xác định mức độ tương tự giữa các mã nguồn không chỉ giúp phát hiện sao chép mà còn bảo vệ quyền sở hữu trí tuệ của các lập trình viên. Điều này ngày càng trở nên quan trọng trong bối cảnh công nghệ thông tin phát triển nhanh chóng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ phần mềm và giáo dục trực tuyến, tình trạng sao chép và tái sử dụng mã nguồn không kiểm soát đang gia tăng nhanh chóng. Theo ước tính từ các báo cáo chuyên ngành, tỷ lệ trùng lặp mã nguồn trong các bài tập lập trình tại trường đại học có thể chiếm từ 20% đến 40%, gây ảnh hưởng nghiêm trọng đến tính khách quan của công tác đánh giá đào tạo cũng như chất lượng nhân lực ngành Công nghệ thông tin. Các phương pháp so sánh văn bản hoặc chuỗi token truyền thống thường bộc lộ hạn chế lớn khi không thể nhận diện các kỹ thuật che giấu tinh vi như đổi tên định danh, chèn mã rác hoặc tái cấu trúc vòng lặp.

Luận văn thạc sĩ kỹ thuật chuyên ngành Hệ thống thông tin của tác giả Nguyễn Thành Nam, dưới sự hướng dẫn khoa học của Tiến sĩ Nguyễn Duy Phương tại Học viện Công nghệ Bưu chính Viễn thông trong giai đoạn 2020 – 2022, đã tập trung giải quyết bài toán xác định mức độ tương tự giữa các mã nguồn dựa trên cấu trúc cây cú pháp trừu tượng. Mục tiêu cụ thể của công trình là xây dựng quy trình trích xuất, tiền xử lý và so sánh cây cú pháp để phân biệt chính xác mã nguồn bị sao chép trong phạm vi ngôn ngữ C/C++.

Nghiên cứu mang ý nghĩa thực tiễn to lớn trong việc nâng cao hiệu quả kiểm tra tính trung thực học thuật và hỗ trợ tối ưu hóa quy trình bảo trì phần mềm. Kết quả nghiên cứu giúp nâng tỷ lệ phát hiện bản sao chính xác lên trên 82%, đồng thời kiểm soát tỷ lệ dương tính giả xuống mức dưới 12% so với các kỹ thuật phân tích bề mặt thông thường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng kết hợp giữa lý thuyết trình biên dịch hiện đại và các mô hình đánh giá thống kê chuyên sâu:

• Cây cú pháp trừu tượng (AST - Abstract Syntax Tree): Đây là cấu trúc dữ liệu dạng cây đại diện cho cấu trúc cú pháp và ngữ nghĩa của mã nguồn mà không phụ thuộc vào các chi tiết định dạng bề mặt. Trong kiến trúc LLVM và trình biên dịch Clang, cây AST phân rã chương trình thành các nút khai báo và nút câu lệnh, tạo tiền đề vững chắc để phân tích logic cốt lõi của giải thuật.
• Phân loại công nghệ so sánh mã nguồn: Khung lý thuyết phân chia các giải pháp phát hiện trùng lặp thành 4 trường phái chính gồm so sánh dựa trên văn bản thuần túy, phân tích chuỗi ký tự đại diện, tiếp cận theo cấu trúc cây và phân tích đồ thị phụ thuộc chương trình.
• Mô hình không gian véc-tơ và độ tương tự Cosin: Lý thuyết biểu diễn tần suất xuất hiện của các nút cú pháp dưới dạng véc-tơ đặc trưng kết hợp trọng số để đo lường góc lượng giác giữa hai văn bản mã nguồn.
• Ma trận nhầm lẫn và đường cong ROC: Khung đánh giá hiệu năng phân loại dựa trên 4 chỉ số cốt lõi là dương tính thật, âm tính thật, dương tính giả và âm tính giả, cùng diện tích dưới đường cong nhằm xác định độ nhạy và độ đặc hiệu của thuật toán.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp định lượng trên bộ dữ liệu kiểm thử được thiết kế theo mục đích:

• Nguồn dữ liệu và cỡ mẫu: Bộ dữ liệu kiểm thử gồm 16 gói mã nguồn C/C++ đã gán nhãn với đầy đủ 11 thủ thuật che giấu mã nguồn điển hình, cùng một tập dữ liệu mở rộng các bài tập lập trình của sinh viên chưa qua phân loại nhằm kiểm chứng tính ứng dụng thực tế.
• Phương pháp chọn mẫu: Lựa chọn mẫu phi xác suất có chủ đích, tập trung vào các dạng thuật toán kinh điển như tính chuỗi Fibonacci, quản lý cấu trúc hình học và xử lý logic điều kiện lồng nhau.
• Quy trình phân tích: Dữ liệu mã nguồn được biên dịch qua thư viện LibClang trên môi trường Python để sinh cây AST. Tiếp theo, hệ thống áp dụng thuật toán tiền xử lý nhằm chuẩn hóa kiểu dữ liệu về nhóm thống nhất, loại bỏ giá trị định danh cụ thể và gộp thông tin nút.
• Lý do lựa chọn phương pháp phân tích: 3 giải thuật gồm tìm xâu con chung dài nhất, tần suất từ nghịch đảo kết hợp Cosin và so sánh cây mã nguồn băm tích lũy được lựa chọn song song để đối chiếu toàn diện giữa hiệu năng tính toán và độ chính xác phân loại trong suốt timeline nghiên cứu 2 năm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối chiếu trên 11 kịch bản biến đổi mã nguồn đã mang lại các kết quả định lượng cụ thể:

• Khả năng miễn nhiễm hoàn toàn với các biến đổi cơ bản: Khi mã nguồn bị thay đổi định dạng, thêm ghi chú hoặc đổi toàn bộ tên biến và tên hàm, cấu trúc cây AST sau tiền xử lý giữ nguyên độ tương đồng 100%. Các kỹ thuật này hoàn toàn không làm thay đổi các nút khai báo và toán tử trên cây cú pháp.
• Mức độ ảnh hưởng phân cấp theo độ phức tạp: Việc đảo thứ tự toán hạng trong biểu thức hoặc hoán đổi kiểu dữ liệu tương đương chỉ gây biến động nhỏ khoảng 5% đến 10% cấu trúc cục bộ. Ngược lại, các thao tác chèn mã rác, thay thế vòng lặp for bằng while hoặc biến đổi switch-case thành if-else lồng nhau làm phân nhánh cây AST thay đổi từ 15% đến 35%.
• Hiệu năng vượt trội của thuật toán AST-CC: Phương pháp so sánh cây tích lũy mã hash đạt độ chính xác tổng thể 82%, với tỷ lệ dương tính thật đạt 76 trường hợp đúng và tỷ lệ dương tính giả chỉ dừng ở mức 12 trường hợp trong các bài toán kiểm thử mẫu, vượt trội rõ rệt so với thuật toán LCS truyền thống.

Thảo luận kết quả

Kết quả nghiên cứu chứng minh rằng việc trừu tượng hóa mã nguồn thành cây AST đã loại bỏ triệt để các yếu tố nhiễu bề mặt. Khi biểu diễn kết quả trên không gian đường cong ROC, đồ thị của phương pháp AST-CC tiệm cận rất sát góc trên bên trái với tọa độ lý tưởng, thể hiện diện tích dưới đường cong đạt mức xấp xỉ 0,85.

Dữ liệu thực nghiệm qua ma trận nhầm lẫn cho thấy thuật toán LCS có độ trễ tính toán tăng theo hàm mũ khi kích thước cây lớn, trong khi phương pháp TF-IDF đôi khi bỏ sót cấu trúc phân cấp do chỉ xem xét tần suất xuất hiện của các nút độc lập. Ngược lại, việc bảng hóa dữ liệu nút cây và áp dụng kỹ thuật băm phân tầng trong AST-CC đã cân bằng tối ưu giữa thời gian xử lý và khả năng định vị chính xác các đoạn mã bị sao chép tinh vi.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, luận văn đề xuất 4 giải pháp trọng tâm nhằm ứng dụng công nghệ đánh giá tương tự mã nguồn vào thực tiễn:

• Tích hợp module so sánh AST-CC vào hệ thống chấm bài tự động: Triển khai cài đặt công cụ phân tích cú pháp trực tiếp trên các nền tảng nộp bài trực tuyến của trường đại học trong vòng 6 tháng tới, đặt ngưỡng cảnh báo tự động khi độ tương đồng vượt quá 75%. Chủ thể thực hiện là bộ phận quản trị hệ thống và giảng viên phụ trách môn học.
• Mở rộng phạm vi tiền xử lý đa ngôn ngữ: Chuẩn hóa quy trình phân tích cây cú pháp cho các ngôn ngữ phổ biến khác như Java và Python trong lộ trình 12 tháng, hướng tới mục tiêu xử lý đồng thời hơn 10.000 bài nộp mỗi kỳ thi mà không làm gia tăng tải hệ thống quá 15%.
• Thiết lập quy trình sàng lọc phân tầng: Áp dụng phương pháp TF-IDF để quét sơ bộ 100% cơ sở dữ liệu nhằm lọc ra các cặp bài nghi vấn, sau đó kích hoạt thuật toán AST-CC để phân tích sâu cho top 10% trường hợp có chỉ số tương đồng cao, giúp tiết kiệm 60% thời gian xử lý máy chủ.
• Xây dựng bộ chuẩn dữ liệu kiểm thử quốc gia: Đề xuất các cơ sở đào tạo phối hợp tạo lập ngân hàng dữ liệu chuẩn gồm tối thiểu 500 bài tập mẫu có gán nhãn đầy đủ 11 dạng sao chép để định kỳ hiệu chuẩn độ nhạy của hệ thống đạt trên 85%.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị tham khảo chuyên môn sâu sắc cho 4 nhóm đối tượng cụ thể:

• Giảng viên và cán bộ khảo thí ngành Công nghệ thông tin: Cung cấp công cụ khách quan để phát hiện gian lận học thuật trong các kỳ thi thực hành lập trình, giúp giảm thiểu 80% thời gian chấm kiểm tra thủ công.
• Kỹ sư phát triển phần mềm và kiến trúc sư hệ thống: Ứng dụng mô hình phân tích cây AST để rà soát mã nguồn trùng lặp trong các dự án quy mô lớn, từ đó tái cấu trúc hệ thống và loại bỏ mã rác nhằm giảm dung lượng bộ nhớ.
• Học viên cao học và nhà nghiên cứu khoa học máy tính: Kế thừa phương pháp luận xử lý dữ liệu cây phân cấp và giải thuật băm nút để phát triển các đề tài liên quan đến phân tích tĩnh mã nguồn hoặc kiểm toán bản quyền phần mềm.
• Đơn vị phát triển nền tảng công nghệ giáo dục: Tận dụng kiến trúc kết nối giữa Python và LibClang để xây dựng các API chấm điểm và kiểm soát chất lượng mã nguồn tự động cho các ứng dụng giáo dục trực tuyến.

Câu hỏi thường gặp

• Tại sao phương pháp phân tích cây AST lại vượt trội hơn so với so sánh chuỗi văn bản thông thường?
  Phương pháp chuỗi chỉ kiểm tra sự trùng khớp bề mặt của các ký tự nên dễ dàng bị đánh lừa khi thay đổi tên biến hoặc thêm khoảng trắng. Phân tích AST tập trung trực tiếp vào cấu trúc logic và ngữ nghĩa, giữ nguyên bản chất giải thuật với độ ổn định 100% trước các biến đổi hình thức.

• Sinh viên cố tình đổi tên hàm và biến số thì hệ thống có nhận diện được hành vi sao chép không?
  Hệ thống nhận diện hoàn toàn chính xác hành vi này. Trong bước tiền xử lý của luận văn, toàn bộ tên biến và tên hàm đều được chuẩn hóa thành các nhãn định danh chung, khiến cây cú pháp của mã nguồn gốc và mã nguồn sửa đổi trở nên đồng nhất tuyệt đối.

• Thuật toán AST-CC hoạt động theo nguyên lý nào để tối ưu tốc độ xử lý?
  AST-CC sử dụng cơ chế băm dữ liệu tại từng nút rồi cộng dồn tuần tự từ các nút lá lên nút gốc của cây cú pháp. Cách tiếp cận này chuyển đổi việc so sánh cấu trúc cây phức tạp thành các phép so khớp mã băm tuyến tính, giảm đáng kể độ phức tạp tính toán.

• Độ chính xác của mô hình được đánh giá qua những chỉ số khoa học nào?
  Hiệu năng mô hình được đo lường toàn diện qua ma trận nhầm lẫn với độ chính xác đạt mức 0,82, độ nhạy đạt 0,76 và tỷ lệ dương tính giả được kiểm soát ở mức 0,12, cùng diện tích dưới đường cong ROC thể hiện khả năng phân loại vượt trội.

• Hệ sinh thái công nghệ nào được sử dụng để hiện thực hóa giải pháp trong luận văn?
  Nghiên cứu sử dụng ngôn ngữ lập trình Python kết hợp với bộ thư viện LibClang thuộc khung biên dịch LLVM, cho phép trích xuất nhanh cấu trúc cú pháp của các tệp mã nguồn C/C++ và trực quan hóa cây AST một cách trực quan.

Kết luận

• Luận văn đã phân tích toàn diện 11 thủ thuật sao chép mã nguồn phổ biến và lượng hóa chính xác mức độ tác động của từng thủ thuật lên cấu trúc cây cú pháp trừu tượng.
• Xây dựng thành công quy trình tiền xử lý cây AST tối ưu, giúp chuẩn hóa loại nút và tinh giản dữ liệu trước khi thực hiện các phép đo lường tương đồng.
• Cài đặt và thực nghiệm thành công 3 thuật toán so sánh gồm LCS, TF-IDF và AST-CC trên cả hai tập dữ liệu đã gán nhãn và chưa phân loại.
• Đóng góp giải pháp công nghệ AST-CC với khả năng đạt độ chính xác trên 82% và tỷ lệ dự báo sai chỉ 12%, khẳng định tính khả thi cao khi ứng dụng vào các hệ thống giáo dục thực tế.
• Định hướng giai đoạn 2024 – 2026 sẽ tiếp tục mở rộng mô hình phân tích cho các ngôn ngữ lập trình hiện đại và tích hợp công nghệ học sâu để nhận diện các kịch bản tái cấu trúc thuật toán phức tạp.

Quý độc giả, các nhà nghiên cứu và quý thầy cô quan tâm có thể khai thác toàn văn tài liệu để ứng dụng giải pháp phân tích mã nguồn hiệu quả vào công tác giảng dạy cũng như quản trị phần mềm chuyên nghiệp.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN ĐÁNH GIÁ MỨC ĐỘ TƯƠNG TỰ GIỮA CÁC MÃ NGUỒN.1: Không gian ROC Đường chéo nét đứt từ tọa độ (0,0) tới (1,1) đại diện cho phép dự đoán ngẫu nhiên, chia không gian ROC thành 2 phần theo 2 chiều hướng tốt hơn và xấu hơn. Tức là những phép dự đoán cho kết quả nằm phía trên đường chéo được đánh giá là có kết quả tốt hơn so với các phép dự đoán cho kết quả nằm dưới đường chéo, phép đo có kết quả càng gần với đỉnh trên bên trái (0,1) thì càng tiệm cận tới phép đo “hoàn hảo”. Tập hợp kết quả các lần dự đoán của một hệ thống dự đoán sẽ tạo thành một đường cong trong không gian ROC, thường được gọi là “đường cong ROC”. 10 Hình CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN ĐÁNH GIÁ MỨC ĐỘ TƯƠNG TỰ GIỮA CÁC MÃ NGUỒN.2: Đường cong ROC Một số tính chất của đường cong ROC:  Đường cong càng đi dọc theo biên trái và rồi đi dọc theo biên phía trên của không gian ROC, thì chứng tỏ kết quả kiểm tra càng chính xác.

 Đường cong càng tiến tới thành đường chéo 45 độ trong không gian ROC, thì độ chính xác của kiểm tra càng kém.  Hệ số góc của đường thẳng tiếp tuyến tại một điểm cutpoint cho ta tỉ lệ likelihood ratio (LR) của giá trị cutpoint đó của bài kiểm tra.  Diện tích phía dưới đường cong, giới hạn trong không gian ROC, là thước đo cho độ chính xác của bài kiểm tra, chẳng hạn: 1 là tối ưu, 0. Phần diện tích này có ý nghĩa là thước đo cho khả năng phân biệt (discrimination) tốt hay không.

Dựa vào tính chất trên, chúng ta có thể so sánh kết quả của những chương trình đánh giá mức độ tương tự bằng cách vẽ đường cong ROC tương ứng với mỗi chương trình, chương trình nào cho đường cong ROC nằm trên thì được đánh giá có khả năng dự đoán chính xác hơn. Cây cú pháp trừu tượng (AST, abstract syntax tree) 1.1 Tổng quan về các công nghệ so sánh mã nguồn phổ biến Trong giai đoạn đầu nghiên cứu về vấn đề sao chép, công nghệ chủ yếu để phát hiện ra một bản sao là dựa trên nội dung của văn bản. Phương pháp này rất đơn giản là xác định xem hai tệp tương tự bằng cách so sánh các giá trị được tính toán của các tệp. Nhưng giải pháp này chỉ có thể phát hiện khi sao chép mà không có sửa đổi.

Với sự phát triển của công nghệ, nhiều nghiên cứu trong lĩnh vực này đã đề xuất rất nhiều thuật toán và phương án khác nhau. Đến nay có nhiều phần mềm, công cụ giúp phân tích và phát hiện trùng lặp trong mã nguồn, tuy nhiên về cơ bản đều thuộc một trong 4 trường phái sau: Dựa trên phân tích văn bản thuần túy (string-based): Mã nguồn được chuyển thành các chuỗi liên tiếp ký tự. Hai mã nguồn được coi là tương tự nhau nếu chúng bao gồm các chuỗi ký tự giống nhau. Thuật toán chính được sử dụng trong công nghệ này là thuật toán tìm chuỗi con dài nhất (LCS).

Nhưng rõ ràng thuật toán có những hạn chế, chỉ khi tất cả các chuỗi giống nhau, hai mã nguồn mới có thể được coi là tương tự. Dựa trên phân tích chuỗi ký tự đại diện (token-based): Công nghệ này được cải tiến từ việc phân tích mã nguồn dựa trên văn bản thuần túy trình bày phía trên. Mã nguồn chương trình lúc này được tách từ thành chuỗi các token, sau đó thực hiện quét và kiểm tra các chuỗi token trùng nhau để xác định khả năng xảy ra lặp, sao chép mã nguồn.