Nghiên cứu ứng dụng mô hình ngôn ngữ lớn trong gỡ lỗi phần mềm

Luận văn thạc sĩ phân tích máy tính application of large language models in software error debugging, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Tang Quoc Thai
• Người hướng dẫn: Assoc. Huynh Tuong Nguyen
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Science
• Đề tài: Ứng Dụng Mô Hình Ngôn Ngữ Lớn Trong Gỡ Lỗi Phần Mềm
• Loại tài liệu: master’s thesis
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGEMENTS
• ABSTRACT
• TÓM TẮT LUẬN VĂN THẠC SĨ
• DECLARATION OF AUTHORSHIP
• 1. Topic Introduction
• 1.1. General Introduction
• 1.2. Self-Correcting LLMs for Software Development
• 2. Research Objectives
• 3. Research Scopes

Tóm tắt

I. Giới thiệu tổng quan

Trong những năm gần đây, mô hình ngôn ngữ lớn (LLMs) đã thu hút sự chú ý đáng kể từ cộng đồng nghiên cứu AI và công chúng. Những mô hình này có khả năng giải quyết nhiều nhiệm vụ ngôn ngữ phức tạp nhờ vào sự gia tăng số lượng tham số, khối lượng dữ liệu đào tạo và cấu hình đào tạo tinh vi. Các LLM nổi bật như LaMDA và GPT-4 cho thấy khả năng vượt trội trong nhiều ứng dụng từ dịch thuật đến tạo mã. Việc áp dụng AI trong lập trình, đặc biệt là trong gỡ lỗi phần mềm, đã mở ra những khả năng mới cho việc tự động hóa quy trình phát triển phần mềm. Tuy nhiên, các LLM vẫn gặp phải một số vấn đề như độ chính xác và độ tin cậy, điều này dẫn đến việc cần có các công cụ hỗ trợ để cải thiện hiệu suất của chúng trong các tác vụ cụ thể.

II. Mô hình tự sửa lỗi LLMs trong phát triển phần mềm

Mô hình tự sửa lỗi LLMs có thể được sử dụng trong quy trình gỡ lỗi phần mềm thông qua một chu trình gồm ba bước: Tạo ra mã, Giải thích mã và Phản hồi. Bước đầu tiên là việc mô hình dự đoán các chương trình ứng viên dựa trên mô tả vấn đề. Tiếp theo, trong bước giải thích, mô hình cần trình bày các dự đoán một cách có nghĩa, có thể là bằng ngôn ngữ tự nhiên hoặc tạo ra một bản truy vết thực thi cho mã đã dự đoán. Cuối cùng, bước phản hồi sẽ đánh giá tính chính xác của mã dự đoán. Việc sử dụng phản hồi từ các bài kiểm tra đơn vị có thể cải thiện hiệu quả của quá trình gỡ lỗi, cho thấy rằng việc xem xét các lỗi thực thi và kết quả của các bài kiểm tra thất bại có thể giúp lập trình viên cải thiện khả năng gỡ lỗi của họ.

III. Phương pháp nghiên cứu và khung phát triển mã

Luận văn giới thiệu mô hình CoT-SelfEvolve, kết hợp giữa kỹ thuật gợi ý Chuỗi Tư Duy (CoT) và khung phát triển mã, nhằm đánh giá hiệu quả của các LLM tự sửa lỗi trong việc hỗ trợ các nhà khoa học dữ liệu giải quyết lỗi phần mềm. Mô hình này được kiểm tra so với nhiều tiêu chuẩn và phương pháp đã công bố khác, cho thấy hiệu suất vượt trội trong các tác vụ liên quan đến Python như Pytorch, Sklearn và Pandas. Tuy nhiên, một số lĩnh vực cần cải thiện cũng được xác định, như hiệu suất kém với các câu hỏi Scipy. Nghiên cứu này không chỉ cung cấp một cái nhìn sâu sắc về cách các mô hình LLM có thể được áp dụng trong thực tiễn mà còn mở ra hướng nghiên cứu cho các ứng dụng tương lai.

IV. Đánh giá và kết luận

Nghiên cứu kết luận rằng mô hình CoT-SelfEvolve là một bước tiến hứa hẹn trong việc gỡ lỗi tự động hiệu quả và hiệu suất hơn. Việc tích hợp các phương pháp mới trong gỡ lỗi phần mềm không chỉ giúp cải thiện độ chính xác mà còn giảm thiểu thời gian cần thiết để phát hiện và sửa chữa lỗi. Điều này có thể có ý nghĩa lớn trong việc tối ưu hóa quy trình phát triển phần mềm, đồng thời mở ra cơ hội cho việc phát triển các công cụ hỗ trợ lập trình thông minh hơn trong tương lai. Các kết quả từ nghiên cứu này có thể được áp dụng rộng rãi trong ngành công nghiệp công nghệ thông tin, giúp nâng cao năng suất và chất lượng sản phẩm phần mềm.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của trí tuệ nhân tạo (AI), các mô hình ngôn ngữ lớn (Large Language Models - LLMs) đã trở thành công cụ quan trọng trong nhiều lĩnh vực, đặc biệt là trong phát triển phần mềm. Theo báo cáo của ngành, việc sử dụng LLMs trong gỡ lỗi phần mềm giúp giảm thời gian hoàn thành nhiệm vụ đến 55,8%, từ trung bình 160,89 phút xuống còn 71,17 phút. Tuy nhiên, việc áp dụng LLMs trong soát lỗi phần mềm vẫn còn nhiều thách thức, như hiệu suất chưa đồng đều trên các thư viện khác nhau và sự cần thiết phải cải thiện độ chính xác của mô hình.

Luận văn thạc sĩ này tập trung nghiên cứu ứng dụng của các mô hình ngôn ngữ lớn trong việc soát lỗi phần mềm, với mục tiêu xây dựng và đánh giá một mô hình tự sửa lỗi dựa trên kỹ thuật gợi ý Chuỗi Tư Duy (Chain-of-Thought - CoT) kết hợp khung phát triển mã (code evolution framework). Phạm vi nghiên cứu giới hạn trong các bài toán khoa học dữ liệu sử dụng Python, với bộ dữ liệu DS-1000 làm chuẩn đánh giá. Nghiên cứu nhằm nâng cao hiệu quả gỡ lỗi tự động, giảm thiểu sự phụ thuộc vào can thiệp thủ công, đồng thời mở rộng khả năng ứng dụng của LLMs trong phát triển phần mềm hiện đại.

Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số hiệu suất như Pass@1 và Pass@5 trên các tác vụ liên quan đến thư viện Pytorch, Sklearn, Matplotlib, Pandas, Numpy và Tensorflow, góp phần thúc đẩy tự động hóa trong phát triển phần mềm và giảm thiểu chi phí bảo trì.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên hai lý thuyết và mô hình chính:

1. Mô hình ngôn ngữ lớn (LLMs): Các mô hình này được huấn luyện trên lượng dữ liệu lớn, có khả năng sinh ngôn ngữ tự nhiên và mã nguồn, hỗ trợ giải quyết các tác vụ phức tạp như gỡ lỗi phần mềm. LLMs sử dụng cơ chế attention, đặc biệt là self-attention và cross-attention, để xử lý ngữ cảnh và mối quan hệ giữa các token trong chuỗi đầu vào.

2. Kỹ thuật Chuỗi Tư Duy (Chain-of-Thought - CoT): Đây là phương pháp gợi ý cho LLMs tạo ra các bước suy luận tuần tự, giúp mô hình giải thích và tự sửa lỗi trong quá trình sinh mã. CoT giúp tăng tính minh bạch và hiệu quả trong việc phát hiện và sửa lỗi.

Các khái niệm chính bao gồm:

• Tự sửa lỗi (Self-Correcting): Mô hình có khả năng nhận diện và điều chỉnh lỗi trong mã nguồn dựa trên phản hồi tự động hoặc từ các công cụ bên ngoài.
• Phản hồi tự động (Automated Feedback): Bao gồm các dạng như thông báo lỗi từ trình biên dịch, kết quả kiểm thử đơn vị (unit tests), và phân tích ngữ nghĩa mã.
• Khung phát triển mã (Code Evolution Framework): Cơ chế cho phép mô hình liên tục cải tiến mã nguồn qua các vòng lặp sửa lỗi dựa trên phản hồi.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ dữ liệu DS-1000, tập trung vào các bài toán khoa học dữ liệu sử dụng Python. Cỡ mẫu gồm khoảng 1000 bài toán với các đoạn mã và lỗi đi kèm.

Phương pháp phân tích bao gồm:

• Xây dựng mô hình CoT-SelfEvolve: Kết hợp kỹ thuật CoT với khung phát triển mã để tạo ra mô hình tự sửa lỗi.
• Sử dụng các bộ tạo gợi ý Auto-CoT: Hai bộ tạo gợi ý tự động được phát triển để cải thiện chất lượng gợi ý chuỗi tư duy.
• Đánh giá hiệu suất: Thực hiện các phép đo Pass@1 và Pass@5 trên bộ dữ liệu DS-1000, so sánh với các phương pháp đã công bố.
• Phân tích chi tiết hiệu suất trên các thư viện Python phổ biến: Pytorch, Sklearn, Matplotlib, Pandas, Numpy, Tensorflow và Scipy.

Timeline nghiên cứu kéo dài từ tháng 1 đến tháng 5 năm 2024, bao gồm các giai đoạn thu thập dữ liệu, phát triển mô hình, thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất vượt trội của mô hình CoT-SelfEvolve: Mô hình đạt Pass@5 trung bình trên bộ DS-1000 cao hơn 15-20% so với các phương pháp trước đó, đặc biệt với các tác vụ liên quan đến Pytorch, Sklearn, Matplotlib, Pandas, Numpy và Tensorflow.

2. Tác động tích cực của Auto-CoT prompt generators: Việc sử dụng hai bộ tạo gợi ý tự động giúp tăng độ chính xác của mô hình lên khoảng 10% so với không sử dụng gợi ý.

3. Hiệu quả của việc sử dụng phản hồi từ unit tests và traceback messages: Phản hồi tự động từ việc chạy mã và thông báo lỗi giúp mô hình sửa lỗi chính xác hơn, giảm tỷ lệ lỗi còn lại khoảng 30%.

4. Hiệu suất kém với các câu hỏi liên quan đến Scipy: Mô hình chưa đạt hiệu quả cao với các bài toán sử dụng thư viện Scipy, cho thấy cần nghiên cứu thêm về ảnh hưởng của tham số LLM và đặc thù của thư viện này.

Thảo luận kết quả

Nguyên nhân của hiệu suất vượt trội đến từ việc kết hợp hiệu quả giữa kỹ thuật CoT và khung phát triển mã, giúp mô hình không chỉ sinh mã mà còn giải thích và tự sửa lỗi qua các vòng lặp. So với các nghiên cứu trước, mô hình CoT-SelfEvolve tận dụng tốt hơn phản hồi tự động, đặc biệt là từ unit tests, điều này phù hợp với các nghiên cứu cho thấy việc sử dụng phản hồi chi tiết giúp cải thiện đáng kể hiệu quả gỡ lỗi.

Việc hiệu suất giảm ở các tác vụ Scipy có thể do tính phức tạp và đa dạng của các hàm trong thư viện này, cũng như sự hạn chế trong dữ liệu huấn luyện. Kết quả này mở ra hướng nghiên cứu tiếp theo về tối ưu tham số và mở rộng dữ liệu huấn luyện cho các thư viện đặc thù.

Dữ liệu có thể được trình bày qua các biểu đồ Pass@5 theo từng thư viện, bảng so sánh hiệu suất giữa các mô hình, và biểu đồ thể hiện tác động của các bộ tạo gợi ý Auto-CoT.

Đề xuất và khuyến nghị

1. Tăng cường phát triển và tích hợp bộ tạo gợi ý tự động (Auto-CoT): Động từ hành động là "phát triển", mục tiêu là nâng cao độ chính xác Pass@5 lên ít nhất 10% trong vòng 6 tháng, do nhóm nghiên cứu và phát triển mô hình thực hiện.

2. Mở rộng dữ liệu huấn luyện và thử nghiệm cho các thư viện phức tạp như Scipy: Động từ "thu thập và bổ sung", nhằm cải thiện hiệu suất trên các tác vụ Scipy, dự kiến hoàn thành trong 1 năm, do nhóm thu thập dữ liệu và chuyên gia thư viện Python đảm nhiệm.

3. Tối ưu hóa tham số mô hình LLM để phù hợp với đặc thù từng thư viện: Động từ "tối ưu", mục tiêu giảm tỷ lệ lỗi còn lại xuống dưới 20% trong 6 tháng, do nhóm kỹ thuật mô hình thực hiện.

4. Phát triển hệ thống phản hồi tự động đa dạng hơn, kết hợp cả phản hồi ngôn ngữ tự nhiên và phản hồi kỹ thuật: Động từ "xây dựng", nhằm tăng khả năng tự sửa lỗi và giải thích của mô hình, hoàn thành trong 9 tháng, do nhóm nghiên cứu AI và phát triển phần mềm phối hợp thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà phát triển phần mềm và kỹ sư kiểm thử: Có thể ứng dụng mô hình tự sửa lỗi để giảm thời gian gỡ lỗi, tăng hiệu quả phát triển sản phẩm.

2. Nhà nghiên cứu AI và học máy: Tham khảo phương pháp kết hợp CoT và khung phát triển mã, cũng như các kỹ thuật phản hồi tự động trong LLMs.

3. Doanh nghiệp công nghệ và startup AI: Áp dụng mô hình để tích hợp vào công cụ hỗ trợ lập trình, nâng cao năng suất và chất lượng sản phẩm.

4. Giảng viên và sinh viên ngành Khoa học Máy tính: Sử dụng luận văn làm tài liệu tham khảo cho các đề tài nghiên cứu liên quan đến LLMs và gỡ lỗi phần mềm.

Câu hỏi thường gặp

1. Mô hình CoT-SelfEvolve hoạt động như thế nào trong việc gỡ lỗi phần mềm?
   Mô hình sử dụng kỹ thuật Chuỗi Tư Duy để tạo ra các bước suy luận giải thích mã nguồn, kết hợp với khung phát triển mã để tự động sửa lỗi dựa trên phản hồi từ unit tests và thông báo lỗi. Ví dụ, khi phát hiện lỗi, mô hình sẽ giải thích nguyên nhân và đề xuất sửa đổi tương ứng.

2. Tại sao hiệu suất của mô hình thấp hơn với các bài toán sử dụng thư viện Scipy?
   Do tính phức tạp và đa dạng của các hàm trong Scipy, cùng với hạn chế dữ liệu huấn luyện liên quan, mô hình chưa học được đầy đủ các đặc trưng cần thiết để xử lý hiệu quả các lỗi trong thư viện này.

3. Phản hồi tự động từ unit tests có vai trò gì trong quá trình tự sửa lỗi?
   Unit tests cung cấp thông tin chính xác về lỗi trong mã nguồn khi chạy thử, giúp mô hình nhận diện lỗi cụ thể và điều chỉnh mã một cách chính xác hơn, từ đó nâng cao hiệu quả gỡ lỗi.

4. Mô hình có thể áp dụng cho các ngôn ngữ lập trình khác ngoài Python không?
   Hiện nghiên cứu tập trung vào Python và các thư viện khoa học dữ liệu. Tuy nhiên, phương pháp có thể được mở rộng cho các ngôn ngữ khác nếu có bộ dữ liệu phù hợp và điều chỉnh mô hình tương ứng.

5. Làm thế nào để cải thiện hiệu suất của mô hình trong tương lai?
   Có thể cải thiện bằng cách mở rộng dữ liệu huấn luyện, tối ưu tham số mô hình, phát triển bộ tạo gợi ý tự động hiệu quả hơn và tích hợp thêm các nguồn phản hồi đa dạng như phân tích ngữ nghĩa mã và công cụ kiểm thử nâng cao.

Kết luận

• Luận văn đã xây dựng và đánh giá thành công mô hình CoT-SelfEvolve, kết hợp kỹ thuật Chuỗi Tư Duy và khung phát triển mã, nâng cao hiệu quả gỡ lỗi phần mềm tự động.
• Mô hình đạt hiệu suất vượt trội trên các thư viện Python phổ biến như Pytorch, Sklearn, Matplotlib, Pandas, Numpy và Tensorflow.
• Phản hồi tự động từ unit tests và thông báo lỗi đóng vai trò quan trọng trong việc cải thiện độ chính xác của mô hình.
• Hiệu suất kém trên thư viện Scipy chỉ ra hướng nghiên cứu tiếp theo về tối ưu tham số và mở rộng dữ liệu.
• Đề xuất phát triển bộ tạo gợi ý tự động, mở rộng dữ liệu và tối ưu hóa mô hình nhằm nâng cao hiệu quả gỡ lỗi trong tương lai.

Luận văn mở ra hướng đi mới cho việc ứng dụng LLMs trong phát triển phần mềm, khuyến khích các nhà nghiên cứu và doanh nghiệp tiếp tục đầu tư vào tự động hóa gỡ lỗi để nâng cao năng suất và chất lượng sản phẩm.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY TANG QUOC THAI APPLICATION OF LARGE LANGUAGE MODELS IN SOFTWARE ERROR DEBUGGING Major: COMPUTER SCIENCE Major code: 8480101 MASTER’S THESIS HO CHI MINH CITY, June 2024 VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY TANG QUOC THAI APPLICATION OF LARGE LANGUAGE MODELS IN SOFTWARE ERROR DEBUGGING Major: COMPUTER SCIENCE Major code: 8480101 MASTER’S THESIS HO CHI MINH CITY, June 2024 THIS THESIS IS COMPLETED AT HO CHI MINH UNIVERSITY OF TECHNOLOGY – VNU-HCM Supervisors: Assoc. Huynh Tuong Nguyen Assoc. Quan Thanh Tho Examiner 1: Dr. Truong Tuan Anh Examiner 2: Dr.

Tran Thanh Tung This master’s thesis is defended at Ho Chi Minh City University of Technology (HCMUT) – VNU-HCM on 17/06/2024. Master’s Thesis Committee: 1. Vo Thi Ngoc Chau Chairperson 2. Truong Tuan Anh Examiner 1 3.

Tran Thanh Tung Examiner 2 4. Le Thi Thuy Commissioner 5. Phan Trong Nhan Secretary Approval of the Chairperson of the Master’s Thesis Committee and Dean of Faculty of Computer Science and Engineering after the thesis being corrected (If any). CHAIRPERSON OF DEAN OF FACULTY OF THESIS COMMITTEE COMPUTER SCIENCE AND ENGINEERING VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY Independence – Freedom - Happiness THE TASK SHEET OF MASTER’S THESIS Full name: Tang Quoc Thai Student ID: 2270376 Date of birth: 02/12/1991 Place of birth: Dong Nai Major: Computer Science Major ID: 8480101 I.

THESIS TITLE (in English): Application of large language models in software error debugging II. THESIS TITLE (in Vietnamese): Ứng dụng mô hình ngôn ngữ lớn trong việc soát lỗi phần mềm III. TASKS AND CONTENTS: a. Construct a self-correcting code model by combining large language models (LLMs).

Research and propose methods to improve the accuracy of the model. Experiment and evaluate the results of the proposed methods. THESIS START DAY: 15/01/2024 V. THESIS COMPLETION DAY: 20/05/2024 VI.

Huynh Tuong Nguyen 2. Quan Thanh Tho Ho Chi Minh City, date 05/08/2024 SUPERVISOR SUPERVISOR CHAIRPERSON OF (Full name and signature) (Full name and signature) PROGRAM COMMITTEE (Full name and signature) DEAN OF FACULTY OF COMPUTER SCIENCE AND ENGINEERING (Full name and signature) i VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY Independence – Freedom - Happiness ACKNOWLEDGEMENTS The completion of this thesis was made possible by the significant support I received from numerous individuals. I am deeply grateful to my primary supervisors, Assoc. Quan Thanh Tho and Assoc.

Huynh Tuong Nguyen. Their guidance, provision of resources, and continuous monitoring of this topic's progress were invaluable. They were always ready to help when I faced challenges. Above all, their passion for machine learning, deep learning, natural language processing, and various other aspects of Computer Science has been a source of inspiration.

I wish to express my profound gratitude to the esteemed professors and lecturers of the Department of Computer Science and Engineering, and the Ho Chi Minh City University of Technology at large. The knowledge they imparted is priceless and has been instrumental in the completion of this thesis. I would also like to extend my appreciation to the startup PixelML for your generous contribution of AWS credits, which facilitated the use of several LLMs for this project. Lastly, I am thankful for my family, relatives, and friends.

Their concern, encouragement, and support, both emotionally and physically, provided me with the strength and resilience needed to successfully complete this thesis. With heartfelt gratitude, I wish good health and all the best to the professors and lecturers of the Department of Computer Science and Engineering at the Ho Chi Minh City University of Technology, National University of Ho Chi Minh City. ii VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY Independence – Freedom - Happiness ABSTRACT This thesis explores the Application of Large Language Models in Software Error Debugging, focusing on the use of self-correcting Large Language Models (LLMs) to assist in software bug resolution. The study introduces and evaluates a novel method that combines the Chain-of-Thought (CoT) prompting technique and a code evolution framework, specifically applied to Python data science problems.

This approach, referred to as the CoT- SelfEvolve model, is evaluated against several benchmarks and compared with other published methods. The CoT-SelfEvolve model demonstrates superior performance, particularly with Pytorch, Sklearn, Matplotlib, Pandas, Numpy, and Tensorflow tasks, highlighting the potential of LLMs in automated debugging. However, areas for improvement were identified, such as underperformance with Scipy questions and the need for further exploration of LLM parameters' effects on performance. The study concludes that the CoT-SelfEvolve model is a promising step towards more efficient and effective automated debugging, and it paves the way for future research in this domain.

iii VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY Independence – Freedom - Happiness TÓM TẮT LUẬN VĂN THẠC SĨ Luận văn này khám phá Ứng dụng của Các Mô Hình Ngôn Ngữ Lớn trong Soát Lỗi Phần Mềm, tập trung vào việc sử dụng các Mô Hình Ngôn Ngữ Lớn (LLMs) tự sửa lỗi để hỗ trợ giải quyết lỗi phần mềm. Nghiên cứu giới thiệu và đánh giá một phương pháp mới kết hợp kỹ thuật gợi ý Chuỗi Tư Duy (CoT) và khung phát triển mã, được áp dụng cụ thể cho các vấn đề khoa học dữ liệu Python. Phương pháp này, được gọi là mô hình CoT-SelfEvolve, được đánh giá dựa trên nhiều tiêu chuẩn và so sánh với các phương pháp đã được công bố khác. Mô hình CoT-SelfEvolve cho thấy hiệu suất vượt trội, đặc biệt với các tác vụ Pytorch, Sklearn, Matplotlib, Pandas, Numpy và Tensorflow, nhấn mạnh tiềm năng của LLMs trong gỡ lỗi tự động.

Tuy nhiên, các lĩnh vực cần cải thiện đã được xác định, chẳng hạn như hiệu suất kém với các câu hỏi Scipy và cần khám phá thêm về ảnh hưởng của các tham số LLM đến hiệu suất. Nghiên cứu kết luận rằng mô hình CoT-SelfEvolve là một bước tiến đầy hứa hẹn hướng tới gỡ lỗi tự động hiệu quả và hiệu suất hơn, và mở đường cho các nghiên cứu tương lai trong lĩnh vực này. iv VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY SOCIALIST REPUBLIC OF VIETNAM HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY Independence – Freedom - Happiness DECLARATION OF AUTHORSHIP I solemnly affirm that the thesis titled: APPLICATION OF LARGE LANGUAGE MODELS IN SOFTWARE ERROR DEBUGGING is the product of my own research endeavors. The data and findings presented in this thesis are entirely accurate to the best of my knowledge, and I accept full responsibility for any inaccuracies.

I am prepared to face any disciplinary actions that may be imposed by the department or the university in case of any discrepancies. SUPERVISOR SUPERVISOR STUDENT (Full name and signature) (Full name and signature) (Full name and signature) v Contents 1 Topic Introduction 1 1.2 Self-Correcting LLMs for Software Development .1 A Taxonomy for Self-Correcting LLMs with Automated Feedback 8 2.2 What is the source of the feedback? .3 What is the format of the feedback? .4 When to correct the model with feedback? .5 How to correct the model with feedback? .2 Training-Time Correction .1 Learning from Human Feedback .2 Learning with Automated Feedback .3 Generation-Time Correction .1 Generate-then-Rank .2 Feedback-Guided Decoding .4 Post-hoc Correction .2 Models/Tools as Feedback .3 Multi-Agent Debate. 26 vi Ho Chi Minh University of Technology Faculty of Computer Science and Engineering 2.5 Direction of Current Research .2 Attention in LLMs .2 Code Evolution Framework .1 Auto-CoT Prompt Generator 1 .2 Auto-CoT Prompt Generator 2. 54 vii Ho Chi Minh University of Technology Faculty of Computer Science and Engineering 5.3 Results and Discussions .a The importance of Auto-CoT prompt generators .b Using larger LLM to guide the code generation process .2 Things to Improve.

60 viii List of Figures 1.1 Distribution of time to completion between treated and control groups [15].2 A prevalent approach for iterative debugging employing a large lan- guage model involves multiple steps [16].1 A conceptual framework for self-correcting LLMs with automated feedback.2 Focus areas of the current research.1 Attention patterns in a causal decoder, non-causal decoder, and encoder-decoder.1 Example of CoT reasoning processes.2 An example problem of Matplotlib.3 A discussion on StackOverflow.4 Architecture of SelfEvolve.5 Architecture of CoT-SelfEvolve with Auto-CoT prompt generators.6 Architecture of Auto-CoT Prompt Generator 1.7 Architecture of Auto-CoT Prompt Generator 2. 55 ix List of Tables 4.1 Pass@1 results on the DS-1000 dataset.1 Pass@5 results on the DS-1000 dataset.2 Pass@5 results on the DS-1000 dataset with or without CoT prompts.3 Pass@5 results on the DS-1000 dataset with different LLM stacks. 57 x Chapter 1 Topic Introduction 1.1 General Introduction In recent years, generative AI models, particularly Large Language Models (LLMs), have garnered significant attention from both the Artificial Intelligence (AI) research community and the general public. These models exhibit a re- markable capacity to address a diverse array of intricate language-based tasks.

Their advancements are propelled by factors such as increased model parameter count, augmented training data volume, and refined training configurations [1]– [4]. Prominent LLMs like LaMDA [5] and GPT-4 [6] demonstrate exceptional proficiency in applications ranging from translation and classification to creative writing and code generation. Such capabilities, previously necessitating task- specific models developed by domain experts using specialized data, are now achieved by these broad, state-of-the-art LLMs. Concurrently, researchers have enhanced the steerability, reliability, and utility of these models through techniques like fine-tuning and reinforcement learning with human feedback [7], [8].

These advancements empower models to better understand user intent, thereby enhancing user-friendliness and prac- 1 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering ticality. Recent studies also showcase LLMs’ potential to program and control other digital tools, such as APIs, search engines, and even fellow generative AI systems [9], [10]. This integration of individual components facilitates improved utility, performance, and generalization. At the forefront of these trends, there lies a prospect where LLMs can potentially execute any task traditionally per- formed at a computer.

While generative AI models have primarily been deployed as modular spe- cialists for tasks like image generation from captions or text transcription from speech, the focus is on viewing LLMs as versatile building blocks for creating additional tools. The development and integration of these tools into systems may necessitate time and significant reconfiguration of existing processes across diverse industries. Nevertheless, early adoption trends are already emerging. De- spite their limitations, LLMs are increasingly finding integration into specialized applications in areas such as writing assistance, coding, and legal research.

These specialized applications enable businesses and individuals to incorporate LLMs into their existing workflows. The emphasis is on the significance of these complementary technologies, particularly because standalone general-purpose LLMs may still exhibit unrelia- bility for certain tasks, attributable to issues such as factual inaccuracies, inher- ent biases, privacy concerns, and risks associated with disinformation [11]–[13]. However, specialized workflows, encompassing tooling, software, or human-in- the-loop systems, can effectively mitigate these shortcomings by incorporating domain-specific expertise. For instance, Casetext provides LLM-based legal re- search tools that furnish lawyers with quicker and more accurate legal research results, utilizing embeddings and summarization to counteract the risk of GPT-4 potentially providing inaccurate details about a legal case or set of documents.

GitHub Copilot, a coding assistant, leverages LLMs to generate code snippets and auto-complete code, allowing users to accept or reject suggestions based on their expertise. In essence, while GPT-4, on its own, might not inherently ‘know what time it is’, incorporating a watch can address this limitation.