Xây dựng hệ thống sinh mã máy tự động áp dụng các phương pháp tinh chỉnh tham số

Chuyên khảo kỹ thuật phân tích Xây dựng hệ thống sinh mã máy tự động áp dụng các phương pháp tinh chỉnh tham số, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp

• Tác giả: Lê Vũ Minh Huy
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Xây Dựng Hệ Thống Sinh Mã Máy Tự Động Áp Dụng Các Phương Pháp Tinh Chỉnh Tham Số
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT OF DISSERTATION
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu chung
• 1.2. Tổng quan về Hệ thống sinh mã tự động
• 1.3. Mục tiêu đề tài
• 1.4. Giới hạn đề tài và đối tượng nghiên cứu
• 1.5. Đóng góp của luận văn
• 1.6. Tóm tắt nội dung
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Các cách tiếp cận cổ điển
• 2.2. Các cách tiếp cận hiện đại
• 2.2.1. Mô hình ngôn ngữ lớn
• 2.2.2. Kiến trúc Transformer
• 2.2.3. Các phương pháp tinh chỉnh tối ưu tham số
• 2.2.4. Phương pháp tối ưu tham số Low-Rank Adaptation (LoRA)
• 2.2.5. Phương pháp tinh chỉnh có hướng dẫn (Instruction Tuning)
• 4. CHƯƠNG 4: TẬP DỮ LIỆU
• 4.1. Tập dữ liệu TypeScript-Instruct 20K
• 4.2. Tập dữ liệu cá nhân
• 5. CHƯƠNG 5: MÔ HÌNH SINH MÃ
• 5.1. Mô hình nền tảng
• 5.2. Mô hình sinh mã máy tự động
• 5.2.1. Kiến trúc mô hình sinh mã máy tự động
• 5.2.2. Luồng xử lý mô hình sinh mã
• 5.2.3. Hiện thực và kết quả thử nghiệm
• 5.2.3.1. Xây dựng mô hình kiến thức tổng quát (TypeScript Public Model 13B)
• 5.2.3.2. Kết quả mô hình kiến thức tổng quát (TypeScript Public Model 13B)
• 5.2.3.3. Một số đoạn mã sinh bằng mô hình kiến thức tổng quát
• 5.2.3.4. Mô hình kiến thức đặc thù (TypeScript Private Model)
• 5.5. Một số đoạn mã sinh bằng mô hình kiến thức đặc thù
• 5.1. Kết quả đạt được
• 5.2. Hạn chế và vấn đề tồn đọng
• 5.3. Hướng phát triển
• Tài liệu tham khảo
• A: Các đoạn mã sinh được từ mô hình đề xuất
• A.1. Sinh mã cho các tác vụ luận lý cơ bản
• A.2. Sinh mã cho các thành phần giao diện đơn giản
• A.3. Sinh mã cho các tác vụ xử lý hệ thống

Tóm tắt

I. Tổng Quan Về Hệ Thống Sinh Mã Máy Tự Động Hiện Đại

Trong bối cảnh phát triển vượt bậc của công nghệ phần mềm, trí tuệ nhân tạo (AI) đang nổi lên như một yếu tố then chốt, mang lại tiềm năng to lớn. Theo thống kê, số lượng lập trình viên trên toàn cầu tiếp tục tăng trưởng mạnh mẽ, nhấn mạnh tầm quan trọng của việc phát triển mã nguồn hiệu quả, năng suất. Sự phát triển của các mô hình ngôn ngữ lớn (LLMs) đã giúp máy móc hiểu ngôn ngữ tự nhiên, mở ra cơ hội xây dựng các hệ thống hỗ trợ lập trình, giảm tải công việc cho lập trình viên, và cải thiện năng suất. Các công cụ như ChatGPT và Copilot đang tạo nên làn sóng mới, hứa hẹn tác động đáng kể đến lực lượng lao động trong ngành. Hệ thống sinh mã máy tự động là chìa khóa để khai thác tối đa tiềm năng này.

1.1. Vai trò của AI trong Tự động hóa sinh mã máy

Việc ứng dụng AI vào tự động hóa sinh mã đang cách mạng hóa quy trình phát triển phần mềm. Thay vì viết mã thủ công, lập trình viên có thể sử dụng các công cụ hỗ trợ AI để tạo ra mã nguồn nhanh chóng và chính xác hơn. Điều này không chỉ giúp tiết kiệm thời gian và công sức, mà còn giảm thiểu rủi ro sai sót, đảm bảo tính nhất quán của mã. AI-powered code generation là xu hướng tất yếu, định hình tương lai của ngành công nghiệp phần mềm.

1.2. Tiềm năng và thách thức của Sinh mã máy tự động

Sinh mã máy tự động mang lại tiềm năng to lớn trong việc tăng tốc độ phát triển phần mềm, giảm chi phí và nâng cao chất lượng. Tuy nhiên, vẫn còn nhiều thách thức cần vượt qua. Một trong những thách thức lớn nhất là đảm bảo tính chính xác và an toàn của mã được sinh ra. Các mô hình AI cần được huấn luyện với dữ liệu chất lượng cao và được kiểm tra kỹ lưỡng để tránh tạo ra mã có lỗi hoặc lỗ hổng bảo mật.

II. Vấn Đề Hạn Chế Của Phương Pháp Sinh Mã Truyền Thống

Bài toán sinh mã tự động là một bài toán quan trọng trong lĩnh vực trí tuệ nhân tạo. Mục tiêu là tạo ra mã máy dựa trên yêu cầu từ ngôn ngữ tự nhiên. Tuy nhiên, các phương pháp cổ điển gặp khó khăn trong việc xử lý sự biến đổi của ngôn ngữ tự nhiên. Chúng thường dựa vào các khuôn mẫu (template) đã được định nghĩa cứng, dẫn đến khả năng tổng quát hóa kém. Mặc dù vậy, trong thực tế, nhu cầu thực tiễn về việc phát triển mã nguồn cho những dự án có tính đặc thù cao, đi kèm với những yếu tố bảo mật nghiêm ngặt vẫn còn là một thách thức lớn.

2.1. Nhược điểm của các phương pháp sinh mã dựa trên Template

Các phương pháp sinh mã máy dựa trên template thường bị giới hạn bởi các mẫu mã đã được định nghĩa trước. Điều này khiến chúng khó có thể xử lý các yêu cầu phức tạp hoặc các tình huống mới phát sinh. Ngoài ra, việc duy trì và cập nhật các template cũng tốn nhiều thời gian và công sức. Do đó, các phương pháp này không phù hợp với các dự án có yêu cầu thay đổi liên tục hoặc có tính đặc thù cao.

2.2. Thách thức khi sinh mã cho các dự án đặc thù

Trong thực tế, nhiều dự án phần mềm có tính đặc thù cao, với các yêu cầu và ràng buộc riêng. Việc sinh mã máy cho các dự án này đòi hỏi sự hiểu biết sâu sắc về nghiệp vụ và kiến trúc hệ thống. Các mô hình AI cần được huấn luyện với dữ liệu đặc thù để có thể tạo ra mã nguồn phù hợp. Tuy nhiên, việc thu thập và chuẩn bị dữ liệu đặc thù thường tốn kém và mất thời gian. Hơn nữa, các vấn đề về bảo mật và quyền riêng tư cũng cần được xem xét cẩn thận.

III. Cách Xây Dựng Hệ Thống Sinh Mã Dựa Trên AI Hiện Đại

Để giải quyết những hạn chế của phương pháp truyền thống, luận văn tập trung vào việc áp dụng các mô hình ngôn ngữ lớn (LLMs) và các phương pháp tinh chỉnh tham số (fine-tuning methods). Các LLMs có khả năng hiểu ngôn ngữ tự nhiên một cách phổ quát, trong khi các phương pháp tinh chỉnh tham số cho phép điều chỉnh mô hình để phù hợp với các dự án đặc thù. Cách tiếp cận này giúp tận dụng kiến thức tổng quát của LLMs, đồng thời đáp ứng được các yêu cầu cụ thể của từng dự án. Học viên nhận định việc sinh mã máy tự động tuy có thể hoạt động tốt với những yêu cầu tổng quát bằng việc áp dụng các mô hình ngôn ngữ lớn, song vẫn còn nhiều thách thức khi vận dụng vào từng dự án cụ thể và đặc thù.

3.1. Ưu điểm của mô hình ngôn ngữ lớn LLMs trong sinh mã

Mô hình ngôn ngữ lớn (LLMs) như GPT-3, Code Llama thể hiện khả năng đáng kinh ngạc trong việc hiểu và tạo ra mã nguồn. Chúng được huấn luyện trên lượng lớn dữ liệu mã, cho phép nắm bắt cú pháp, ngữ nghĩa và các quy tắc lập trình. LLMs có thể sinh ra mã nguồn từ yêu cầu mô tả bằng ngôn ngữ tự nhiên, giúp lập trình viên tiết kiệm thời gian và công sức. Quan trọng hơn, LLMs có khả năng tổng quát hóa tốt, cho phép xử lý các yêu cầu mới và chưa từng gặp.

3.2. Tinh chỉnh tham số để tối ưu hóa cho dự án cụ thể

Để tận dụng tối đa tiềm năng của LLMs, cần phải tinh chỉnh tham số (fine-tuning) mô hình cho phù hợp với các dự án cụ thể. Quá trình tinh chỉnh bao gồm việc huấn luyện mô hình với dữ liệu đặc thù của dự án, giúp mô hình nắm bắt các yêu cầu và ràng buộc riêng. Các phương pháp tinh chỉnh tham số hiệu quả như LoRA (Low-Rank Adaptation) cho phép điều chỉnh mô hình một cách nhanh chóng và tiết kiệm tài nguyên.

IV. Phương Pháp Tinh Chỉnh Tham Số Để Nâng Cao Hiệu Suất

Luận văn tập trung vào các phương pháp tinh chỉnh tham số nhằm giải quyết thách thức khi áp dụng mô hình ngôn ngữ lớn vào các dự án đặc thù. Các phương pháp này hướng đến mục tiêu tận dụng kiến thức tổng quát của LLMs, đồng thời tối ưu hóa cho từng bài toán cụ thể trong điều kiện phần cứng hạn chế. Một số phương pháp tiêu biểu bao gồm tối ưu hóa siêu tham số (Hyperparameter Optimization), thuật toán di truyền (Genetic Algorithms), và tối ưu hóa Bayesian.

4.1. Phương pháp Tối ưu hóa Low Rank Adaptation LoRA

Phương pháp Low-Rank Adaptation (LoRA) là một kỹ thuật tinh chỉnh tham số hiệu quả, cho phép điều chỉnh mô hình ngôn ngữ lớn với số lượng tham số ít hơn nhiều so với các phương pháp truyền thống. LoRA hoạt động bằng cách thêm một ma trận rank thấp vào các lớp của mô hình, giúp giảm số lượng tham số cần huấn luyện. Điều này giúp tiết kiệm tài nguyên tính toán và giảm thời gian huấn luyện, đồng thời vẫn duy trì được hiệu suất cao.

4.2. Phương pháp Tinh chỉnh có hướng dẫn Instruction Tuning

Tinh chỉnh có hướng dẫn (Instruction Tuning) là một phương pháp huấn luyện mô hình ngôn ngữ lớn bằng cách sử dụng các cặp dữ liệu (instruction, output), trong đó instruction mô tả yêu cầu của người dùng và output là kết quả mong muốn. Phương pháp này giúp mô hình hiểu rõ hơn về các yêu cầu khác nhau và tạo ra kết quả chính xác hơn. Instruction tuning đặc biệt hiệu quả trong các bài toán sinh mã máy, nơi yêu cầu có thể được diễn đạt bằng ngôn ngữ tự nhiên.

V. Xây dựng tập dữ liệu và mô hình sinh mã TypeScript

Học viên đã xây dựng tập dữ liệu 20,000 cặp dữ liệu định hướng cho ngôn ngữ TypeScript, tập 40 cặp dữ liệu từ dự án đặc thù cá nhân. Đồng thời, học viên xây dựng thành công hai mô hình đề xuất để sinh mã lập trình TypeScript trên kiến thức tổng quan và kiến thức đặc thù cho dự án cụ thể.

5.1. Tập dữ liệu TypeScript Instruct 20K

Để huấn luyện mô hình sinh mã TypeScript, một tập dữ liệu lớn và đa dạng là cần thiết. Luận văn đã xây dựng tập dữ liệu TypeScript-Instruct 20K, bao gồm 20,000 cặp dữ liệu (instruction, code) cho ngôn ngữ TypeScript. Dữ liệu được thu thập từ nhiều nguồn khác nhau, bao gồm các đoạn mã nguồn mở, tài liệu hướng dẫn và các ví dụ thực tế. Tập dữ liệu được chia thành các chủ đề khác nhau, bao gồm cú pháp, cấu trúc dữ liệu, thuật toán và các thư viện phổ biến.

5.2. Tập dữ liệu đặc thù cá nhân

Bên cạnh tập dữ liệu tổng quát, luận văn cũng xây dựng một tập dữ liệu đặc thù cho dự án cá nhân. Tập dữ liệu này bao gồm 40 cặp dữ liệu (instruction, code) liên quan đến các yêu cầu và ràng buộc cụ thể của dự án. Việc huấn luyện mô hình với tập dữ liệu đặc thù giúp cải thiện hiệu suất sinh mã cho các tác vụ liên quan đến dự án.

VI. Ứng Dụng Và Kết Quả Đánh Giá Hệ Thống Sinh Mã TypeScript

Luận văn trình bày kết quả thử nghiệm của hai mô hình sinh mã máy đề xuất: mô hình kiến thức tổng quát (TypeScript Public Model 13B) và mô hình kiến thức đặc thù (TypeScript Private Model). Kết quả cho thấy cả hai mô hình đều có khả năng sinh mã TypeScript tốt, đặc biệt là khi được tinh chỉnh với dữ liệu phù hợp. Mô hình kiến thức tổng quát có khả năng xử lý các yêu cầu chung, trong khi mô hình kiến thức đặc thù có thể sinh ra mã nguồn phù hợp với các yêu cầu và ràng buộc cụ thể của dự án. Công trình luận văn cũng được viết thành một chương trong cuốn sách: Generative Artificial Intelligence for Software Engineering - A Research Agenda dưới sự hướng dẫn của PGS.Quản Thành Thơ và các giảng viên, nhà nghiên cứu trên khắp thế giới.

6.1. Đánh giá hiệu suất của mô hình kiến thức tổng quát

Mô hình kiến thức tổng quát (TypeScript Public Model 13B) được đánh giá trên một loạt các bài toán sinh mã máy tiêu chuẩn. Kết quả cho thấy mô hình có khả năng sinh ra mã nguồn chính xác và hiệu quả cho nhiều loại tác vụ khác nhau. So sánh với các mô hình nền tảng khác, mô hình TypeScript Public Model 13B cho thấy hiệu suất vượt trội trong việc sinh mã TypeScript.

6.2. Đánh giá hiệu suất của mô hình kiến thức đặc thù

Mô hình kiến thức đặc thù (TypeScript Private Model) được đánh giá trên các tác vụ liên quan đến dự án cá nhân. Kết quả cho thấy mô hình có khả năng sinh ra mã nguồn phù hợp với các yêu cầu và ràng buộc cụ thể của dự án. So sánh với mô hình kiến thức tổng quát, mô hình TypeScript Private Model cho thấy hiệu suất tốt hơn trong các tác vụ đặc thù.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ phần mềm và trí tuệ nhân tạo (AI), việc tự động sinh mã máy trở thành một trong những thách thức trọng yếu và được quan tâm hàng đầu. Theo ước tính, năm 2024 có khoảng 28,7 triệu lập trình viên trên toàn cầu, với tốc độ tăng hơn 1 triệu lập trình viên mỗi năm. Nhu cầu phát triển mã nguồn hiệu quả, năng suất cao và dễ dàng hơn đang thúc đẩy sự phát triển của các hệ thống sinh mã tự động. Đặc biệt, các mô hình ngôn ngữ lớn (Large Language Models - LLMs) như ChatGPT và Copilot đã chứng minh khả năng hỗ trợ lập trình viên tăng tốc độ lập trình lên đến 55%, đồng thời giảm thiểu công sức và thời gian phát triển phần mềm.

Luận văn tập trung vào xây dựng hệ thống sinh mã máy tự động cho ngôn ngữ TypeScript, áp dụng các phương pháp tinh chỉnh tham số hiệu quả nhằm tối ưu hóa hiệu suất và tiết kiệm tài nguyên tính toán. Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 9 đến tháng 12 năm 2023 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh. Mục tiêu chính là phát triển hai mô hình sinh mã: một mô hình kiến thức tổng quát và một mô hình kiến thức đặc thù dựa trên tập dữ liệu tự xây dựng gồm 20,000 cặp dữ liệu hướng dẫn cho TypeScript và 40 cặp dữ liệu đặc thù từ dự án cá nhân.

Ý nghĩa của nghiên cứu nằm ở việc cung cấp công cụ sinh mã tự động hiệu quả cho ngôn ngữ TypeScript, vốn ít được chú trọng so với Python trong các nghiên cứu hiện nay. Hệ thống này không chỉ giúp tăng năng suất lập trình mà còn hỗ trợ các dự án đặc thù với yêu cầu bảo mật và tính chính xác cao, góp phần thúc đẩy sự phát triển của cộng đồng lập trình viên và ngành công nghiệp phần mềm tại Việt Nam và quốc tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Mô hình ngôn ngữ lớn (LLMs): Là các mạng nơ-ron sâu được huấn luyện trên lượng lớn dữ liệu ngôn ngữ tự nhiên và mã nguồn, có khả năng dự đoán từ tiếp theo và sinh văn bản hoặc mã nguồn tự động. Các mô hình như GPT, LLaMA, Code Llama được sử dụng làm nền tảng.

• Kiến trúc Transformer: Là kiến trúc mạng nơ-ron dựa trên cơ chế attention, cho phép xử lý song song và hiểu ngữ cảnh toàn diện trong chuỗi dữ liệu. Transformer là nền tảng cho các mô hình ngôn ngữ lớn hiện đại.

• Phương pháp tinh chỉnh tối ưu tham số (Parameter-Efficient Fine-Tuning): Bao gồm các kỹ thuật như Low-Rank Adaptation (LoRA) và Instruction Tuning, giúp tinh chỉnh mô hình lớn với số lượng tham số cần cập nhật rất nhỏ, tiết kiệm tài nguyên tính toán và bộ nhớ.

• Khái niệm chính:

  • Instruction Tuning: Tinh chỉnh mô hình dựa trên các cặp dữ liệu hướng dẫn (instruction) và kết quả (output) để mô hình hiểu và thực hiện các nhiệm vụ theo hướng dẫn ngôn ngữ tự nhiên.
  • Low-Rank Adaptation (LoRA): Phương pháp tái tham số hóa, đóng băng trọng số gốc và chỉ huấn luyện các ma trận thấp hạng để giảm số lượng tham số cần cập nhật.
  • Tập dữ liệu hướng dẫn (Instruction Dataset): Bộ dữ liệu gồm các cặp câu lệnh và mã nguồn tương ứng, dùng để huấn luyện mô hình sinh mã.

Phương pháp nghiên cứu

• Nguồn dữ liệu:

  • Tập dữ liệu TypeScript-Instruct 20K gồm 20,000 cặp câu lệnh và mã nguồn được xây dựng từ bộ dữ liệu The Stack (10,000 đoạn mã TypeScript) qua phương pháp tự sinh hướng dẫn (Self-Instruct) và cải tiến hướng dẫn (Evol-Instruct) sử dụng GPT-3.5-turbo.
  • Tập dữ liệu đặc thù gồm 40 cặp dữ liệu trích xuất thủ công từ dự án cá nhân bằng TypeScript.

• Phương pháp phân tích:

  • Sử dụng mô hình Code Llama-Instruct 13B làm mô hình nền tảng.
  • Áp dụng hai phương pháp tinh chỉnh tham số: Instruction Tuning và LoRA để huấn luyện hai mô hình sinh mã: mô hình kiến thức tổng quát và mô hình kiến thức đặc thù.
  • Đánh giá hiệu suất mô hình qua các chỉ số pass@1 và so sánh với mô hình nền tảng.

• Timeline nghiên cứu:

  • Thu thập và xử lý dữ liệu: 09/2023 - 10/2023
  • Huấn luyện mô hình và tinh chỉnh tham số: 10/2023 - 11/2023
  • Thử nghiệm, đánh giá và xây dựng giao diện người dùng: 11/2023 - 12/2023
  • Hoàn thiện luận văn và bảo vệ: 01/2024

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Xây dựng thành công tập dữ liệu TypeScript-Instruct 20K: Bộ dữ liệu gồm 20,000 cặp câu lệnh và mã nguồn, được tạo ra từ 10,000 đoạn mã TypeScript gốc, qua quá trình làm giàu dữ liệu bằng phương pháp Self-Instruct và Evol-Instruct. Bộ dữ liệu này là nền tảng quan trọng cho việc tinh chỉnh mô hình sinh mã cho ngôn ngữ TypeScript.

2. Phát triển hai mô hình sinh mã tự động:

   • Mô hình kiến thức tổng quát (TypeScript Public Model 13B) được tinh chỉnh trên tập dữ liệu 20,000 cặp hướng dẫn.
   • Mô hình kiến thức đặc thù (TypeScript Private Model) được tinh chỉnh thêm trên tập dữ liệu 40 cặp đặc thù từ dự án cá nhân.

3. Hiệu suất mô hình: Mô hình kiến thức tổng quát đạt điểm pass@1 cao hơn mô hình nền tảng Code Llama-Instruct 13B khoảng 12%, thể hiện qua các bộ đánh giá chuẩn. Mô hình kiến thức đặc thù cải thiện thêm khoảng 8% so với mô hình tổng quát khi xử lý các yêu cầu đặc thù.

4. Giao diện người dùng trực quan: Hệ thống giao diện được xây dựng giúp người dùng dễ dàng tương tác với các mô hình sinh mã, hỗ trợ nhập yêu cầu bằng ngôn ngữ tự nhiên và nhận kết quả mã nguồn nhanh chóng.

Thảo luận kết quả

Kết quả cho thấy việc xây dựng tập dữ liệu hướng dẫn chuyên biệt cho TypeScript là bước đột phá quan trọng, giúp mô hình ngôn ngữ lớn có thể hiểu và sinh mã chính xác hơn cho ngôn ngữ này, vốn ít được chú trọng trong các nghiên cứu trước đây. Việc áp dụng phương pháp tinh chỉnh tham số LoRA và Instruction Tuning giúp giảm đáng kể tài nguyên tính toán so với tinh chỉnh toàn bộ mô hình, đồng thời duy trì hoặc cải thiện hiệu suất sinh mã.

So với các nghiên cứu trước đây tập trung chủ yếu vào Python, nghiên cứu này mở rộng phạm vi sang TypeScript, đáp ứng nhu cầu thực tế của cộng đồng lập trình viên web. Việc phát triển mô hình kiến thức đặc thù cho dự án cá nhân cho thấy khả năng tùy biến cao, giúp sinh mã phù hợp với yêu cầu bảo mật và đặc thù kỹ thuật của từng dự án.

Dữ liệu có thể được trình bày qua biểu đồ so sánh điểm pass@1 giữa các mô hình, bảng thống kê số lượng tham số được tinh chỉnh và thời gian huấn luyện, giúp minh họa rõ ràng hiệu quả của phương pháp tinh chỉnh tham số.

Đề xuất và khuyến nghị

1. Mở rộng tập dữ liệu hướng dẫn cho TypeScript: Tiếp tục thu thập và làm giàu dữ liệu hướng dẫn, đặc biệt là các trường hợp phức tạp và đa dạng hơn, nhằm nâng cao khả năng tổng quát và chính xác của mô hình. Mục tiêu đạt 50,000 cặp dữ liệu trong vòng 12 tháng tới.

2. Phát triển mô hình đa ngôn ngữ: Áp dụng phương pháp tinh chỉnh tham số cho các ngôn ngữ lập trình phổ biến khác như JavaScript, Python, Java để tạo ra hệ thống sinh mã đa ngôn ngữ, phục vụ đa dạng nhu cầu lập trình viên.

3. Tối ưu hóa giao diện người dùng: Cải tiến giao diện hiện tại để hỗ trợ các tính năng như gợi ý tự động, kiểm tra lỗi cú pháp, và tích hợp với các môi trường phát triển tích hợp (IDE) phổ biến nhằm tăng trải nghiệm người dùng.

4. Nghiên cứu mở rộng phương pháp tinh chỉnh: Khảo sát và áp dụng các phương pháp tinh chỉnh tham số mới như PagedAttention hoặc Deepspeed ZeRO-3 để tăng tốc độ huấn luyện và suy đoán, giảm chi phí vận hành mô hình.

5. Chủ thể thực hiện: Các nhóm nghiên cứu AI tại các trường đại học, trung tâm nghiên cứu công nghệ, và các công ty phát triển phần mềm có thể phối hợp triển khai các giải pháp trên, đồng thời mở rộng hợp tác quốc tế để nâng cao chất lượng nghiên cứu.

Đối tượng nên tham khảo luận văn

1. Lập trình viên và kỹ sư phần mềm: Có thể ứng dụng hệ thống sinh mã tự động để tăng năng suất, giảm thời gian viết mã, đặc biệt trong các dự án sử dụng TypeScript.

2. Nhà nghiên cứu AI và học máy: Tham khảo các phương pháp tinh chỉnh tham số hiệu quả, kiến trúc mô hình và quy trình xây dựng tập dữ liệu hướng dẫn cho các nghiên cứu tiếp theo.

3. Các công ty công nghệ phát triển phần mềm: Áp dụng mô hình sinh mã tự động để cải thiện quy trình phát triển sản phẩm, giảm chi phí nhân lực và tăng tính cạnh tranh.

4. Giảng viên và sinh viên ngành Khoa học Máy tính: Sử dụng luận văn làm tài liệu tham khảo cho các khóa học về trí tuệ nhân tạo, xử lý ngôn ngữ tự nhiên và phát triển phần mềm.

Câu hỏi thường gặp

1. Hệ thống sinh mã tự động có thể áp dụng cho những ngôn ngữ lập trình nào?
   Hiện tại, nghiên cứu tập trung vào TypeScript, tuy nhiên phương pháp và kiến trúc có thể mở rộng sang các ngôn ngữ phổ biến khác như Python, JavaScript, Java với việc xây dựng tập dữ liệu hướng dẫn tương ứng.

2. Phương pháp tinh chỉnh tham số LoRA có ưu điểm gì so với tinh chỉnh toàn bộ mô hình?
   LoRA chỉ cập nhật một phần nhỏ tham số (khoảng 2%), giúp giảm đáng kể tài nguyên tính toán và bộ nhớ, đồng thời giữ được hiệu suất tương đương hoặc tốt hơn so với tinh chỉnh toàn bộ mô hình.

3. Tập dữ liệu TypeScript-Instruct 20K được xây dựng như thế nào?
   Tập dữ liệu được tạo từ 10,000 đoạn mã TypeScript thu thập từ bộ The Stack, sau đó sử dụng kỹ thuật tự sinh hướng dẫn (Self-Instruct) và cải tiến hướng dẫn (Evol-Instruct) qua GPT-3.5-turbo để tạo ra 20,000 cặp câu lệnh và mã nguồn.

4. Mô hình kiến thức đặc thù có lợi ích gì?
   Mô hình này được tinh chỉnh trên dữ liệu dự án cá nhân, giúp sinh mã phù hợp với yêu cầu kỹ thuật và bảo mật riêng biệt, nâng cao độ chính xác và tính ứng dụng trong thực tế.

5. Làm thế nào để người dùng tương tác với hệ thống sinh mã?
   Hệ thống được tích hợp giao diện người dùng trực quan, cho phép nhập yêu cầu bằng ngôn ngữ tự nhiên và nhận kết quả mã nguồn sinh tự động, hỗ trợ lập trình viên trong quá trình phát triển phần mềm.

Kết luận

• Đã xây dựng thành công tập dữ liệu hướng dẫn TypeScript-Instruct 20K gồm 20,000 cặp câu lệnh và mã nguồn, đóng góp quan trọng cho cộng đồng lập trình TypeScript.
• Phát triển hai mô hình sinh mã tự động: mô hình kiến thức tổng quát và mô hình kiến thức đặc thù, cải thiện hiệu suất sinh mã so với mô hình nền tảng.
• Áp dụng hiệu quả các phương pháp tinh chỉnh tham số LoRA và Instruction Tuning, tiết kiệm tài nguyên tính toán và tăng tính linh hoạt.
• Xây dựng hệ thống giao diện người dùng trực quan, hỗ trợ tương tác và ứng dụng thực tế cho lập trình viên.
• Đề xuất các hướng phát triển mở rộng tập dữ liệu, đa ngôn ngữ và tối ưu hóa giao diện, nhằm nâng cao hiệu quả và phạm vi ứng dụng trong tương lai.

Luận văn mở ra hướng nghiên cứu mới cho hệ thống sinh mã tự động trên ngôn ngữ TypeScript, đồng thời cung cấp nền tảng để phát triển các công cụ hỗ trợ lập trình thông minh, góp phần thúc đẩy sự phát triển của ngành công nghệ phần mềm hiện đại. Các nhà nghiên cứu và lập trình viên được khuyến khích tiếp tục khai thác và phát triển các giải pháp dựa trên kết quả này.

Trích đoạn nội dung tài liệu

Chương 1 Giới thiệu đề tài Trong chương này, học viên xin biện luận về lý do thực hiện đề tài, giới thiệu Hệ thống sinh mã tự động, làm rõ mục tiêu và giới hạn phạm vi của đề tài. Đồng thời trình bày những đóng góp đã đạt được cùng nội dung tóm tắt của các chương luận văn 1.1 Giới thiệu chung Trong bối cảnh công nghệ phần mềm đang phát triển vượt bậc, trí tuệ nhân tạo đã và đang trở thành một yếu tố quan trọng và mang lại nhiều tiềm năng trong lĩnh vực này. Theo thống kê, năm 2024 sẽ có khoảng 28,7 triệu lập trình viên trên toàn thế giới, và số lượng này đang tăng lên hơn 1 triệu lập trình viên mỗi năm [3]. Sự gia tăng này chứng tỏ tầm quan trọng của lập trình và nhu cầu ngày càng tăng, cả về số lượng lẫn chất lượng của lập trình viên.

Việc phát triển mã nguồn sao cho dễ dàng, hiệu quả và năng suất, từ đó, dần thu hút được nhiều sự quan tâm và trở thành một trong những ưu tiên hàng đầu. Đặc biệt là khi lĩnh vực trí tuệ nhân tạo đã và đang đạt được nhiều bước đột phá lớn trong vài năm gần đây, giúp máy móc có thể hiểu được ngôn ngữ tự nhiên một cách rất phổ quát. Điều này nhận được nhiều kỳ vọng từ cộng đồng về việc xây dựng những hệ thống hỗ trợ các tác vụ lập trình, giúp giảm thời gian và công sức của lập trình viên trong việc phát triển mã nguồn, cải thiện năng suất làm việc và giúp họ tập trung nâng cao chất lượng của các ứng dụng phần mềm. Trí tuệ nhân tạo và sự phát triển của cộng đồng lập trình viên đang cùng nhau tạo nên một bức tranh lớn trong công nghệ phần mềm hiện đại.

Sự kết hợp này mang lại tiềm năng trong 1 việc tăng năng suất phát triển mã nguồn và cung cấp cho lập trình viên các công cụ thông minh để tạo ra nhiều ứng dụng phần mềm tiên tiến và hiệu quả hơn. Hơn thế nữa, nó còn đưa việc lập trình tiếp cận được nhiều tập đối tượng. Giúp những lập trình viên mới tự tin trên con đường của mình khi mã nguồn dự án, các thư viện hay ngôn ngữ lập trình ngày càng trở nên đa dạng và phức tạp. Giúp được cả những người ngoài mảng lập trình trong công việc chuyên ngành của họ với bối cảnh công nghệ thông tin đang dần trở nên thiết yếu trong mọi ngành nghề Trên thực tế, các mô hình ngôn ngữ lớn như ChatGPT của OpenAI [4], đang tạo nên cơn sốt trên thế giới.

Chỉ sau hai tháng ra mắt, ChatGPT đã thu hút hơn 100 triệu người dùng, trở thành ứng dụng internet phát triển nhanh nhất trong lịch sử (theo The Guardian, 2023 [5]). Tương tự, Copilot của Microsoft, một mô hình được thiết kế cho việc hỗ trợ lập trình, đã thu hút hơn 1 triệu lập trình viên chuyên nghiệp sử dụng (theo Euronews, 2023, [6]) và có thể tăng tốc các tác vụ lập trình lên đến 55% [7]. Đây là những công cụ mới đầy hứa hẹn để tăng năng suất lập trình, được dự đoán sẽ có tác động đáng kể đến lực lượng lao động trong những năm sắp tới [8].2 Tổng quan về Hệ thống sinh mã tự động Bài toán sinh mã tự động là một trong những bài toán quan trọng trong lĩnh vực trí tuệ nhân tạo và phát triển phần mềm, với mục đích nhằm tạo ra một cách tự động các đoạn mã máy dựa trên yêu cầu và mô tả từ ngôn ngữ tự nhiên của người dùng. Việc giải quyết bài toán này mang lại rất nhiều lợi ích, chẳng hạn như giúp việc lập trình trở nên dễ dàng hơn, tăng cường hiệu suất và độ chính xác của quá trình phát triển phần mềm, giảm thời gian và công sức cần thiết để viết mã, đảm bảo tính nhất quán và đúng đắn của các đoạn mã được sinh ra.

Việc sinh mã không chỉ mang lại lợi ích khi chúng ta 2 cần lời giải cho một bài toán, mà còn dùng để kiểm chứng, học hỏi thêm từ nhiều khía cạnh và cách giải quyết khác nhau.1: Tình huống thực tế cho Bài toán sinh mã tự động Hình 1.2: Kết quả sinh mã cho bài toán sinh logo với mô hình kiến thức tổng quát [5.4] 3 Yêu cầu: Sinh mã cho thành phần nút bấm màu trắng, viền xanh dương, hình tròn và có một logo hcmut ở giữa, sử dụng tailwinds, style inline Hình 1.3: Kết quả giải thích mã cho bài toán sinh logo với mô hình kiến thức tổng quát [5.4] Có không ít những phương pháp cổ điển đã được nghiên cứu để cố gắng giải quyết bài toán này [2.1], tuy nhiên chúng đều không mang lại hiệu quả cao. Đa số phương pháp cổ điển đều gặp phải một vấn đề cố hữu chung của những mô hình (template) đã được định nghĩa cứng, đó là chúng không giải quyết được bài toán một cách tổng quát với sự biến đổi của ngôn ngữ tự nhiên. Với bước đột phá của trí tuệ nhân tạo trong vài năm trở lại đây, cụ thể là những mô hình ngôn ngữ lớn (large language models) và các phương pháp tinh chỉnh tham số (fine-tuning methods), máy móc đã có khả năng hiểu được ngôn ngữ tự nhiên một cách phổ quát. Cuộc cách mạng này đã mở đường cho nhiều nhánh nghiên cứu trong lĩnh vực ngôn ngữ tự nhiên nói chung, và lĩnh vực sinh mã máy tự động dựa trên yêu cầu cụ thể nói riêng.

4 Để sinh được mã nguồn một cách tự động bằng việc vận dụng những đột phá mới của trí thông minh nhân tạo, các mô hình hiện đại dùng để giải quyết bài toán sinh mã thường phải được học từ rất nhiều kiến thức, hàng tỉ những đoạn mã được thu thập từ khắp nơi trên mạng. Điều đó giúp cho hệ thống có được một trí thông minh tổng quát để nhìn nhận và xử lý yêu cầu từ người dùng, giải quyết được vấn đề mà các phương pháp cổ điển gặp phải. Mặc dù vậy, trong thực tế, nhu cầu thực tiễn về việc phát triển mã nguồn cho những dự án có tính đặc thù cao, đi kèm với những yếu tố bảo mật nghiêm ngặt vẫn còn là một thách thức lớn.4: Tình huống thực tế sinh mã với yêu cầu đặc thù Bởi vì, nếu không sử dụng mã nguồn và kiến thức của dự án đặc thù, hệ thống sẽ không có khả năng để sinh ra những đoạn mã thỏa mãn yêu cầu phức tạp trong thực tế. Kể cả khi tổ chức hay cá nhân đó cố gắng huấn luyện lại mô hình ngôn ngữ lớn trên tập mã nguồn dự án của riêng họ, điều này cũng không mấy khả thi.

Thứ nhất, việc huấn luyện mô hình ngôn ngữ lớn đòi hỏi một hạ tầng phần cứng đủ mạnh mà tổ chức hay cá nhân đơn lẻ khó có thể đảm bảo. Thứ hai, thời gian huấn luyện thường sẽ khá đáng kể. Và cuối cùng, kết quả của việc huấn luyện là một bộ trọng số rất lớn, sẽ tốn nhiều không gian để lưu trữ cũng như tài nguyên để vận hành. Điều đó cũng có nghĩa tài nguyên và công sức bỏ ra để huấn luyện nhiều dự án khác 5 nhau sẽ bị lãng phí không cần thiết trong khi người dùng chỉ cần mô hình hoạt động tốt trên một vài dự án đặc thù vừa và nhỏ.

Ngược lại, nếu chỉ tập trung huấn luyện trên những dự án đặc thù ngay từ đầu chúng ta lại không tận dụng được khối kiến thức tổng quát mà mô hình ngôn ngữ lớn đem lại, dẫn đến mã nguồn được sinh ra với chất lượng không cao. Như vậy, học viên nhận định việc sinh mã máy tự động tuy có thể hoạt động tốt với những yêu cầu tổng quát bằng việc áp dụng các mô hình ngôn ngữ lớn, song vẫn còn nhiều thách thức khi vận dụng vào từng dự án cụ thể và đặc thù Để giải quyết những thách thức đó, trong ít năm gần đây, rất nhiều nghiên cứu đã tích cực trong việc tìm ra phương pháp để tinh chỉnh mô hình ngôn ngữ lớn bằng các phương pháp tối ưu tham số. Các phương pháp này hầu hết đều có chung một mục đích, đó là vận dụng khối kiến thức tổng quát vào các bài toán đặc thù trong điều kiện phần cứng hạn chế mà vẫn giữ được độ hiệu quả và chính xác tương đương. Luận văn của học viên cũng sẽ vận dụng cách tiếp cận này.

Hệ thống sinh mã tự động là tên gọi chung cho lớp các bài toán liên quan đến việc sinh ra mã nguồn tự động dựa trên những yêu cầu đặc tả của người dùng. Có thể chia Hệ thống sinh mã thành các ba nhóm công việc chính: học kiến thức từ dữ liệu đầu vào (learning), sinh mã máy tự động (generating) và phân tích kết quả đầu ra (analyzing) Ở giai đoạn học dữ liệu đầu vào, mục tiêu của hệ thống là học được những kiến thức, quy tắc và mô hình từ các yêu cầu đặc tả cho trước hay từ mã nguồn của các dự án thực tế mà người dùng cung cấp. Bằng việc ứng dụng những đột phá của trí tuệ nhân tạo thời gian gần đây, như các mô hình học sâu, mô hình ngôn ngữ lớn, việc trí thông minh nhân tạo hiểu bộ dữ liệu mã nguồn đầu vào đang ngày càng được cải thiện tốt hơn. Tiếp sau đó là quá trình sinh mã máy tự động, dựa vào yêu cầu cụ thể của người dùng mà hệ 6 Hình 1.5: Phân loại Hệ thống sinh mã tự động thống sẽ đề xuất, gợi ý những đoạn mã máy phù hợp với yêu cầu đó.

Đây là một nhu cầu rất thực tiễn khi lập trình. Cuối cùng, hệ thống có thể tiếp tục hậu xử lý kết quả vừa được tự động sinh ra. Ví dụ như tác vụ giải thích ý nghĩa của đoạn mã nguồn này, hệ thống hóa câu trúc, tự sinh ra các phương thức kiểm thử về tính đúng đắn của kết quả,. Mỗi công việc trong Hệ thống sinh mã tự động trên đều là một lĩnh vực đang rất thu hút và được cộng đồng nghiên cứu tích cực.

Chúng thường được chia thành các công việc riêng biệt và người phát triển mô hình thường phải huấn luyện hoặc tinh chỉnh các mô hình khác nhau cho từng công việc. Tuy nhiên, với công cụ tinh chỉnh có hướng dẫn sẽ được học viên trình bày ở phần 3.5, công việc sinh mã tự động và giải thích ý nghĩa đoạn mã sẽ được huấn luyện chung chỉ trong một mô hình công việc (downstream model) mà luận văn xây dựng. 7 Hệ thống sinh mã tự động hiện nay là một cuộc chạy đua của không chỉ giữa những nhà nghiên cứu cá nhân, mà còn của cả những công ty tập đoàn công nghệ lớn trên thế giới.