I. Giới thiệu đề tài
Trong bối cảnh phát triển mạnh mẽ của công nghệ phần mềm, bài toán sinh mã máy tự động đã trở thành một trong những thách thức lớn trong lĩnh vực trí tuệ nhân tạo và phát triển phần mềm. Mục tiêu của đề tài này là xây dựng một hệ thống tự động có khả năng tạo ra mã nguồn dựa trên các yêu cầu được mô tả bằng ngôn ngữ tự nhiên. Đặc biệt, nghiên cứu này tập trung vào việc phát triển mô hình sinh mã cho ngôn ngữ TypeScript, giúp lập trình viên tiết kiệm thời gian và công sức. Theo thống kê, số lượng lập trình viên trên toàn thế giới đang gia tăng nhanh chóng, điều này làm nổi bật nhu cầu cần thiết cho các công cụ hỗ trợ lập trình hiệu quả hơn. Đề tài không chỉ hướng đến việc cải thiện hiệu suất lập trình mà còn mở rộng khả năng tiếp cận lập trình cho nhiều đối tượng khác nhau.
1.1 Giới thiệu chung
Bài toán sinh mã máy tự động không chỉ đơn thuần là việc tạo ra mã nguồn, mà còn là một quá trình phức tạp liên quan đến việc hiểu và phân tích ngôn ngữ tự nhiên. Các mô hình ngôn ngữ lớn đã đóng vai trò quan trọng trong việc nâng cao khả năng hiểu biết của máy móc đối với yêu cầu của người dùng. Việc phát triển mã nguồn tự động sẽ giúp giảm thiểu thời gian và công sức của lập trình viên, đồng thời đảm bảo tính chính xác và nhất quán của mã được sinh ra. Những tiến bộ trong lĩnh vực trí tuệ nhân tạo đã mở ra nhiều cơ hội mới cho việc phát triển các hệ thống hỗ trợ lập trình, từ đó tạo ra một môi trường làm việc hiệu quả hơn cho lập trình viên.
II. Các công trình nghiên cứu liên quan
Nghiên cứu về hệ thống sinh mã tự động đã thu hút sự chú ý của nhiều nhà khoa học trong lĩnh vực trí tuệ nhân tạo. Các phương pháp cổ điển đã được áp dụng để giải quyết bài toán này, nhưng thường không đạt hiệu quả cao do hạn chế trong khả năng xử lý ngôn ngữ tự nhiên. Các mô hình ngôn ngữ lớn hiện nay, như GPT-3, đã thể hiện khả năng vượt trội trong việc sinh mã máy tự động. Những nghiên cứu gần đây đã chỉ ra rằng việc áp dụng các phương pháp tinh chỉnh tham số như Low-Rank Adaptation (LoRA) và Instruction Tuning có thể cải thiện đáng kể hiệu suất của các mô hình này. Sự phát triển này không chỉ giúp tối ưu hóa quá trình sinh mã mà còn mở ra hướng đi mới cho việc nghiên cứu các ứng dụng trong lĩnh vực phần mềm.
2.1 Các cách tiếp cận cổ điển
Các phương pháp cổ điển trong sinh mã máy thường dựa trên các mẫu mã đã được định nghĩa trước, dẫn đến hạn chế trong khả năng đáp ứng yêu cầu đa dạng của người dùng. Những phương pháp này thường gặp khó khăn trong việc xử lý ngôn ngữ tự nhiên một cách linh hoạt. Mặc dù đã có nhiều nghiên cứu nhằm cải thiện những hạn chế này, nhưng hiệu quả vẫn chưa đáp ứng được kỳ vọng. Do đó, việc phát triển các mô hình ngôn ngữ lớn với khả năng học hỏi từ dữ liệu lớn đã trở thành một xu hướng quan trọng trong nghiên cứu hiện nay.
III. Tập dữ liệu
Tập dữ liệu đóng vai trò quan trọng trong việc phát triển hệ thống sinh mã tự động. Trong nghiên cứu này, học viên đã xây dựng một tập dữ liệu gồm 20,000 cặp dữ liệu định hướng cho ngôn ngữ TypeScript, cùng với 40 cặp dữ liệu từ các dự án cá nhân. Việc xây dựng tập dữ liệu này không chỉ giúp cải thiện khả năng sinh mã mà còn tạo ra một cơ sở dữ liệu phong phú cho việc huấn luyện các mô hình ngôn ngữ lớn. Tập dữ liệu này sẽ được sử dụng để đào tạo các mô hình sinh mã, giúp cải thiện độ chính xác và hiệu suất của hệ thống. Hệ thống cũng sẽ được thử nghiệm với các mô hình nền tảng để đánh giá hiệu quả của các phương pháp tinh chỉnh tham số.
3.1 Tập dữ liệu TypeScript Instruct 20K
Tập dữ liệu TypeScript-Instruct 20K được xây dựng với mục tiêu cung cấp một nguồn dữ liệu đa dạng và phong phú cho việc phát triển mô hình sinh mã máy. Tập dữ liệu này bao gồm nhiều cặp yêu cầu và mã nguồn tương ứng, giúp mô hình có thể học hỏi và cải thiện khả năng sinh mã tự động. Việc sử dụng tập dữ liệu này không chỉ giúp mô hình hiểu rõ hơn về ngữ cảnh và yêu cầu của người dùng mà còn tạo ra những đoạn mã chính xác và hiệu quả hơn, từ đó nâng cao trải nghiệm lập trình cho người dùng cuối.
