Luận Văn Thạc Sĩ Khoa Học Máy Tính: Xây Dựng Hệ Thống Sinh Mã Máy Tự Động

Luận văn thạc sĩ khoa học máy tính nghiên cứu xây dựng hệ thống sinh mã máy tự động với các phương pháp tinh chỉnh tham số hiệu quả.

• Tác giả: Lê Vũ Minh Huy
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Xây Dựng Hệ Thống Sinh Mã Máy Tự Động Áp Dụng Các Phương Pháp Tinh Chỉnh Tham Số
• Loại tài liệu: luận văn
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT OF DISSERTATION
• LỜI CAM ĐOAN
• Danh sách hình vẽ
• Danh sách bảng
• Danh sách mã nguồn
• 1. Chương 1: Giới thiệu đề tài
• 1.1. Giới thiệu chung
• 1.2. Tổng quan về Hệ thống sinh mã tự động
• 1.3. Mục tiêu đề tài
• 1.4. Giới hạn đề tài và đối tượng nghiên cứu
• 1.5. Đóng góp của luận văn
• 1.6. Tóm tắt nội dung
• 2. Chương 2: Các công trình nghiên cứu liên quan
• 2.1. Các cách tiếp cận cổ điển
• 2.2. Các cách tiếp cận hiện đại
• 2.2.1. Mô hình ngôn ngữ lớn
• 2.2.2. Kiến trúc Transformer
• 2.2.3. Các phương pháp tinh chỉnh tối ưu tham số
• 2.2.4. Phương pháp tối ưu tham số Low-Rank Adaptation (LoRA)
• 2.2.5. Phương pháp tinh chỉnh có hướng dẫn (Instruction Tuning)
• 4. Chương 4: Tập dữ liệu
• 4.1. Tập dữ liệu TypeScript-Instruct 20K
• 4.2. Tập dữ liệu cá nhân
• 5. Chương 5: Mô hình sinh mã
• 5.1. Mô hình nền tảng
• 5.2. Mô hình sinh mã máy tự động
• 5.2.1. Kiến trúc mô hình sinh mã máy tự động
• 5.2.2. Luồng xử lý mô hình sinh mã
• 5.3. Hiện thực và kết quả thử nghiệm
• 5.3.1. Xây dựng mô hình kiến thức tổng quát (TypeScript Public Model 13B)
• 5.3.2. Kết quả mô hình kiến thức tổng quát (TypeScript Public Model 13B)
• 5.3.3. Một số đoạn mã sinh bằng mô hình kiến thức tổng quát
• 5.4. Mô hình kiến thức đặc thù (TypeScript Private Model)
• 5.5. Một số đoạn mã sinh bằng mô hình kiến thức đặc thù
• 5.1. Kết quả đạt được
• 5.2. Hạn chế và vấn đề tồn đọng
• 5.3. Hướng phát triển
• Tài liệu tham khảo
• Phụ lục A: Các đoạn mã sinh được từ mô hình đề xuất
• A.1. Sinh mã cho các tác vụ luận lý cơ bản
• A.2. Sinh mã cho các thành phần giao diện đơn giản
• A.3. Sinh mã cho các tác vụ xử lý hệ thống

Tóm tắt

I. Giới thiệu đề tài

Trong bối cảnh phát triển mạnh mẽ của công nghệ phần mềm, bài toán sinh mã máy tự động đã trở thành một trong những thách thức lớn trong lĩnh vực trí tuệ nhân tạo và phát triển phần mềm. Mục tiêu của đề tài này là xây dựng một hệ thống tự động có khả năng tạo ra mã nguồn dựa trên các yêu cầu được mô tả bằng ngôn ngữ tự nhiên. Đặc biệt, nghiên cứu này tập trung vào việc phát triển mô hình sinh mã cho ngôn ngữ TypeScript, giúp lập trình viên tiết kiệm thời gian và công sức. Theo thống kê, số lượng lập trình viên trên toàn thế giới đang gia tăng nhanh chóng, điều này làm nổi bật nhu cầu cần thiết cho các công cụ hỗ trợ lập trình hiệu quả hơn. Đề tài không chỉ hướng đến việc cải thiện hiệu suất lập trình mà còn mở rộng khả năng tiếp cận lập trình cho nhiều đối tượng khác nhau.

1.1 Giới thiệu chung

Bài toán sinh mã máy tự động không chỉ đơn thuần là việc tạo ra mã nguồn, mà còn là một quá trình phức tạp liên quan đến việc hiểu và phân tích ngôn ngữ tự nhiên. Các mô hình ngôn ngữ lớn đã đóng vai trò quan trọng trong việc nâng cao khả năng hiểu biết của máy móc đối với yêu cầu của người dùng. Việc phát triển mã nguồn tự động sẽ giúp giảm thiểu thời gian và công sức của lập trình viên, đồng thời đảm bảo tính chính xác và nhất quán của mã được sinh ra. Những tiến bộ trong lĩnh vực trí tuệ nhân tạo đã mở ra nhiều cơ hội mới cho việc phát triển các hệ thống hỗ trợ lập trình, từ đó tạo ra một môi trường làm việc hiệu quả hơn cho lập trình viên.

II. Các công trình nghiên cứu liên quan

Nghiên cứu về hệ thống sinh mã tự động đã thu hút sự chú ý của nhiều nhà khoa học trong lĩnh vực trí tuệ nhân tạo. Các phương pháp cổ điển đã được áp dụng để giải quyết bài toán này, nhưng thường không đạt hiệu quả cao do hạn chế trong khả năng xử lý ngôn ngữ tự nhiên. Các mô hình ngôn ngữ lớn hiện nay, như GPT-3, đã thể hiện khả năng vượt trội trong việc sinh mã máy tự động. Những nghiên cứu gần đây đã chỉ ra rằng việc áp dụng các phương pháp tinh chỉnh tham số như Low-Rank Adaptation (LoRA) và Instruction Tuning có thể cải thiện đáng kể hiệu suất của các mô hình này. Sự phát triển này không chỉ giúp tối ưu hóa quá trình sinh mã mà còn mở ra hướng đi mới cho việc nghiên cứu các ứng dụng trong lĩnh vực phần mềm.

2.1 Các cách tiếp cận cổ điển

Các phương pháp cổ điển trong sinh mã máy thường dựa trên các mẫu mã đã được định nghĩa trước, dẫn đến hạn chế trong khả năng đáp ứng yêu cầu đa dạng của người dùng. Những phương pháp này thường gặp khó khăn trong việc xử lý ngôn ngữ tự nhiên một cách linh hoạt. Mặc dù đã có nhiều nghiên cứu nhằm cải thiện những hạn chế này, nhưng hiệu quả vẫn chưa đáp ứng được kỳ vọng. Do đó, việc phát triển các mô hình ngôn ngữ lớn với khả năng học hỏi từ dữ liệu lớn đã trở thành một xu hướng quan trọng trong nghiên cứu hiện nay.

III. Tập dữ liệu

Tập dữ liệu đóng vai trò quan trọng trong việc phát triển hệ thống sinh mã tự động. Trong nghiên cứu này, học viên đã xây dựng một tập dữ liệu gồm 20,000 cặp dữ liệu định hướng cho ngôn ngữ TypeScript, cùng với 40 cặp dữ liệu từ các dự án cá nhân. Việc xây dựng tập dữ liệu này không chỉ giúp cải thiện khả năng sinh mã mà còn tạo ra một cơ sở dữ liệu phong phú cho việc huấn luyện các mô hình ngôn ngữ lớn. Tập dữ liệu này sẽ được sử dụng để đào tạo các mô hình sinh mã, giúp cải thiện độ chính xác và hiệu suất của hệ thống. Hệ thống cũng sẽ được thử nghiệm với các mô hình nền tảng để đánh giá hiệu quả của các phương pháp tinh chỉnh tham số.

3.1 Tập dữ liệu TypeScript Instruct 20K

Tập dữ liệu TypeScript-Instruct 20K được xây dựng với mục tiêu cung cấp một nguồn dữ liệu đa dạng và phong phú cho việc phát triển mô hình sinh mã máy. Tập dữ liệu này bao gồm nhiều cặp yêu cầu và mã nguồn tương ứng, giúp mô hình có thể học hỏi và cải thiện khả năng sinh mã tự động. Việc sử dụng tập dữ liệu này không chỉ giúp mô hình hiểu rõ hơn về ngữ cảnh và yêu cầu của người dùng mà còn tạo ra những đoạn mã chính xác và hiệu quả hơn, từ đó nâng cao trải nghiệm lập trình cho người dùng cuối.

Nội dung chính

Tổng quan nghiên cứu

Lực lượng kỹ sư phần mềm toàn cầu vào năm 2024 đạt khoảng 28,7 triệu người và tăng trưởng trung bình hơn 1 triệu lập trình viên mỗi năm. Cùng với sự bùng nổ của trí tuệ nhân tạo, các công cụ trợ lý lập trình tự động đã chứng minh khả năng tăng tốc độ hoàn thành tác vụ lên đến 55%, điển hình như báo cáo ghi nhận từ hệ thống GitHub Copilot. Tuy nhiên, phần lớn các mô hình ngôn ngữ lớn (LLM) hiện nay tập trung chủ yếu vào ngôn ngữ Python, trong khi TypeScript – ngôn ngữ giữ vai trò trụ cột trong phát triển ứng dụng web hiện đại – vẫn chưa có các bộ dữ liệu hướng dẫn chuyên biệt và mô hình tối ưu tương xứng.

Vấn đề nghiên cứu trọng tâm của luận văn là giải quyết bài toán sinh mã máy tự động từ ngôn ngữ tự nhiên dành riêng cho TypeScript, đồng thời khắc phục rào cản chi phí tính toán khổng lồ khi huấn luyện và thích ứng mô hình cho các dự án đặc thù. Mục tiêu cụ thể bao gồm: xây dựng tập dữ liệu chỉ dẫn 20.000 mẫu cho TypeScript, phát triển mô hình sinh mã tổng quát trên nền tảng 13 tỷ tham số, và thiết lập mô hình sinh mã cho kiến thức dự án cá nhân bằng phương pháp tinh chỉnh tham số tối ưu (PEFT).

Phạm vi nghiên cứu được thực hiện tại Trường Đại học Bách Khoa – ĐHQG-HCM từ tháng 9 năm 2023 đến tháng 12 năm 2023, chính thức bảo vệ vào tháng 1 năm 2024. Luận văn đóng góp giải pháp thực tiễn giúp cá nhân và doanh nghiệp có thể triển khai hệ sinh thái AI hỗ trợ lập trình với chi phí phần cứng tiết kiệm, chỉ cần cập nhật khoảng 2% tổng số tham số mô hình nhưng vẫn duy trì độ chính xác cú pháp cao và logic chương trình vượt trội.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Khung lý thuyết của đề tài được xây dựng trên nền tảng kiến trúc mạng nơ-ron Transformer được Vaswani và các cộng sự giới thiệu năm 2017. Trọng tâm của kiến trúc là cơ chế Multi-Head Attention (MHA) kết hợp mạng truyền thẳng Fully-Connected Network (FFN), Residual Connection và Layer Normalization. Cơ chế tự chú ý cho phép mô hình nắm bắt ngữ cảnh dài hạn và mối liên hệ đa chiều giữa các token trong mã nguồn thông qua ba ma trận biến đổi Query, Key và Value.

Về phương pháp tinh chỉnh, nghiên cứu áp dụng kỹ thuật Thích ứng Hạng thấp (Low-Rank Adaptation - LoRA) do Hu và các cộng sự công bố năm 2021. LoRA đóng băng toàn bộ trọng số gốc của mô hình ngôn ngữ lớn và phân rã các ma trận cập nhật thành tích của hai ma trận có số chiều thấp hơn. Kỹ thuật này giảm thiểu hơn 90% bộ nhớ GPU cần thiết trong quá trình huấn luyện mà không làm suy giảm năng lực biểu diễn của mô hình. Bên cạnh đó, phương pháp Tinh chỉnh có hướng dẫn (Instruction Tuning) được ứng dụng để hợp nhất tác vụ sinh mã và giải thích ngữ nghĩa mã nguồn vào cùng một định dạng đầu vào - đầu ra tự nhiên, giúp mô hình hiểu sâu sắc chỉ thị của người dùng.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp trích xuất và làm giàu dữ liệu tự động. Cỡ mẫu nghiên cứu chính gồm 20.000 cặp câu lệnh - mã nguồn trong tập dữ liệu TypeScript-Instruct 20K và 40 cặp mẫu chuyên sâu trong tập dữ liệu đặc thù dự án. Quy trình chọn mẫu bắt đầu từ việc lọc 10.000 đoạn mã TypeScript ngẫu nhiên từ kho dữ liệu The Stack dung lượng 131,46 GB thuộc dự án BigCode của cộng đồng HuggingFace.

Dữ liệu thô sau đó được mở rộng thông qua hai kỹ thuật Self-Instruct và Evol-Instruct bằng mô hình GPT-3.5-turbo API nhằm tăng độ phức tạp của bài toán, giới hạn độ dài mỗi mẫu dưới 4.096 tokens để tương thích với cửa sổ ngữ cảnh. Phương pháp phân tích thực nghiệm dựa trên mô hình nền tảng CodeLlama-13B-Instruct của Meta AI với 13 tỷ tham số đã qua tiền huấn luyện trên 500 tỷ tokens mã nguồn. Việc lựa chọn LoRA trên CodeLlama-13B-Instruct đảm bảo cân bằng tối ưu giữa năng lực suy luận mạnh mẽ và khả năng triển khai trên hạ tầng phần cứng giới hạn. Toàn bộ quá trình nghiên cứu, thử nghiệm và đánh giá được thực thi nghiêm ngặt trong lộ trình 16 tuần.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, mô hình kiến thức tổng quát TypeScript Public Model 13B sau khi tinh chỉnh bằng LoRA trên 20.000 cặp dữ liệu chỉ dẫn đã ghi nhận sự cải thiện rõ rệt về khả năng sinh mã TypeScript chuẩn cú pháp. Trên thang đo Multi-Lingual HumanEval với chỉ số pass@1, mô hình đề xuất đạt mức tăng trưởng xấp xỉ 18% so với mô hình gốc CodeLlama-13B chưa qua tinh chỉnh chuyên biệt cho TypeScript, hạn chế tối đa các lỗi thiếu khai báo kiểu dữ liệu hoặc sai lệch thư viện.

Thứ hai, mô hình kiến thức đặc thù TypeScript Private Model chứng minh năng lực thích ứng vượt trội đối với các cấu trúc khung mã nguồn nội bộ. Thử nghiệm trên các bài toán tích hợp thư viện quản trị FireCMS và giao thức React Hooks riêng biệt, mô hình đề xuất đạt độ chính xác cấu trúc 100%, trong khi mô hình nền tảng ban đầu hoàn toàn thất bại do hiện tượng ảo giác (hallucination) và không nhận diện được các thuộc tính tùy biến như PostCategories hay Lazada Collection.

Thứ ba, việc ứng dụng LoRA giúp giảm tải 98% số lượng trọng số cần cập nhật trong quá trình huấn luyện, chỉ tiêu tốn tài nguyên trên khoảng 2% tham số bổ sung. Tốc độ suy luận và tối ưu bộ nhớ đạt hiệu suất ấn tượng, giải quyết triệt để vấn đề quá tải bộ nhớ VRAM trên các hệ thống máy chủ tầm trung.

Thảo luận kết quả

Hiệu quả vượt trội của mô hình bắt nguồn từ việc kết hợp ma trận hạng thấp trực tiếp vào các khối chiếu Key và Value của kiến trúc Transformer. Cơ chế này giúp giữ nguyên kho tri thức lập trình khổng lồ từ 500 tỷ tokens tiền huấn luyện, đồng thời định hướng sự chú ý của mạng nơ-ron vào các đặc trưng cú pháp tĩnh nghiêm ngặt của TypeScript.

Khi so sánh với các nghiên cứu tiền nhiệm sử dụng phương pháp sinh mã dựa trên khuôn mẫu cổ điển, mô hình đề xuất cho thấy tính linh hoạt tuyệt đối trước sự đa dạng của ngôn ngữ tự nhiên. So với phương pháp tinh chỉnh toàn bộ tham số (Full Fine-Tuning) đòi hỏi hệ thống nhiều GPU dung lượng 80GB VRAM đắt đỏ, giải pháp LoRA giúp giảm chi phí phần cứng đến 75% mà vẫn đạt chất lượng đầu ra tương đương.

Dữ liệu thực nghiệm được trực quan hóa qua biểu đồ hàm mất mát (cross-entropy loss) cho thấy giá trị loss hội tụ nhanh chóng xuống dưới mức 0,8 chỉ sau 3 chu kỳ huấn luyện (epochs). Đồng thời, bảng tổng hợp phân phối lỗi chỉ ra rằng tỷ lệ lỗi biên dịch giảm từ 32% ở mô hình cơ sở xuống còn dưới 9% ở mô hình đề xuất.

Đề xuất và khuyến nghị

Thứ nhất, chuẩn hóa quy trình xây dựng tập dữ liệu chỉ dẫn nội bộ dành cho các doanh nghiệp công nghệ. Nhóm kỹ sư trưởng và kiến trúc sư phần mềm cần chủ động thu thập các mẫu mã nguồn đặc thù, áp dụng phương pháp tự sinh chỉ thị nhằm tạo lập bộ 5.000 đến 10.000 cặp dữ liệu chuyên biệt trong vòng 3 đến 6 tháng, hướng tới mục tiêu tự động hóa 35% khối lượng công việc viết mã lặp lại.

Thứ hai, triển khai kiến trúc bộ chuyển đổi thích ứng LoRA dạng mô-đun hóa trong hệ thống CI/CD. Bộ phận DevOps và kỹ sư AI cần thiết lập cơ chế nạp động (dynamic loading) các trọng số LoRA riêng biệt cho từng dự án trên cùng một mô hình nền tảng 13B, giúp tiết kiệm 60% chi phí lưu trữ và tài nguyên vận hành máy chủ suy luận trong lộ trình 2 tháng.

Thứ ba, mở rộng kho ngữ liệu huấn luyện đa khung ứng dụng web. Các viện nghiên cứu và phòng thí nghiệm đại học nên tiếp tục gia tăng quy mô tập dữ liệu TypeScript-Instruct từ 20.000 lên 100.000 mẫu trong 12 tháng tới, bao phủ sâu các thư viện phổ biến như Next.js, NestJS, Tailwind CSS và State Management (Zustand, Effector).

Thứ tư, tích hợp giao diện tương tác người dùng kèm cơ chế đánh giá phản hồi thời gian thực (Human-in-the-Loop). Đội ngũ phát triển sản phẩm cần hoàn thiện các tiện ích mở rộng trên môi trường lập trình (như VS Code Extension) trong vòng 4 tháng, đặt mục tiêu rút ngắn 40% thời gian duyệt mã và phản hồi kỹ thuật của lập trình viên.

Đối tượng nên tham khảo luận văn

Thứ nhất, kỹ sư phần mềm và lập trình viên Frontend/Fullstack: Tiếp cận phương pháp ứng dụng AI để tự động hóa sinh mã TypeScript, xây dựng thành phần giao diện React chuẩn xác và nắm vững cách tối ưu hiệu suất làm việc hàng ngày, giúp tăng năng suất cá nhân từ 30% đến 50%.

Thứ hai, nhà nghiên cứu và chuyên gia Trí tuệ nhân tạo (AI/NLP): Tham khảo phương pháp luận khoa học về quy trình xử lý dữ liệu mã nguồn mở quy mô 131,46 GB, kỹ thuật tạo dữ liệu Self-Instruct/Evol-Instruct và cơ chế toán học của LoRA trên các mô hình ngôn ngữ lớn 13 tỷ tham số.

Thứ ba, giám đốc công nghệ (CTO) và nhà quản lý kỹ thuật: Nắm bắt giải pháp xây dựng hệ thống AI sinh mã nội bộ bảo mật, làm chủ công nghệ huấn luyện mô hình trên dữ liệu độc quyền của doanh nghiệp mà không để lộ mã nguồn ra các dịch vụ đám mây công cộng.

Thứ tư, học viên cao học và sinh viên chuyên ngành Khoa học Máy tính: Sử dụng luận văn như tài liệu học thuật toàn diện về xử lý ngôn ngữ tự nhiên ứng dụng trong kỹ thuật phần mềm, từ thiết kế tập dữ liệu, tinh chỉnh PEFT đến phương pháp đánh giá thực nghiệm chuẩn mực.

Câu hỏi thường gặp

Tại sao nghiên cứu lại tập trung vào ngôn ngữ TypeScript thay vì Python? Phần lớn các mô hình hiện nay như CodeLlama-Python chỉ chuyên sâu cho Python, tạo ra khoảng trống lớn cho hệ sinh thái TypeScript vốn được hàng triệu lập trình viên web sử dụng. Việc tập trung vào TypeScript giải quyết nhu cầu thực tế về tính chặt chẽ của hệ thống kiểu dữ liệu và nâng cao năng suất lập trình web.

Phương pháp LoRA giúp tối ưu hóa tài nguyên phần cứng như thế nào? Thay vì cập nhật toàn bộ 13 tỷ tham số của mô hình gốc, LoRA đóng băng mạng chính và chỉ huấn luyện các ma trận tích phân rã cấp thấp. Kỹ thuật này giúp giảm hơn 90% lượng bộ nhớ GPU tiêu thụ, cho phép tinh chỉnh mô hình lớn trên các GPU phổ thông mà không làm suy giảm độ chính xác.

Tập dữ liệu TypeScript-Instruct 20K được xây dựng như thế nào để đảm bảo chất lượng? Tập dữ liệu được trích xuất từ 131,46 GB mã nguồn The Stack, lọc chọn 10.000 mẫu tiêu chuẩn và nhân bản thành 20.000 cặp câu lệnh bằng kỹ thuật Self-Instruct và Evol-Instruct qua GPT-3.5-turbo API. Các mẫu đều được làm sạch cú pháp và kiểm soát độ dài dưới 4.096 tokens.

Mô hình TypeScript Private Model giải quyết bài toán mã nguồn đặc thù ra sao? Mô hình được tinh chỉnh trên tập dữ liệu trích xuất từ chính dự án nội bộ, giúp mạng nơ-ron học chính xác các quy ước đặt tên, thư viện riêng (như FireCMS) và kiến trúc dự án. Nhờ đó, mô hình đạt độ chính xác sinh mã đặc thù 100% trong khi các mô hình công cộng bị lỗi ảo giác.

Hệ sinh thái của luận văn có thể triển khai thành sản phẩm thực tế không? Hoàn toàn khả thi. Tác giả đã hiện thực hóa giao diện trực quan cho phép lập trình viên tương tác trực tiếp với mô hình. Nghiên cứu cũng cung cấp cơ sở để đóng gói thành các tiện ích mở rộng trong môi trường phát triển tích hợp (IDE), sẵn sàng phục vụ sản xuất thực tế.

Kết luận

• Xây dựng thành công bộ dữ liệu chuẩn hóa TypeScript-Instruct 20K gồm 20.000 cặp câu lệnh - mã nguồn, giải quyết sự khan hiếm tài nguyên huấn luyện cho hệ sinh thái TypeScript.
• Hiện thực hóa hai mô hình sinh mã chuyên sâu TypeScript Public Model 13B và TypeScript Private Model dựa trên nền tảng CodeLlama-13B kết hợp kỹ thuật LoRA tối ưu.
• Tiết kiệm 98% tham số cần huấn luyện, giảm chi phí hạ tầng phần cứng xuống mức tối thiểu nhưng vẫn cải thiện khoảng 18% độ chính xác sinh mã trên các bài toán đánh giá chuẩn.
• Đóng góp một chương nghiên cứu học thuật giá trị trong cuốn sách chuyên khảo quốc tế về Trí tuệ nhân tạo tạo sinh trong Kỹ thuật Phần mềm (Generative AI for Software Engineering).
• Lộ trình 6 đến 12 tháng tới hướng đến mở rộng dữ liệu lên 100.000 mẫu và tích hợp các kỹ thuật quản lý bộ nhớ tiên tiến như PagedAttention để tối ưu hóa tốc độ suy luận gấp nhiều lần.

Hãy tham khảo và ứng dụng các phương pháp tinh chỉnh tham số tối ưu từ công trình nghiên cứu này để xây dựng ngay trợ lý sinh mã máy thông minh, bảo mật và hiệu quả cho tổ chức của bạn.

Trích đoạn nội dung tài liệu

Chương 1 Giới thiệu đề tài Trong chương này, học viên xin biện luận về lý do thực hiện đề tài, giới thiệu Hệ thống sinh mã tự động, làm rõ mục tiêu và giới hạn phạm vi của đề tài. Đồng thời trình bày những đóng góp đã đạt được cùng nội dung tóm tắt của các chương luận văn 1.1 Giới thiệu chung Trong bối cảnh công nghệ phần mềm đang phát triển vượt bậc, trí tuệ nhân tạo đã và đang trở thành một yếu tố quan trọng và mang lại nhiều tiềm năng trong lĩnh vực này. Theo thống kê, năm 2024 sẽ có khoảng 28,7 triệu lập trình viên trên toàn thế giới, và số lượng này đang tăng lên hơn 1 triệu lập trình viên mỗi năm [3]. Sự gia tăng này chứng tỏ tầm quan trọng của lập trình và nhu cầu ngày càng tăng, cả về số lượng lẫn chất lượng của lập trình viên.

Việc phát triển mã nguồn sao cho dễ dàng, hiệu quả và năng suất, từ đó, dần thu hút được nhiều sự quan tâm và trở thành một trong những ưu tiên hàng đầu. Đặc biệt là khi lĩnh vực trí tuệ nhân tạo đã và đang đạt được nhiều bước đột phá lớn trong vài năm gần đây, giúp máy móc có thể hiểu được ngôn ngữ tự nhiên một cách rất phổ quát. Điều này nhận được nhiều kỳ vọng từ cộng đồng về việc xây dựng những hệ thống hỗ trợ các tác vụ lập trình, giúp giảm thời gian và công sức của lập trình viên trong việc phát triển mã nguồn, cải thiện năng suất làm việc và giúp họ tập trung nâng cao chất lượng của các ứng dụng phần mềm. Trí tuệ nhân tạo và sự phát triển của cộng đồng lập trình viên đang cùng nhau tạo nên một bức tranh lớn trong công nghệ phần mềm hiện đại.

Sự kết hợp này mang lại tiềm năng trong 1 việc tăng năng suất phát triển mã nguồn và cung cấp cho lập trình viên các công cụ thông minh để tạo ra nhiều ứng dụng phần mềm tiên tiến và hiệu quả hơn. Hơn thế nữa, nó còn đưa việc lập trình tiếp cận được nhiều tập đối tượng. Giúp những lập trình viên mới tự tin trên con đường của mình khi mã nguồn dự án, các thư viện hay ngôn ngữ lập trình ngày càng trở nên đa dạng và phức tạp. Giúp được cả những người ngoài mảng lập trình trong công việc chuyên ngành của họ với bối cảnh công nghệ thông tin đang dần trở nên thiết yếu trong mọi ngành nghề Trên thực tế, các mô hình ngôn ngữ lớn như ChatGPT của OpenAI [4], đang tạo nên cơn sốt trên thế giới.

Chỉ sau hai tháng ra mắt, ChatGPT đã thu hút hơn 100 triệu người dùng, trở thành ứng dụng internet phát triển nhanh nhất trong lịch sử (theo The Guardian, 2023 [5]). Tương tự, Copilot của Microsoft, một mô hình được thiết kế cho việc hỗ trợ lập trình, đã thu hút hơn 1 triệu lập trình viên chuyên nghiệp sử dụng (theo Euronews, 2023, [6]) và có thể tăng tốc các tác vụ lập trình lên đến 55% [7]. Đây là những công cụ mới đầy hứa hẹn để tăng năng suất lập trình, được dự đoán sẽ có tác động đáng kể đến lực lượng lao động trong những năm sắp tới [8].2 Tổng quan về Hệ thống sinh mã tự động Bài toán sinh mã tự động là một trong những bài toán quan trọng trong lĩnh vực trí tuệ nhân tạo và phát triển phần mềm, với mục đích nhằm tạo ra một cách tự động các đoạn mã máy dựa trên yêu cầu và mô tả từ ngôn ngữ tự nhiên của người dùng. Việc giải quyết bài toán này mang lại rất nhiều lợi ích, chẳng hạn như giúp việc lập trình trở nên dễ dàng hơn, tăng cường hiệu suất và độ chính xác của quá trình phát triển phần mềm, giảm thời gian và công sức cần thiết để viết mã, đảm bảo tính nhất quán và đúng đắn của các đoạn mã được sinh ra.

Việc sinh mã không chỉ mang lại lợi ích khi chúng ta 2 cần lời giải cho một bài toán, mà còn dùng để kiểm chứng, học hỏi thêm từ nhiều khía cạnh và cách giải quyết khác nhau.1: Tình huống thực tế cho Bài toán sinh mã tự động Hình 1.2: Kết quả sinh mã cho bài toán sinh logo với mô hình kiến thức tổng quát [5.4] 3 Yêu cầu: Sinh mã cho thành phần nút bấm màu trắng, viền xanh dương, hình tròn và có một logo hcmut ở giữa, sử dụng tailwinds, style inline Hình 1.3: Kết quả giải thích mã cho bài toán sinh logo với mô hình kiến thức tổng quát [5.4] Có không ít những phương pháp cổ điển đã được nghiên cứu để cố gắng giải quyết bài toán này [2.1], tuy nhiên chúng đều không mang lại hiệu quả cao. Đa số phương pháp cổ điển đều gặp phải một vấn đề cố hữu chung của những mô hình (template) đã được định nghĩa cứng, đó là chúng không giải quyết được bài toán một cách tổng quát với sự biến đổi của ngôn ngữ tự nhiên. Với bước đột phá của trí tuệ nhân tạo trong vài năm trở lại đây, cụ thể là những mô hình ngôn ngữ lớn (large language models) và các phương pháp tinh chỉnh tham số (fine-tuning methods), máy móc đã có khả năng hiểu được ngôn ngữ tự nhiên một cách phổ quát. Cuộc cách mạng này đã mở đường cho nhiều nhánh nghiên cứu trong lĩnh vực ngôn ngữ tự nhiên nói chung, và lĩnh vực sinh mã máy tự động dựa trên yêu cầu cụ thể nói riêng.

4 Để sinh được mã nguồn một cách tự động bằng việc vận dụng những đột phá mới của trí thông minh nhân tạo, các mô hình hiện đại dùng để giải quyết bài toán sinh mã thường phải được học từ rất nhiều kiến thức, hàng tỉ những đoạn mã được thu thập từ khắp nơi trên mạng. Điều đó giúp cho hệ thống có được một trí thông minh tổng quát để nhìn nhận và xử lý yêu cầu từ người dùng, giải quyết được vấn đề mà các phương pháp cổ điển gặp phải. Mặc dù vậy, trong thực tế, nhu cầu thực tiễn về việc phát triển mã nguồn cho những dự án có tính đặc thù cao, đi kèm với những yếu tố bảo mật nghiêm ngặt vẫn còn là một thách thức lớn.4: Tình huống thực tế sinh mã với yêu cầu đặc thù Bởi vì, nếu không sử dụng mã nguồn và kiến thức của dự án đặc thù, hệ thống sẽ không có khả năng để sinh ra những đoạn mã thỏa mãn yêu cầu phức tạp trong thực tế. Kể cả khi tổ chức hay cá nhân đó cố gắng huấn luyện lại mô hình ngôn ngữ lớn trên tập mã nguồn dự án của riêng họ, điều này cũng không mấy khả thi.

Thứ nhất, việc huấn luyện mô hình ngôn ngữ lớn đòi hỏi một hạ tầng phần cứng đủ mạnh mà tổ chức hay cá nhân đơn lẻ khó có thể đảm bảo. Thứ hai, thời gian huấn luyện thường sẽ khá đáng kể. Và cuối cùng, kết quả của việc huấn luyện là một bộ trọng số rất lớn, sẽ tốn nhiều không gian để lưu trữ cũng như tài nguyên để vận hành. Điều đó cũng có nghĩa tài nguyên và công sức bỏ ra để huấn luyện nhiều dự án khác 5 nhau sẽ bị lãng phí không cần thiết trong khi người dùng chỉ cần mô hình hoạt động tốt trên một vài dự án đặc thù vừa và nhỏ.

Ngược lại, nếu chỉ tập trung huấn luyện trên những dự án đặc thù ngay từ đầu chúng ta lại không tận dụng được khối kiến thức tổng quát mà mô hình ngôn ngữ lớn đem lại, dẫn đến mã nguồn được sinh ra với chất lượng không cao. Như vậy, học viên nhận định việc sinh mã máy tự động tuy có thể hoạt động tốt với những yêu cầu tổng quát bằng việc áp dụng các mô hình ngôn ngữ lớn, song vẫn còn nhiều thách thức khi vận dụng vào từng dự án cụ thể và đặc thù Để giải quyết những thách thức đó, trong ít năm gần đây, rất nhiều nghiên cứu đã tích cực trong việc tìm ra phương pháp để tinh chỉnh mô hình ngôn ngữ lớn bằng các phương pháp tối ưu tham số. Các phương pháp này hầu hết đều có chung một mục đích, đó là vận dụng khối kiến thức tổng quát vào các bài toán đặc thù trong điều kiện phần cứng hạn chế mà vẫn giữ được độ hiệu quả và chính xác tương đương. Luận văn của học viên cũng sẽ vận dụng cách tiếp cận này.

Hệ thống sinh mã tự động là tên gọi chung cho lớp các bài toán liên quan đến việc sinh ra mã nguồn tự động dựa trên những yêu cầu đặc tả của người dùng. Có thể chia Hệ thống sinh mã thành các ba nhóm công việc chính: học kiến thức từ dữ liệu đầu vào (learning), sinh mã máy tự động (generating) và phân tích kết quả đầu ra (analyzing) Ở giai đoạn học dữ liệu đầu vào, mục tiêu của hệ thống là học được những kiến thức, quy tắc và mô hình từ các yêu cầu đặc tả cho trước hay từ mã nguồn của các dự án thực tế mà người dùng cung cấp. Bằng việc ứng dụng những đột phá của trí tuệ nhân tạo thời gian gần đây, như các mô hình học sâu, mô hình ngôn ngữ lớn, việc trí thông minh nhân tạo hiểu bộ dữ liệu mã nguồn đầu vào đang ngày càng được cải thiện tốt hơn. Tiếp sau đó là quá trình sinh mã máy tự động, dựa vào yêu cầu cụ thể của người dùng mà hệ 6 Hình 1.5: Phân loại Hệ thống sinh mã tự động thống sẽ đề xuất, gợi ý những đoạn mã máy phù hợp với yêu cầu đó.

Đây là một nhu cầu rất thực tiễn khi lập trình. Cuối cùng, hệ thống có thể tiếp tục hậu xử lý kết quả vừa được tự động sinh ra. Ví dụ như tác vụ giải thích ý nghĩa của đoạn mã nguồn này, hệ thống hóa câu trúc, tự sinh ra các phương thức kiểm thử về tính đúng đắn của kết quả,. Mỗi công việc trong Hệ thống sinh mã tự động trên đều là một lĩnh vực đang rất thu hút và được cộng đồng nghiên cứu tích cực.

Chúng thường được chia thành các công việc riêng biệt và người phát triển mô hình thường phải huấn luyện hoặc tinh chỉnh các mô hình khác nhau cho từng công việc. Tuy nhiên, với công cụ tinh chỉnh có hướng dẫn sẽ được học viên trình bày ở phần 3.5, công việc sinh mã tự động và giải thích ý nghĩa đoạn mã sẽ được huấn luyện chung chỉ trong một mô hình công việc (downstream model) mà luận văn xây dựng. 7 Hệ thống sinh mã tự động hiện nay là một cuộc chạy đua của không chỉ giữa những nhà nghiên cứu cá nhân, mà còn của cả những công ty tập đoàn công nghệ lớn trên thế giới.