Luận văn thạc sĩ về hệ thống hỗ trợ lập lịch kiểm thử phần mềm trong khoa học máy tính

Luận văn thạc sĩ phân tích máy tính hệ hỗ trợ lập lịch dự án kiểm thử phần mềm với dữ liệu, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Đoàn Xuân Duy
• Người hướng dẫn: PGS.TS Quản Thành Thơ
• Trường học: Đại học Bách Khoa - ĐHQG TP. Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Hệ Hỗ Trợ Lập Lịch Kiểm Thử Phần Mềm Với Dữ Liệu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• LỜI CAM ĐOAN
• 1. Chương 1: Tổng quan về đề tài
• 1.1. Giới thiệu đề tài
• 1.2. Mục tiêu, phạm vi và đối tượng nghiên cứu
• 1.2.1. Mục tiêu nghiên cứu
• 1.2.2. Đối tượng và phạm vi nghiên cứu
• 1.3. Ý nghĩa thực tiễn và khoa học của đề tài
• 1.3.1. Ý nghĩa thực tiễn
• 1.3.2. Ý nghĩa khoa học
• 2. Chương 2: Các công trình nghiên cứu khoa học liên quan
• 2.1. Mô hình bài toán lập lịch kiểm thử dự án phần mềm
• 2.2. Lược khảo các công trình nghiên cứu khoa học liên quan
• 2.2.1. Lập lịch dùng giải thuật di truyền (Genetic Algorithm)
• 2.2.2. Lập lịch dùng mô phỏng luyện kim (Simulated Annealing)
• 2.2.3. Lập lịch dùng giải thuật đàn kiến (Ant Colony Algorithm)
• 2.2.4. Lập lịch dùng tìm kiếm Tabu (Tabu Search)
• 2.2.5. Lập lịch dùng giải thuật tối ưu bầy đàn (Particle Swarm Optimization)
• 3. Chương 3: Triển khai các giải thuật lập lịch đã lược khảo với tiêu chí điểm chọn
• 3.1. Đề xuất tiêu chí điểm chọn
• 3.1.1. Quá trình tạo cơ sở tri thức điểm chọn
• 3.1.1.1. Thu thập và tinh chỉnh dữ liệu
• 3.1.1.2. Xây dựng công thức tính tiêu chí điểm chọn
• 3.2. Ứng dụng tiêu chí điểm chọn vào các giải thuật đã lược khảo
• 3.2.1. Giải thuật di truyền cho lập lịch kiểm thử dự án phần mềm
• 3.2.2. Giải thuật mô phỏng luyện kim cho lập lịch kiểm thử dự án phần mềm
• 3.2.3. Giải thuật đàn kiến cho lập lịch kiểm thử dự án phần mềm
• 3.2.4. Giải thuật tìm kiếm Tabu cho lập lịch kiểm thử dự án phần mềm
• 3.2.5. Giải thuật tối ưu bầy đàn cho lập lịch kiểm thử dự án phần mềm
• 4. Chương 4: Thực nghiệm các giải pháp lập lịch đã áp dụng tiêu chí điểm chọn
• 4.1. Mục tiêu thực nghiệm
• 4.2. Triển khai thực nghiệm
• 4.2.1. Lựa chọn tập mẫu thực nghiệm thực tế
• 4.2.2. Kết quả thực nghiệm
• 4.2.3. Nhận xét về kết quả thực nghiệm
• 5. Chương 5: Xây dựng hệ hỗ trợ lập lịch dự án kiểm thử phần mềm
• 5.1. Hệ hỗ trợ lập lịch dự án kiểm thử phần mềm
• 5.2. Kết quả xây dựng
• 6. Chương 6: Kết luận
• 6.1. Những điều đạt được
• 6.2. Những điều chưa được
• 6.3. Hướng phát triển trong tương lai
• Tài liệu tham khảo

Tóm tắt

I. Tổng quan về đề tài

Đề tài nghiên cứu về hệ thống hỗ trợ lập lịch kiểm thử phần mềm trong lĩnh vực khoa học máy tính nhằm tối ưu hóa quy trình kiểm thử phần mềm. Việc lập lịch kiểm thử là một yếu tố quan trọng trong giai đoạn kiểm thử của quy trình phát triển phần mềm. Các test case cần được phân công cho các tester một cách hợp lý để đảm bảo chất lượng sản phẩm. Mục tiêu của nghiên cứu là xây dựng một hệ thống hỗ trợ lập lịch, giúp giảm thiểu thời gian thực hiện và chi phí, đồng thời nâng cao hiệu quả kiểm thử. Theo đó, việc áp dụng các giải thuật xấp xỉ như giải thuật di truyền, mô phỏng luyện kim, và tối ưu bầy đàn sẽ được nghiên cứu để tìm ra lịch thực hiện test case tối ưu nhất.

1.1. Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu là phát triển một tiêu chí đánh giá độ phù hợp giữa test case và tester. Tiêu chí này sẽ được áp dụng vào các giải thuật xấp xỉ để tìm ra lịch thực hiện test case có tổng thời gian thực hiện (makespan) ngắn nhất. Nghiên cứu cũng hướng đến việc giảm thiểu rủi ro trong quá trình thực hiện kiểm thử, đảm bảo rằng các test case được thực hiện đúng thời hạn và đạt chất lượng cao nhất.

1.2. Ý nghĩa thực tiễn và khoa học

Nghiên cứu này không chỉ có ý nghĩa thực tiễn trong việc tối ưu hóa quy trình kiểm thử phần mềm mà còn đóng góp vào lý thuyết về lập lịch kiểm thử. Hệ thống hỗ trợ lập lịch có thể được áp dụng cho nhiều mô hình bài toán khác nhau trong lĩnh vực khoa học máy tính, từ đó mở rộng khả năng ứng dụng của các giải thuật xấp xỉ trong thực tiễn. Điều này giúp nâng cao hiệu quả công việc và giảm thiểu chi phí cho các dự án phần mềm.

II. Các công trình nghiên cứu khoa học liên quan

Nghiên cứu đã lược khảo nhiều công trình liên quan đến lập lịch kiểm thử phần mềm. Các giải thuật như giải thuật di truyền, mô phỏng luyện kim, và tối ưu bầy đàn đã được áp dụng để giải quyết bài toán lập lịch. Mỗi giải thuật có những ưu điểm và nhược điểm riêng, tuy nhiên, việc lựa chọn giải thuật phù hợp cho từng tình huống cụ thể là rất quan trọng. Các nghiên cứu trước đây đã chỉ ra rằng việc áp dụng các phương pháp xấp xỉ có thể mang lại kết quả tốt hơn so với các phương pháp chính xác trong nhiều trường hợp thực tế. Điều này cho thấy tầm quan trọng của việc phát triển các tiêu chí đánh giá và lựa chọn giải thuật phù hợp cho lập lịch kiểm thử.

2.1. Mô hình bài toán lập lịch kiểm thử

Mô hình bài toán lập lịch kiểm thử được xây dựng dựa trên các yếu tố như số lượng test case, số lượng tester, và các ràng buộc về thời gian thực hiện. Mỗi test case cần được phân công cho một tester phù hợp, đảm bảo rằng tổng thời gian thực hiện là ngắn nhất. Các ràng buộc này bao gồm yêu cầu về thứ tự thực hiện và khả năng của tester trong việc thực hiện test case. Việc xác định mô hình chính xác sẽ giúp tối ưu hóa quy trình lập lịch và nâng cao hiệu quả kiểm thử.

2.2. Các giải thuật xấp xỉ

Các giải thuật xấp xỉ như giải thuật di truyền, mô phỏng luyện kim, và tối ưu bầy đàn đã được nghiên cứu và áp dụng trong nhiều bài toán lập lịch khác nhau. Mỗi giải thuật có cách tiếp cận riêng, từ việc mô phỏng quá trình tiến hóa tự nhiên đến việc sử dụng các nguyên tắc của trí tuệ bầy đàn. Việc lựa chọn giải thuật phù hợp sẽ phụ thuộc vào đặc điểm của bài toán cụ thể và yêu cầu về thời gian tính toán. Nghiên cứu này sẽ tập trung vào việc áp dụng các giải thuật này vào mô hình lập lịch kiểm thử phần mềm.

III. Triển khai các giải thuật lập lịch

Nghiên cứu đã triển khai các giải thuật lập lịch đã lược khảo với tiêu chí điểm chọn. Quá trình này bao gồm việc thu thập và tinh chỉnh dữ liệu, xây dựng công thức tính tiêu chí điểm chọn, và ứng dụng tiêu chí này vào các giải thuật đã lược khảo. Việc áp dụng tiêu chí điểm chọn giúp xác định độ phù hợp giữa test case và tester, từ đó tối ưu hóa lịch thực hiện. Kết quả thực nghiệm cho thấy rằng việc áp dụng tiêu chí này đã cải thiện đáng kể hiệu quả của quá trình lập lịch kiểm thử.

3.1. Đề xuất tiêu chí điểm chọn

Tiêu chí điểm chọn được đề xuất nhằm đánh giá độ phù hợp giữa test case và tester. Tiêu chí này dựa trên dữ liệu thực hiện test case thành công của tester trong quá khứ. Việc áp dụng tiêu chí này vào các giải thuật lập lịch giúp nâng cao khả năng chọn lựa tester phù hợp cho từng test case, từ đó tối ưu hóa quy trình kiểm thử và giảm thiểu rủi ro trong quá trình thực hiện.

3.2. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy rằng việc áp dụng tiêu chí điểm chọn đã mang lại những cải thiện rõ rệt trong quá trình lập lịch kiểm thử. Các lịch thực hiện được tối ưu hóa với tổng thời gian thực hiện ngắn nhất và độ phù hợp cao nhất giữa test case và tester. Điều này chứng tỏ rằng tiêu chí điểm chọn có thể được áp dụng hiệu quả trong thực tiễn, giúp nâng cao chất lượng kiểm thử phần mềm.

IV. Kết luận

Nghiên cứu đã xây dựng thành công hệ thống hỗ trợ lập lịch kiểm thử phần mềm với dữ liệu thực tế. Hệ thống này không chỉ giúp tối ưu hóa quy trình lập lịch mà còn giảm thiểu rủi ro và chi phí cho các dự án phần mềm. Các giải thuật xấp xỉ đã được áp dụng một cách hiệu quả, cho thấy tiềm năng lớn trong việc cải thiện quy trình kiểm thử. Nghiên cứu cũng mở ra hướng phát triển mới cho các mô hình lập lịch khác trong lĩnh vực khoa học máy tính.

4.1. Những điều đạt được

Nghiên cứu đã đạt được mục tiêu đề ra, xây dựng được hệ thống hỗ trợ lập lịch với tiêu chí đánh giá độ phù hợp giữa test case và tester. Hệ thống này đã được thử nghiệm và cho kết quả khả quan, chứng minh tính khả thi và hiệu quả trong thực tiễn.

4.2. Hướng phát triển trong tương lai

Hướng phát triển trong tương lai sẽ tập trung vào việc mở rộng hệ thống hỗ trợ lập lịch cho các mô hình bài toán khác trong lĩnh vực khoa học máy tính. Nghiên cứu cũng sẽ tiếp tục cải tiến các giải thuật xấp xỉ để nâng cao hiệu quả và độ chính xác trong quá trình lập lịch kiểm thử.

Nội dung chính

Tổng quan nghiên cứu

Trong quy trình phát triển phần mềm hiện đại, đặc biệt là giai đoạn kiểm thử hồi quy liên tục, khối lượng kiểm thử tăng trưởng tỷ lệ thuận với độ phức tạp của hệ thống. Theo ước tính từ các dự án thực tế, việc phân công thủ công hàng trăm test case cho đội ngũ kiểm thử viên (tester) thường dẫn đến tình trạng quá tải cục bộ, kéo dài tổng thời gian hoàn thành (makespan) và gia tăng rủi ro chậm tiến độ bàn giao sản phẩm từ 15% đến 30%. Bài toán lập lịch kiểm thử phần mềm về bản chất là một bài toán tối ưu tổ hợp thuộc lớp đa thức không xác định (NP-hard), không thể tìm ra nghiệm tối ưu toàn cục bằng các thuật toán duyệt vét cạn trong thời gian đa thức khi không gian tìm kiếm mở rộng.

Nhằm giải quyết nút thắt cổ chai này, đề tài nghiên cứu tập trung xây dựng một hệ thống hỗ trợ ra quyết định lập lịch cho dự án kiểm thử phần mềm dựa trên dữ liệu lịch sử và kỹ thuật tối ưu hóa xấp xỉ. Mục tiêu trọng tâm là tìm kiếm phương án phân công test case tối ưu đồng thời hai mục tiêu: cực tiểu hóa tổng thời gian hoàn thành (makespan) và cực đại hóa chỉ số phù hợp giữa kiểm thử viên với từng test case (Selection Point). Nghiên cứu được khảo sát và thu thập dữ liệu thực nghiệm trong khoảng thời gian 6 tháng (từ tháng 4 năm 2017 đến tháng 9 năm 2017) tại công ty gia công phần mềm Global CyberSoft Việt Nam, trước khi hoàn thiện mô hình tính toán vào cuối năm 2017.

Ý nghĩa khoa học và thực tiễn của công trình thể hiện ở việc chuyển đổi cách tiếp cận phân công từ ràng buộc cứng (chỉ định định danh cố định) sang mô hình ràng buộc mềm dựa trên dữ liệu. Giải pháp giúp doanh nghiệp cắt giảm đáng kể chi phí nhân sự, rút ngắn chu kỳ phản hồi lỗi sản phẩm và nâng cao năng suất thực thi của đội ngũ kiểm thử dựa trên thang đo năng lực 5 cấp độ chuẩn hóa.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết bài toán lập lịch phân xưởng (Job Shop Scheduling Problem - JSP) kết hợp với các kỹ thuật tối ưu xấp xỉ thuộc nhóm siêu phỏng đoán (Meta-heuristics). Mô hình phân tích tập trung vào 5 thuật toán tối ưu hóa tiêu biểu gồm: Giải thuật di truyền (Genetic Algorithm - GA), Giải thuật mô phỏng luyện kim (Simulated Annealing - SA), Giải thuật đàn kiến (Ant Colony Optimization - ACO), Giải thuật tìm kiếm Tabu (Tabu Search - TS) và Giải thuật tối ưu bầy đàn (Particle Swarm Optimization - PSO).

Bên cạnh hàm mục tiêu thời gian truyền thống, luận văn đề xuất khung lý thuyết về Điểm chọn (Selection Point) tích hợp hai thành phần cốt lõi:

1. Mức thực hiện (Frequency): Tỷ lệ số lần thực thi thành công test case của một kiểm thử viên so với tổng số lần thực hiện test case đó trong quá khứ.
2. Điểm kỹ năng (Skill Point): Ứng dụng định lý xác suất Bayes để tính toán xác suất có điều kiện dựa trên tập 5 nhóm kỹ năng chuyên môn được chấm theo thang điểm từ 1 đến 5.

Điểm chọn tổng hợp đóng vai trò là hàm thích nghi thứ cấp, cho phép hệ thống sàng lọc và loại bỏ các phương án có cùng thời gian hoàn thành nhưng mang độ rủi ro thực thi cao.

Phương pháp nghiên cứu

Nghiên cứu kết hợp phương pháp định lượng và thực nghiệm mô phỏng. Dữ liệu đầu vào phục vụ xây dựng cơ sở tri thức được trích xuất từ 6 tháng nhật ký kiểm thử thực tế và cuộc khảo sát ý kiến chuyên gia đối với 100 nhân sự gồm 90 kiểm thử viên và 10 trưởng nhóm kiểm thử (Test Leader). Phương pháp chọn mẫu tập trung vào các chuyên gia có kinh nghiệm thực tế nhằm xác định chính xác các kỹ năng cốt lõi đạt mức đánh giá từ 4 đến 5 điểm.

Quá trình đánh giá thuật toán được tiến hành thông qua 20 tập dữ liệu mẫu thực nghiệm (Test Plan), bao gồm 10 mẫu kiểm thử có ràng buộc thứ tự thực thi nghiêm ngặt trong test suite và 10 mẫu kiểm thử độc lập không yêu cầu thứ tự. Quy mô thử nghiệm biến thiên linh hoạt từ 10 đến 30 test suite, với số lượng nhân sự tham gia từ 5 đến 20 tester.

Môi trường thực nghiệm được thiết lập trên nền tảng MATLAB chạy trên phần cứng vi xử lý Intel Core i5 tốc độ 2.6 GHz với giới hạn 3.000 thế hệ lặp cho mỗi kịch bản. Việc lựa chọn phương pháp xấp xỉ thay vì các phương pháp chính xác như quy hoạch tuyến tính hay nhánh cận (Branch and Bound) xuất phát từ yêu cầu thời gian phản hồi nhanh trong môi trường phát triển phần mềm linh hoạt (Agile/Scrum), nơi không gian nghiệm mở rộng vượt quá khả năng tính toán tức thời.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh 5 thuật toán tối ưu trên 20 tập dữ liệu chuẩn đã ghi nhận các kết quả nổi bật sau:

Thứ nhất, Giải thuật di truyền (GA) thể hiện hiệu năng vượt trội toàn diện khi đạt kết quả makespan tối ưu ở 15 trên tổng số 20 mẫu thử nghiệm, tương đương tỷ lệ thành công 75%. Trong các kịch bản kiểm thử có thứ tự phức tạp, GA liên tục duy trì khoảng cách cách biệt về thời gian so với các giải thuật còn lại.

Thứ hai, ở kịch bản kiểm thử có thứ tự L4 (quy mô 10 test suite, 10 tester), GA đạt thời gian hoàn thành là 717 đơn vị thời gian, tối ưu hơn 24.0% so với Simulated Annealing (944 đơn vị), nhanh hơn 17.6% so với Ant Colony Optimization (871 đơn vị) và vượt trội hơn Tabu Search (850 đơn vị).

Thứ ba, tiêu chí Selection Point đã chứng minh vai trò quyết định trong việc giải quyết hiện tượng đồng nghiệm thời gian. Cụ thể tại kịch bản L3 (quy mô 20 test suite, 5 tester), cả GA và PSO đều đạt mức makespan tối ưu là 1075 đơn vị. Tuy nhiên, PSO đạt tổng điểm Selection Point là 4.445, cao hơn mức 3.391 của GA, giúp hệ thống xác định chính xác phương án phân công ít rủi ro nhất.

Thứ tư, hệ thống hỗ trợ lập lịch được lập trình hoàn chỉnh bằng ngôn ngữ C# với bộ tham số tối ưu gồm: 10.000 cá thể khởi tạo, tỷ lệ lai ghép (Order Crossover và Uniform Crossover) đạt 95%, tỷ lệ đột biến (Swap Mutation) là 5%, kích thước chọn lọc giải đấu (Tournament Selection) bằng 5 và hội tụ ổn định sau 1.000 thế hệ lặp.

Thảo luận kết quả

Khả năng tối ưu vượt trội của Giải thuật di truyền bắt nguồn từ cơ chế kết hợp đồng thời hai kỹ thuật lai ghép: lai ghép chéo trật tự (Order Crossover) giúp bảo toàn cấu trúc ràng buộc thứ tự test case và lai ghép đồng nhất (Uniform Crossover) với xác suất ngẫu nhiên 50% giúp phân bổ đa dạng hóa tester thực thi. Điều này ngăn chặn thuật toán rơi vào các điểm cực trị địa phương (local optima) tốt hơn so với cơ chế làm lạnh đơn biến của Simulated Annealing hay cơ chế cập nhật vết mùi của Ant Colony.

Dữ liệu kết quả thực nghiệm có thể được trực quan hóa thông qua biểu đồ phân tán đa trục so sánh giữa trục hoành (thời gian makespan) và trục tung (điểm Selection Point), kết hợp cùng bảng ma trận phân công công việc chi tiết cho từng tester theo dòng thời gian. Cách tiếp cận này giúp các nhà quản lý dự án có cái nhìn trực quan về mức độ cân bằng tải công việc.

So với các công trình nghiên cứu trước đây vốn chỉ áp dụng các quy tắc ràng buộc cứng loại trừ nhân sự, mô hình của luận văn đem lại tính khả thi cao trong thực tiễn sản xuất phần mềm. Bằng việc lượng hóa kỹ năng và lịch sử thực thi, hệ thống cho phép tận dụng tối đa nguồn lực sẵn có mà vẫn kiểm soát được chất lượng đầu ra của từng phiên bản kiểm thử.

Đề xuất và khuyến nghị

Nhằm tối ưu hóa hiệu quả quản trị và chuyển giao công nghệ từ luận văn vào thực tiễn doanh nghiệp, 4 khuyến nghị hành động chiến lược được đề xuất như sau:

1. Chuẩn hóa cơ sở dữ liệu nhật ký kiểm thử: Ban quản lý dự án (Project Managers) cần ban hành quy trình số hóa toàn bộ lịch sử thực thi test case, điểm đánh giá kỹ năng của kiểm thử viên sau mỗi chu kỳ Sprint (2 đến 4 tuần). Mục tiêu là cập nhật tự động 100% dữ liệu lịch sử vào cơ sở tri thức để tái tính toán điểm Selection Point theo chu kỳ hàng quý.
2. Tích hợp module lập lịch tự động vào hệ thống CI/CD: Đội ngũ kỹ sư phát triển công cụ cần tiến hành đóng gói giải thuật di truyền thành dịch vụ web (API) trong vòng 6 tháng tới, tích hợp trực tiếp vào quy trình kiểm thử tự động của doanh nghiệp nhằm cắt giảm từ 15% đến 25% thời gian lập kế hoạch kiểm thử hồi quy.
3. Thiết lập cơ chế xoay vòng phân công test case chống lối mòn: Trưởng nhóm kiểm thử (Test Leads) cần áp dụng chính sách điều chỉnh trọng số phân công định kỳ 3 tháng một lần, duy trì tỷ lệ thay đổi tối thiểu 20% nhân sự cho các nhóm test case trọng yếu nhằm duy trì khả năng phát hiện lỗi mới của kiểm thử viên mà không làm suy giảm quá 10% chỉ số phù hợp tổng thể.
4. Mở rộng khung ràng buộc đa chiều cho mô hình thuật toán: Phòng Nghiên cứu và Phát triển (R&D) của doanh nghiệp cần phối hợp với các viện nghiên cứu trong vòng 12 tháng để bổ sung các biến số thực tế như chi phí tiền lương theo giờ, năng suất làm việc theo ca sáng/chiều và mối quan hệ phụ thuộc chéo giữa các module, hướng tới mục tiêu nâng độ chính xác dự báo lịch trình lên trên 90%.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng chính:

1. Quản lý dự án phần mềm và Scrum Master: Nắm bắt phương pháp khoa học để tự động hóa khâu phân bổ nguồn lực kiểm thử, tối ưu hóa thời gian bàn giao sản phẩm trong các dự án phần mềm có quy mô từ 5 đến 50 nhân sự.
2. Quản trị viên chất lượng và Trưởng nhóm kiểm thử (QA/QC Leads): Vận dụng công thức tính Selection Point và ma trận kỹ năng 5 cấp bậc để đánh giá chính xác năng lực đội ngũ, giảm thiểu rủi ro giao sai người sai việc trong các chiến dịch kiểm thử quy mô lớn.
3. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính: Khảo cứu mô hình toán học giải quyết bài toán NP-hard, cách thức lập trình tùy biến toán tử di truyền (Tournament Selection, Order Crossover, Swap Mutation) và phương pháp so sánh hiệu năng giữa 5 thuật toán tối ưu tiến hóa.
4. Kỹ sư tự động hóa quy trình phần mềm (DevOps/Software Engineers): Tham khảo mã nguồn C#, kiến trúc hệ hỗ trợ ra quyết định và quy trình chuyển đổi bài toán nghiệp vụ kiểm thử thành mô hình tối ưu hóa thuật toán phục vụ xây dựng các công cụ nội bộ.

Câu hỏi thường gặp

1. Tiêu chí Điểm chọn (Selection Point) trong luận văn được xây dựng từ những yếu tố nào? Điểm chọn là tổng hợp tuyến tính giữa mức độ thực hiện trong quá khứ (tần suất tester thực hiện thành công test case) và điểm kỹ năng chuyên môn được tính toán thông qua công thức xác suất Bayes dựa trên 5 nhóm năng lực cốt lõi đạt thang điểm từ 1 đến 5.

2. Vì sao Giải thuật di truyền (GA) lại đạt kết quả vượt trội hơn so với 4 giải thuật meta-heuristics còn lại? Nhờ cơ chế kết hợp linh hoạt giữa chọn lọc giải đấu, lai ghép chéo trật tự (Order Crossover) và lai ghép đồng nhất (Uniform Crossover), GA duy trì được sự đa dạng của quần thể giải pháp, giúp vượt qua các điểm cực trị cục bộ và đạt thời gian tối ưu ở 75% kịch bản thử nghiệm.

3. Hệ thống có khả năng xử lý các test case có mối quan hệ phụ thuộc thứ tự thực hiện không? Hệ thống hỗ trợ hoàn toàn hai cấu trúc kiểm thử: kịch bản có thứ tự tuần tự trong từng test suite và kịch bản độc lập không ràng buộc, thông qua cấu trúc mã hóa nhiễm sắc thể chuyên biệt đảm bảo tính toàn vẹn của chuỗi thực thi.

4. Doanh nghiệp cần chuẩn bị những dữ liệu đầu vào nào để vận hành hệ thống hỗ trợ lập lịch? Doanh nghiệp cần cung cấp 4 nhóm dữ liệu cơ bản: danh sách kiểm thử viên kèm bảng đánh giá kỹ năng, danh mục test suite và test case kèm thời gian ước tính, thứ tự thực thi (nếu có) và nhật ký lịch sử thực hiện test case trong tối thiểu 3 đến 6 tháng gần nhất.

5. Luận văn khắc phục hiện tượng tester bị giảm hiệu quả do thực hiện lặp lại một nhóm test case như thế nào? Nghiên cứu đã chỉ ra hạn chế của việc phân công theo lối mòn và đề xuất định hướng tái huấn luyện cơ sở tri thức sau mỗi chu kỳ kiểm thử, đồng thời mở rộng mô hình để tích hợp thêm ràng buộc xoay vòng nhân sự trong các giai đoạn phát triển tiếp theo.

Kết luận

Luận văn đã giải quyết trọn vẹn bài toán tối ưu hóa phân công kiểm thử phần mềm thông qua các đóng góp nổi bật:

• Xây dựng thành công mô hình toán học giải quyết bài toán lập lịch kiểm thử phần mềm dưới dạng bài toán tối ưu đa mục tiêu (thời gian makespan và độ phù hợp Selection Point).
• Đề xuất tiêu chí Điểm chọn (Selection Point) mới lạ kết hợp giữa tần suất lịch sử và xác suất Bayes về kỹ năng, mở rộng giải quyết bài toán với ràng buộc mềm.
• Khẳng định tính ưu việt của Giải thuật di truyền với 75% kịch bản đạt kết quả tối ưu vượt bậc khi đối sánh cùng SA, ACO, TS và PSO qua 3.000 vòng lặp thực nghiệm.
• Hiện thực hóa thành công phần mềm hỗ trợ lập lịch trực quan bằng ngôn ngữ C#, xử lý hiệu quả tập quần thể 10.000 lịch khởi tạo.
• Hoạch định lộ trình nâng cấp giải thuật trong 12 tháng tới nhằm tích hợp các biến động chi phí, thời gian làm việc và kiểm soát chất lượng kiểm thử chống lối mòn.

Doanh nghiệp phần mềm và các nhóm kiểm thử có thể áp dụng ngay mô hình này để chuẩn hóa quy trình phân công, tiết kiệm thời gian và nâng cao chất lượng sản phẩm.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA --------------------------- ĐOÀN XUÂN DUY HỆ HỖ TRỢ LẬP LỊCH DỰ ÁN KIỂM THỬ PHẦN MỀM VỚI DỮ LIỆU SCHEDULING DECISION SUPPORT SYSTEM USING HISTORY FOR SOFTWARE TESTING PROJECTS Ngành : KHOA HỌC MÁY TÍNH Mã số: 60.01 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 1. CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG - HCM Cán bộ hƣớng dẫn khoa học : PGS.TS Quản Thành Thơ.

(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1 : PGS.TS Bùi Hoài Thắng. (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2 : TS. (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG Tp. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1.

Dƣơng Tuấn Anh. Nguyễn Đức Dũng .TS Bùi Hoài Thắng. Huỳnh Tƣờng Nguyên. Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trƣởng Khoa quản lý chuyên ngành sau khi luận văn đã đƣợc sửa chữa (nếu có).

CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA KH&KTMT ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Đoàn Xuân Duy. Ngày, tháng, năm sinh: 27/9/1991. Ngành: Khoa Học Máy Tính. TÊN ĐỀ TÀI: XÂY DỰNG HỆ HỖ TRỢ LẬP LỊCH DỰ ÁN KIỂM THỬ PHẦN MỀM VỚI DỮ LIỆU.

NHIỆM VỤ VÀ NỘI DUNG: Xây dựng hệ hỗ trợ lập lịch cho dự án kiểm thử phần mềm với giải thuật xấp xỉ nhằm tìm đƣợc lịch thực hiện testcase có tổng thời gian thực hiện tối ƣu và phù hợp với nguồn nhân lực hiện tại trong các lịch có cùng tổng thời gian tối ƣu thực hiện để giảm chi phí và rủi ro khi thực hiện theo lịch. NGÀY GIAO NHIỆM VỤ : 04/09/2017. NGÀY HOÀN THÀNH NHIỆM VỤ: 10/07/2017 - 03/12/2017. CÁN BỘ HƢỚNG DẪN : PGS.TS Quản Thành Thơ.

CÁN BỘ HƢỚNG DẪN TRƢỞNG KHOA KH & KTMT (Họ tên và chữ ký) (Họ tên và chữ ký) PGS.TS QUẢN THÀNH THƠ 2 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành và sâu sắc đến PGS. Quản Thành Thơ, ngƣời Thầy đã tận tình chỉ bảo tôi trong suốt quá trình thực hiện luận văn và tạo mọi điều kiện tốt nhất để tôi có thể hoàn thành luận văn này. Tôi xin cảm ơn quý thầy cô ở trƣờng Đại học Bách Khoa đã truyền đạt các kiến thức cần thiết trong quá trình học tập tại trƣờng. Tôi xin cảm ơn gia đình, bạn bè và đồng nghiệp đã động viên và tạo mọi điều kiện thuận lợi để tôi có thể tiếp tục theo đuổi việc học tập và nghiên cứu.

3 TÓM TẮT Dựa vào những tri thức đã biết và các công trình khoa học có liên quan về lập lịch công việc, công trình nghiên cứu xây dựng một tiêu chí đánh giá độ phù hợp của testcase đối với tester và áp dụng giải thuật lập lịch xấp sỉ phù hợp vào việc giải quyết mô hình bài toán lập lịch kiểm thử dự án phần mềm. Cuối cùng công trình nghiên cứu tiến hành xây dựng hệ hỗ trợ lập lịch Based on the knowledge of known and the scientific work related to scheduling, the research proposed a selection criterion to evaluate the suitability between testcase and tester then appling the approximate scheduling for solving the software project scheduling problem model. Finally, the research builds a support system for testing software project scheduling. 4 LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ các kết quả tham khảo từ các công trình khác nhƣ đã ghi rõ trong luận văn, các công việc trình bày trong luận văn là do chính tôi thực hiện và chƣa có phần nội dung nào của luận văn này đƣợc nộp để lấy một bằng cấp ở trƣờng này hoặc trƣờng khác.

5 Mục lục Chƣơng 1: Tổng quan về đề tài. Giới thiệu đề tài. Mục tiêu, phạm vi và đối tƣợng nghiên cứu. Mục tiêu nghiên cứu.

Đối tƣợng và phạm vi nghiên cứu. Ý nghĩa thực tiễn và khoa học của đề tài. Ý nghĩa thực tiễn. Ý nghĩa khoa học.

10 Chƣơng 2: Các công trình nghiên cứu khoa học liên quan. Mô hình bài toán lập lịch kiểm thử dự án phần mềm:. Lƣợc khảo các công trình nghiên cứu khoa học liên quan. Lập lịch dùng giải thuật di truyền (Genetic Algorithm).

Lập lịch dùng mô phỏng luyện kim (Simulated Annealing). Lập lịch dùng giải thuật đàn kiến (Ant Colony Algorithm). Lập lịch dùng tìm kiếm Tabu (Tabu Search). Lập lịch dùng giải thuật tối ƣu bầy đàn (Particle Swarm Optimization).

14 Chƣơng 3: Triển khai các giải thuật lập lịch đả lƣợc khảo với tiêu chí điểm chọn15 3. Đề xuất tiêu chí điểm chọn. Quá trình tạo cơ sở tri thức điểm chọn.1 Thu thập và tinh chỉnh dữ liệu.2 Xây dựng công thức tính tiêu chí điểm chọn. Ứng dụng tiêu chí điểm chọn vào các giải thuật đã lƣợc khảo .1 Giải thuật di truyền cho lập lịch kiểm thử dự án phần mềm .2 Giải thuật mô phỏng luyện kim cho lập lịch kiểm thử dự án phần mềm .3 Giải thuật đàn kiến cho lập lịch kiểm thử dự án phần mềm .4 Giải thuật tìm kiếm Tabu cho lập lịch kiểm thử dự án phần mềm .5 Giải thuật tối ƣu bầy đàn cho lập lịch kiểm thử dự án phần mềm.

32 Chƣơng 4: Thực nghiệm các giải pháp lập lịch đả áp dụng tiêu chí điểm chọn. Mục tiêu thực nghiệm. Triển khai thực nghiệm. Lựa chọn tập mẫu thực nghiệm thực tế.

Kết quả thực nghiệm. Nhận xét về kết quả thực nghiệm. 39 Chƣơng 5: Xây dựng hệ hỗ trợ lập lịch dự án kiểm thử phần mềm. Hệ hỗ trợ lập lịch dự án kiểm thử phần mềm.

Kết quả xây dựng. 40 Chƣơng 6: Kết luận. Những điều đạt đƣợc. Những điều chƣa đƣợc.

Hƣớng phát triển trong tƣơng lai. 43 Tài liệu tham khảo. 45 7 Chƣơng 1: Tổng quan về đề tài Giới thiệu đề tài, mục tiêu và phạm vi nghiên cứu. Tiếp theo trình bày về ý nghĩa thực tiễn và khoa học đặt đƣợc từ công trình nghiên cứu.

Giới thiệu đề tài Theo truyền thống lập lịch test case thì các test case đƣợc chia tuần tự cho từng tester. Đối với việc kiểm thử cho hệ thống lớn thì số lƣợng tập các test case cần thực hiện để đảm bảo chất lƣợng của một hệ thống phần mềm tăng trƣởng rất nhanh theo sự phức tạp của hệ thống, khiến áp lực công việc cần thực hiện kiểm thử tăng lên nhằm đáp ứng việc phản hồi kết quả kiểm thử nhanh chóng do các chỉnh sửa ứng dụng theo sự thay đổi yêu cầu của khách hàng và mong muốn rút ngắn thời gian hoàn thành sản phẩm. Điều này đƣợc thể hiện rõ ràng nhất trong giai đoạn kiểm thử hồi quy liên tục, khi một tập lớn các test case có thứ tự hay không có thứ tự thực hiện đƣợc kiểm thử lặp đi lặp lại thƣờng xuyên theo từng phiên bản phần mềm Để rút ngắn thời gian thực hiện kiểm thử thì ta có nhiều phƣơng pháp khác nhau nhƣ lựa chọn test case theo độ ƣu tiên và giảm tập hợp các test case không quan trọng để tăng tốc độ thực hiện kiểm thử phần mềm [1]. Ngoài ra chúng ta cũng cần một lịch phân công kiểm thử cụ thể tập test case cho các tester sao cho lịch có tổng thời gian thực hiện thực hiện các test case (makespan) là ngắn nhất và phù hợp với tình huống nhất trên tổng số các lịch có cùng makespan để tránh rủi ro khi thực hiện.

Vì vậy việc lập lịch cho dự án kiểm thử phần mềm đã trở thành một yếu tố quan trọng trong giai đoạn kiểm thử của công nghiệp sản xuất phần mềm ứng dụng. Lập lịch kiểm thử dự án phần mềm là một khía cạnh cụ thể của bài toán lập lịch công việc. Bài toán lập lịch là một trong những vấn đề tổ hợp khó khăn nhất thuộc đa thức không xác định; có nghĩa là vấn đề không thể giải quyết đƣợc trong thời gian đa thức. Vì vậy, việc giải quyết vấn đề lập lịch công việc tối ƣu đã thu hút đƣợc sự chú ý của nhiều nhà nghiên cứu vì tầm quan trọng thực tế và độ phức phức tạp [2].

Hiện nay, phƣơng pháp tìm kiếm lịch công việc chủ yếu bao gồm hai loại là lập lịch theo phƣơng pháp chính xác và lập lịch theo phƣơng pháp xấp xỉ. Phƣơng pháp chính xác đòi hỏi thời gian tính toán dài trong các trƣờng hợp tìm kiếm trên không gian lớn, chẳng hạn nhƣ nhánh cận (branch & bound), các phƣơng pháp lập trình tuyến tính (linear program), phƣơng pháp phân rả (decomposition method), hội tụ (convergence). Trong nhiều trƣờng hợp thực tế để giải quyết tìm kiếm lịch công việc thì các phƣơng pháp xấp 8 xỉ ngày trở nên phù hợp hơn cả vì cho lịch phân công gần với tối ƣu và có thời gian tính toán nhanh hơn rất nhiều. Trong các phƣơng pháp xấp xỉ thì các phƣớng pháp thuộc meta-heuristics có kết quả lập lịch công việc tối ƣu tốt và đƣợc đánh giá cao nhƣ giải thuật di truyền (genetic algorithm-GA) [3-4], mô phỏng luyện kim (simulated annealing-SA) [5-8], giải thuật đàn kiến (ant colonoy algorithm-ACO) [9- 11], tìm kiếm Tabu (Tabu search-TS) [12-14], tối ƣu bầy đàn (particle swarm optimization-PSO) [16-18].

Công trình nghiên cứu là tập trung lƣợc khảo các giải thuật xấp xỉ nổi bật thuộc meta-heuristics để chọn ra giải thuật tối ƣu phù hợp cho việc lập lịch kiểm thử dự án phần mềm và tìm ra cách thức xác định độ phù hợp của các test case đối với đối tƣợng thực thi. Từ đó xây dựng hệ hỗ trợ lập lịch cho dự án kiểm thử phần mềm áp dụng tiêu chí độ phù hợp vào giải thuật xấp xỉ để tìm lịch thực hiện test case có makespan tối ƣu và phù hợp tình huống thực tế. Mục tiêu, phạm vi và đối tƣợng nghiên cứu 1. Mục tiêu nghiên cứu Dựa vào những tri thức đã biết và các công trình khoa học có liên quan về lập lịch công việc, công trình nghiên cứu sẽ tìm hiểu các ý tƣởng lập lịch theo phƣơng pháp xấp xỉ nhằm lựa chọn giải thuật phù hợp vào việc giải quyết bài toán lập lịch kiểm thử dự án phần mềm.

Bên cạnh đó công trình nghiên cứu còn tìm cách xây dựng một tiêu chí đánh giá độ phù hợp của test case đối với tester làm cơ sở tri thức cho lựa chọn tester thực thi test case.