Tổng quan nghiên cứu

Kiểm thử phần mềm là một bước quan trọng trong quá trình phát triển nhằm đảm bảo chất lượng sản phẩm. Theo ước tính, chi phí dành cho kiểm thử có thể chiếm từ 40% đến 60% tổng chi phí phát triển phần mềm. Đặc biệt, việc sinh các ca kiểm thử là bước khó khăn và tốn kém nhất, nhất là với các hệ thống lớn, phức tạp. Do đó, tự động hóa quá trình sinh bộ kiểm thử trở thành nhu cầu cấp thiết nhằm giảm thiểu thời gian, công sức và chi phí.

Luận văn tập trung nghiên cứu phương pháp sinh bộ kiểm thử tự động từ biểu đồ tuần tự UML 2.0 dựa trên lý thuyết kiểm thử mô hình. Phương pháp này nhằm mục tiêu tự động hóa quá trình kiểm thử, nâng cao hiệu quả và tiết kiệm chi phí. Phạm vi nghiên cứu tập trung vào biểu đồ tuần tự UML 2.0, được chuyển đổi thành đồ thị dòng điều khiển (Control Flow Graph - CFG) để sinh ra các đường kiểm thử. Thời gian nghiên cứu là năm 2015 tại Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội.

Ý nghĩa của nghiên cứu thể hiện qua việc giảm thiểu chi phí và thời gian kiểm thử, đồng thời tăng độ bao phủ kiểm thử và tính chính xác trong phát hiện lỗi. Kết quả thực nghiệm với một số ví dụ đơn giản cho thấy công cụ hỗ trợ phương pháp có tiềm năng ứng dụng trong kiểm thử tự động tại các công ty phần mềm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

  • Kiểm thử dựa trên mô hình (Model-Based Testing): Phương pháp sinh ca kiểm thử từ mô hình đặc tả hành vi của hệ thống, giúp tự động hóa quá trình kiểm thử và nâng cao độ bao phủ.
  • Biểu đồ tuần tự UML 2.0: Mô hình biểu diễn trình tự các thông điệp giữa các đối tượng trong hệ thống, bao gồm các toán tử tương tác như alt, opt, loop, par, strict, ignore, consider, neg, assert, critical.
  • Đồ thị dòng điều khiển (Control Flow Graph - CFG): Đồ thị có hướng mô tả cấu trúc logic của chương trình, gồm các đỉnh đại diện cho câu lệnh và các cạnh thể hiện dòng điều khiển.
  • Kỹ thuật thực thi tượng trưng (Symbolic Execution - SE): Phân tích đường đi trong CFG để xây dựng hệ ràng buộc logic tương ứng với các điều kiện thực thi.
  • Công cụ SMT-Solver (Satisfiability Modulo Theories Solver): Giải hệ ràng buộc logic để tìm nghiệm thỏa mãn, từ đó sinh ra các ca kiểm thử.

Các khái niệm chính bao gồm: đường kiểm thử (test path), phân đoạn kết hợp (combined fragment), toán tử tương tác trong biểu đồ tuần tự, hệ ràng buộc logic, và kỹ thuật giải hệ ràng buộc.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các biểu đồ tuần tự UML 2.0 được lưu dưới dạng tệp XMI chuẩn. Phương pháp nghiên cứu gồm các bước:

  1. Phân tích biểu đồ tuần tự: Thuật toán phân tích tệp XMI để trích xuất các phân đoạn, toán tử tương tác và thông điệp, xây dựng cấu trúc dữ liệu biểu diễn biểu đồ tuần tự.
  2. Chuyển đổi sang đồ thị dòng điều khiển: Tách các khối (fragment) trong biểu đồ tuần tự, xây dựng đồ thị dòng điều khiển tương ứng bằng cách lồng ghép các khối dựa trên quan hệ tuần tự hoặc lồng nhau.
  3. Sinh đường kiểm thử: Áp dụng các thuật toán đặc thù cho từng loại phân đoạn (alt, opt, loop, par, seq, weak, strict, ignore) để sinh tập đường kiểm thử độc lập.
  4. Xây dựng hệ ràng buộc: Sử dụng kỹ thuật thực thi tượng trưng để chuyển các đường kiểm thử thành hệ ràng buộc logic.
  5. Giải hệ ràng buộc: Kết hợp kỹ thuật sinh ngẫu nhiên và công cụ SMT-Solver để tìm nghiệm thỏa mãn hệ ràng buộc, từ đó sinh ra các ca kiểm thử.
  6. Thử nghiệm công cụ: Cài đặt công cụ hỗ trợ phương pháp và thử nghiệm với các ví dụ minh họa nhằm đánh giá tính đúng đắn và hiệu quả.

Cỡ mẫu nghiên cứu bao gồm một số biểu đồ tuần tự đơn giản được mô phỏng trong môi trường thử nghiệm. Phương pháp chọn mẫu dựa trên các biểu đồ tuần tự phổ biến trong thiết kế phần mềm. Phân tích dữ liệu sử dụng thuật toán xử lý cấu trúc dữ liệu, kỹ thuật thực thi tượng trưng và giải hệ ràng buộc logic.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Chuyển đổi biểu đồ tuần tự sang đồ thị dòng điều khiển thành công: Thuật toán phân tích tệp XMI và tách các phân đoạn đã tạo ra đồ thị dòng điều khiển chính xác, hỗ trợ các toán tử tương tác phức tạp như alt, loop, par, strict. Ví dụ, đồ thị dòng điều khiển tương ứng với biểu đồ tuần tự có thể biểu diễn đầy đủ các luồng điều khiển với độ phức tạp cao.

  2. Sinh tập đường kiểm thử hiệu quả: Các thuật toán sinh đường kiểm thử cho từng loại phân đoạn đã tạo ra tập đường kiểm thử độc lập, đảm bảo độ bao phủ cao. Kết quả cho thấy số lượng đường kiểm thử tăng theo độ phức tạp biểu đồ tuần tự, nhưng vẫn trong phạm vi xử lý được.

  3. Xây dựng và giải hệ ràng buộc thành công: Kỹ thuật thực thi tượng trưng đã xây dựng hệ ràng buộc logic tương ứng với từng đường kiểm thử. Công cụ SMT-Solver đã giải thành công các hệ ràng buộc phức tạp, tìm được nghiệm thỏa mãn trong thời gian hợp lý, vượt trội hơn so với kỹ thuật sinh ngẫu nhiên truyền thống.

  4. Công cụ hỗ trợ phương pháp hoạt động hiệu quả: Thử nghiệm với một số ví dụ minh họa cho thấy công cụ có thể tự động phân tích biểu đồ tuần tự, sinh đồ thị dòng điều khiển, tạo đường kiểm thử và sinh ca kiểm thử tự động. Kết quả thực nghiệm chứng minh tính đúng đắn và tiềm năng ứng dụng trong kiểm thử tự động tại các công ty phần mềm.

Thảo luận kết quả

Nguyên nhân thành công của phương pháp là do việc chuyển đổi biểu đồ tuần tự sang đồ thị dòng điều khiển giúp đơn giản hóa cấu trúc kiểm thử, đồng thời kỹ thuật thực thi tượng trưng và SMT-Solver tận dụng được sức mạnh của các công cụ giải hệ ràng buộc hiện đại. So với các nghiên cứu trước đây, phương pháp này giảm thiểu sự phụ thuộc vào mã nguồn và mô hình EFSM phức tạp, đồng thời xử lý được các toán tử tương tác đa dạng trong biểu đồ tuần tự.

Việc sử dụng SMT-Solver giúp giải quyết nhanh các hệ ràng buộc phức tạp, nâng cao hiệu quả sinh ca kiểm thử so với kỹ thuật sinh ngẫu nhiên truyền thống vốn tốn nhiều thời gian và không đảm bảo tìm được nghiệm. Kết quả này có thể được trình bày qua biểu đồ so sánh thời gian giải hệ ràng buộc giữa hai phương pháp, hoặc bảng thống kê số lượng ca kiểm thử sinh ra và độ bao phủ tương ứng.

Phương pháp cũng giúp giảm thiểu lỗi chủ quan trong quá trình sinh ca kiểm thử thủ công, đồng thời tăng khả năng tái sử dụng ca kiểm thử khi phần mềm thay đổi. Tuy nhiên, phương pháp vẫn còn hạn chế khi áp dụng với các biểu đồ tuần tự quá phức tạp hoặc có nhiều vòng lặp lồng nhau sâu, cần nghiên cứu thêm để tối ưu thuật toán.

Đề xuất và khuyến nghị

  1. Phát triển thêm các thuật toán tối ưu hóa sinh đường kiểm thử nhằm giảm thiểu số lượng ca kiểm thử dư thừa, tập trung vào các đường kiểm thử có độ bao phủ cao nhất. Thời gian thực hiện trong 6 tháng, do nhóm nghiên cứu phần mềm đảm nhận.

  2. Mở rộng công cụ hỗ trợ phân tích biểu đồ tuần tự phức tạp hơn, bao gồm các toán tử tương tác nâng cao và vòng lặp lồng nhau nhiều cấp. Thời gian phát triển dự kiến 1 năm, phối hợp với các chuyên gia UML và kiểm thử phần mềm.

  3. Tích hợp công cụ với các hệ thống kiểm thử tự động hiện có để tăng tính ứng dụng thực tế, giúp lập trình viên dễ dàng sử dụng ca kiểm thử sinh ra. Thời gian triển khai 9 tháng, do bộ phận phát triển phần mềm và kiểm thử phối hợp thực hiện.

  4. Đào tạo và nâng cao năng lực cho kiểm thử viên về kỹ thuật kiểm thử dựa trên mô hình và sử dụng SMT-Solver, nhằm nâng cao hiệu quả áp dụng phương pháp trong doanh nghiệp. Thời gian đào tạo liên tục, do các trung tâm đào tạo chuyên ngành đảm nhiệm.

Đối tượng nên tham khảo luận văn

  1. Các nhà phát triển phần mềm và kiểm thử viên: Nắm bắt phương pháp sinh ca kiểm thử tự động từ biểu đồ tuần tự, giúp giảm thiểu công sức và chi phí kiểm thử, nâng cao chất lượng sản phẩm.

  2. Các nhà nghiên cứu trong lĩnh vực kiểm thử phần mềm và kỹ thuật phần mềm: Tham khảo các thuật toán chuyển đổi biểu đồ tuần tự sang đồ thị dòng điều khiển, kỹ thuật xây dựng và giải hệ ràng buộc bằng SMT-Solver.

  3. Các công ty phát triển phần mềm quy mô lớn: Áp dụng công cụ và phương pháp để tự động hóa kiểm thử, tăng độ bao phủ và phát hiện lỗi sớm, tiết kiệm thời gian và chi phí.

  4. Giảng viên và sinh viên ngành hệ thống thông tin, kỹ thuật phần mềm: Sử dụng luận văn làm tài liệu tham khảo cho các khóa học về kiểm thử phần mềm, mô hình hóa hệ thống và kỹ thuật kiểm thử tự động.

Câu hỏi thường gặp

  1. Phương pháp sinh bộ kiểm thử từ biểu đồ tuần tự UML 2.0 có ưu điểm gì so với kiểm thử thủ công?
    Phương pháp tự động hóa sinh ca kiểm thử giúp giảm thiểu sai sót do con người, tiết kiệm thời gian và chi phí, đồng thời tăng độ bao phủ kiểm thử nhờ sinh ra nhiều đường kiểm thử độc lập.

  2. Làm thế nào để chuyển đổi biểu đồ tuần tự sang đồ thị dòng điều khiển?
    Bằng cách phân tích tệp XMI biểu diễn biểu đồ tuần tự, tách các phân đoạn (fragment) và toán tử tương tác, sau đó xây dựng đồ thị dòng điều khiển bằng cách lồng ghép các khối dựa trên quan hệ tuần tự hoặc lồng nhau.

  3. Kỹ thuật thực thi tượng trưng (Symbolic Execution) được áp dụng như thế nào trong nghiên cứu?
    Kỹ thuật này phân tích từng đường kiểm thử trong đồ thị dòng điều khiển để xây dựng hệ ràng buộc logic tương ứng với các điều kiện thực thi, làm cơ sở để sinh ca kiểm thử.

  4. SMT-Solver có vai trò gì trong quá trình sinh ca kiểm thử?
    SMT-Solver giải các hệ ràng buộc logic được xây dựng từ đường kiểm thử, tìm nghiệm thỏa mãn để sinh ra các ca kiểm thử có thể thực thi được trong môi trường thực tế.

  5. Phương pháp này có thể áp dụng cho các phần mềm phức tạp không?
    Phương pháp phù hợp với các phần mềm có thiết kế biểu đồ tuần tự rõ ràng và không quá phức tạp về vòng lặp lồng nhau. Với các hệ thống phức tạp hơn, cần tối ưu thuật toán và mở rộng công cụ hỗ trợ.

Kết luận

  • Đã phát triển thành công phương pháp sinh bộ kiểm thử tự động từ biểu đồ tuần tự UML 2.0 dựa trên kiểm thử mô hình và kỹ thuật thực thi tượng trưng.
  • Thuật toán chuyển đổi biểu đồ tuần tự sang đồ thị dòng điều khiển và sinh đường kiểm thử được thiết kế chi tiết, hỗ trợ đa dạng toán tử tương tác.
  • Công cụ hỗ trợ phương pháp đã được cài đặt và thử nghiệm với các ví dụ minh họa, chứng minh tính đúng đắn và hiệu quả.
  • SMT-Solver được ứng dụng hiệu quả trong giải hệ ràng buộc, nâng cao tốc độ và độ chính xác sinh ca kiểm thử so với kỹ thuật truyền thống.
  • Hướng phát triển tiếp theo là tối ưu thuật toán, mở rộng công cụ và tích hợp vào quy trình kiểm thử tự động trong doanh nghiệp.

Để tiếp tục nghiên cứu và ứng dụng, các nhà phát triển và kiểm thử viên nên thử nghiệm công cụ trên các dự án thực tế, đồng thời phối hợp với các chuyên gia để nâng cao hiệu quả kiểm thử tự động.