Sách 'Introduction to Combinatorial Testing' - Kuhn, Kacker & Lei về kỹ thuật kiểm thử tổ hợp

Kiểm thử tổ hợp là phương pháp phát hiện lỗi từ tổ hợp thông số. Tìm hiểu kỹ thuật, nguyên lý và ứng dụng trong kỹ thuật phần mềm hiện đại.

• Tác giả: D. Richard Kuhn
• Chuyên ngành: Kiểm thử phần mềm
• Đề tài: Giới thiệu về kiểm thử tổ hợp
• Loại tài liệu: Sách giáo khoa
• Năm xuất bản: 2013
• Địa điểm: Boca Raton

Tóm tắt

I. Tổng quan về kiểm thử tổ hợp trong kỹ thuật phần mềm

Kiểm thử tổ hợp là phương pháp kiểm thử phần mềm dựa trên việc tạo ra các tổ hợp giá trị đầu vào để phát hiện lỗi. Phương pháp này xuất phát từ thực tế rằng phần lớn lỗi phần mềm do sự tương tác giữa hai hoặc nhiều tham số gây ra. Thay vì kiểm tra tất cả tổ hợp có thể, kiểm thử tổ hợp chọn lọc các tổ hợp đại diện với mức phủ t-way. Khái niệm này được phát triển bởi các nhà nghiên cứu D. Richard Kuhn, Raghu N. Kacker và Yu Lei. Hệ thống kiểm thử (SUT) có thể là một hàm, một lớp, một ứng dụng hoặc toàn bộ hệ thống bao gồm phần cứng và phần mềm. Kiểm thử tổ hợp giúp giảm đáng kể số lượng test case cần thực hiện mà vẫn đảm bảo khả năng phát hiện lỗi cao. Đây là phương pháp được ứng dụng rộng rãi trong kiểm thử phần mềm hiện đại.

1.1. Định nghĩa kiểm thử tổ hợp

Kiểm thử tổ hợp là kỹ thuật xây dựng bộ kiểm thử sao cho các tổ hợp giá trị tham số đầu vào được phủ ở mức t-way. Mỗi test case kiểm tra một tập hợp các giá trị kết hợp từ nhiều tham số khác nhau. Phương pháp này dựa trên nguyên tắc rằng lỗi thường phát sinh từ sự tương tác giữa một số lượng nhỏ các yếu tố. Kiểm thử tổ hợp không yêu cầu kiểm tra mọi tổ hợp có thể xảy ra. Thay vào đó, nó tạo ra tập test case tối thiểu đảm bảo mọi tổ hợp t-way đều được kiểm tra ít nhất một lần.

1.2. Vai trò của kiểm thử tổ hợp

Kiểm thử tổ hợp đóng vai trò quan trọng trong việc đảm bảo chất lượng phần mềm. Phương pháp này giúp phát hiện lỗi do tương tác giữa các tham số mà kiểm thử đơn lẻ không thể tìm thấy. Nghiên cứu thực tế cho thấy kiểm thử bốn chiều có thể phát hiện tất cả lỗi với số lượng test case giảm đến 95% so với bộ test ban đầu. Kiểm thử tổ hợp áp dụng được cho cả cấu hình hệ thống và dữ liệu đầu vào. Đây là công cụ hiệu quả giúp tối ưu quy trình kiểm thử trong các dự án phần mềm quy mô lớn.

II. Phân tích vấn đề kiểm thử truyền thống và giới hạn

Kiểm thử truyền thống đối mặt với thách thức lớn khi số lượng tham số đầu vào tăng lên. Phương pháp kiểm thử tuần tự yêu cầu thực hiện tất cả tổ hợp có thể, dẫn đến số lượng test case khổng lồ. Ví dụ, một hệ thống với nhiều tham số cấu hình như số kết nối đồng thời, bộ nhớ, hệ điều hành, kích thước cơ sở dữ liệu sẽ tạo ra hàng triệu tổ hợp. Việc kiểm tra toàn bộ trở nên bất khả thi về thời gian và chi phí. Kiểm thử ad hoc dựa trên kinh nghiệm thường bỏ sót các tổ hợp quan trọng. Nhiều sự kiện trong hệ thống có số lượng tham số lớn, việc tạo tất cả tổ hợp n-way trở nên không thực tế. Các phương pháp truyền thống không đảm bảo mức phủ tổ hợp đầy đủ, dẫn đến nguy cơ bỏ sót lỗi nghiêm trọng trong sản phẩm phần mềm.

2.1. Bài toán tổ hợp trong kiểm thử

Bài toán tổ hợp trong kiểm thử phát sinh khi số lượng tham số và giá trị tăng lên. Với n tham số, mỗi tham số có k giá trị, số tổ hợp tối đa là k^n. Con số này tăng theo cấp số nhân, khiến việc kiểm thử toàn bộ trở nên bất khả thi. Ví dụ, mười tham số với năm giá trị mỗi tham số tạo ra gần mười triệu tổ hợp. Bài toán này đặt ra yêu cầu cấp thiết về phương pháp kiểm thử thông minh hơn. Kiểm thử tổ hợp ra đời để giải quyết vấn đề này một cách hiệu quả.

2.2. Hạn chế của kiểm thử đơn lẻ

Kiểm thử đơn lẻ chỉ kiểm tra từng tham số riêng biệt, bỏ qua sự tương tác giữa các yếu tố. Nhiều lỗi phần mềm chỉ xuất hiện khi hai hoặc nhiều tham số kết hợp với nhau. Phương pháp này không phát hiện được lỗi do tương tác giữa các thành phần trong hệ thống. Thực tế kiểm thử sự kiện DOM cho thấy nhiều lỗi chỉ được phát hiện khi kiểm tra tổ hợp ba chiều trở lên. Kiểm thử đơn lẻ tạo cảm giác an toàn sai lầm cho đội ngũ phát triển. Đây là lý do kiểm thử tổ hợp trở thành phương pháp thay thế hiệu quả.

III. Phương pháp kiểm thử tổ hợp cấu hình và đầu vào

Kiểm thử tổ hợp có hai phương pháp chính: kiểm thử tổ hợp cấu hình và kiểm thử tổ hợp dữ liệu đầu vào. Phương pháp thứ nhất chọn lọc tổ hợp giá trị của các tham số cấu hình. Ví dụ, máy chủ được kiểm thử bằng cách thiết lập tất cả tổ hợp bốn chiều của các tham số như số kết nối, bộ nhớ, hệ điều hành, loại cơ sở dữ liệu. Bộ kiểm thử được chạy trên mỗi cấu hình khác nhau. Phương pháp thứ hai chọn lọc tổ hợp giá trị dữ liệu đầu vào để tạo thành test case hoàn chỉnh. Mức phủ tổ hợp t-way đảm bảo mọi tương tác t tham số đều được kiểm tra. Giá trị t thường từ hai đến sáu tùy thuộc vào yêu cầu kiểm thử. Nghiên cứu trên sự kiện DOM cho thấy kiểm thử bốn chiều phát hiện được tất cả lỗi với hiệu quả vượt trội.

3.1. Kiểm thử tổ hợp cấu hình hệ thống

Kiểm thử tổ hợp cấu hình tập trung vào các tham số có thể tùy chỉnh của hệ thống. Các tham số bao gồm số kết nối đồng thời, dung lượng bộ nhớ, hệ điều hành, kích thước cơ sở dữ liệu và loại hệ quản trị cơ sở dữ liệu. Cùng một bộ kiểm thử được chạy trên nhiều cấu hình khác nhau. Phương pháp này đảm bảo mọi tổ hợp t-way của tham số cấu hình đều được kiểm tra. Kiểm thử tổ hợp cấu hình đặc biệt hữu ích cho hệ thống cần hoạt động trên nhiều môi trường khác nhau.

3.2. Kiểm thử tổ hợp dữ liệu đầu vào

Kiểm thử tổ hợp dữ liệu đầu vào tạo ra test case hoàn chỉnh từ các tổ hợp giá trị. Mỗi test case chứa tổ hợp giá trị từ nhiều tham số đầu vào khác nhau. Bộ kiểm thử được thiết kế để đảm bảo mức phủ t-way cho tất cả tham số. Phương pháp này áp dụng cho kiểm thử chức năng của ứng dụng. Nghiên cứu thực tế trên ba mươi lăm sự kiện DOM cho thấy hiệu quả vượt trội. Kiểm thử bốn chiều phát hiện tất cả lỗi DOM với số test case giảm chín mươi lăm phần trăm so với phương pháp truyền thống.

IV. Kết luận và ứng dụng thực tế kiểm thử tổ hợp

Kiểm thử tổ hợp đã chứng minh hiệu quả vượt trội trong thực tế kiểm thử phần mềm. Phương pháp này giúp giảm đáng kể số lượng test case mà vẫn đảm bảo khả năng phát hiện lỗi cao. Nghiên cứu trên sự kiện DOM cho thấy kiểm thử bốn chiều phát hiện tất cả lỗi với số test giảm chín mươi lăm phần trăm. Ứng dụng của kiểm thử tổ hợp mở rộng từ kiểm thử cấu hình đến kiểm thử dữ liệu đầu vào. Công cụ kiểm thử tổ hợp ngày càng được phát triển và hoàn thiện. Phương pháp này đặc biệt phù hợp cho các hệ thống phức tạp với nhiều tham số tương tác. Kiểm thử tổ hợp trở thành tiêu chuẩn trong quy trình đảm bảo chất lượng phần mềm hiện đại. Đầu tư vào kiểm thử tổ hợp mang lại lợi ích lâu dài cho doanh nghiệp phần mềm.

4.1. Kết quả nghiên cứu thực tế

Nghiên cứu thực tế trên ba mươi lăm sự kiện DOM cho thấy hiệu quả vượt trội của kiểm thử tổ hợp. Kiểm thử bốn chiều phát hiện tất cả lỗi DOM với số test case giảm chín mươi lăm phần trăm. Đối với các sự kiện có nhiều tham số như Click và Mouse, kiểm thử tổ hợp mang lại lợi ích lớn nhất. Chín trong ba mươi lăm sự kiện cần kiểm thử sáu chiều để phủ tất cả tổ hợp. Kết quả này khẳng định giá trị thực tiễn của phương pháp kiểm thử tổ hợp trong phát triển phần mềm.

4.2. Ứng dụng trong công nghiệp phần mềm

Kiểm thử tổ hợp được ứng dụng rộng rãi trong công nghiệp phần mềm hiện đại. Phương pháp này áp dụng cho kiểm thử hệ thống nhúng, ứng dụng web và hệ thống phân tán. Các công ty công nghệ lớn sử dụng kiểm thử tổ hợp để tối ưu quy trình kiểm thử. Công cụ tự động hóa giúp tạo test case tổ hợp nhanh chóng và chính xác. Kiểm thử tổ hợp đặc biệt hiệu quả cho hệ thống có nhiều tham số cấu hình. Phương pháp này giúp giảm chi phí kiểm thử while tăng khả năng phát hiện lỗi.

Nội dung chính

Giới thiệu giáo trình: Introduction to Combinatorial Testing

Tổng quan về giáo trình (250-300 từ)

Giáo trình Introduction to Combinatorial Testing (ISBN-13: 978-1-4665-5230-2) thuộc bộ sách Innovations in Software Engineering and Software Development của Nhà xuất bản Chapman & Hall/CRC (Taylor & Francis Group), do Giáo sư Richard LeBlanc (Đại học Seattle) làm chủ biên. Tác phẩm được biên soạn bởi ba chuyên gia trong lĩnh vực đảm bảo chất lượng phần mềm và toán học ứng dụng: D. Richard Kuhn (Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ - NIST), Raghu N. Kacker (NIST) và Yu Lei (Đại học Texas tại Arlington).

Trong chương trình đào tạo bậc đại học và sau đại học ngành Khoa học Máy tính và Kỹ thuật Phần mềm, giáo trình đóng vai trò là tài liệu giảng dạy chuyên sâu cho các học phần Kiểm thử phần mềm (Software Testing), Đảm bảo chất lượng phần mềm (Software Quality Assurance), và Phương pháp hình thức (Formal Methods).

Mục tiêu học tập của giáo trình tập trung vào việc trang bị cho người học:

• Hiểu rõ cơ chế phát sinh lỗi do sự tương tác giữa các tham số trong hệ thống phần mềm.
• Nắm vững cơ sở toán học tổ hợp và cấu trúc mảng bao phủ (Covering Arrays).
• Ánh xạ không gian đầu vào và cấu hình hệ thống thành các mô hình kiểm thử tổ hợp $t$-way.
• Giải quyết bài toán Test Oracle thông qua kỹ thuật nhúng kiểm chứng (assertions) và mô hình hóa (model checkers).
• Thành thạo việc sử dụng công cụ kiểm thử tự động ACTS (Automated Combinatorial Testing for Software) do NIST phát triển.

Cấu trúc giáo trình gồm 15 chương và 4 phụ lục, tiếp cận theo lộ trình từ bằng chứng thực nghiệm (Quy tắc tương tác - Interaction Rule), đến phương pháp phân tích không gian tham số, kỹ thuật đo lường độ bao phủ và các thuật toán sinh ca kiểm thử. Điểm đặc sắc của tài liệu là việc chuẩn hóa phương pháp kiểm thử giả toàn diện (pseudo-exhaustive testing), cho phép giảm thiểu số lượng ca kiểm thử theo hàm logarit so với phương pháp vét cạn nhưng vẫn đảm bảo độ bao phủ tương tác tham số xác định.

---

Nội dung kiến thức cốt lõi (500-600 từ)

Các chương và chủ đề chính

Nội dung giáo trình được triển khai qua 15 chương với tiến trình logic chặt chẽ:

1. Chương 1: Combinatorial Methods in Testing: Trình bày bản chất của lỗi tương tác, định nghĩa Quy tắc tương tác (Interaction Rule), khái niệm mảng bao phủ $CA(N, n, v, t)$, quy luật tăng trưởng kích thước bộ kiểm thử $v^t \log n$, và tổng quan về bài toán Test Oracle.
2. Chương 2: Combinatorial Testing Applied: Phân tích hai nghiên cứu tình huống thực tế gồm kiểm thử sự tuân thủ chuẩn Document Object Model (DOM) Level 3 Events của W3C và kiểm thử các ứng dụng Rich Web Applications (phân loại lỗi JavaScript, biến ngữ nghĩa URL).
3. Chương 3 & 4: Configuration Testing và Input Testing: Phân loại hai hình thức ứng dụng chính của kiểm thử tổ hợp; phương pháp phân vùng không gian đầu vào (Input Space Partitioning), xử lý cấu hình môi trường thực thi và quản lý ràng buộc giữa các tham số (parameter constraints).
4. Chương 5 & 6: Test Parameter Analysis và Managing System State: Trình bày phương pháp Cây phân loại (Classification Tree Method - đóng góp bởi Eduardo Miranda), phân tích giá trị biên (Boundary Value Analysis), và các mô hình quản lý trạng thái hệ thống đơn vùng/đa vùng (Single/Multiple Region State Models - đóng góp bởi George Sherwood).
5. Chương 7 & 8: Measuring Combinatorial Coverage và Test Suite Prioritization: Thiết lập các chỉ số đo độ bao phủ tổ hợp ($t$-way combination coverage, variable-value configuration coverage); kỹ thuật sắp xếp thứ tự ưu tiên bộ kiểm thử thông qua công cụ CPUT trên nhật ký máy chủ Apache (Renee Bryce, Sreedevi Sampath).
6. Chương 9 & 10: Random Generation và Sequence-Covering Arrays: Đánh giá sự đánh đổi giữa mảng bao phủ và kiểm thử ngẫu nhiên thích ứng (Adaptive Random Testing); định nghĩa và cấu trúc mảng bao phủ chuỗi ($SCA(N, S, t)$ - Jim Higdon) nhằm phát hiện lỗi phụ thuộc thứ tự thực thi.
7. Chương 11 & 12: Assertion-Based Testing và Model-Based Testing: Cơ chế tự động hóa Test Oracle bằng ngôn ngữ mô hình hóa Java (JML) và tích hợp kiểm thử tổ hợp với công cụ kiểm tra mô hình (Model Checker) trên ví dụ hệ thống kiểm soát truy cập (Access Control System).
8. Chương 13 đến 15: Fault Localization, Evolution of DoE và Algorithms: Quy trình định vị lỗi bằng phân tích ma trận kiểm thử; lịch sử phát triển từ Thiết kế Thí nghiệm (Design of Experiments); các thuật toán xây dựng mảng bao phủ hỗn hợp (Mixed-strength Covering Arrays - Linbin Yu, Yu Lei).

Tiến trình nội dung:
[Cơ sở thực nghiệm & Quy tắc tương tác] (Ch. 1-2)
[Mô hình hóa Tham số, Ràng buộc & Trạng thái] (Ch. 3-6)
[Đo lường Bao phủ, Ưu tiên & Mảng chuỗi] (Ch. 7-10)
[Tự động hóa Oracle, Định vị lỗi & Thuật toán] (Ch. 11-15)

Kiến thức nền tảng được xây dựng

• Lý thuyết tương tác tham số (Interaction Theory): Hệ thống hóa bản chất lỗi phần mềm theo bậc tương tác $t$ ($t$-way interaction strength). Khẳng định tính chất thực nghiệm: hầu hết lỗi được kích hoạt bởi tương tác bậc 1 hoặc bậc 2, và tiệm cận 100% khi đạt bậc 4 đến bậc 6.
• Cơ sở đại số tổ hợp: Định nghĩa toán học về mảng trực giao ($OA$), mảng bao phủ ($CA$), và mảng bao phủ chuỗi ($SCA$). Xác lập công thức tính tổng số tổ hợp mức hỗn hợp: $$\text{Total combinations} = \sum_{i} v_{i_1} \times \dots \times v_{i_t}$$
• Quy luật tiệm cận kích thước kiểm thử: Chứng minh kích thước mảng bao phủ $N$ tăng tỷ lệ thuận với $v^t \log n$, trong đó $v$ là số giá trị mỗi tham số, $t$ là bậc tương tác và $n$ là tổng số tham số.

Kỹ năng phát triển

• Kỹ năng kỹ thuật (Technical skills): Thiết lập cấu hình kiểm thử, nhập mô hình tham số, khai báo điều kiện ràng buộc và xuất ma trận kiểm thử $t$-way bằng công cụ ACTS qua cả hai chế độ Giao diện đồ họa (GUI) và Giao diện dòng lệnh (CLI).
• Kỹ năng phân tích (Analytical skills): Khả năng phân rã miền dữ liệu liên tục thành các lớp tương đương rời rạc (Equivalence Partitioning); phân tích cây phân loại và thiết lập ma trận logic cho các biến phụ thuộc.
• Năng lực thực tiễn (Practical competencies): Đánh giá tỷ lệ bao phủ tổ hợp của các bộ kiểm thử sẵn có, bổ sung ca kiểm thử tối thiểu để đạt mức bao phủ $t$-way xác định, và vận dụng vết phản ví dụ (counterexample trace) từ Model Checker để xây dựng kịch bản kiểm thử hoàn chỉnh.

---

Phương pháp giảng dạy và học tập (300-350 từ)

Giáo trình áp dụng phương pháp tiếp cận sư phạm dựa trên công cụ và minh chứng thực nghiệm (tool-supported and evidence-based learning). Mọi khái niệm lý thuyết tổ hợp đều được ánh xạ trực tiếp sang các vấn đề kỹ thuật phần mềm cụ thể.

• Bài tập và nghiên cứu tình huống (Case studies):
  • Kiểm thử đặc tả W3C DOM Level 3 Events: Minh họa việc giảm số lượng kiểm thử từ 36.626 ca kiểm thử vét cạn xuống 86 ca kiểm thử 4-way cho sự kiện mousedown mà vẫn phát hiện toàn bộ 72 lỗi giao diện.
  • Mô-đun nhật ký máy chủ Apache: Minh họa kỹ thuật ưu tiên hóa các phiên người dùng dựa trên độ bao phủ tổ hợp.
  • Hệ thống tránh va chạm máy bay (TCAS): Phân tích điều kiện rẽ nhánh phức tạp có tới 9 biến tương tác.
• Thực hành công cụ: Các bài tập thực hành được thiết kế gắn liền với phần mềm mã nguồn mở ACTS (hướng dẫn chi tiết tại Phụ lục D), hỗ trợ sinh mảng kiểm thử từ $t=2$ đến $t=6$.
• Phương pháp đánh giá: Cuối mỗi chương đều có mục Review Questions & Answers phục vụ việc kiểm tra khả năng hiểu bản chất toán học (tính số lượng tổ hợp, xác định bậc $t$ cần thiết để kích hoạt lỗi rẽ nhánh) và kỹ năng thiết kế kịch bản kiểm thử.
• Hướng dẫn tự học (Quick Start Guidelines): Tại Mục 1.5, giáo trình vạch rõ quy trình tiếp cận nhanh dành cho người tự học:
  1. Đọc Chương 1 để hiểu nguyên lý tương tác.
  2. Đọc Chương 3 và 4 để nắm quy trình kiểm thử cấu hình và đầu vào.
  3. Cài đặt công cụ ACTS (Phụ lục D).
  4. Thực hành sinh mảng kiểm thử và chạy thử nghiệm trên các bài toán quy mô nhỏ trước khi chuyển sang các chủ đề trạng thái phức tạp (Chương 5-6) hay kiểm thử chuỗi (Chương 10).

---

Điểm nổi bật và cập nhật (250-300 từ)

• Dữ liệu thực nghiệm quy mô lớn: Giáo trình tích hợp kết quả nghiên cứu thực nghiệm kéo dài 15 năm của NIST trên các tập dữ liệu thực tế, bao gồm:
  • Dữ liệu thu hồi thiết bị y tế từ Cục Quản lý Thực phẩm và Dược phẩm Hoa Kỳ (FDA).
  • Cơ sở dữ liệu Lỗ hổng Bảo mật Quốc gia (National Vulnerability Database - NVD) với hơn 3.000 lỗi bảo mật.
  • Phần mềm hàng không vũ trụ của NASA, máy chủ mạng và trình duyệt web.
• Mở rộng phạm vi kiểm thử vượt qua giới hạn 2-way (Pairwise): Khắc phục hạn chế của các phương pháp kiểm thử cặp đôi truyền thống bằng cách cung cấp thuật toán và công cụ sinh ca kiểm thử có độ mạnh cao ($t=3$ đến $t=6$), đáp ứng yêu cầu kiểm thử phần mềm có độ tin cậy cao.
• Tích hợp phương pháp hình thức vào bài toán Test Oracle: Kết hợp kiểm thử tổ hợp với ngôn ngữ đặc tả JML (Java Modeling Language) và công cụ kiểm tra mô hình (Model Checkers), biến các đặc tả toán học thành cơ chế kiểm tra kết quả tự động.
• Ứng dụng công nghiệp hiện đại: Cập nhật phương pháp kiểm thử cấu hình trên các dòng sản phẩm phần mềm (Software Product Lines), hệ thống web đa tầng và các ứng dụng Rich Internet Applications (RIA).

---

Đối tượng sử dụng giáo trình (200-250 từ)

• Sinh viên đại học và học viên cao học:
  • Sinh viên năm 3, năm 4 hoặc học viên cao học ngành Khoa học Máy tính, Kỹ thuật Phần mềm, Hệ thống Thông tin đang học các môn: Kiểm thử phần mềm, Đảm bảo chất lượng phần mềm, Kỹ thuật phần mềm nâng cao.
  • Kiến thức tiên quyết: Kiến thức toán rời rạc căn bản (chỉnh hợp, tổ hợp - được tóm lược tại Phụ lục A), nguyên lý lập trình và hiểu biết cơ bản về vòng đời phát triển phần mềm.
• Giảng viên và nhà nghiên cứu:
  • Giảng viên sử dụng giáo trình để biên soạn bài giảng lý thuyết và đề tài thực hành phòng lab. Hệ thống câu hỏi ôn tập và các ca nghiên cứu thực tế tại Chương 2, 8, 12 cung cấp nguồn học liệu chuẩn xác.
  • Nhà nghiên cứu khai thác cơ sở lý thuyết tại Chương 14-15 và dữ liệu thực nghiệm tại Phụ lục B để phát triển các thuật toán sinh mảng bao phủ mới.
• Kỹ sư kiểm thử phần mềm (QA/QC Engineers):
  • Sử dụng giáo trình như tài liệu kỹ thuật tham khảo nhằm chuẩn hóa quy trình phân vùng tham số đầu vào, áp dụng công cụ ACTS để cắt giảm số lượng ca kiểm thử thủ công trong doanh nghiệp.

---

Câu hỏi thường gặp (250-300 từ)

1. Giáo trình này phù hợp với ai?

Giáo trình được thiết kế cho sinh viên đại học, học viên cao học ngành Kỹ thuật Phần mềm, giảng viên chuyên ngành và các kỹ sư kiểm định chất lượng phần mềm đang tìm kiếm phương pháp tối ưu hóa bộ kiểm thử.

2. Cần kiến thức nền nào để học giáo trình này?

Người học cần có kiến thức cơ bản về lập trình, các khái niệm kiểm thử phần mềm cơ bản và toán rời rạc (quy tắc đếm, tổ hợp). Phần toán học chuyên biệt về mảng bao phủ đã được giải thích chi tiết trong Phụ lục A.

3. Điểm khác biệt của giáo trình này so với các tài liệu kiểm thử khác là gì?

Khác với các tài liệu kiểm thử chung chỉ giới thiệu kiểm thử cặp (pairwise testing) ở mức khái niệm, giáo trình này đi sâu vào kiểm thử tổ hợp tổng quát ($t$-way), cung cấp chứng minh toán học, dữ liệu thực nghiệm từ NIST/NASA và đi kèm công cụ thực thi tự động (ACTS).

4. Làm sao để tự học giáo trình hiệu quả?

Người học nên tuân thủ lộ trình "Quick Start" tại Chương 1.5: nắm chắc Quy tắc tương tác tại Chương 1, thực hành phân tích tham số tại Chương 3-4, sau đó cài đặt công cụ ACTS (theo Phụ lục D) để trực tiếp tạo và đánh giá các bộ kiểm thử mẫu.

5. Có tài liệu bổ trợ nào kèm theo giáo trình?

Giáo trình đi kèm 4 phụ lục chi tiết: Phụ lục A (Ôn tập Toán tổ hợp), Phụ lục B (Dữ liệu thực nghiệm lỗi phần mềm), Phụ lục C (Danh mục công cụ và liên kết tài nguyên), Phụ lục D (Tài liệu hướng dẫn sử dụng phần mềm ACTS) cùng hơn 220 tài liệu tham khảo học thuật.

---

Kết luận (150 từ)

Introduction to Combinatorial Testing là tài liệu học thuật chuẩn hóa về phương pháp kiểm thử tổ hợp trong kỹ thuật phần mềm. Giá trị cốt lõi của giáo trình nằm ở việc kết hợp giữa lý thuyết mảng bao phủ, dữ liệu thực nghiệm quy mô lớn từ NIST và quy trình công cụ hóa thông qua phần mềm ACTS, giúp giải quyết bài toán bùng nổ tổ hợp kiểm thử ($v^t \log n$). Lộ trình học tập đề xuất bắt đầu từ việc nắm bắt Quy tắc tương tác, thực hành mô hình hóa không gian đầu vào bằng Cây phân loại, sinh mảng kiểm thử bằng ACTS, và tiến tới tích hợp kiểm thử dựa trên mô hình (Model-Based Testing). Người học có thể khai thác thêm các tài nguyên bổ trợ như bảng tra cứu mảng bao phủ của Đại học Bang Arizona và kho mã nguồn công cụ từ NIST để phục vụ nghiên cứu và thực hành.

Trích đoạn nội dung tài liệu

Free ebooks ==> www.com CHAPMAN & HALL/CRC INNOVATIONS IN SOFTWARE ENGINEERING AND SOFTWARE DEVELOPMENT Introduction to Combinatorial Testing D. Richard Kuhn Raghu N. Kacker Yu Lei www.com Free ebooks ==> www.com Introduction to Combinatorial Testing Chapman & Hall/CRC Innovations in Software Engineering and Software Development Series Editor Richard LeBlanc Chair, Department of Computer Science and Software Engineering, Seattle University AIMS AND SCOPE This series covers all aspects of software engineering and software development. Books in the series will be innovative reference books, research monographs, and textbooks at the undergraduate and graduate level.

Coverage will include traditional subject matter, cutting-edge research, and current industry practice, such as agile software development methods and service-oriented architectures. We also welcome proposals for books that capture the latest results on the domains and conditions in which practices are most ef- fective. PUBLISHED TITLES Software Development: An Open Source Approach Allen Tucker, Ralph Morelli, and Chamindra de Silva Building Enterprise Systems with ODP: An Introduction to Open Distributed Processing Peter F. Linington, Zoran Milosevic, Akira Tanaka, and Antonio Vallecillo Software Engineering: The Current Practice Václav Rajlich Fundamentals of Dependable Computing for Software Engineers John Knight Introduction to Combinatorial Testing D.

Richard Kuhn, Raghu N. Kacker, and Yu Lei Free ebooks ==> www.com CHAPMAN & HALL/CRC INNOVATIONS IN SOFTWARE ENGINEERING AND SOFTWARE DEVELOPMENT Introduction to Combinatorial Testing D. Richard Kuhn Raghu N. Kacker Yu Lei www.com CRC Press Taylor & Francis Group 6000 Broken Sound Parkway NW, Suite 300 Boca Raton, FL 33487-2742 © 2013 by Taylor & Francis Group, LLC CRC Press is an imprint of Taylor & Francis Group, an Informa business No claim to original U.

Government works Version Date: 20130426 International Standard Book Number-13: 978-1-4665-5230-2 (eBook - PDF) This book contains information obtained from authentic and highly regarded sources. Reasonable efforts have been made to publish reliable data and information, but the author and publisher cannot assume responsibility for the validity of all materials or the consequences of their use. The authors and publishers have attempted to trace the copyright holders of all material reproduced in this publication and apologize to copyright holders if permission to publish in this form has not been obtained. If any copyright material has not been acknowledged please write and let us know so we may rectify in any future reprint.

Except as permitted under U. Copyright Law, no part of this book may be reprinted, reproduced, transmitted, or utilized in any form by any electronic, mechanical, or other means, now known or hereafter invented, including photocopying, microfilming, and recording, or in any information stor- age or retrieval system, without written permission from the publishers. For permission to photocopy or use material electronically from this work, please access www.com (http://www.com/) or contact the Copyright Clearance Center, Inc. (CCC), 222 Rosewood Drive, Danvers, MA 01923, 978-750-8400.

CCC is a not-for-profit organization that pro- vides licenses and registration for a variety of users. For organizations that have been granted a pho- tocopy license by the CCC, a separate system of payment has been arranged. Trademark Notice: Product or corporate names may be trademarks or registered trademarks, and are used only for identification and explanation without intent to infringe. Visit the Taylor & Francis Web site at http://www.com and the CRC Press Web site at http://www.com Contents Preface, xiii Authors, xvii Note of Appreciation, xix Nomenclature, xxi Chapter 1 ■ Combinatorial Methods in Testing 1 1.1 SOFTWARE FAILURES AND THE INTERACTION RULE 1 1.2 TWO FORMS OF COMBINATORIAL TESTING 8 1.1 Covering Array Definition 12 1.2 Size of Covering Arrays 13 1.4 THE TEST ORACLE PROBLEM 15 1.5 QUICK START: HOW TO USE THE BASICS OF COMBINATORIAL METHODS RIGHT AWAY 16 1.6 CHAPTER SUMMARY 17 REVIEW 18 Chapter 2 ■ Combinatorial Testing Applied 21 2.1 DOCUMENT OBJECT MODEL 21 Carmelo Montanez-Rivera, D.

Richard Kuhn, Mary Brady, Rick Rivello, Jenise Reyes Rodriguez, and Michael Powers 2.1 Constructing Tests for DOM Events 22 v vi   ◾   Contents 2.2 Combinatorial Testing Approach 25 2.4 Cost and Practical Considerations 29 2.2 RICH WEB APPLICATIONS 30 Chad M.1 Systematic Variable Detection in Semantic URLs 31 2.2 JavaScript Fault Classification and Identification 31 2.3 CHAPTER SUMMARY 35 Chapter 3 ■ Configuration Testing 37 3.1 RUNTIME ENVIRONMENT CONFIGURATIONS 37 3.