Luận Văn Thạc Sĩ: Nghiên Cứu Và Ứng Dụng Giải Pháp Kiểm Thử Tự Động Phần Mềm

Luận văn thạc sĩ nghiên cứu nghiên cứu và ứng dụng giải pháp kiểm thử tự động phần mềm, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Nguyễn Thị Hòa
• Người hướng dẫn: TS. Đinh Văn Dũng
• Trường học: Đại học Quốc gia Hà Nội - Viện Công nghệ Thông tin
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu và ứng dụng giải pháp kiểm thử tự động phần mềm hiệu quả
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN KIỂM THỬ TỰ ĐỘNG PHẦN MỀM
• 1.1. Giới thiệu
• 1.2. Qui trình kiểm thử tự động
• 1.3. Lợi ích và thách thức của kiểm thử tự động
• 1.4. Thị trường kiểm thử tự động
• 1.5. Tình hình nghiên cứu kiểm thử tự động
• 1.6. Tình hình ứng dụng kiểm thử tự động
• 2. CHƯƠNG 2: GIẢI PHÁP KIỂM THỬ TỰ ĐỘNG HƯỚNG DỮ LIỆU VÀ TỪ KHÓA
• 2.1. Yêu cầu chức năng của khung tự động hóa kiểm thử
• 2.2. Kiểm thử hướng dữ liệu (Data-driven testing)
• 2.3. Kiểm thử hướng từ khóa (Keyword-driven testing)
• 2.4. Phương pháp tích hợp kiểm thử hướng dữ liệu và từ khóa
• 3. CHƯƠNG 3: THỬ NGHIỆM KIỂM THỬ HƯỚNG DỮ LIỆU VÀ TỪ KHÓA
• 3.1. Mô tả đối tượng kiểm thử
• 3.2. Yêu cầu tự động hóa kiểm thử
• 3.3. Môi trường thử nghiệm
• 3.4. Thiết kế kiểm thử hướng dữ liệu và từ khóa
• 3.5. Thử nghiệm và đánh giá kết quả
• 4. CHƯƠNG 4: KẾT LUẬN VÀ KHUYẾN NGHỊ
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC 1: DANH SÁCH CÁC TỪ KHÓA DÙNG CHUNG
• PHỤ LỤC 2: DANH SÁCH CÁC TỪ KHÓA NGHIỆP VỤ

Tóm tắt

I. Tổng quan về kiểm thử tự động phần mềm

Kiểm thử tự động là quá trình thực hiện các bước kiểm thử một cách tự động, nhằm giảm thiểu thời gian, công sức và chi phí. Phần mềm ngày càng phức tạp, đòi hỏi kiểm thử chặt chẽ để đảm bảo chất lượng phần mềm. Kiểm thử tự động không chỉ tăng hiệu quả mà còn giảm sự nhàm chán cho kiểm thử viên. Quy trình kiểm thử tự động bao gồm các bước từ lập kế hoạch đến triển khai và đánh giá. Công nghệ kiểm thử hiện đại hỗ trợ nhiều phương pháp kiểm thử như kiểm thử hướng dữ liệu và kiểm thử hướng từ khóa, giúp tối ưu hóa quá trình kiểm thử.

1.1. Khái niệm và vai trò của kiểm thử tự động

Kiểm thử tự động là quá trình thực hiện các bước kiểm thử một cách tự động, giúp giảm thiểu thời gian và chi phí. Phần mềm hiện đại đòi hỏi kiểm thử chặt chẽ để đảm bảo chất lượng phần mềm. Kiểm thử tự động không chỉ tăng hiệu quả mà còn giảm sự nhàm chán cho kiểm thử viên. Quy trình kiểm thử tự động bao gồm các bước từ lập kế hoạch đến triển khai và đánh giá. Công nghệ kiểm thử hiện đại hỗ trợ nhiều phương pháp kiểm thử như kiểm thử hướng dữ liệu và kiểm thử hướng từ khóa, giúp tối ưu hóa quá trình kiểm thử.

1.2. Lợi ích và thách thức của kiểm thử tự động

Kiểm thử tự động mang lại nhiều lợi ích như giảm thời gian, chi phí và tăng độ tin cậy. Tuy nhiên, việc áp dụng kiểm thử tự động cũng gặp nhiều thách thức như chi phí ban đầu cao và yêu cầu kỹ năng chuyên môn. Phần mềm phức tạp đòi hỏi kiểm thử chặt chẽ để đảm bảo chất lượng phần mềm. Quy trình kiểm thử tự động cần được lập kế hoạch cẩn thận để đạt hiệu quả cao. Công nghệ kiểm thử hiện đại hỗ trợ nhiều phương pháp kiểm thử như kiểm thử hướng dữ liệu và kiểm thử hướng từ khóa, giúp tối ưu hóa quá trình kiểm thử.

II. Giải pháp kiểm thử tự động hướng dữ liệu và từ khóa

Giải pháp kiểm thử tự động hướng dữ liệu và từ khóa là hai phương pháp hiệu quả trong kiểm thử phần mềm. Kiểm thử hướng dữ liệu tập trung vào việc sử dụng các bộ dữ liệu khác nhau để kiểm tra chức năng của phần mềm. Kiểm thử hướng từ khóa sử dụng các từ khóa để mô tả các bước kiểm thử, giúp dễ dàng tái sử dụng và bảo trì. Phương pháp tích hợp hai kỹ thuật này giúp tối ưu hóa quá trình kiểm thử tự động, đảm bảo chất lượng phần mềm cao hơn.

2.1. Kiểm thử hướng dữ liệu

Kiểm thử hướng dữ liệu là phương pháp sử dụng các bộ dữ liệu khác nhau để kiểm tra chức năng của phần mềm. Phương pháp này giúp đảm bảo rằng phần mềm hoạt động chính xác với nhiều loại dữ liệu đầu vào. Kiểm thử hướng dữ liệu thường được sử dụng trong các hệ thống có yêu cầu xử lý dữ liệu phức tạp. Phương pháp kiểm thử này giúp tăng độ tin cậy và chất lượng phần mềm.

2.2. Kiểm thử hướng từ khóa

Kiểm thử hướng từ khóa sử dụng các từ khóa để mô tả các bước kiểm thử, giúp dễ dàng tái sử dụng và bảo trì. Phương pháp này giúp giảm thời gian và công sức trong việc viết và duy trì các kịch bản kiểm thử. Kiểm thử hướng từ khóa thường được sử dụng trong các dự án lớn với nhiều chức năng phức tạp. Phương pháp kiểm thử này giúp tăng hiệu quả và chất lượng phần mềm.

III. Thử nghiệm kiểm thử hướng dữ liệu và từ khóa

Thử nghiệm kiểm thử hướng dữ liệu và từ khóa được thực hiện trên phần mềm quản lý quảng cáo trực tuyến Ads Editor. Kiểm thử tự động được áp dụng để kiểm tra chức năng “Post changes/Get changes”. Quy trình kiểm thử bao gồm thiết kế kịch bản, thực hiện kiểm thử và đánh giá kết quả. Phương pháp tích hợp hai kỹ thuật này giúp tối ưu hóa quá trình kiểm thử tự động, đảm bảo chất lượng phần mềm cao hơn.

3.1. Mô tả đối tượng kiểm thử

Phần mềm quản lý quảng cáo trực tuyến Ads Editor là đối tượng được sử dụng để thử nghiệm kiểm thử tự động. Kiểm thử tự động được áp dụng để kiểm tra chức năng “Post changes/Get changes”. Quy trình kiểm thử bao gồm thiết kế kịch bản, thực hiện kiểm thử và đánh giá kết quả. Phương pháp tích hợp hai kỹ thuật này giúp tối ưu hóa quá trình kiểm thử tự động, đảm bảo chất lượng phần mềm cao hơn.

3.2. Thiết kế và thực hiện kiểm thử

Thiết kế kiểm thử bao gồm việc tạo các kịch bản kiểm thử dựa trên kiểm thử hướng dữ liệu và kiểm thử hướng từ khóa. Kiểm thử tự động được thực hiện trên phần mềm quản lý quảng cáo trực tuyến Ads Editor. Quy trình kiểm thử bao gồm thiết kế kịch bản, thực hiện kiểm thử và đánh giá kết quả. Phương pháp tích hợp hai kỹ thuật này giúp tối ưu hóa quá trình kiểm thử tự động, đảm bảo chất lượng phần mềm cao hơn.

IV. Kết luận và khuyến nghị

Nghiên cứu và ứng dụng giải pháp kiểm thử tự động đã mang lại nhiều kết quả tích cực trong việc nâng cao chất lượng phần mềm. Kiểm thử tự động giúp giảm thiểu thời gian, chi phí và tăng độ tin cậy. Phương pháp kiểm thử hướng dữ liệu và kiểm thử hướng từ khóa đã chứng minh hiệu quả trong việc tối ưu hóa quá trình kiểm thử tự động. Các khuyến nghị tiếp theo bao gồm nghiên cứu sâu hơn về công nghệ kiểm thử và áp dụng kiểm thử tự động trong các dự án lớn hơn.

4.1. Kết quả nghiên cứu

Nghiên cứu và ứng dụng giải pháp kiểm thử tự động đã mang lại nhiều kết quả tích cực trong việc nâng cao chất lượng phần mềm. Kiểm thử tự động giúp giảm thiểu thời gian, chi phí và tăng độ tin cậy. Phương pháp kiểm thử hướng dữ liệu và kiểm thử hướng từ khóa đã chứng minh hiệu quả trong việc tối ưu hóa quá trình kiểm thử tự động.

4.2. Khuyến nghị

Các khuyến nghị tiếp theo bao gồm nghiên cứu sâu hơn về công nghệ kiểm thử và áp dụng kiểm thử tự động trong các dự án lớn hơn. Kiểm thử tự động cần được lập kế hoạch cẩn thận để đạt hiệu quả cao. Phương pháp kiểm thử hướng dữ liệu và kiểm thử hướng từ khóa cần được tích hợp nhiều hơn trong các dự án phát triển phần mềm.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh ngành công nghiệp phần mềm phát triển nhanh chóng, kiểm thử phần mềm trở thành khâu then chốt để đảm bảo chất lượng sản phẩm. Theo báo cáo ngành, chi phí kiểm thử chiếm tỷ trọng lớn trong tổng chi phí phát triển phần mềm, đặc biệt với các phần mềm quy mô lớn và phức tạp. Kiểm thử hồi qui (regression testing) là hoạt động thiết yếu nhằm đảm bảo các chức năng cũ vẫn hoạt động ổn định sau khi phần mềm được cập nhật hoặc nâng cấp. Tuy nhiên, kiểm thử thủ công tốn kém nhiều thời gian, nhân lực và dễ xảy ra sai sót, đặc biệt khi số lượng bài kiểm thử tăng lên theo từng phiên bản.

Mục tiêu của luận văn là nghiên cứu và ứng dụng giải pháp kiểm thử tự động, tập trung vào hai phương pháp kiểm thử hướng dữ liệu (data-driven testing) và kiểm thử hướng từ khóa (keyword-driven testing), nhằm giảm thiểu chi phí, tăng hiệu quả và độ chính xác trong kiểm thử hồi qui phần mềm. Nghiên cứu được thực hiện trên phần mềm Ads Editor – một ứng dụng quản lý chiến dịch quảng cáo trực tuyến, với phạm vi thời gian nghiên cứu từ năm 2013 đến 2014 tại Viện Công nghệ Thông tin, Đại học Quốc gia Hà Nội.

Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao năng suất kiểm thử, giảm thiểu thời gian thực hiện kiểm thử hồi qui, đồng thời đảm bảo chất lượng phần mềm được duy trì ổn định. Kết quả nghiên cứu góp phần thúc đẩy ứng dụng kiểm thử tự động trong các doanh nghiệp phần mềm tại Việt Nam, nơi nguồn nhân lực kiểm thử tự động còn hạn chế nhưng nhu cầu ngày càng tăng cao.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính trong kiểm thử tự động:

1. Kiểm thử hướng dữ liệu (Data-driven testing): Phương pháp này tách biệt dữ liệu kiểm thử ra khỏi mã nguồn kiểm thử, cho phép sử dụng các bảng dữ liệu bên ngoài (CSV, TSV, Excel) để điều khiển các kịch bản kiểm thử. Ưu điểm là dễ dàng sửa đổi dữ liệu mà không cần lập trình lại mã nguồn, tăng khả năng tái sử dụng và bảo trì.

2. Kiểm thử hướng từ khóa (Keyword-driven testing): Mở rộng từ kiểm thử hướng dữ liệu, phương pháp này không chỉ tách dữ liệu mà còn tách các chỉ đạo hành động (từ khóa) ra khỏi mã nguồn. Các từ khóa được tổ chức thành thư viện, cho phép kiểm thử viên không chuyên lập trình có thể xây dựng các kịch bản kiểm thử bằng cách kết hợp các từ khóa nghiệp vụ. Từ khóa có thể ở mức thấp (giao diện) hoặc mức cao (nghiệp vụ).

Ba khái niệm chuyên ngành quan trọng được sử dụng trong nghiên cứu gồm: kiểm thử hồi qui, khung kiểm thử tự động (automation testing framework), và kiểm thử chức năng.

Phương pháp nghiên cứu

Nguồn dữ liệu chính của nghiên cứu là phần mềm Ads Editor và các tài liệu kỹ thuật liên quan đến kiểm thử tự động. Nghiên cứu sử dụng phương pháp phân tích định tính kết hợp thực nghiệm kiểm thử tự động trên phần mềm thực tế.

Cỡ mẫu nghiên cứu bao gồm các kịch bản kiểm thử chức năng “Post changes” và “Get changes” với khoảng 50 bài kiểm thử được thiết kế theo hai phương pháp hướng dữ liệu và hướng từ khóa. Phương pháp chọn mẫu là chọn các chức năng quan trọng và thường xuyên thay đổi trong phần mềm để đảm bảo tính đại diện.

Phân tích dữ liệu được thực hiện bằng cách so sánh kết quả kiểm thử tự động với kiểm thử thủ công về thời gian thực hiện, tỷ lệ phát hiện lỗi và chi phí nhân lực. Timeline nghiên cứu kéo dài trong 12 tháng, từ thiết kế, phát triển đến thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Giảm thời gian kiểm thử hồi qui: Áp dụng kiểm thử tự động hướng dữ liệu và từ khóa giúp rút ngắn thời gian kiểm thử trung bình từ 8 giờ xuống còn khoảng 2 giờ cho mỗi phiên bản phần mềm, tương đương giảm 75% thời gian.

2. Tăng tỷ lệ phát hiện lỗi: Kiểm thử tự động phát hiện được 92% lỗi chức năng trong khi kiểm thử thủ công chỉ phát hiện khoảng 70%, tăng 22% hiệu quả phát hiện lỗi.

3. Giảm chi phí nhân lực: Số lượng nhân lực cần thiết cho kiểm thử hồi qui giảm từ 5 người xuống còn 2 người, tiết kiệm khoảng 60% chi phí nhân sự.

4. Tính bảo trì và mở rộng cao: Việc tách biệt dữ liệu và từ khóa giúp dễ dàng cập nhật các bài kiểm thử khi phần mềm thay đổi, giảm 40% thời gian bảo trì so với phương pháp kiểm thử tự động truyền thống.

Thảo luận kết quả

Nguyên nhân chính của việc giảm thời gian và chi phí là do kiểm thử tự động cho phép thực thi lặp lại các kịch bản kiểm thử một cách nhanh chóng và chính xác, đồng thời giảm thiểu sai sót do con người. Việc áp dụng kiểm thử hướng từ khóa giúp kiểm thử viên không chuyên lập trình cũng có thể tham gia thiết kế bài kiểm thử, tăng tính linh hoạt và hiệu quả.

So sánh với các nghiên cứu trong ngành, kết quả phù hợp với báo cáo thị trường cho thấy hơn 68% doanh nghiệp tin tưởng kiểm thử tự động có thể bao phủ trên 50% các quy trình nghiệp vụ quan trọng. Kết quả cũng phản ánh đúng thực trạng tại Việt Nam, nơi các công ty lớn như FPT đã áp dụng kiểm thử tự động với tỷ lệ trên 70%.

Dữ liệu có thể được trình bày qua biểu đồ cột so sánh thời gian và chi phí giữa kiểm thử thủ công và tự động, cũng như bảng tổng hợp tỷ lệ phát hiện lỗi theo từng phương pháp.

Đề xuất và khuyến nghị

1. Triển khai khung kiểm thử tự động tích hợp hướng dữ liệu và từ khóa: Động từ hành động là “xây dựng” và “áp dụng”, mục tiêu là giảm thời gian kiểm thử hồi qui ít nhất 50% trong vòng 6 tháng, chủ thể thực hiện là các phòng ban kiểm thử phần mềm.

2. Đào tạo kỹ năng kiểm thử tự động cho kiểm thử viên: Tổ chức các khóa đào tạo về thiết kế bài kiểm thử hướng từ khóa và sử dụng công cụ Robot Framework, nhằm nâng cao năng lực đội ngũ trong 3 tháng đầu triển khai.

3. Xây dựng thư viện từ khóa nghiệp vụ chuẩn hóa: Phát triển và duy trì thư viện từ khóa dùng chung và nghiệp vụ để tái sử dụng trong các dự án, giúp giảm chi phí bảo trì và tăng tính nhất quán, hoàn thành trong 9 tháng.

4. Áp dụng công cụ quản lý và báo cáo tự động: Sử dụng các công cụ hỗ trợ quản lý thông tin kiểm thử và báo cáo kết quả tự động để nâng cao hiệu quả giám sát và đánh giá chất lượng kiểm thử, triển khai song song với việc xây dựng khung kiểm thử.

Đối tượng nên tham khảo luận văn

1. Kỹ sư kiểm thử phần mềm: Nắm bắt phương pháp kiểm thử tự động hướng dữ liệu và từ khóa để nâng cao hiệu quả công việc, giảm thiểu sai sót và tăng năng suất.

2. Quản lý dự án phần mềm: Hiểu rõ lợi ích và thách thức của kiểm thử tự động để lập kế hoạch và phân bổ nguồn lực hợp lý, đảm bảo tiến độ và chất lượng dự án.

3. Nhà phát triển phần mềm: Hỗ trợ phối hợp với đội kiểm thử trong việc xây dựng và bảo trì các kịch bản kiểm thử tự động, góp phần nâng cao chất lượng sản phẩm.

4. Các tổ chức đào tạo và nghiên cứu: Sử dụng luận văn làm tài liệu tham khảo để phát triển chương trình đào tạo kiểm thử tự động và nghiên cứu sâu hơn về các phương pháp kiểm thử hiện đại.

Câu hỏi thường gặp

1. Kiểm thử tự động có thể thay thế hoàn toàn kiểm thử thủ công không?
   Không, kiểm thử tự động hỗ trợ kiểm thử hồi qui và các bài kiểm thử lặp lại hiệu quả, nhưng kiểm thử thủ công vẫn cần thiết cho các bài kiểm thử phức tạp, kiểm thử tính khả dụng và các trường hợp đặc biệt.

2. Phương pháp kiểm thử hướng dữ liệu và hướng từ khóa khác nhau như thế nào?
   Kiểm thử hướng dữ liệu tập trung vào tách dữ liệu kiểm thử ra khỏi mã nguồn, còn kiểm thử hướng từ khóa tách cả dữ liệu và các chỉ đạo hành động (từ khóa) ra khỏi mã nguồn, giúp kiểm thử viên không chuyên lập trình dễ dàng xây dựng kịch bản.

3. Làm thế nào để bảo trì các bài kiểm thử tự động khi phần mềm thay đổi?
   Việc tách biệt dữ liệu và từ khóa giúp giảm thiểu ảnh hưởng khi phần mềm thay đổi. Các bài kiểm thử lỗi thời cần được loại bỏ, trong khi các từ khóa và dữ liệu có thể được cập nhật riêng biệt để duy trì tính hiệu quả.

4. Robot Framework có phù hợp để áp dụng kiểm thử tự động không?
   Robot Framework là công cụ mã nguồn mở hỗ trợ kiểm thử tự động theo hướng dữ liệu và từ khóa, có khả năng mở rộng cao, dễ sử dụng và được áp dụng thành công trong nhiều dự án, bao gồm phần mềm Ads Editor trong nghiên cứu này.

5. Kiểm thử tự động có thể áp dụng cho những loại phần mềm nào?
   Kiểm thử tự động phù hợp với các phần mềm có quy mô lớn, thường xuyên thay đổi, có nhiều bài kiểm thử lặp lại, đặc biệt là các ứng dụng doanh nghiệp, hệ thống quản lý và phần mềm có giao diện người dùng đồ họa.

Kết luận

• Kiểm thử tự động hướng dữ liệu và từ khóa giúp giảm 75% thời gian kiểm thử hồi qui và tăng 22% tỷ lệ phát hiện lỗi so với kiểm thử thủ công.
• Việc tách biệt dữ liệu và từ khóa trong khung kiểm thử tự động nâng cao khả năng bảo trì và mở rộng các bài kiểm thử.
• Ứng dụng thành công trên phần mềm Ads Editor chứng minh tính khả thi và hiệu quả của giải pháp trong thực tế.
• Đề xuất xây dựng thư viện từ khóa chuẩn hóa và đào tạo kỹ năng kiểm thử tự động nhằm nâng cao năng lực đội ngũ kiểm thử.
• Các bước tiếp theo bao gồm triển khai rộng rãi giải pháp trong các dự án phần mềm khác và nghiên cứu mở rộng các kỹ thuật kiểm thử tự động mới.

Hành động ngay hôm nay: Các tổ chức và cá nhân trong lĩnh vực phát triển và kiểm thử phần mềm nên bắt đầu áp dụng kiểm thử tự động hướng dữ liệu và từ khóa để nâng cao chất lượng sản phẩm và tiết kiệm chi phí.

Trích đoạn nội dung tài liệu

Chương I, chương này giới thiệu hai giải pháp kiểm thử tự động hướng dữ liệu và hướng từ khóa. Chương III: Thử nghiệm kiểm thử hướng dữ liệu và từ khóa Chương này giới thiệu sơ lược với bạn đọc về phần mềm quản lý quảng cáo trực tuyến Ads Editors. Lý do cần thiết phải xây dựng hệ thống kiểm thử tự động để kiểm thử cho hệ thống Ads Editors. Đưa ra các bước xây dựng kiểm thử hướng dữ liệu và hướng từ khóa trong việc áp dụng kiểm thử tự động chức năng “Post changes/ Get changes”.

Chương IV: Kết luận và khuyến nghị Trong chương này, chúng tôi sẽ tổng kết lại các kết quả và đóng góp mà việc thực hiện đề tài đem lại. Ngoài ra, chúng tôi cũng đề xuất các phương hướng nghiên cứu tiếp theo, nhằm giúp cho đề tài trở nên hoàn thiện hơn. TỔNG QUAN KIỂM THỬ TỰ ĐỘNG PHẦN MỀM 1.1 Giới thiệu Khái niệm Kiểm thử phần mềm là qui trình thực hiện một chương trình hay hệ thống với mục đích tìm lỗi, như Myer định nghĩa [1]. Có kiểm thử, chúng ta có thể đánh giá được các yêu cầu về chức năng cũng như yêu cầu phi chức năng (tính tin cậy, tính khả dụng, tính hiệu quả, khả năng bảo trì, bảo mật, tính di động) của phần mềm.

Lỗi phần mềm càng được tìm ra muộn, nhất là sau khi sản phẩm đã đến tay người dùng thì càng tốn nhiều thời gian và tiền bạc để sửa lỗi. Do đó, kiểm thử phần mềm được thực hiện ngay trong quá trình phát triển phần mềm. Hiện nay, các công cụ hỗ trợ lập trình đã giúp tăng cải thiện năng suất làm việc của các lập trình viên lên rất nhiều. Điều này dẫn đến tăng áp lực lên các kiểm thử viên, những người thường đứng ở vị trí nút cổ chai trong việc bàn giao sản phẩm phần mềm.

Đòi hỏi kiểm thử viên phải kiểm thử nhiều hơn trong khoảng thời gian ít hơn. Nên việc cần làm với các kiểm thử viên đó là tìm ra cách để vừa đảm bảo chất lượng của phần mềm, đồng thời phải rút ngắn thời gian kiểm thử, đồng nghĩa với việc tăng năng suất kiểm thử. Cũng giống như rất nhiều nghành nghề khác, khi nghĩ đến việc tăng năng suất lao động, người ta nghĩ đến tự động hóa. Vậy kiểm thử tự động là gì? Kiểm thử tự động là quá trình thực hiện một cách tự động các bước trong một kịch bản kiểm thử.

Mục đích của kiểm thử tự động là giảm thiểu thời gian, công sức và kinh phí, tăng độ tin cậy, tăng tính hiệu quả và giảm sự nhàm chán cho kiểm thử viên trong quá trình kiểm thử phần mềm. [2] Kiểm thử phần mềm hay kiểm thử kiểm thử phần mềm tự động có thể được phân chia thành kiểm thử tĩnh và kiểm thử động, trong đó kiểm thử động bao gồm kiểm thử chức năng và kiểm thử phi chức năng. Mỗi loại kiểm thử đều đóng vai trò quan trọng trong đảm bảo chất lượng phần mềm, như kiểm thử tĩnh là thực hiện kiểm thử ở giai đoạn sớm của quá trình phát triển phần mềm, phát hiện các lỗi trên 4 các tài liệu thiết kế, mã nguồn. Kiểm thử động được thực hiện khi mã nguồn được thực thi, nhằm phát hiện ra các lỗi về chức năng như phần mềm có hoạt động như thiết kế không, hoặc các lỗi phi chức năng như phần mềm có hoạt động như mong muốn của người dùng không.

Do có rất nhiều thuật ngữ liên quan đến kiểm thử và kiểm thử tự động không thể giới thiệu hết trong phạm vi của luận văn. Nên luận văn chỉ đề cập đến các khái niệm kiểm thử chức năng và kiểm thử hồi qui, tập trung vào áp dụng kiểm thử tự động các chức năng ở trong giai đoạn kiểm thử hồi qui. Kiểm thử chức năng Giống như tên gọi của nó, kiểm thử chức năng đảm bảo rằng các chức năng của phần mềm sẽ hoạt động đúng như yêu cầu trong đặc tả phần mềm, Chức năng của phần mềm là những gì mà nó được xây dựng để có thể làm được. Vậy kiểm thử chức năng sẽ là kiểm tra xem phần mềm có thể làm được các yêu cầu có trong đặc tả hay ca sử dụng (use cases).

Có thể có một số chức năng mà cũng được giả sử sẽ thỏa mãn mặc dù không được nhắc đến trong tài liệu nhưng được ngầm hiểu bởi kiểm thử viên. Kiểm thử chức năng có thể được thực hiện ở tất cả các mức kiểm thử: kiểm thử đơn vị, kiểm thử tích hợp, kiểm thử hệ thống, kiểm thử chấp nhận… Dựa theo tiêu chuẩn ISO 9126, kiểm thử chức năng có thể tập trung vào tính phù hợp (suitability), tính tương tác (interoperability), tính bảo mật (security), tính chính xác (accuracy) và tính tuân thủ (compliance). Trong đó tính phù hợp đó là khả năng phần mềm có thể cung cấp các tập hợp các chức năng phù hợp cho một tác vụ cụ thể và mục tiêu người dùng. Tính tương tác đó là khả năng phần mềm có thể tương tác với một hoặc nhiều thành phần cụ thể hoặc hệ thống.

Tính bảo mật là khả năng phần mềm có thể ngăn chặn truy cập trái phép, dù vô tình hay cố ý các chương trình và dữ liệu. Tính chính xác là khả năng của phần mềm có thể cung cấp các quyền hay những đồng thuận về kết quả hoặc ảnh hưởng với mức độ cần thiết của độ chính xác. Kiểm thử chức năng có thể thực hiện theo hai xu hướng: Dựa trên yêu cầu hoặc dựa trên qui trình nghiệp vụ. 5 Kiểm thử chức năng dựa trên yêu cầu sử dụng đặc tả của hệ thống là tài liệu cơ bản để thiết kế các bài kiểm thử.

Một cách bắt đầu tốt đó là sử dụng bảng mục lục của tài liệu đặc tả để liệt kê ra danh sách các đầu mục cần thực hiện kiểm thử (hoặc không kiểm thử). Chúng ta cần đánh độ ưu tiên cho các bài kiểm thử để đảm bảo rằng những phần yêu cầu quan trọng nhất chắc chắn được thực hiện kiểm thử. Kiểm thử dựa trên qui trình nghiệp vụ sử dụng kiến thức liên quan đến qui trình nghiệp vụ. Qui trình nghiệp vụ miêu tả kịch bản sử dụng chức năng hàng ngày của hệ thống.

Sử dụng tài liệu ca sử dụng rất phù hợp cho việc tạo các bài kiểm thử theo hướng nghiệp vụ. [3] Một cách tổng quát, kiểm thử chức năng có thể được hoàn thành trong hai bước như minh họa ở Hình 1. Đầu tiên hệ thống cần kiểm thử được nhập giá trị đầu vào. Sau đó kết quả đầu ra của phần mềm và sự thay đổi trong trạng thái của phần mềm được so sánh với kết quả mong muốn mà đã được định nghĩa từ trước.

Trong hầu hết trường hợp, các bước này đều có thể được tự động hóa.[4] Hình 1: Kiểm thử chức năng ở góc nhìn tổng quan (High level view) Kiểm thử hồi qui Như đã nói ở trên, khi xây dựng một phiên bản mới của hệ thống như sửa lỗi, thêm chức năng, chúng ta có thể vô tình gây ra các lỗi mới. Nhiều khi có thay đổi rất nhỏ nhưng cũng gây ra vấn đề rất lớn ngoài sức tưởng tượng của đội phát triển. 6 Để tránh những sự việc đáng tiếc này xảy ra, chúng ta cần kiểm thử lại phần mềm để đảm bảo chức năng đã chạy tốt vẫn tiếp tục chạy tốt. Khi phiên bản mới của phần mềm không còn hoạt động như trước chúng ta nói là phiên bản mới hồi qui với bản trước đó.

Phiên bản mới không hồi qui tức là nó vẫn giữ được các tính năng là một yêu cầu chất lượng cơ bản. Các hoạt động kiểm thử tập trung vào vấn đề hồi qui được gọi là kiểm thử hồi qui. Đúng ra chúng ta cần kiểm tra phiên bản mới không hồi qui về phiên bản cũ, nhưng thuật ngữ kiểm thử hồi quy đã phổ biến nên chúng ta dùng thuật ngữ này. Kiểm thử hồi qui được minh họa như hình dưới đây.

Hình 2: Kiểm thử hồi qui Phương pháp đơn giản để kiểm thử hồi quy là chạy lại tất cả các ca kiểm thử của phiên bản trước. Tuy nhiên việc kiểm lại toàn bộ này rất tốn kém và không tầm thường. Các bài kiểm thử trước đó có thể không chạy lại được với phiên bản mới của phần mềm mà không sửa đổi gì. Chạy lại toàn bộ các bài kiểm thử là rất tốn kém và nhiều phần trong đó là không cần thiết.

Một bộ kiểm thửu chất lượng tốt phải được duy trì xuyên suốt các phiên bản của hệ thống. Thay đổi trong phiên bản phần mềm mới có thể tác động tới khuôn dạng của đầu vào và đầu ra, và các bài kiểm thử có thể cần các thay đổi tương ứng để chạy được. Ngay cả việc sửa đổi một cách đơn giản của cấu trúc dữ liệu, chẳng hạn như bổ xung các trường có thể làm cho các bài kiểm thử trước đây không chạy được 7 nữa. Hơn nữa một số bài kiểm thử có bị lỗi thời, khi các tính năng của phần mềm đã thay đổi hoặc bị loại bỏ khỏi phiên bản mới.

Các khung hỗ trợ để dịch đặc tả kiểm thử thành bài kiểm thử sẽ giúp giảm ảnh hưởng của thay đổi định dạng của đầu vào và đầu ra. Các đặc tả bài kiểm thử và các mệnh đề về kết quả mong đợi mà phản ánh tính đúng của bài kiểm thử và tránh các chi tiết cụ thể sẽ giảm một phần lớn công sức kiểm thử khi có thay đổi nhỏ. Các bộ kiểm thử chất lượng cao có thể được duy trì qua các phiên bản của phần mềm bằng việc xác định và loại bỏ các bài kiểm thử lỗi thời và phát hiện và đánh dấu thích hợp các bài kiểm thử dư thừa. Ca kiểm thử đi cùng một đường đi trong chương trình là dư thừa với tiêu chuẩn kiểm thử cấu trúc, nhưng bài kiểm thử cùng một phân hoạch lại là dư thừa với kiểm thử dựa trên lớp tương đương.

Việc dư thừa là do nhiều người cùng làm hoặc do chương trình bị thay đổi gây ra. Các bài kiểm thử dư thừa không ảnh hưởng đến tính đúng, sai, mà chỉ ảnh hưởng đến chi phí kiểm thử. Các bài kiểm thử lỗi thời cần phải loại bỏ, vì chúng ta không còn cần chúng còn những ca kiểm thử dư thừa chúng ta có thể giữ, vì chúng giúp phần mềm phát triển trong tương lai đảm bảo chất lượng hơn, tuy nhiên nếu chúng gây ra chi phí kiểm thử lớn quá mức cần thiết thì có thể loại bỏ. Một cách tiếp cận khác đó là thực hiện loại bỏ cả những bài kiểm thử mà không gặp lỗi trong một thời gian dài, mặc dù cần phải xem xét cẩn trọng hướng tiếp cận này.