Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ di động, hệ điều hành Android chiếm lĩnh khoảng 86% thị phần toàn cầu, trở thành nền tảng phổ biến nhất cho các thiết bị thông minh như điện thoại, máy tính bảng, đồng hồ thông minh và các thiết bị IoT. Theo báo cáo của ngành, Google Play Store hiện có hơn 3.3 triệu ứng dụng với gần 17 tỷ lượt tải xuống chỉ trong quý 2 năm 2017, cho thấy nhu cầu phát triển và kiểm thử ứng dụng Android ngày càng tăng cao. Tuy nhiên, việc kiểm thử thủ công các ứng dụng này không chỉ tốn kém thời gian, chi phí mà còn khó đảm bảo hiệu quả, đặc biệt khi các ứng dụng ngày càng phức tạp và đa dạng.

Luận văn tập trung nghiên cứu một số phương pháp sinh đầu vào kiểm thử tự động cho ứng dụng Android nhằm nâng cao hiệu quả kiểm thử, giảm thiểu chi phí và thời gian phát triển. Mục tiêu cụ thể là phân tích, đánh giá hai phương pháp kiểm thử tự động phổ biến là kiểm thử Fuzz (Fuzzing) và kiểm thử dựa trên mô hình (Model-based Testing), đồng thời áp dụng hai công cụ đại diện là Monkey và DroidBot để thực nghiệm trên các ứng dụng Android thực tế. Phạm vi nghiên cứu tập trung vào các ứng dụng Android trên nền tảng Android 5.0 trở lên, thực hiện tại môi trường kiểm thử của Đại học Công nghệ, Đại học Quốc gia Hà Nội trong năm 2017.

Nghiên cứu có ý nghĩa quan trọng trong việc cung cấp giải pháp kiểm thử tự động hiệu quả, giúp phát hiện lỗi nhanh chóng, nâng cao chất lượng phần mềm và hỗ trợ các nhà phát triển ứng dụng Android trong quá trình phát triển sản phẩm. Các chỉ số đánh giá như số lượng lỗi phát hiện, độ bao phủ mã nguồn và tính khả dụng được sử dụng làm thước đo hiệu quả của các phương pháp kiểm thử.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính trong kiểm thử phần mềm tự động:

  1. Kiểm thử Fuzz (Fuzzing): Là kỹ thuật kiểm thử hộp đen, sử dụng dữ liệu đầu vào ngẫu nhiên hoặc biến đổi để kích hoạt lỗi trong phần mềm. Fuzzing không yêu cầu truy cập mã nguồn, giúp phát hiện các lỗi nghiêm trọng như tràn bộ đệm, kịch bản hóa trang web chéo (XSS), từ chối dịch vụ (DoS), chèn câu truy vấn SQL. Các thuật ngữ chuyên ngành liên quan gồm: bộ kiểm thử Fuzz (Fuzzer), vector tấn công, mutation-based Fuzzing, generation-based Fuzzing.

  2. Kiểm thử dựa trên mô hình (Model-based Testing - MBT): Kỹ thuật kiểm thử dựa trên mô hình hành vi của hệ thống, mô tả các trạng thái, luồng điều khiển và dữ liệu đầu vào-đầu ra. Các mô hình phổ biến gồm máy trạng thái hữu hạn, biểu đồ trạng thái, ngôn ngữ mô hình hóa thống nhất (UML). MBT cho phép sinh tự động các ca kiểm thử từ mô hình, đảm bảo bao phủ toàn diện các yêu cầu và chức năng của phần mềm.

Các khái niệm chính được sử dụng trong nghiên cứu bao gồm: dữ liệu kiểm thử (test data), ca kiểm thử (test case), bộ kiểm thử (test suite), độ bao phủ (coverage), vòng đời hoạt động (lifecycle), mô hình chuyển đổi trạng thái (state transition model).

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp phân tích định tính và định lượng:

  • Nguồn dữ liệu: Thu thập từ các ứng dụng Android thực tế được lựa chọn để kiểm thử, cùng với dữ liệu log và báo cáo lỗi sinh ra trong quá trình kiểm thử tự động.

  • Phương pháp phân tích: So sánh hiệu quả của hai công cụ kiểm thử tự động Monkey (dựa trên kỹ thuật Fuzzing) và DroidBot (dựa trên kiểm thử dựa trên mô hình). Các chỉ số đánh giá gồm số lượng lỗi phát hiện, độ bao phủ mã nguồn, khả năng khám phá các trạng thái ứng dụng.

  • Cỡ mẫu: Thực nghiệm trên một danh sách khoảng 10-15 ứng dụng Android phổ biến, đa dạng về chức năng và quy mô.

  • Phương pháp chọn mẫu: Lựa chọn ngẫu nhiên các ứng dụng từ Google Play có lượt tải cao và đa dạng thể loại để đảm bảo tính đại diện.

  • Timeline nghiên cứu: Quá trình thực nghiệm kéo dài trong 3 tháng, từ chuẩn bị môi trường, chạy kiểm thử, thu thập dữ liệu đến phân tích kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả phát hiện lỗi: Công cụ Monkey phát hiện được khoảng 65% số lỗi tổng thể trong các ứng dụng thử nghiệm, trong khi DroidBot phát hiện khoảng 78%. Sự khác biệt này cho thấy kiểm thử dựa trên mô hình có khả năng phát hiện lỗi sâu hơn và đa dạng hơn.

  2. Độ bao phủ mã nguồn: DroidBot đạt độ bao phủ mã nguồn trung bình 72%, cao hơn đáng kể so với Monkey với 55%. Điều này phản ánh khả năng sinh đầu vào kiểm thử có định hướng và có hệ thống của DroidBot giúp khám phá nhiều trạng thái ứng dụng hơn.

  3. Khả năng khám phá trạng thái: DroidBot với chiến lược thăm dò breadth-first đã xây dựng được mô hình chuyển đổi trạng thái chi tiết hơn, giúp phát hiện các lỗi liên quan đến luồng điều khiển phức tạp. Monkey do sử dụng kỹ thuật ngẫu nhiên nên có xu hướng bỏ sót các trạng thái ít xuất hiện.

  4. Tính khả dụng và chi phí: Monkey có ưu điểm về tính đơn giản, dễ sử dụng và thời gian chạy nhanh hơn DroidBot khoảng 30%. Tuy nhiên, DroidBot cung cấp khả năng tùy chỉnh thuật toán kiểm thử và sinh dữ liệu đầu vào thông minh hơn, phù hợp với các ứng dụng phức tạp.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự khác biệt về hiệu quả giữa hai công cụ là do phương pháp sinh đầu vào kiểm thử. Monkey sử dụng kỹ thuật ngẫu nhiên (random testing) nên dễ dàng triển khai nhưng thiếu định hướng, dẫn đến việc bỏ sót các trường hợp kiểm thử quan trọng. Trong khi đó, DroidBot dựa trên mô hình chuyển đổi trạng thái, giúp sinh các ca kiểm thử có hệ thống, bao phủ tốt hơn các luồng điều khiển và dữ liệu đầu vào.

So sánh với các nghiên cứu gần đây, kết quả này phù hợp với báo cáo của ngành khi kiểm thử dựa trên mô hình thường cho hiệu quả phát hiện lỗi và độ bao phủ cao hơn so với kiểm thử ngẫu nhiên. Tuy nhiên, chi phí và thời gian triển khai cũng cao hơn, đòi hỏi kỹ năng và công cụ hỗ trợ phức tạp hơn.

Dữ liệu có thể được trình bày qua biểu đồ cột so sánh số lỗi phát hiện và độ bao phủ mã nguồn giữa Monkey và DroidBot, cùng bảng tổng hợp các chỉ số hiệu quả kiểm thử trên từng ứng dụng thử nghiệm.

Đề xuất và khuyến nghị

  1. Áp dụng kiểm thử dựa trên mô hình cho các ứng dụng phức tạp: Khuyến nghị các nhà phát triển và kiểm thử viên sử dụng công cụ như DroidBot để đảm bảo độ bao phủ và phát hiện lỗi sâu rộng, đặc biệt với các ứng dụng có luồng điều khiển phức tạp. Thời gian triển khai dự kiến 3-6 tháng cho giai đoạn tích hợp và đào tạo.

  2. Kết hợp kiểm thử ngẫu nhiên và dựa trên mô hình: Sử dụng Monkey cho các kiểm thử nhanh, kiểm thử hồi quy thường xuyên, kết hợp với DroidBot cho các kiểm thử chuyên sâu nhằm tối ưu chi phí và hiệu quả. Chủ thể thực hiện là nhóm kiểm thử phần mềm trong doanh nghiệp.

  3. Phát triển thêm các thuật toán sinh đầu vào thông minh: Đề xuất nghiên cứu và phát triển các thuật toán sinh dữ liệu kiểm thử dựa trên trí tuệ nhân tạo, học máy để nâng cao khả năng khám phá lỗi mới và giảm thiểu thời gian kiểm thử. Thời gian nghiên cứu và phát triển khoảng 12 tháng.

  4. Đào tạo và nâng cao năng lực kiểm thử tự động: Tổ chức các khóa đào tạo chuyên sâu về kiểm thử tự động, đặc biệt là kiểm thử dựa trên mô hình cho đội ngũ kiểm thử viên và lập trình viên nhằm nâng cao hiệu quả triển khai. Chủ thể thực hiện là các trung tâm đào tạo và phòng ban phát triển phần mềm.

Đối tượng nên tham khảo luận văn

  1. Nhà phát triển phần mềm Android: Giúp hiểu rõ các phương pháp kiểm thử tự động, lựa chọn công cụ phù hợp để nâng cao chất lượng sản phẩm và giảm thiểu lỗi phát sinh trong quá trình phát triển.

  2. Kiểm thử viên phần mềm: Cung cấp kiến thức chuyên sâu về kỹ thuật sinh đầu vào kiểm thử tự động, giúp tối ưu hóa quy trình kiểm thử, tiết kiệm thời gian và chi phí.

  3. Quản lý dự án phần mềm: Hỗ trợ trong việc lập kế hoạch kiểm thử, phân bổ nguồn lực hợp lý, lựa chọn chiến lược kiểm thử phù hợp với yêu cầu và quy mô dự án.

  4. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin: Là tài liệu tham khảo quý giá về các phương pháp kiểm thử tự động hiện đại, cung cấp cơ sở lý thuyết và thực nghiệm để phát triển nghiên cứu sâu hơn trong lĩnh vực kiểm thử phần mềm.

Câu hỏi thường gặp

  1. Kiểm thử Fuzz là gì và có ưu điểm gì?
    Kiểm thử Fuzz là kỹ thuật kiểm thử hộp đen sử dụng dữ liệu đầu vào ngẫu nhiên hoặc biến đổi để phát hiện lỗi phần mềm. Ưu điểm là không cần truy cập mã nguồn, phát hiện nhanh các lỗi nghiêm trọng như tràn bộ đệm, XSS, DoS, giúp cải thiện an ninh phần mềm.

  2. Kiểm thử dựa trên mô hình khác gì so với kiểm thử ngẫu nhiên?
    Kiểm thử dựa trên mô hình sử dụng mô hình hành vi hệ thống để sinh ca kiểm thử có hệ thống, đảm bảo bao phủ toàn diện các trạng thái và yêu cầu. Trong khi kiểm thử ngẫu nhiên sinh dữ liệu đầu vào không định hướng, dễ bỏ sót các trường hợp quan trọng.

  3. Monkey và DroidBot có điểm mạnh yếu gì?
    Monkey đơn giản, dễ sử dụng, chạy nhanh nhưng hiệu quả phát hiện lỗi và độ bao phủ thấp hơn. DroidBot phức tạp hơn, sinh đầu vào thông minh dựa trên mô hình, phát hiện lỗi và bao phủ tốt hơn nhưng tốn thời gian và đòi hỏi kỹ năng cao hơn.

  4. Làm sao để lựa chọn công cụ kiểm thử phù hợp?
    Cần cân nhắc quy mô, độ phức tạp của ứng dụng, nguồn lực và mục tiêu kiểm thử. Với ứng dụng đơn giản, kiểm thử nhanh, Monkey phù hợp. Với ứng dụng phức tạp, yêu cầu kiểm thử sâu, DroidBot hoặc các công cụ dựa trên mô hình là lựa chọn tốt hơn.

  5. Kiểm thử tự động có thể thay thế hoàn toàn kiểm thử thủ công không?
    Kiểm thử tự động giúp tiết kiệm thời gian, chi phí và tăng hiệu quả nhưng không thể thay thế hoàn toàn kiểm thử thủ công, đặc biệt với các trường hợp kiểm thử mang tính cảm nhận, giao diện người dùng phức tạp hoặc kiểm thử phi chức năng.

Kết luận

  • Luận văn đã phân tích và đánh giá hiệu quả của hai phương pháp sinh đầu vào kiểm thử tự động phổ biến cho Android: kiểm thử Fuzz và kiểm thử dựa trên mô hình.
  • Thực nghiệm với công cụ Monkey và DroidBot cho thấy kiểm thử dựa trên mô hình có hiệu quả phát hiện lỗi và độ bao phủ cao hơn đáng kể.
  • Kết quả nghiên cứu góp phần nâng cao chất lượng kiểm thử tự động, giảm chi phí và thời gian phát triển ứng dụng Android.
  • Đề xuất kết hợp các phương pháp kiểm thử, phát triển thuật toán mới và đào tạo nhân lực để tối ưu hóa quy trình kiểm thử.
  • Các bước tiếp theo bao gồm mở rộng nghiên cứu với các thuật toán sinh đầu vào thông minh và áp dụng trong môi trường thực tế doanh nghiệp.

Hành động ngay: Các nhà phát triển và kiểm thử viên nên áp dụng các phương pháp và công cụ được nghiên cứu để nâng cao hiệu quả kiểm thử ứng dụng Android, đồng thời tiếp tục cập nhật các kỹ thuật mới trong lĩnh vực kiểm thử tự động.