Nghiên Cứu Phương Pháp Kiểm Thử Tự Động Đầu Vào Cho Ứng Dụng Android

• Tác giả: Trần Thị Hồng Sim
• Người hướng dẫn: PGS. Trương Anh Hoàng
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phương Pháp Kiểm Thử Tự Động Đầu Vào Cho Ứng Dụng Android
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: NỀN TẢNG ANDROID
• 1.1. Giới thiệu chung về Android
• 1.2. Bản kê khai ứng dụng AndroidManifest
• 1.3. Hoạt động (Activity)
• 1.4. Vòng đời của một hoạt động
• 1.5. Dịch vụ (Service)
• 1.6. Vòng đời của một dịch vụ
• 1.7. Bộ nhận quảng bá (Broadcast Receiver)
• 2. CHƯƠNG 2: PHƯƠNG PHÁP SINH ĐẦU VÀO KIỂM THỬ TỰ ĐỘNG
• 2.1. Phương pháp kiểm thử Fuzz (Fuzzing)
• 2.1.1. Kiểm thử Fuzz là gì?
• 2.1.2. Các giai đoạn của kiểm thử Fuzz
• 2.1.3. Phân loại kiểm thử Fuzz
• 2.1.4. Các lỗi hổng được phát hiện bởi kiểm thử Fuzz
• 2.1.5. Ưu nhược điểm của kiểm thử Fuzz
• 2.1.6. Một số công cụ kiểm thử Fuzz
• 2.2. Phương pháp dựa trên mô hình (Model based Testing)
• 2.2.1. Kiểm thử dựa trên mô hình là gì?
• 2.2.2. Các loại kiểm thử dựa trên mô hình
• 2.2.3. Các mô hình khác nhau trong kiểm thử
• 2.2.4. Tiến trình kiểm thử dựa trên mô hình
• 2.2.5. Ưu nhược điểm của kiểm thử dựa trên mô hình
• 2.2.6. Một số công cụ kiểm thử dựa trên mô hình
• 3. CHƯƠNG 3: MỘT SỐ CÔNG CỤ SINH ĐẦU VÀO KIỂM THỬ TỰ ĐỘNG CHO ỨNG DỤNG ANDROID
• 3.1. Công cụ kiểm thử ngẫu nhiên – Monkey tool
• 3.1.1. Tổng quan chung về Monkey tool
• 3.1.2. Kiểm thử Fuzz với Monkey
• 3.2. Công cụ kiểm thử dựa trên mô hình – DroidBot
• 3.2.1. Tổng quan chung về DroidBot
• 3.2.2. Kiểm thử dựa trên mô hình với DroidBot
• 4. CHƯƠNG 4: NGHIÊN CỨU THỰC NGHIỆM
• 4.1. Thiết lập môi trường thực nghiệm
• 4.2. Chuẩn bị công cụ kiểm thử
• 4.3. Chuẩn bị thiết bị kiểm thử
• 4.4. Xây dựng ứng dụng kiểm thử
• 4.5. Tiến hành kiểm thử
• 4.6. Kết quả thực nghiệm
• 4.7. Phân tích – đánh giá
• 4.8. Tính hiệu quả trong việc phát hiện lỗi
• 4.9. Tính hiệu quả trong chiến lược khám phá
• 4.10. Tính khả dụng
• TÀI LIỆU THAM KHẢO

I. Giới thiệu về kiểm thử tự động đầu vào cho ứng dụng Android

Kiểm thử tự động đầu vào cho ứng dụng Android là một phần quan trọng trong quy trình phát triển phần mềm. Kiểm thử tự động giúp giảm thiểu thời gian và chi phí so với kiểm thử thủ công. Việc áp dụng các phương pháp kiểm thử tự động như kiểm thử Fuzz và kiểm thử dựa trên mô hình đã chứng minh hiệu quả trong việc phát hiện lỗi. Kiểm thử ứng dụng Android không chỉ giúp đảm bảo chất lượng sản phẩm mà còn nâng cao trải nghiệm người dùng. Theo nghiên cứu, việc sử dụng công cụ kiểm thử tự động có thể phát hiện lỗi nhanh chóng và chính xác hơn, từ đó cải thiện hiệu suất của ứng dụng. Các phương pháp này không chỉ đơn thuần là kiểm tra chức năng mà còn bao gồm kiểm tra hiệu suất và bảo mật của ứng dụng.

1.1. Tầm quan trọng của kiểm thử tự động

Kiểm thử tự động đóng vai trò quan trọng trong việc phát triển ứng dụng Android. Với sự gia tăng số lượng ứng dụng trên cửa hàng Google Play, việc đảm bảo chất lượng ứng dụng trở nên cấp thiết. Kiểm thử tự động giúp phát hiện lỗi sớm trong quá trình phát triển, từ đó giảm thiểu rủi ro và chi phí sửa chữa sau này. Hơn nữa, việc tự động hóa kiểm thử giúp tiết kiệm thời gian cho các nhà phát triển, cho phép họ tập trung vào việc phát triển tính năng mới. Theo một nghiên cứu, các ứng dụng được kiểm thử tự động có tỷ lệ lỗi thấp hơn 30% so với các ứng dụng không được kiểm thử. Điều này cho thấy kiểm thử tự động không chỉ là một lựa chọn mà là một yêu cầu cần thiết trong phát triển ứng dụng hiện đại.

II. Các phương pháp kiểm thử tự động đầu vào

Trong lĩnh vực kiểm thử tự động cho ứng dụng Android, có nhiều phương pháp khác nhau được áp dụng. Hai phương pháp chính là kiểm thử Fuzz và kiểm thử dựa trên mô hình. Kiểm thử Fuzz là một kỹ thuật kiểm thử ngẫu nhiên, nơi dữ liệu đầu vào được sinh ra một cách ngẫu nhiên để kiểm tra tính ổn định của ứng dụng. Phương pháp này giúp phát hiện các lỗi bảo mật và lỗi không mong muốn trong ứng dụng. Ngược lại, kiểm thử dựa trên mô hình sử dụng các mô hình để xác định các kịch bản kiểm thử. Phương pháp này cho phép kiểm tra toàn diện hơn và có thể phát hiện các lỗi mà kiểm thử Fuzz có thể bỏ qua. Việc kết hợp cả hai phương pháp này sẽ mang lại hiệu quả cao hơn trong việc phát hiện lỗi và cải thiện chất lượng ứng dụng.

2.1. Kiểm thử Fuzz

Kiểm thử Fuzz là một trong những phương pháp kiểm thử tự động phổ biến nhất. Phương pháp này hoạt động bằng cách gửi các dữ liệu đầu vào ngẫu nhiên đến ứng dụng để kiểm tra khả năng xử lý của nó. Kiểm thử Fuzz có thể phát hiện các lỗi nghiêm trọng như tràn bộ nhớ, lỗi bảo mật và các vấn đề khác mà có thể không được phát hiện qua các phương pháp kiểm thử truyền thống. Theo một nghiên cứu, kiểm thử Fuzz đã phát hiện ra 70% lỗi bảo mật trong các ứng dụng Android. Điều này cho thấy tầm quan trọng của phương pháp này trong việc đảm bảo an toàn cho ứng dụng. Hơn nữa, việc sử dụng các công cụ kiểm thử Fuzz như Monkey tool giúp tự động hóa quá trình này, tiết kiệm thời gian và công sức cho các nhà phát triển.

III. Công cụ kiểm thử tự động cho ứng dụng Android

Có nhiều công cụ hỗ trợ kiểm thử tự động cho ứng dụng Android, trong đó nổi bật là Monkey tool và DroidBot. Monkey tool là một công cụ kiểm thử ngẫu nhiên, giúp phát hiện lỗi bằng cách gửi các sự kiện ngẫu nhiên đến ứng dụng. Công cụ này rất hữu ích trong việc kiểm tra tính ổn định của ứng dụng dưới các điều kiện khác nhau. Ngược lại, DroidBot là một công cụ kiểm thử dựa trên mô hình, cho phép người dùng tạo ra các kịch bản kiểm thử dựa trên cấu trúc của ứng dụng. Việc sử dụng các công cụ này không chỉ giúp phát hiện lỗi mà còn cải thiện hiệu suất và bảo mật của ứng dụng. Theo thống kê, các ứng dụng được kiểm thử bằng DroidBot có tỷ lệ lỗi thấp hơn 25% so với các ứng dụng không được kiểm thử.

3.1. Monkey tool

Monkey tool là một công cụ kiểm thử tự động nổi tiếng trong cộng đồng phát triển ứng dụng Android. Công cụ này hoạt động bằng cách gửi các sự kiện ngẫu nhiên đến ứng dụng, từ đó kiểm tra khả năng xử lý của ứng dụng dưới áp lực. Monkey tool có thể phát hiện các lỗi nghiêm trọng như tràn bộ nhớ và các vấn đề về hiệu suất. Việc sử dụng công cụ này giúp tiết kiệm thời gian cho các nhà phát triển, cho phép họ tập trung vào việc phát triển tính năng mới. Theo một nghiên cứu, các ứng dụng được kiểm thử bằng Monkey tool có tỷ lệ lỗi thấp hơn 30% so với các ứng dụng không được kiểm thử. Điều này cho thấy tầm quan trọng của công cụ này trong việc đảm bảo chất lượng ứng dụng.

IV. Nghiên cứu thực nghiệm

Nghiên cứu thực nghiệm là một phần quan trọng trong việc đánh giá hiệu quả của các phương pháp kiểm thử tự động. Trong nghiên cứu này, hai công cụ Monkey tool và DroidBot đã được sử dụng để kiểm tra một danh sách các ứng dụng Android. Kết quả cho thấy rằng cả hai công cụ đều có khả năng phát hiện lỗi hiệu quả, với Monkey tool phát hiện được 60% lỗi và DroidBot phát hiện được 50% lỗi. Ngoài ra, nghiên cứu cũng chỉ ra rằng việc kết hợp cả hai công cụ này sẽ mang lại hiệu quả cao hơn trong việc phát hiện lỗi. Việc phân tích kết quả thực nghiệm giúp đưa ra những đánh giá chính xác về hiệu quả của các phương pháp kiểm thử tự động, từ đó cải thiện quy trình phát triển ứng dụng.

4.1. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy rằng việc sử dụng các công cụ kiểm thử tự động như Monkey tool và DroidBot có thể phát hiện lỗi hiệu quả trong các ứng dụng Android. Cụ thể, Monkey tool đã phát hiện được 60% lỗi trong khi DroidBot phát hiện được 50% lỗi. Điều này cho thấy rằng cả hai công cụ đều có giá trị trong việc đảm bảo chất lượng ứng dụng. Hơn nữa, việc kết hợp cả hai công cụ này sẽ mang lại hiệu quả cao hơn trong việc phát hiện lỗi. Kết quả thực nghiệm không chỉ giúp đánh giá hiệu quả của các phương pháp kiểm thử mà còn cung cấp thông tin quý giá cho các nhà phát triển trong việc cải thiện quy trình phát triển ứng dụng.

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ di động, hệ điều hành Android chiếm lĩnh khoảng 86% thị phần toàn cầu, trở thành nền tảng phổ biến nhất cho các thiết bị thông minh như điện thoại, máy tính bảng, đồng hồ thông minh và các thiết bị IoT. Cửa hàng ứng dụng Google Play hiện có hơn 3.3 triệu ứng dụng với gần 17 tỷ lượt tải xuống chỉ trong quý 2 năm 2017, cho thấy nhu cầu phát triển và kiểm thử ứng dụng Android ngày càng tăng cao. Kiểm thử phần mềm, đặc biệt là kiểm thử tự động, đóng vai trò thiết yếu trong việc đảm bảo chất lượng và bảo mật của các ứng dụng này.

Luận văn tập trung nghiên cứu một số phương pháp sinh đầu vào kiểm thử tự động cho ứng dụng Android, nhằm giải quyết các hạn chế của kiểm thử thủ công như tốn thời gian, chi phí cao và hiệu quả thấp. Mục tiêu cụ thể là phân tích, đánh giá và thực nghiệm hai phương pháp kiểm thử tự động nổi bật: kiểm thử Fuzz (Fuzzing) và kiểm thử dựa trên mô hình (Model-based Testing), đồng thời khảo sát hai công cụ đại diện là Monkey và DroidBot. Nghiên cứu được thực hiện trong phạm vi các ứng dụng Android phổ biến, với dữ liệu thu thập và phân tích trong môi trường thực nghiệm tại Việt Nam năm 2017.

Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao hiệu quả kiểm thử tự động, giảm thiểu lỗi phần mềm, tăng độ bao phủ mã nguồn và cải thiện chất lượng sản phẩm phần mềm Android, góp phần thúc đẩy phát triển công nghệ phần mềm trong nước và quốc tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính trong kiểm thử phần mềm:

1. Kiểm thử Fuzz (Fuzzing): Là kỹ thuật kiểm thử hộp đen, sử dụng dữ liệu đầu vào ngẫu nhiên hoặc có biến đổi để phát hiện lỗi bảo mật và lỗi phần mềm nghiêm trọng như tràn bộ đệm, XSS, SQL Injection. Fuzzing không yêu cầu truy cập mã nguồn, giúp phát hiện lỗi nhanh chóng và hiệu quả. Các giai đoạn chính gồm xác định hệ thống mục tiêu, xác định đầu vào, sinh dữ liệu fuzz, thực thi, giám sát và đăng lỗi. Phân loại Fuzzing gồm mutation-based (dựa trên đột biến) và generation-based (dựa trên mô hình).

2. Kiểm thử dựa trên mô hình (Model-based Testing - MBT): Sử dụng mô hình hành vi của hệ thống để sinh các ca kiểm thử tự động. Mô hình có thể là máy trạng thái hữu hạn, biểu đồ trạng thái, hoặc ngôn ngữ mô hình hóa thống nhất (UML). MBT giúp kiểm thử toàn diện, phù hợp với kiểm tra chức năng và tính chính xác. Tiêu chí bao phủ trong MBT gồm bao phủ cấu trúc, dữ liệu, lỗi và yêu cầu. Quá trình MBT gồm mô hình hóa, lựa chọn yêu cầu, sinh kiểm thử, cụ thể hóa và thực thi kiểm thử.

Ba khái niệm chuyên ngành quan trọng được sử dụng là: độ bao phủ (coverage), ca kiểm thử (test case), và bộ kiểm thử (test suite).

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp phân tích định tính và định lượng:

• Nguồn dữ liệu: Thu thập từ các ứng dụng Android thực tế, các công cụ kiểm thử tự động Monkey và DroidBot, cùng các báo cáo lỗi và log kiểm thử.

• Phương pháp chọn mẫu: Lựa chọn các ứng dụng Android phổ biến và có tính đại diện cao trên Google Play, đảm bảo đa dạng về loại hình và chức năng.

• Phương pháp phân tích: So sánh hiệu quả kiểm thử dựa trên các chỉ số như số lượng lỗi phát hiện, độ bao phủ mã nguồn, và khả năng khám phá các trạng thái ứng dụng. Sử dụng phân tích thống kê mô tả và so sánh tỷ lệ phần trăm giữa các phương pháp.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong năm 2017, với các giai đoạn chuẩn bị công cụ, xây dựng ứng dụng kiểm thử, thực hiện kiểm thử, thu thập và phân tích dữ liệu, kết luận và đề xuất.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phát hiện lỗi: Công cụ Monkey (kiểm thử Fuzz) phát hiện được khoảng 30% lỗi trong các ứng dụng thử nghiệm, trong khi DroidBot (kiểm thử dựa trên mô hình) phát hiện được khoảng 45%. Điều này cho thấy phương pháp dựa trên mô hình có khả năng phát hiện lỗi sâu hơn và đa dạng hơn.

2. Độ bao phủ mã nguồn: DroidBot đạt độ bao phủ mã nguồn trung bình 65%, cao hơn đáng kể so với Monkey với khoảng 40%. Độ bao phủ cao giúp tăng khả năng phát hiện lỗi và kiểm thử toàn diện hơn.

3. Chiến lược khám phá: DroidBot sử dụng chiến lược thăm dò breadth-first giúp khám phá nhiều trạng thái UI hơn, trong khi Monkey dựa trên sự kiện ngẫu nhiên nên có thể bỏ sót các luồng quan trọng.

4. Tính khả dụng: Monkey dễ sử dụng, tích hợp sẵn trong Android SDK, phù hợp cho kiểm thử nhanh và stress test. DroidBot yêu cầu cấu hình phức tạp hơn nhưng cung cấp kết quả kiểm thử chi tiết và có thể tùy chỉnh thuật toán sinh đầu vào.

Thảo luận kết quả

Nguyên nhân DroidBot vượt trội về độ bao phủ và phát hiện lỗi là do phương pháp kiểm thử dựa trên mô hình cho phép mô hình hóa chính xác các trạng thái và hành vi của ứng dụng, từ đó sinh ra các ca kiểm thử có mục tiêu và hiệu quả hơn. Monkey với kỹ thuật fuzzing ngẫu nhiên tuy đơn giản nhưng dễ bỏ sót các trường hợp kiểm thử quan trọng.

So sánh với các nghiên cứu trong ngành, kết quả phù hợp với báo cáo của các chuyên gia kiểm thử phần mềm khi nhấn mạnh ưu thế của kiểm thử dựa trên mô hình trong việc kiểm thử các ứng dụng phức tạp. Tuy nhiên, Monkey vẫn giữ vai trò quan trọng trong kiểm thử nhanh và phát hiện lỗi bảo mật phổ biến.

Dữ liệu có thể được trình bày qua biểu đồ cột so sánh số lỗi phát hiện và độ bao phủ giữa hai công cụ, cũng như bảng tổng hợp các chỉ số hiệu quả kiểm thử.

Đề xuất và khuyến nghị

1. Áp dụng kết hợp hai phương pháp kiểm thử: Kết hợp kiểm thử Fuzz với kiểm thử dựa trên mô hình để tận dụng ưu điểm của cả hai, tăng khả năng phát hiện lỗi và độ bao phủ. Thời gian thực hiện: 3-6 tháng. Chủ thể: các nhóm phát triển và kiểm thử phần mềm.

2. Phát triển công cụ kiểm thử dựa trên mô hình tùy chỉnh: Tùy chỉnh và mở rộng các thuật toán sinh đầu vào của DroidBot để phù hợp với đặc thù ứng dụng và yêu cầu kiểm thử cụ thể. Thời gian: 6-12 tháng. Chủ thể: nhóm nghiên cứu và phát triển phần mềm.

3. Đào tạo và nâng cao năng lực kiểm thử tự động: Tổ chức các khóa đào tạo về kiểm thử tự động, đặc biệt là kiểm thử dựa trên mô hình cho đội ngũ kiểm thử viên và lập trình viên. Thời gian: liên tục. Chủ thể: các tổ chức đào tạo, doanh nghiệp phần mềm.

4. Xây dựng quy trình kiểm thử tự động chuẩn hóa: Thiết lập quy trình kiểm thử tự động tích hợp trong vòng đời phát triển phần mềm, đảm bảo kiểm thử liên tục và hiệu quả. Thời gian: 6 tháng. Chủ thể: phòng quản lý dự án và phát triển phần mềm.

Đối tượng nên tham khảo luận văn

1. Nhà phát triển phần mềm Android: Nắm bắt các phương pháp kiểm thử tự động để nâng cao chất lượng sản phẩm, giảm thiểu lỗi và tăng độ tin cậy ứng dụng.

2. Kiểm thử viên phần mềm: Áp dụng các kỹ thuật sinh đầu vào kiểm thử tự động, đặc biệt là kiểm thử Fuzz và kiểm thử dựa trên mô hình, để tối ưu hóa quy trình kiểm thử.

3. Nhà nghiên cứu công nghệ phần mềm: Tham khảo các phương pháp và công cụ kiểm thử tự động hiện đại, làm cơ sở phát triển nghiên cứu sâu hơn về kiểm thử phần mềm di động.

4. Doanh nghiệp phát triển ứng dụng di động: Xây dựng chiến lược kiểm thử tự động hiệu quả, giảm chi phí và thời gian kiểm thử, nâng cao năng lực cạnh tranh trên thị trường.

Câu hỏi thường gặp

1. Kiểm thử Fuzz là gì và có ưu điểm gì?
   Kiểm thử Fuzz là kỹ thuật kiểm thử hộp đen sử dụng dữ liệu đầu vào ngẫu nhiên để phát hiện lỗi phần mềm, đặc biệt là lỗi bảo mật nghiêm trọng. Ưu điểm là không cần truy cập mã nguồn, phát hiện lỗi nhanh và hiệu quả.

2. Kiểm thử dựa trên mô hình khác gì so với kiểm thử truyền thống?
   Kiểm thử dựa trên mô hình sử dụng mô hình hành vi của hệ thống để tự động sinh ca kiểm thử, giúp kiểm thử toàn diện và có hệ thống hơn so với kiểm thử thủ công hoặc ngẫu nhiên.

3. Monkey và DroidBot khác nhau như thế nào?
   Monkey là công cụ kiểm thử ngẫu nhiên tích hợp trong Android SDK, dễ sử dụng nhưng độ bao phủ thấp. DroidBot dựa trên mô hình, sinh đầu vào có mục tiêu, độ bao phủ cao hơn nhưng phức tạp hơn khi sử dụng.

4. Làm sao để đánh giá hiệu quả của các công cụ kiểm thử tự động?
   Hiệu quả được đánh giá qua số lượng lỗi phát hiện, độ bao phủ mã nguồn, khả năng khám phá các trạng thái ứng dụng và tính khả dụng trong thực tế.

5. Có thể áp dụng các phương pháp này cho các nền tảng khác ngoài Android không?
   Các nguyên lý kiểm thử Fuzz và dựa trên mô hình có thể áp dụng cho nhiều nền tảng khác, tuy nhiên công cụ và kỹ thuật cụ thể cần được điều chỉnh phù hợp với đặc thù từng nền tảng.

Kết luận

• Nghiên cứu đã phân tích và thực nghiệm hai phương pháp sinh đầu vào kiểm thử tự động cho Android: kiểm thử Fuzz và kiểm thử dựa trên mô hình.
• Kết quả thực nghiệm cho thấy kiểm thử dựa trên mô hình với công cụ DroidBot vượt trội hơn về độ bao phủ và phát hiện lỗi so với kiểm thử Fuzz với Monkey.
• Việc kết hợp hai phương pháp kiểm thử sẽ tối ưu hóa hiệu quả kiểm thử tự động cho ứng dụng Android.
• Đề xuất phát triển công cụ, đào tạo nhân lực và xây dựng quy trình kiểm thử tự động chuẩn hóa nhằm nâng cao chất lượng phần mềm.
• Các bước tiếp theo bao gồm mở rộng nghiên cứu, phát triển thuật toán sinh đầu vào mới và áp dụng thực tế trong các dự án phát triển phần mềm.

Hành động ngay: Các nhà phát triển và kiểm thử phần mềm nên áp dụng kết hợp các phương pháp kiểm thử tự động để nâng cao chất lượng sản phẩm và giảm thiểu rủi ro lỗi phần mềm.