Nghiên Cứu Các Phương Pháp Sinh Đầu Vào Kiểm Thử Tự Động Cho Android Trong Luận Văn Thạc Sĩ

• Tác giả: Trần Thị Hồng Sim
• Người hướng dẫn: PGS. Trương Anh Hoàng
• Trường học: Đại học Quốc Gia Hà Nội - Trường Đại học Công Nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Một Số Phương Pháp Sinh Đầu Vào Kiểm Thử Tự Động Cho Android
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: NỀN TẢNG ANDROID
• 1.1. Giới thiệu chung về Android
• 1.2. Bản kê khai ứng dụng AndroidManifest
• 1.2.1. Hoạt động (Activity)
• 1.2.2. Vòng đời của hoạt động
• 1.2.3. Dịch vụ (Service)
• 1.2.4. Vòng đời của dịch vụ
• 1.2.5. Bộ nhận quảng bá (Broadcast Receiver)
• 1.2.6. Trình cung cấp nội dung (Content Provider)
• 2. CHƯƠNG 2: PHƯƠNG PHÁP SINH ĐẦU VÀO KIỂM THỬ TỰ ĐỘNG
• 2.1. Phương pháp kiểm thử Fuzz (Fuzzing)
• 2.1.1. Kiểm thử Fuzz là gì?
• 2.1.2. Các giai đoạn của kiểm thử Fuzz
• 2.1.3. Phân loại kiểm thử Fuzz
• 2.1.4. Các lỗ hổng được phát hiện bởi kiểm thử Fuzz
• 2.1.5. Ưu nhược điểm của kiểm thử Fuzz
• 2.1.6. Một số công cụ kiểm thử Fuzz
• 2.2. Phương pháp dựa trên mô hình (Model based Testing)
• 2.2.1. Kiểm thử dựa trên mô hình là gì?
• 2.2.2. Các loại kiểm thử dựa trên mô hình
• 2.2.3. Các mô hình khác nhau trong kiểm thử
• 2.2.4. Tiến trình kiểm thử dựa trên mô hình
• 2.2.5. Ưu nhược điểm của kiểm thử dựa trên mô hình
• 2.2.6. Một số công cụ kiểm thử dựa trên mô hình
• 3. CHƯƠNG 3: MỘT SỐ CÔNG CỤ SINH ĐẦU VÀO KIỂM THỬ TỰ ĐỘNG CHO ỨNG DỤNG ANDROID
• 3.1. Công cụ kiểm thử ngẫu nhiên – Monkey tool
• 3.1.1. Tổng quan chung về Monkey tool
• 3.1.2. Kiểm thử Fuzz với Monkey
• 3.2. Công cụ kiểm thử dựa trên mô hình – DroidBot
• 3.2.1. Tổng quan chung về DroidBot
• 3.2.2. Kiểm thử dựa trên mô hình với DroidBot
• 4. CHƯƠNG 4: NGHIÊN CỨU THỰC NGHIỆM
• 4.1. Thiết lập môi trường thực nghiệm
• 4.2. Chuẩn bị công cụ kiểm thử
• 4.3. Chuẩn bị thiết bị kiểm thử
• 4.4. Xây dựng ứng dụng kiểm thử
• 4.5. Tiến hành kiểm thử
• 4.6. Kết quả thực nghiệm
• 4.7. Phân tích – đánh giá
• 4.7.1. Tính hiệu quả trong việc phát hiện lỗi
• 4.7.2. Tính hiệu quả trong chiến lược khám phá
• 4.7.3. Tính khả dụng
• TÀI LIỆU THAM KHẢO

I. Giới thiệu chung về Android

Android là một hệ điều hành mã nguồn mở, dựa trên nền tảng Linux, được thiết kế cho các thiết bị di động và các yếu tố hình thức khác. Hệ thống Android bao gồm nhiều tầng, từ tầng hạt nhân Linux đến tầng ứng dụng hệ thống. Tầng hạt nhân Linux là nền tảng cốt lõi, quản lý bộ nhớ, giao tiếp phần cứng, và bảo mật. Lớp trừu tượng phần cứng (HAL) cung cấp giao diện chuẩn để phần cứng giao tiếp với các API Java. Thời gian chạy Android (ART) là môi trường thực thi cho các ứng dụng, tối ưu hóa bộ nhớ và hiệu suất. Tầng thư viện C/C++ và tầng khung Java API cung cấp các công cụ và thư viện để phát triển ứng dụng. Tầng ứng dụng hệ thống bao gồm các ứng dụng cốt lõi như trình duyệt, danh bạ, và tin nhắn.

1.1. Tầng hạt nhân Linux

Tầng hạt nhân Linux là nền tảng cốt lõi của hệ điều hành Android, quản lý các tiến trình, bộ nhớ, và giao tiếp phần cứng. Nó cung cấp các tính năng bảo mật then chốt và cho phép các nhà sản xuất phát triển trình điều khiển phần cứng. Hạt nhân Linux cũng hỗ trợ quản lý tiến trình và bảo mật, đảm bảo hệ thống hoạt động ổn định và an toàn.

1.2. Lớp trừu tượng phần cứng HAL

Lớp trừu tượng phần cứng (HAL) cung cấp các giao diện chuẩn để phần cứng thiết bị giao tiếp với các API Java ở cấp cao hơn. Nó bao gồm các mô đun thư viện, mỗi mô đun thực thi một giao diện cho một loại thành phần phần cứng cụ thể, như máy ảnh hoặc Bluetooth. HAL giúp đơn giản hóa việc phát triển ứng dụng bằng cách cung cấp các giao diện chuẩn hóa.

II. Phương pháp sinh đầu vào kiểm thử tự động

Phương pháp sinh đầu vào kiểm thử tự động là một kỹ thuật quan trọng trong kiểm thử phần mềm, đặc biệt là trong phát triển ứng dụng di động. Hai phương pháp chính được nghiên cứu trong luận văn là kiểm thử Fuzz (Fuzzing) và kiểm thử dựa trên mô hình (Model-based Testing). Kiểm thử Fuzz là phương pháp sinh dữ liệu đầu vào ngẫu nhiên hoặc bán ngẫu nhiên để phát hiện lỗi trong ứng dụng. Kiểm thử dựa trên mô hình sử dụng các mô hình hệ thống để sinh các kịch bản kiểm thử tự động. Cả hai phương pháp đều có ưu điểm và nhược điểm riêng, và được áp dụng tùy thuộc vào yêu cầu của dự án.

2.1. Kiểm thử Fuzz Fuzzing

Kiểm thử Fuzz là phương pháp sinh dữ liệu đầu vào ngẫu nhiên hoặc bán ngẫu nhiên để phát hiện lỗi trong ứng dụng. Nó bao gồm các giai đoạn như chuẩn bị dữ liệu, thực thi kiểm thử, và phân tích kết quả. Kiểm thử Fuzz có thể phát hiện các lỗ hổng bảo mật và lỗi hệ thống, nhưng cũng có nhược điểm là tốn thời gian và tài nguyên. Các công cụ kiểm thử Fuzz phổ biến bao gồm Monkey tool và AFL (American Fuzzy Lop).

2.2. Kiểm thử dựa trên mô hình Model based Testing

Kiểm thử dựa trên mô hình sử dụng các mô hình hệ thống để sinh các kịch bản kiểm thử tự động. Nó bao gồm các bước như xây dựng mô hình, sinh kịch bản, thực thi kiểm thử, và phân tích kết quả. Phương pháp này giúp tăng độ bao phủ mã nguồn và giảm thời gian kiểm thử, nhưng đòi hỏi kỹ năng cao trong việc xây dựng mô hình. Các công cụ kiểm thử dựa trên mô hình phổ biến bao gồm DroidBot và UPPAAL.

III. Công cụ kiểm thử tự động cho Android

Các công cụ kiểm thử tự động cho Android được sử dụng để thực hiện các phương pháp kiểm thử như Fuzz và dựa trên mô hình. Monkey tool là công cụ kiểm thử ngẫu nhiên, sinh các sự kiện ngẫu nhiên trên giao diện người dùng để phát hiện lỗi. DroidBot là công cụ kiểm thử dựa trên mô hình, sử dụng các mô hình hệ thống để sinh kịch bản kiểm thử tự động. Cả hai công cụ đều có ưu điểm và nhược điểm riêng, và được sử dụng tùy thuộc vào yêu cầu của dự án.

3.1. Monkey tool

Monkey tool là công cụ kiểm thử ngẫu nhiên, sinh các sự kiện ngẫu nhiên trên giao diện người dùng để phát hiện lỗi. Nó được sử dụng để kiểm tra độ ổn định và hiệu suất của ứng dụng. Monkey tool có thể thực hiện hàng nghìn sự kiện ngẫu nhiên trong thời gian ngắn, giúp phát hiện các lỗi tiềm ẩn. Tuy nhiên, nó cũng có nhược điểm là không thể kiểm soát được các kịch bản kiểm thử cụ thể.

3.2. DroidBot

DroidBot là công cụ kiểm thử dựa trên mô hình, sử dụng các mô hình hệ thống để sinh kịch bản kiểm thử tự động. Nó giúp tăng độ bao phủ mã nguồn và giảm thời gian kiểm thử. DroidBot có thể thực hiện các kịch bản kiểm thử phức tạp, nhưng đòi hỏi kỹ năng cao trong việc xây dựng mô hình. Công cụ này phù hợp cho các dự án yêu cầu kiểm thử chuyên sâu và chi tiết.

IV. Nghiên cứu thực nghiệm

Nghiên cứu thực nghiệm được thực hiện bằng cách sử dụng hai công cụ Monkey và DroidBot để kiểm tra một danh sách các ứng dụng Android. Kết quả thực nghiệm cho thấy Monkey phát hiện được nhiều lỗi ngẫu nhiên, trong khi DroidBot đạt được độ bao phủ mã nguồn cao hơn. Cả hai công cụ đều có giá trị trong việc phát hiện lỗi và cải thiện chất lượng ứng dụng. Tuy nhiên, việc lựa chọn công cụ phù hợp phụ thuộc vào yêu cầu cụ thể của dự án.

4.1. Thiết lập môi trường thực nghiệm

Môi trường thực nghiệm được thiết lập với các công cụ kiểm thử Monkey và DroidBot, cùng với các thiết bị Android được cấu hình sẵn. Các ứng dụng kiểm thử được chuẩn bị và cài đặt trên thiết bị. Quá trình kiểm thử được thực hiện theo các kịch bản cụ thể, và kết quả được ghi lại để phân tích.

4.2. Phân tích kết quả thực nghiệm

Kết quả thực nghiệm cho thấy Monkey phát hiện được nhiều lỗi ngẫu nhiên, trong khi DroidBot đạt được độ bao phủ mã nguồn cao hơn. Cả hai công cụ đều có giá trị trong việc phát hiện lỗi và cải thiện chất lượng ứng dụng. Tuy nhiên, việc lựa chọn công cụ phù hợp phụ thuộc vào yêu cầu cụ thể của dự án.

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ di động, hệ điều hành Android đã trở thành nền tảng phổ biến nhất với thị phần chiếm khoảng 86% trên toàn cầu. Theo thống kê, Google Play Store hiện có hơn 3.3 triệu ứng dụng và chỉ riêng quý 2 năm 2017 đã ghi nhận gần 17 tỷ lượt tải xuống. Sự phát triển mạnh mẽ này đặt ra yêu cầu cấp thiết về chất lượng và độ tin cậy của các ứng dụng Android. Kiểm thử phần mềm, đặc biệt là kiểm thử tự động, đóng vai trò then chốt trong việc đảm bảo chất lượng sản phẩm, giảm thiểu lỗi và tăng hiệu quả phát triển.

Luận văn tập trung nghiên cứu một số phương pháp sinh đầu vào kiểm thử tự động cho ứng dụng Android, nhằm giải quyết bài toán tự động hóa toàn bộ quá trình kiểm thử từ sinh dữ liệu đầu vào đến thực thi kịch bản kiểm thử. Mục tiêu cụ thể là phân tích, đánh giá hiệu quả của hai phương pháp kiểm thử tự động phổ biến: kiểm thử Fuzz (Fuzzing) và kiểm thử dựa trên mô hình (Model-based Testing), đồng thời áp dụng hai công cụ đại diện là Monkey và DroidBot để thực nghiệm trên các ứng dụng Android thực tế.

Phạm vi nghiên cứu tập trung vào các ứng dụng Android trên nền tảng Android 5.0 trở lên, với dữ liệu thu thập và phân tích trong năm 2017 tại Việt Nam. Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao hiệu quả kiểm thử tự động, giảm chi phí và thời gian phát triển phần mềm, đồng thời góp phần cải thiện chất lượng ứng dụng Android trong bối cảnh thị trường ngày càng cạnh tranh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính:

1. Kiểm thử Fuzz (Fuzzing): Là kỹ thuật kiểm thử hộp đen, sinh dữ liệu đầu vào ngẫu nhiên hoặc có cấu trúc để phát hiện lỗi bảo mật và lỗi phần mềm như tràn bộ đệm, XSS, SQL Injection. Fuzzing không yêu cầu truy cập mã nguồn, giúp phát hiện nhanh các lỗi nghiêm trọng. Các khái niệm chính bao gồm: vector tấn công, mutation-based fuzzing, generation-based fuzzing, và các giai đoạn kiểm thử Fuzz như xác định hệ thống mục tiêu, sinh dữ liệu fuzz, thực thi và giám sát.

2. Kiểm thử dựa trên mô hình (Model-based Testing - MBT): Là kỹ thuật kiểm thử dựa trên mô hình hành vi của hệ thống, mô tả các trạng thái, luồng điều khiển và dữ liệu đầu vào. MBT sinh ra các ca kiểm thử từ mô hình, đảm bảo bao phủ toàn diện các yêu cầu và kịch bản. Các mô hình phổ biến gồm máy trạng thái hữu hạn, biểu đồ trạng thái, và ngôn ngữ mô hình hóa thống nhất (UML). Tiêu chí bao phủ kiểm thử bao gồm bao phủ cấu trúc, bao phủ dữ liệu, bao phủ lỗi và bao phủ yêu cầu.

Các khái niệm chuyên ngành được sử dụng gồm: dữ liệu kiểm thử (test data), ca kiểm thử (test case), bộ kiểm thử (test suite), kế hoạch kiểm thử (test plan), độ bao phủ (coverage), đường dẫn khả thi (feasible path), ràng buộc (constraint), và lập trình ràng buộc (constraint programming).

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp phân tích định tính và định lượng. Nguồn dữ liệu chính bao gồm:

• Các ứng dụng Android thực tế được lựa chọn từ Google Play.
• Công cụ kiểm thử tự động Monkey (dựa trên kỹ thuật Fuzzing).
• Công cụ kiểm thử tự động DroidBot (dựa trên kiểm thử dựa trên mô hình).

Cỡ mẫu gồm khoảng 20 ứng dụng Android đa dạng về lĩnh vực và quy mô. Phương pháp chọn mẫu là chọn ngẫu nhiên có kiểm soát nhằm đảm bảo tính đại diện.

Phân tích dữ liệu sử dụng các chỉ số: số lượng lỗi phát hiện, độ bao phủ mã nguồn, và hiệu quả chiến lược khám phá. Thời gian nghiên cứu kéo dài từ tháng 6 đến tháng 12 năm 2017, bao gồm các bước chuẩn bị môi trường, xây dựng ứng dụng kiểm thử, thực thi kiểm thử và phân tích kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phát hiện lỗi của Monkey và DroidBot: Monkey phát hiện trung bình 15 lỗi trên mỗi ứng dụng, trong khi DroidBot phát hiện khoảng 22 lỗi, cao hơn 46.7%. Điều này cho thấy kiểm thử dựa trên mô hình có khả năng phát hiện lỗi sâu rộng hơn.

2. Độ bao phủ mã nguồn: DroidBot đạt độ bao phủ mã nguồn trung bình 65%, vượt trội so với Monkey với 48%. Sự khác biệt này phản ánh khả năng sinh đầu vào có cấu trúc và hướng dẫn UI của DroidBot giúp kiểm thử toàn diện hơn.

3. Chiến lược khám phá: DroidBot sử dụng chiến lược thăm dò breadth-first giúp khám phá nhiều trạng thái UI hơn, trong khi Monkey dựa trên sinh sự kiện ngẫu nhiên nên dễ bỏ sót các luồng điều khiển phức tạp.

4. Tính khả dụng: Monkey dễ sử dụng, tích hợp sẵn trong Android SDK, phù hợp cho kiểm thử nhanh và stress test. DroidBot yêu cầu cấu hình phức tạp hơn nhưng cung cấp khả năng tùy chỉnh cao và phù hợp với kiểm thử chuyên sâu.

Thảo luận kết quả

Kết quả thực nghiệm cho thấy kiểm thử dựa trên mô hình với DroidBot vượt trội về khả năng phát hiện lỗi và độ bao phủ so với kiểm thử Fuzz với Monkey. Nguyên nhân chính là do DroidBot xây dựng mô hình chuyển đổi trạng thái UI trong quá trình chạy, từ đó sinh ra các đầu vào kiểm thử có mục tiêu và có cấu trúc hơn. Trong khi đó, Monkey sinh sự kiện ngẫu nhiên, thiếu định hướng nên dễ bỏ sót các luồng điều khiển phức tạp.

So sánh với các nghiên cứu trong ngành, kết quả phù hợp với báo cáo của một số nghiên cứu gần đây cho thấy MBT giúp tăng độ bao phủ và phát hiện lỗi hiệu quả hơn so với kiểm thử ngẫu nhiên. Tuy nhiên, Monkey vẫn giữ vai trò quan trọng trong kiểm thử nhanh và stress test do tính đơn giản và khả năng tích hợp cao.

Dữ liệu có thể được trình bày qua biểu đồ cột so sánh số lỗi phát hiện và độ bao phủ mã nguồn giữa hai công cụ, cũng như bảng tổng hợp các chỉ số hiệu quả kiểm thử. Điều này giúp minh họa rõ ràng sự khác biệt về hiệu quả giữa hai phương pháp.

Đề xuất và khuyến nghị

1. Áp dụng kết hợp hai phương pháp kiểm thử: Kết hợp kiểm thử Fuzz với Monkey để thực hiện kiểm thử nhanh, stress test ban đầu, sau đó sử dụng DroidBot để kiểm thử chuyên sâu, tăng độ bao phủ và phát hiện lỗi phức tạp. Thời gian thực hiện: trong vòng 3 tháng, chủ thể: nhóm phát triển và kiểm thử phần mềm.

2. Phát triển công cụ kiểm thử dựa trên mô hình tùy chỉnh: Tùy chỉnh và mở rộng DroidBot hoặc phát triển công cụ tương tự phù hợp với đặc thù ứng dụng và yêu cầu kiểm thử của doanh nghiệp. Thời gian: 6 tháng, chủ thể: đội ngũ R&D công ty phần mềm.

3. Đào tạo nhân lực kiểm thử tự động: Tổ chức các khóa đào tạo về kỹ thuật kiểm thử Fuzz và kiểm thử dựa trên mô hình cho đội ngũ kiểm thử viên nhằm nâng cao năng lực và hiệu quả công việc. Thời gian: 2 tháng, chủ thể: phòng nhân sự và đào tạo.

4. Xây dựng quy trình kiểm thử tự động chuẩn hóa: Thiết lập quy trình kiểm thử tự động tích hợp hai phương pháp, bao gồm chuẩn bị môi trường, sinh dữ liệu, thực thi và phân tích kết quả, đảm bảo tính lặp lại và hiệu quả. Thời gian: 4 tháng, chủ thể: ban quản lý dự án và nhóm kiểm thử.

Đối tượng nên tham khảo luận văn

1. Nhà phát triển phần mềm Android: Nắm bắt các phương pháp kiểm thử tự động hiệu quả, áp dụng vào quy trình phát triển để nâng cao chất lượng sản phẩm và giảm thiểu lỗi.

2. Chuyên viên kiểm thử phần mềm: Hiểu rõ các kỹ thuật sinh đầu vào kiểm thử tự động, lựa chọn công cụ phù hợp và tối ưu hóa chiến lược kiểm thử nhằm tăng độ bao phủ và phát hiện lỗi.

3. Quản lý dự án CNTT: Đánh giá hiệu quả các phương pháp kiểm thử tự động, xây dựng kế hoạch kiểm thử phù hợp với nguồn lực và yêu cầu dự án, từ đó giảm thiểu rủi ro và chi phí.

4. Nghiên cứu sinh và học viên ngành Công nghệ Thông tin: Tham khảo các lý thuyết, mô hình và phương pháp nghiên cứu thực nghiệm về kiểm thử tự động, làm cơ sở cho các nghiên cứu tiếp theo hoặc luận văn.

Câu hỏi thường gặp

1. Kiểm thử Fuzz là gì và có ưu điểm gì?
   Kiểm thử Fuzz là kỹ thuật sinh dữ liệu đầu vào ngẫu nhiên để phát hiện lỗi phần mềm, đặc biệt là lỗi bảo mật như tràn bộ đệm, XSS. Ưu điểm là không cần truy cập mã nguồn, phát hiện nhanh lỗi nghiêm trọng và dễ triển khai trên nhiều ứng dụng.

2. Kiểm thử dựa trên mô hình khác gì so với kiểm thử Fuzz?
   Kiểm thử dựa trên mô hình sử dụng mô hình hành vi hệ thống để sinh ca kiểm thử có cấu trúc, đảm bảo bao phủ toàn diện hơn. Trong khi kiểm thử Fuzz sinh dữ liệu ngẫu nhiên, kiểm thử dựa trên mô hình có tính định hướng và chính xác hơn.

3. Monkey và DroidBot có điểm gì khác biệt?
   Monkey là công cụ kiểm thử ngẫu nhiên tích hợp trong Android SDK, dễ sử dụng cho kiểm thử nhanh. DroidBot là công cụ mã nguồn mở dựa trên mô hình UI, sinh đầu vào có cấu trúc và hỗ trợ chiến lược thăm dò đa dạng, phù hợp kiểm thử chuyên sâu.

4. Làm thế nào để lựa chọn công cụ kiểm thử phù hợp?
   Cần cân nhắc mục tiêu kiểm thử, độ phức tạp ứng dụng và nguồn lực. Với kiểm thử nhanh, stress test, Monkey là lựa chọn tốt. Với kiểm thử toàn diện, phát hiện lỗi sâu, DroidBot hoặc công cụ dựa trên mô hình được ưu tiên.

5. Kiểm thử tự động có thể thay thế hoàn toàn kiểm thử thủ công không?
   Kiểm thử tự động giúp tăng hiệu quả và giảm chi phí nhưng không thể thay thế hoàn toàn kiểm thử thủ công, đặc biệt với các trường hợp kiểm thử phức tạp, yêu cầu đánh giá cảm quan hoặc kiểm thử người dùng.

Kết luận

• Nghiên cứu đã phân tích và đánh giá hiệu quả của hai phương pháp sinh đầu vào kiểm thử tự động cho Android: kiểm thử Fuzz và kiểm thử dựa trên mô hình.
• Kết quả thực nghiệm cho thấy kiểm thử dựa trên mô hình với DroidBot vượt trội về phát hiện lỗi và độ bao phủ so với kiểm thử Fuzz với Monkey.
• Đề xuất kết hợp hai phương pháp để tận dụng ưu điểm của từng công cụ, đồng thời phát triển công cụ và quy trình kiểm thử tự động chuẩn hóa.
• Nghiên cứu góp phần nâng cao hiệu quả kiểm thử tự động, giảm chi phí và thời gian phát triển ứng dụng Android.
• Các bước tiếp theo bao gồm triển khai thực tế các giải pháp đề xuất, đào tạo nhân lực và mở rộng nghiên cứu sang các nền tảng di động khác.

Hành động khuyến nghị: Các tổ chức phát triển phần mềm nên áp dụng kết hợp kiểm thử Fuzz và kiểm thử dựa trên mô hình để nâng cao chất lượng sản phẩm và tối ưu hóa quy trình kiểm thử.