I. Tổng Quan Về Kiểm Thử Phần Mềm Android Tại ĐHQGHN
Ngày nay, với sự phát triển rộng rãi của hệ điều hành Android trên các dòng điện thoại, việc tạo ra các phần mềm, dự án liên quan đến Android càng ngày càng tăng lên. Do đó các giải pháp hỗ trợ kiểm thử phần mềm Android sẽ rất có ý nghĩa trong việc kiểm tra chất lượng sản phẩm của các nhà phát triển trước khi đưa đến người dùng. Theo thống kê của Google, Android chiếm 75% thị phần điện thoại thông minh trên toàn thế giới vào thời điểm quý 3 năm 2012 và sau 2 năm đã có hơn một tỷ máy được kích hoạt Android. Sự thành công của hệ điều hành này đã dẫn đến “cuộc chiến điện thoại thông minh” giữa các hãng sản xuất điện thoại. Bất kỳ một chiếc điện thoại nào muốn kích hoạt Android đều phải trải qua tất cả các ca kiểm thử của Google.
1.1. Tầm Quan Trọng Của Kiểm Thử Ứng Dụng Android
Với sự phát triển của Internet và trào lưu mạng xã hội bùng nổ, điện thoại thông minh ngày càng được sử dụng nhiều nhằm đáp ứng nhu cầu giải trí đa dạng của người dùng. Từ một chiếc điện thoại thông minh chỉ được cài sẵn vài ba ứng dụng của nhà sản xuất thì nay với các thiết bị chạy hệ điều hành như Android, có thể dễ dàng đáp ứng được nhu cầu của người dùng bằng các cài thêm phần mềm bên thứ ba không gây trở ngại nào. Từ đây lại đặt ra một vấn đề hiển nhiên là kiểm thử các phần mềm chạy trên các thiết bị di động xem chúng có đáp ứng được các yêu cầu đề ra ban đầu hay không trước khi phân phát sản phẩm đến tay người tiêu dùng.
1.2. Các Thách Thức Trong Đảm Bảo Chất Lượng Android QA
Có hàng nghìn các thiết bị và các phiên bản Android mà ứng dụng của bạn cần phải tương thích với chúng. Một vài lỗi, sai lầm xuất hiện trong phần mềm Android như sau: Cài đặt ứng dụng bị lỗi, màn hình hiển thị ứng dụng có vấn đề, ứng dụng bị treo khi tài nguyên không khả dụng, hiển thị lỗi khi ứng dụng ở chế độ màn hình xoay ngang hoặc dọc. Những lầm tưởng phổ biến và thực tế trong quá trình kiểm thử phần mềm Android thường thấy gồm có: Tất cả các thiết bị Android đều giống nhau thử nghiệm trên giả lập là đủ. Điều này hoàn toàn sai lầm, ví dụ một ứng dụng hoạt động hoàn hảo trên thiết bị giả lập nhưng trên một số thiết bị thực tế, nó bị treo trong quá trình thực hiện. Thiết bị giả lập không đủ để thực hiện kiểm thử trên điện thoại di động. Do đó phải thử nghiệm ứng dụng trên các thiết bị thực tế.
II. Các Phương Pháp Kiểm Thử Phần Mềm Android Hiệu Quả
Để có một phần mềm chất lượng trước khi đến tay người dùng cần một chiến lược kiểm thử chính xác trên nhiều các thiết bị khác nhau, phiên bản hệ điều hành Android khác nhau gồm có: Kiểm thử đơn vị (Unit test), Kiểm thử tích hợp (Integration test), Kiểm thử hoạt động (Operational test), Kiểm thử hiệu năng (Performance test), Kiểm thử hệ thống (System test), Kiểm thử người dùng hay kiểm thử chấp nhận. Giảm lượng được thời gian kiểm thử và có một kết quả kiểm thử chính xác nhất thì việc tìm ra các phương pháp và xây dựng công cụ hỗ trợ kiểm thử là rất cần thiết. Hiện nay trên thị trường việc kiểm thử đơn vị (Unit test) chỉ được thực hiện trực tiếp trên các môi trường phát triển như Eclipse, Android Studio mà chưa có một công cụ nào hỗ trợ kiểm thử đơn vị nào thay thế. Đây chính là lý do để tìm hiểu phương pháp và xây dựng công cụ để hỗ trợ kiểm thử Android JUnit Test.
2.1. Kiểm Thử Đơn Vị Android Unit Testing Chi Tiết
Một đơn vị mã nhỏ có thể có một vài phương thức riêng lẻ hay phương thức quan hệ trong một tệp chương trình. Kiểm thử đơn vị chỉ kiểm tra một phần nhỏ của chương trình để xem chúng hoạt động có đúng không. Với Android, kiểm thử đơn vị được tạo và chạy như một phần của qui trình phát triển phần mềm. Kiểm thử đơn vị được viết bởi lập trình viên phát triển phần mềm đó. Các lập trình viên nên phân lập các thành phần để kiểm thử và phải có khả năng tái kiểm thử. Đó chính là lý do tại sao kiểm thử đơn vị và các đối tượng giả lập thường đặt cùng nhau.
2.2. Kiểm Thử Tích Hợp Android Integration Testing Toàn Diện
Khi kiểm thử đơn vị đã thành công thì kiểm thử tích hợp sẽ giúp ta kiểm thử được cả ứng dụng khi kết hợp các module với nhau. Như đã đề cập ở bên trên kiểm thử đơn vị đã đủ linh hoạt để thay thế các loại kiểm thử khác, bao gồm cả kiểm thử tích hợp. Bởi kiểm thử tích hợp sẽ cần nhiều mã hơn nên mất nhiều thời gian, nhất là với các thiết bị di động tài nguyên luôn hạn hẹp. Để khắc phục ta có thể chạy các công việc tốn thời gian một cách bất đồng bộ và chỉ kiểm thử tích hợp khi kiểm thử đơn vị đã thành công.
2.3. Kiểm Thử Giao Diện Người Dùng Android UI Testing
Là một quá trình rất quan trọng trong kiểm thử trên điện thoại thông minh. Một ứng dụng lý tưởng là có thể hoạt động trên mọi phần cứng và mọi nền tảng. Mọi ứng dụng cần phải được kiểm tra xem có thể hoạt động tốt trên thiết bị đó hay chưa.
III. Tìm Hiểu Về CTS Compatibility Test Suite Cho Android
Luận văn trình bày phương pháp kiểm thử CTS của Google hỗ trợ các đối tác kiểm thử thiết bị di động sử dụng nền tảng Android trước khi ra thị trường. Với mỗi nền tảng của Android được ra đời, Google cung cấp các bộ API tương ứng với nền tảng đó. Tương ứng với bộ API này tương ứng là tập các ca kiểm thử CTS. Mục đích là kiểm tra sự tương thích của các thiết bị Android với nền tảng đó. Với bộ kiểm thử CTS này Google cũng hỗ trợ các đối tác một công cụ để có thể kiểm thử nhanh với các thiết bị trước khi ra thị trường nằm trong bộ CTS.
3.1. Giới Thiệu Về Compatibility Test Suite CTS
CTS là bộ công cụ kiểm thử được Google phát triển để đảm bảo tính tương thích của các thiết bị Android. Nó bao gồm một loạt các test case được thiết kế để xác minh rằng một thiết bị Android tuân thủ các yêu cầu của nền tảng Android.
3.2. Nguyên Lý Hoạt Động Của CTS Trong Kiểm Thử Android
CTS hoạt động bằng cách chạy một loạt các test case trên thiết bị Android. Các test case này kiểm tra các khía cạnh khác nhau của thiết bị, chẳng hạn như phần cứng, phần mềm và các API. Nếu một thiết bị vượt qua tất cả các test case, nó được coi là tương thích với nền tảng Android.
3.3. Môi Trường Vật Lý Trên Thiết Bị Kiểm Thử Android
Môi trường vật lý trên thiết bị kiểm thử cần được thiết lập đúng cách để đảm bảo rằng các test case CTS có thể chạy chính xác. Điều này bao gồm việc đảm bảo rằng thiết bị có đủ bộ nhớ, pin và kết nối mạng.
IV. Ứng Dụng CTS Trong Kiểm Thử Android JUnit Project
Luận văn trình bày cách thức áp dụng phương pháp CTS để xây dựng công cụ hỗ trợ và phát triển phẩm mềm Android JUnit test. Sau khi nghiên cứu phương pháp CTS Google hỗ trợ các đối tác kiểm thử trên thiết bị di động chạy Android, luận văn đã áp dụng phương pháp này và xây dựng một công cụ hỗ trợ kiểm thử trên dự án Android JUnit Test và mang lại những lợi ích đáng kể và có hiệu quả cao so với việc kiểm thử trực tiếp trên IDE (eclipse).
4.1. Phương Pháp CTS Áp Dụng Với Dự Án Android JUnit Test
Luận văn trình bày cách thức áp dụng phương pháp CTS để xây dựng công cụ hỗ trợ và phát triển phẩm mềm Android JUnit test. Sau khi nghiên cứu phương pháp CTS Google hỗ trợ các đối tác kiểm thử trên thiết bị di động chạy Android, luận văn đã áp dụng phương pháp này và xây dựng một công cụ hỗ trợ kiểm thử trên dự án Android JUnit Test và mang lại những lợi ích đáng kể và có hiệu quả cao so với việc kiểm thử trực tiếp trên IDE (eclipse).
4.2. Quá Trình Kiểm Thử Trên Thiết Bị Với CTS
Quá trình kiểm thử trên thiết bị với CTS bao gồm các bước sau: Cài đặt CTS trên thiết bị, kết nối thiết bị với máy tính, chạy các test case CTS, xem kết quả kiểm thử.
4.3. Ưu Điểm Của Công Cụ So Với Kiểm Thử Trực Tiếp Trên Eclipse
Công cụ CTS có nhiều ưu điểm so với kiểm thử trực tiếp trên Eclipse, bao gồm: Tự động hóa quá trình kiểm thử, cung cấp kết quả kiểm thử chi tiết, dễ dàng tích hợp với các công cụ phát triển khác.
V. Xây Dựng Công Cụ CTS Executor Hỗ Trợ Kiểm Thử Android
Luận văn cũng đưa ra việc thử nghiệm công cụ CTS Executor trên dự án Android JUnit Test thực tế Knox Custom API Test để so sánh với việc kiểm thử trực tiếp dự án này trên Eclipse. Qua thử nghiệm đã chỉ ra những ưu điểm công cụ CTS Executor mang lại cũng như chỉ ra những hướng phát triển thêm của luận văn trong tương lai.
5.1. Môi Trường Và Các Công Cụ Sử Dụng Để Thử Nghiệm
Môi trường và các công cụ sử dụng để thử nghiệm bao gồm: Hệ điều hành Windows, Android SDK, Eclipse IDE, CTS Executor.
5.2. Xây Dựng Tập Ca Kiểm Thử Thử Nghiệm Với Công Cụ CTS Executor
Tập ca kiểm thử thử nghiệm được xây dựng dựa trên các yêu cầu của dự án Android JUnit Test. Các ca kiểm thử này kiểm tra các chức năng khác nhau của ứng dụng, chẳng hạn như giao diện người dùng, logic nghiệp vụ và truy cập dữ liệu.
5.3. Kết Quả Thử Nghiệm Với Công Cụ CTS Executor
Kết quả thử nghiệm cho thấy công cụ CTS Executor có thể tự động hóa quá trình kiểm thử và cung cấp kết quả kiểm thử chi tiết. Công cụ này cũng giúp giảm thời gian kiểm thử và cải thiện chất lượng của ứng dụng.
VI. Kết Luận Và Hướng Phát Triển Của Kiểm Thử Android
Luận văn khái quát về kiểm thử trên các thiết bị thông minh sử dụng hệ điều hành Android và giới thiệu về nền tảng kiểm thử của hệ điều hành này. Sau đó đi sâu vào nghiên cứu phương pháp kiểm thử CTS do Google đề xuất để kiểm tra sự tương thích của Android với các thiết bị sử dụng hệ điều hành này. Từ phương pháp nghiên cứu đã xây dựng cách tiếp cận kiểm thử một dự án Android JUnit Test, đồng thời xây dựng công cụ hỗ trợ kiểm thử các phần mềm Android JUnit trên các thiết bị di động thực tế. Công cụ đã mang lại những ưu điểm đáng kể so với việc kiểm thử trực tiếp hiện nay trên các môi trường phát triển như Eclipse hay Android Studio. Nó mang đến một giao diện thân thiện với người dùng và hỗ trợ những tính năng trực quan.
6.1. Định Dạng File Manifest Trong Android JUnit Test
File manifest là một file XML chứa thông tin về ứng dụng Android, chẳng hạn như tên ứng dụng, phiên bản ứng dụng và các quyền mà ứng dụng yêu cầu. File manifest cần được định dạng đúng cách để ứng dụng có thể chạy chính xác.
6.2. Kiến Trúc Testing Framework Trong Kiểm Thử Android
Kiến trúc testing framework trong kiểm thử Android bao gồm các thành phần sau: Test runner, test case, test suite và test result.
6.3. Quy Trình Đạt Được Google s Certification Với CTS
Để đạt được Google's Certification, các thiết bị Android cần phải vượt qua tất cả các test case trong bộ CTS. Quy trình này bao gồm các bước sau: Cài đặt CTS trên thiết bị, kết nối thiết bị với máy tính, chạy các test case CTS, xem kết quả kiểm thử và gửi kết quả cho Google.
