Luận văn thạc sĩ về kỹ thuật kiểm thử tự động trong hệ thống nhúng

• Tác giả: Phạm Thị Ngọc
• Người hướng dẫn: TS. Đỗ Thị Bích Ngọc
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên cứu kỹ thuật kiểm thử tự động dựa trên mô hình, áp dụng trong hệ thống nhúng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG NHÚNG VÀ KIỂM THỬ TRONG HỆ THỐNG NHÚNG
• 1.1. Hệ thống nhúng
• 1.2. Đặc điểm của hệ thống nhúng
• 1.3. Thiết bị ngoại vi
• 1.4. Công cụ phát triển
• 1.5. Xu hướng phát triển của các hệ thống nhúng
• 1.6. Những thách thức và vấn đề còn tồn tại với hệ thống nhúng
• 1.7. Lý thuyết kiểm thử
• 1.7.1. Mục tiêu kiểm thử
• 1.7.2. Nguyên tắc kiểm thử
• 1.7.3. Nội dung các nhiệm vụ trong quá trình kiểm thử
• 2. CHƯƠNG 2: PHƯƠNG PHÁP KIỂM THỬ DỰA TRÊN MÔ HÌNH
• 2.1. Kiểm thử dựa trên mô hình
• 2.2. Quy trình kiểm thử dựa trên mô hình
• 2.3. Thuận lợi và khó khăn của kiểm thử dựa trên mô hình
• 2.4. Các vấn đề của quá trình kiểm thử dựa trên mô hình
• 2.5. Lập mô hình cho hệ thống
• 2.6. Mô hình kiểm thử trong Simulink
• 2.7. Yêu cầu/ đặc tả của mô hình
• 2.8. Tạo ca kiểm thử từ mô hình
• 2.9. Đánh giá mức phủ của test case
• 3. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Cài đặt Matlab & Simulink toolbox
• 3.2. Áp dụng kiểm thử dựa trên mô hình vào bài toán kiểm thử mô hình điều khiển hành trình
• 3.3. Xây dựng mô hình trong Matlab
• 3.4. Sinh ca kiểm thử và thực thi và kết quả kiểm thử
• 4. CHƯƠNG 4: KẾT LUẬN
• TÀI LIỆU THAM KHẢO

I. Tổng quan về hệ thống nhúng và kiểm thử trong hệ thống nhúng

Hệ thống nhúng là một phần quan trọng trong công nghệ thông tin, với khả năng tự hành và tích hợp vào các hệ thống lớn hơn. Đặc điểm nổi bật của hệ thống nhúng là tính ổn định và khả năng tự động hóa cao. Các hệ thống này thường được thiết kế để thực hiện một chức năng chuyên biệt, khác với máy tính đa chức năng. Việc kiểm thử trong hệ thống nhúng gặp nhiều khó khăn do số lượng trường hợp thử nghiệm lớn và yêu cầu về độ chính xác cao. Kiểm thử tự động là một giải pháp hữu hiệu nhằm nâng cao tính chính xác và hiệu quả, đồng thời giảm chi phí và thời gian trong quá trình kiểm thử. Việc áp dụng kỹ thuật kiểm thử tự động giúp phát hiện lỗi sớm và đảm bảo chất lượng sản phẩm.

1.1 Đặc điểm của hệ thống nhúng

Các hệ thống nhúng thường có những đặc điểm như thực hiện nhiệm vụ chuyên dụng, không phải là khối riêng biệt mà nằm trong thiết bị điều khiển. Phần mềm cho hệ thống nhúng được gọi là firmware, thường chạy trên các tài nguyên phần cứng hạn chế. Việc thử nghiệm và xác định lỗi trong hệ thống nhúng gặp nhiều khó khăn do tính phức tạp và yêu cầu cao về độ tin cậy. Các thiết bị ngoại vi và công cụ phát triển cũng đóng vai trò quan trọng trong việc tối ưu hóa quy trình kiểm thử.

1.2 Xu hướng phát triển của các hệ thống nhúng

Xu hướng phát triển của hệ thống nhúng hiện nay cho thấy sự gia tăng về độ phức tạp và yêu cầu khắt khe về thời gian thực. Các hệ thống này ngày càng có tính mềm dẻo cao, cho phép bảo trì từ xa và có khả năng tự tổ chức. Việc phát triển công cụ kiểm thử tự động dựa trên mô hình là cần thiết để đáp ứng các yêu cầu này. Sự phát triển của công nghệ kiểm thử tự động giúp nâng cao hiệu quả và giảm thiểu rủi ro trong quá trình phát triển sản phẩm.

II. Phương pháp kiểm thử dựa trên mô hình

Phương pháp kiểm thử dựa trên mô hình là một trong những kỹ thuật tiên tiến trong lĩnh vực kiểm thử hệ thống nhúng. Phương pháp này cho phép sinh ra các ca kiểm thử từ mô hình đặc tả hành vi của hệ thống. Quy trình kiểm thử dựa trên mô hình bao gồm việc lập mô hình cho hệ thống, tạo ca kiểm thử và đánh giá mức phủ của test case. Việc áp dụng kiểm thử tự động hóa trong quy trình này giúp giảm thiểu thời gian và chi phí, đồng thời nâng cao độ chính xác trong việc phát hiện lỗi. Các công cụ như MATLAB/Simulink được sử dụng để mô phỏng và kiểm thử, cho phép người dùng phân tích và tổng hợp hệ thống một cách trực quan.

2.1 Quy trình kiểm thử dựa trên mô hình

Quy trình kiểm thử dựa trên mô hình bao gồm các bước từ việc lập mô hình cho đến việc sinh ca kiểm thử. Mô hình kiểm thử trong Simulink cho phép người dùng tạo ra các ca kiểm thử một cách tự động, giúp tiết kiệm thời gian và công sức. Việc đánh giá mức phủ của test case là một phần quan trọng trong quy trình này, đảm bảo rằng tất cả các tình huống có thể xảy ra đều được kiểm thử. Điều này không chỉ giúp phát hiện lỗi mà còn đảm bảo rằng hệ thống hoạt động đúng theo yêu cầu đã đề ra.

2.2 Thuận lợi và khó khăn của kiểm thử dựa trên mô hình

Mặc dù kiểm thử dựa trên mô hình mang lại nhiều lợi ích, nhưng cũng gặp phải một số khó khăn. Việc lập mô hình chính xác là rất quan trọng, vì một mô hình không chính xác có thể dẫn đến việc sinh ra các ca kiểm thử không hiệu quả. Ngoài ra, việc tích hợp các công cụ kiểm thử với các hệ thống hiện có cũng có thể gặp khó khăn. Tuy nhiên, với sự phát triển của công nghệ, các công cụ hỗ trợ kiểm thử ngày càng trở nên mạnh mẽ và dễ sử dụng hơn, giúp giảm thiểu những khó khăn này.

III. Thử nghiệm và đánh giá

Thử nghiệm và đánh giá là giai đoạn quan trọng trong quy trình phát triển hệ thống nhúng. Việc cài đặt và sử dụng các công cụ như Matlab & Simulink toolbox giúp thực hiện kiểm thử dựa trên mô hình một cách hiệu quả. Áp dụng kiểm thử vào bài toán kiểm thử mô hình điều khiển hành trình cho thấy rõ ràng lợi ích của việc sử dụng kiểm thử tự động. Kết quả kiểm thử không chỉ giúp phát hiện lỗi mà còn cung cấp thông tin quan trọng về hiệu suất và độ tin cậy của hệ thống. Việc phân tích kết quả kiểm thử giúp đưa ra những quyết định chính xác trong quá trình phát triển sản phẩm.

3.1 Cài đặt Matlab Simulink toolbox

Cài đặt và cấu hình Matlab & Simulink toolbox là bước đầu tiên trong quá trình kiểm thử. Các công cụ này cung cấp môi trường mô phỏng mạnh mẽ, cho phép người dùng thiết kế và kiểm thử các mô hình một cách trực quan. Việc sử dụng Simulink giúp người dùng dễ dàng tạo ra các mô hình phức tạp và thực hiện các ca kiểm thử tự động. Kết quả từ quá trình mô phỏng có thể được phân tích để đánh giá hiệu suất của hệ thống, từ đó đưa ra các điều chỉnh cần thiết.

3.2 Kết quả kiểm thử và đánh giá

Kết quả kiểm thử từ các mô hình điều khiển hành trình cho thấy tính hiệu quả của phương pháp kiểm thử tự động. Việc sinh ca kiểm thử và thực thi cho phép phát hiện lỗi sớm, giảm thiểu rủi ro trong quá trình phát triển. Đánh giá kết quả kiểm thử không chỉ giúp xác định các vấn đề còn tồn tại mà còn cung cấp thông tin về khả năng hoạt động của hệ thống trong các điều kiện khác nhau. Điều này rất quan trọng để đảm bảo rằng sản phẩm cuối cùng đáp ứng được các yêu cầu chất lượng và hiệu suất.

IV. Kết luận

Luận văn đã trình bày một cái nhìn tổng quan về kỹ thuật kiểm thử tự động trong hệ thống nhúng. Việc áp dụng kiểm thử dựa trên mô hình không chỉ giúp nâng cao hiệu quả kiểm thử mà còn giảm thiểu chi phí và thời gian. Các phương pháp và công cụ hiện có cho phép thực hiện kiểm thử một cách tự động hóa, từ đó đảm bảo chất lượng sản phẩm. Sự phát triển của công nghệ kiểm thử sẽ tiếp tục đóng vai trò quan trọng trong việc nâng cao độ tin cậy và hiệu suất của các hệ thống nhúng trong tương lai.

Tổng quan nghiên cứu

Hệ thống nhúng, xuất hiện từ những năm 1960, đã trở thành một lĩnh vực phát triển mạnh mẽ trong công nghệ thông tin với ứng dụng rộng rãi trong công nghiệp và đời sống. Theo ước tính, các hệ thống nhúng chiếm tỷ trọng ngày càng lớn trong các thiết bị điện tử hiện đại, từ đồng hồ kỹ thuật số đến hệ thống điều khiển trong ô tô và nhà máy. Sự phức tạp và yêu cầu cao về độ tin cậy của hệ thống nhúng đặt ra thách thức lớn trong việc kiểm thử, đặc biệt là kiểm thử tự động nhằm nâng cao hiệu quả và giảm chi phí. Mục tiêu nghiên cứu của luận văn là phát triển kỹ thuật kiểm thử tự động dựa trên mô hình, áp dụng trong hệ thống nhúng, nhằm tăng độ chính xác, rút ngắn thời gian kiểm thử và giảm thiểu chi phí phát triển. Nghiên cứu tập trung vào việc xây dựng mô hình kiểm thử trong môi trường Matlab/Simulink, áp dụng cho hệ thống điều khiển hành trình ô tô, với phạm vi thời gian nghiên cứu từ năm 2016 đến 2018 tại Việt Nam. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện độ phủ kiểm thử lên đến 100%, giúp phát hiện lỗi sớm và nâng cao chất lượng phần mềm hệ thống nhúng, đồng thời hỗ trợ phát triển các công cụ kiểm thử tự động hiệu quả trong thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: lý thuyết kiểm thử phần mềm và mô hình hóa hệ thống nhúng. Lý thuyết kiểm thử phần mềm tập trung vào các nguyên tắc kiểm thử như phát hiện lỗi, ưu tiên kiểm thử dựa trên rủi ro, và nguyên tắc bắt đầu kiểm thử sớm. Mô hình hóa hệ thống nhúng sử dụng các ký hiệu như sơ đồ khối Simulink, máy trạng thái hữu hạn (FSM), và các mô hình dựa trên chuyển tiếp để mô tả hành vi hệ thống. Ba khái niệm chính được sử dụng gồm: mô hình kiểm thử (test model), ca kiểm thử (test case), và tiêu chí lựa chọn kiểm thử (test selection criteria). Mô hình kiểm thử trong Simulink cho phép mô phỏng các tín hiệu đầu vào như tín hiệu bậc thang, sinus, và xung chữ nhật, từ đó sinh ra các ca kiểm thử tự động nhằm đánh giá mức độ phủ kiểm thử (coverage) theo các chỉ số chuẩn như MCDC (Modified Condition/Decision Coverage).

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các mô hình hệ thống điều khiển hành trình ô tô được xây dựng trong Matlab/Simulink, cùng với các ca kiểm thử được sinh tự động từ mô hình. Phương pháp phân tích bao gồm xây dựng mô hình hệ thống, sinh ca kiểm thử dựa trên tiêu chí bao phủ, thực thi kiểm thử và đánh giá kết quả dựa trên mức độ phủ kiểm thử và độ chính xác của hệ thống. Cỡ mẫu nghiên cứu là tập hợp các ca kiểm thử được tạo ra từ mô hình, với số lượng ca kiểm thử ban đầu và ca kiểm thử bổ sung để đạt độ phủ 100%. Phương pháp chọn mẫu là chọn các ca kiểm thử đại diện cho các trạng thái và chuyển đổi quan trọng trong mô hình. Timeline nghiên cứu kéo dài trong khoảng 12 tháng, bao gồm các giai đoạn xây dựng mô hình, sinh ca kiểm thử, thực thi và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ phủ kiểm thử đạt 100% sau khi bổ sung ca kiểm thử: Ban đầu, bộ ca kiểm thử đạt mức độ phủ MCDC khoảng 25%, sau khi tạo thêm các ca kiểm thử bổ sung bằng công cụ Simulink Design Verifier, độ phủ tăng lên 100%. Điều này chứng tỏ phương pháp kiểm thử dựa trên mô hình có khả năng bao phủ toàn diện các trường hợp kiểm thử quan trọng.

2. Thời gian đạt tốc độ hành trình không quá 60 giây: Hệ thống điều khiển hành trình mô phỏng đáp ứng yêu cầu thời gian đạt vận tốc mong muốn trong vòng 60 giây, phù hợp với tiêu chuẩn kỹ thuật đề ra.

3. Duy trì vận tốc trong phạm vi sai số không quá 10% khi độ dốc thay đổi: Khi độ dốc mặt đường thay đổi, hệ thống tự động điều chỉnh bướm ga để duy trì vận tốc hành trình với sai số không vượt quá 10%, đảm bảo tính ổn định và an toàn trong vận hành.

4. Tự động sinh ca kiểm thử giúp phát hiện lỗi sớm và giảm chi phí: Việc tự động tạo ca kiểm thử từ mô hình giúp phát hiện các lỗi tiềm ẩn trong giai đoạn thiết kế, giảm thiểu chi phí sửa lỗi sau này và rút ngắn thời gian phát triển.

Thảo luận kết quả

Kết quả cho thấy kiểm thử dựa trên mô hình trong môi trường Matlab/Simulink là phương pháp hiệu quả để kiểm thử hệ thống nhúng phức tạp như hệ thống điều khiển hành trình. Việc tăng độ phủ kiểm thử từ 25% lên 100% minh chứng cho khả năng mở rộng và cải tiến liên tục của bộ ca kiểm thử tự động. So sánh với các nghiên cứu trong ngành, phương pháp này vượt trội về khả năng tự động hóa và độ chính xác, đồng thời giảm thiểu sự phụ thuộc vào kinh nghiệm của kỹ sư kiểm thử. Biểu đồ độ phủ kiểm thử và bảng so sánh kết quả vận tốc thực tế với vận tốc mong muốn có thể được sử dụng để trực quan hóa hiệu quả kiểm thử. Ngoài ra, việc mô hình hóa chi tiết các lực tác động và điều khiển bướm ga giúp mô phỏng sát thực tế, từ đó nâng cao độ tin cậy của hệ thống. Tuy nhiên, việc xây dựng mô hình đòi hỏi kỹ năng cao và đầu tư thời gian đáng kể, là thách thức cần được cân nhắc trong ứng dụng thực tế.

Đề xuất và khuyến nghị

1. Triển khai công cụ kiểm thử tự động trong quy trình phát triển phần mềm hệ thống nhúng: Động từ hành động là "áp dụng", mục tiêu là tăng độ phủ kiểm thử lên 100%, thời gian thực hiện trong vòng 6 tháng, chủ thể thực hiện là các nhóm phát triển phần mềm và kiểm thử.

2. Đào tạo kỹ sư kiểm thử về mô hình hóa và sử dụng Matlab/Simulink: Động từ hành động là "tổ chức", mục tiêu nâng cao năng lực kỹ thuật, thời gian 3 tháng, chủ thể là phòng nhân sự và đào tạo.

3. Xây dựng quy trình cập nhật và bảo trì mô hình kiểm thử: Động từ hành động là "xây dựng", mục tiêu duy trì tính chính xác và hiệu quả của bộ ca kiểm thử, thời gian 1 năm, chủ thể là nhóm quản lý dự án và kiểm thử.

4. Phát triển các công cụ hỗ trợ tự động hóa tạo ca kiểm thử và phân tích kết quả: Động từ hành động là "phát triển", mục tiêu giảm thiểu thời gian và công sức kiểm thử, thời gian 12 tháng, chủ thể là bộ phận nghiên cứu và phát triển.

Đối tượng nên tham khảo luận văn

1. Kỹ sư phát triển hệ thống nhúng: Nắm bắt phương pháp kiểm thử tự động dựa trên mô hình để nâng cao chất lượng sản phẩm và rút ngắn thời gian phát triển.

2. Chuyên gia kiểm thử phần mềm: Áp dụng kỹ thuật sinh ca kiểm thử tự động và đánh giá độ phủ kiểm thử trong các dự án phức tạp.

3. Nhà quản lý dự án CNTT: Hiểu rõ lợi ích và chi phí đầu tư cho kiểm thử tự động, từ đó hoạch định nguồn lực và kế hoạch phù hợp.

4. Giảng viên và sinh viên ngành công nghệ thông tin, kỹ thuật điều khiển: Sử dụng luận văn làm tài liệu tham khảo cho nghiên cứu và giảng dạy về kiểm thử phần mềm và hệ thống nhúng.

Câu hỏi thường gặp

1. Kiểm thử dựa trên mô hình là gì?
   Kiểm thử dựa trên mô hình là kỹ thuật tạo ca kiểm thử tự động từ mô hình đặc tả hành vi của hệ thống, giúp dự đoán và so sánh kết quả thực tế với kết quả mong đợi, nâng cao hiệu quả kiểm thử.

2. Lợi ích chính của kiểm thử tự động trong hệ thống nhúng là gì?
   Kiểm thử tự động giúp tiết kiệm thời gian, giảm chi phí, tăng độ chính xác và khả năng lặp lại các ca kiểm thử, đặc biệt hữu ích trong các dự án có số lượng ca kiểm thử lớn.

3. Tại sao cần tăng độ phủ kiểm thử?
   Độ phủ kiểm thử cao đảm bảo rằng các phần quan trọng của hệ thống được kiểm tra đầy đủ, giảm thiểu rủi ro lỗi sót và nâng cao độ tin cậy của sản phẩm.

4. Phần mềm Matlab/Simulink hỗ trợ kiểm thử như thế nào?
   Matlab/Simulink cung cấp môi trường mô hình hóa, sinh ca kiểm thử tự động, thực thi kiểm thử và đánh giá mức độ phủ kiểm thử, giúp kiểm thử hệ thống nhúng hiệu quả và trực quan.

5. Khó khăn khi áp dụng kiểm thử dựa trên mô hình là gì?
   Khó khăn chính là yêu cầu kỹ năng cao trong xây dựng mô hình, đầu tư thời gian và chi phí ban đầu lớn, cũng như việc duy trì và cập nhật mô hình kiểm thử theo thay đổi của hệ thống.

Kết luận

• Kiểm thử tự động dựa trên mô hình trong Matlab/Simulink giúp nâng cao độ phủ kiểm thử lên 100%, phát hiện lỗi sớm và giảm chi phí phát triển hệ thống nhúng.
• Mô hình hóa chi tiết hệ thống điều khiển hành trình ô tô cho phép mô phỏng chính xác các điều kiện vận hành thực tế.
• Phương pháp kiểm thử dựa trên mô hình hỗ trợ tự động sinh ca kiểm thử, tăng tính chính xác và khả năng tái sử dụng trong các phiên bản phần mềm khác nhau.
• Việc áp dụng kỹ thuật này đòi hỏi đầu tư về kỹ năng và thời gian xây dựng mô hình, cần có kế hoạch đào tạo và phát triển công cụ hỗ trợ.
• Các bước tiếp theo bao gồm triển khai thực tế trong các dự án phát triển hệ thống nhúng, đào tạo nhân lực và phát triển công cụ kiểm thử tự động nâng cao.

Hành động ngay: Các tổ chức và cá nhân liên quan nên bắt đầu áp dụng kiểm thử dựa trên mô hình để nâng cao chất lượng sản phẩm và tối ưu hóa quy trình phát triển hệ thống nhúng.