CHƯƠNG 1: TỔNG QUAN VỀ ĐIỀU KHIỂN HỌC LẶP VÀ TÍNH HỘI TỤ CỦA QUÁ TRÌNH HỌC 1.1 Điều khiển học lặp và lý do nên kết hợp với truyền thống Nhiệm vụ cốt lõi của Điều khiển-Tự động hóa luôn là phải làm cho đầu ra của hệ thống bám theo được tín hiệu đặt mong muốn. Điều đó có nghĩa rằng, khi ký hiệu các đầu ra của hệ và tín hiệu đặt, gồm các vector y (t ) y1 (t ), , yn (t ) , r (t ) r1 (t ), , rn (t ) T T (1.1) thì nhiệm vụ của Điều khiển-Tự động hóa là tạo ra được y r hoặc ít nhất thì cũng làm cho y càng gần tới r càng tốt, mà ở đó khái niệm gần được đánh giá theo một chuẩn nào đó thích hợp của vector sai lệch bám e (t ) , t Te có Te là hằng số dương hữu hạn đủ lớn cho trước, trong đó e (t ) r (t ) y (t ) là sai lệch bám và 0 là hằng số dương rất nhỏ cũng cho trước. Đã có vô vàn các phương pháp giúp thực hiện nhiệm vụ trên của bài toán Điều khiển-Tự động hóa ở trên và chủ yếu chúng được xây dựng trên nền tảng lý thuyết Lyapunov, như Lyapunov II, backstepping, backstepping thích nghi, trượt, trượt thích nghi, tuyến tính hóa chính xác, tuyến tính hóa chính xác thích nghi, dynamic surface control. Phần lớn các phương pháp này là dựa vào mô hình toán mô tả hệ thống, tức là dựa vào mô hình toán mô tả ánh xạ vào ra f p u (t ) của hệ u (t ) y (t ) f p u (t ) .2) trong đó u (t ) u1 (t ), , um (t ) T là ký hiệu của vector gồm tất cả các tín hiệu đầu vào.
Các phương pháp dựa vào mô hình (1.2) của hệ được gọi là phương pháp điều khiển truyền thống. Tuy nhiên, cho dù đã có vô vàn các phương pháp như vậy, song không phải lúc nào cũng có được chất lượng bám e r y 0 hoặc e (t ) , t Te , như yêu cầu, đặc biệt là cho mọi bài toán. Nguyên nhân cơ bản, theo tài liệu [5], là do độ chính xác của mô hình (1.2) không đủ chính xác hoặc do nhiều tác động không thể mô tả được tác động vào hệ thống. Chúng xuất phát có thể là do sự thiếu hụt về mặt lý luận, hiểu biết của con người, phục vụ mô hình hóa, để có được mô hình chính xác [1] (hiểu biết của con người là rất nhiều, song vẫn chưa đủ để mô tả được mọi 4 hiện tượng tự nhiên), hoặc dạng mô hình toán có được lại không thích hợp với phương pháp điều khiển truyền thống đã có, và thậm chí cũng có thể còn do những tác động không ngờ xảy ra với hệ thống sau khi đã có mô hình toán.
Mặt khác, kể cả trong trường hợp mô hình toán là đủ chính xác, giúp cho ta thiết kế được bộ điều khiển truyền thống đạt được chất lượng mong muốn, thì sau một khoảng thời gian làm việc lâu dài, sẽ sinh ra thay đổi về cơ cấu vật lý trong các vật liệu chế tạo thiết bị điều khiển, trong cơ cấu chấp hành. Điều này dẫn tới mô hình toán có ban đầu để mô tả đối tượng sẽ không còn đủ chính xác, làm cho chất lượng điều khiển của bộ điều khiển truyền thống đã được thiết kế cũng không còn được đảm bảo. Để khôi phục lại chất lượng điều khiển, tất nhiên theo phương pháp truyền thống, người ta phải xây dựng lại mô hình toán mới cho đối tượng điều khiển (bao gồm cả cơ cấu chấp hành), rồi dựa vào đó mà hiệu chỉnh lại tham số cho bộ điều khiển, nếu như không muốn thay thế thiết bị mới. Đối với các quá trình làm việc theo chu kỳ tuần hoàn (robots, bình phản ứng hóa học) thì rõ ràng việc làm trên, tức là việc thay thế thiết bị hay thiết kế lại bộ điều khiển truyền thống, là một sự lãng phí thông tin có từ đối tượng mà trong đó chứa đựng sự mệt mỏi của vật liệu, về lỗi của thiết bị.
Những thông tin này đều có thể thu thập, phục vụ chẩn đoán lỗi hệ thống, vì những dữ liệu đo được đó cũng mang tính chu kỳ. Sự lãng phí thông tin này sẽ dẫn đến việc đội thêm chi phí sửa chữa, bảo hành hệ thống. Do đó vấn đề đặt ra là làm thế nào sử dụng được thông tin chẩn đoán lỗi thiết bị để hiệu chỉnh lại tín hiệu điều khiển mà không cần phải thiết kế mới bộ điều khiển hay thay thế mới thiết bị. Rõ ràng đây là bài toán mang ý nghĩa thực tiễn, cả về mặt rút ngắn thời gian bảo trì thiết bị và cả về hiệu quả hoạt động lâu dài của quá trình sản xuất.
Câu trả lời cụ thể sẽ nằm ở việc cần phải nghiên cứu kết hợp như thế nào cho hiệu quả phương pháp điều khiển thông minh (xử lý thông tin thu thập trong quá khứ để hiệu chỉnh lại tín hiệu điều khiển cho tương lai) với bộ điều khiển truyền thống đã có. Nguyên gốc thì có ba phương pháp điều khiển thông minh thích hợp cho các quá trình làm việc tuần hoàn nêu trên, gồm điều khiển qua các phép thử (control peer trials), repetitive (tạm dịch là lặp đi lặp lại) và run to run (R2R). Chúng hình thành từ yêu cầu thực tiễn của nhiều lĩnh vực tự động hóa khác nhau, được đề xuất bởi nhiều nhóm tác giả khác nhau, có những định hướng ứng dụng khác nhau, song đều thích hợp cho giải pháp điều khiển kết hợp đặt ra. Tất cả ba phương pháp điều khiển thông minh này có chung một đặc điểm là sử dụng những kết quả đo được từ quá trình trong các chu kỳ làm việc trước đó để hiệu chỉnh lại tín hiệu điều khiển cho chu kỳ làm việc tiếp theo.
Nguyên tắc điều khiển như vậy được gọi là học trên cơ sở kinh nghiệm của quá khứ nhằm nâng cao chất lượng điều khiển hiện tại và tương lai, hay còn gọi là điều khiển thông qua quá trình học hỏi tự động. Từ đặc điểm chung này mà phương pháp tổng quát, có tên là điều khiển học lặp, được hình thành (gọi tắt là ILC - Iterative learning control). Đây cũng là phương pháp điều khiển thông minh thường được lựa chọn đầu tiên để khắc phục lỗi thiết bị và lỗi hệ thống làm việc theo chu kỳ, đảm bảo được chất lượng điều khiển là vẫn bám tín 5 hiệu đầu ra như mong muốn (output regulations).1 dưới đây mô tả nguyên tắc điều khiển kết hợp này.1: Nguyên lý làm việc của điều khiển học lặp với hệ truyền thống Tất nhiên chất lượng điều khiển bởi ILC phụ thuộc chủ yếu vào việc xác định được nguyên tắc hiệu chỉnh lại tín hiệu điều khiển từ kinh nghiệm trong quá khứ một cách hợp lý, theo nghĩa sử dụng được tốt nhất kinh nghiệm có từ những chu kỳ quá khứ của quá trình. Do đó, bài toán nghiên cứu kết hợp một cách hợp lý giữa điều khiển học lặp trên cơ sở xác định nguyên tắc hiệu chỉnh hợp lý tín hiệu điều khiển từ kinh nghiệm quá khứ, với hệ điều khiển truyền thống, nhằm cải thiện chất lượng điều khiển mà không cần phải thay thế mới thiết bị cũng như rút ngắn thời gian bảo dưỡng hệ thống, là cần thiết.1 Về nguyên lý điều khiển học lặp Điều khiển học lặp là một hướng của điều khiển thông minh, vì chúng không sử dụng mô hình toán, áp dụng cho các hệ làm việc theo chu trình tuần hoàn nói chung và theo mẻ nói riêng, tức là cho hệ làm việc theo chu kỳ T cho trước.
Ở những hệ như vậy thì tín hiệu đặt r (t ) cũng phải là tín hiệu đặt dạng tuần hoàn với cùng chu kỳ T. Điều khiển học lặp làm việc theo nguyên tắc là dựa vào tín hiệu điều khiển u (t ) và sai lệch bám e (t ) r (t ) y (t ) trong quá khứ để chỉnh định lại tín hiệu điều khiển u (t ) ở chu kỳ làm việc hiện tại, gọi là chu kỳ thứ k , mà không cần đến mô hình toán, sao cho sai lệch bám ở chu kỳ k hiện tại nhỏ hơn ở các chu kỳ trước và tiến tới e 0 hoặc e (t ) sau một vài chu kỳ làm việc nào đó. Các dữ liệu quá khứ cũng sẽ được thu thập trong toàn bộ một chu kỳ làm việc. Vậy, nếu ký hiệu u (t ) và e (t ) ở chu kỳ hiện tại, ký hiệu là chu kỳ thứ k , bởi u k ( ), ek ( ) , trong đó t kT và 0 T thì bản chất của điều khiển học lặp là hiệu chỉnh lại u k ( ) từ các giá trị u j1 ( ), e j2 ( ) trong quá khứ, tức là phải có k j1 và k j 2 , được thể hiện tổng quát qua công thức [5] u k ( ) f Q u j1 (1 ) f L e j2 ( 2 ) (1.
Hàm f Q [ ] có tên gọi là Q-learning và f L [ ] có tên gọi là hàm học. Hai hàm này đều phải được chọn trước một cách phù hợp.3) ở trên thường được gọi là luật chỉnh định hay công thức chỉnh định.1, lấy từ tài liệu [1], minh họa nguyên tắc cập nhật, thay đổi tín hiệu điều khiển từ chu kỳ k 1 sang chu kỳ thứ k của điều khiển học lặp. Trong quá trình hiệu chỉnh tín hiệu điều khiển từ chu kỳ này sang chu kỳ khác như vậy, và mỗi chu kỳ như vậy sẽ được gọi là lần thử. Quá trình học sẽ chỉ kết thúc sau một số lần thử hữu hạn M , nếu đã đạt được sai lệch bám đủ nhỏ theo yêu cầu ek ( ) , [0,T ).
Tuy nhiên, việc thu thập u j1 ( ), e j2 ( ) trong quá khứ có 1 , 2 là toàn bộ số thực thuộc khoảng [0,T ) là không thể, vì sẽ có vô số các giá trị cần lưu giữ, nên ở điều khiển học lặp người ta đã thay công thức chỉnh định liên tục (1.3) bằng công thức chỉnh định rời rạc như sau u k (i ) f Q u j1 (i1 ) f L e j2 (i2 ) (1.