[제어공학개론] Lec 14 - Optimal control

📢Precaution

본 게시글은 서울대학교 심형보 교수님의 23-2 제어공학개론 수업 내용을 바탕으로 작성되었습니다.

Optimal control

State Feedback을 이용하여 수행

Consider system with no output :

\[\dot x = Ax+Bu\]

Also consider Optimization problem

\[\begin{aligned}\text{Goal : Find } x^* &= \arg\min_x f(x) \\f : \mathbb{R}^n &\rightarrow \mathbb{R}\end{aligned}\]

$x^*$ : optimal point

$x$ : decision variable

$f(x^*)$ : optimal value

Let’s claim that :

\[u^*(\cdot) = \arg\min_{u(\cdot)} J\big(x(0), u(\cdot)\big) = \int_0^\infty \bigg(x^T(\tau)Qx(\tau) + u^T(\tau)Ru(\tau)\bigg)d\tau\]

$u^*$ : optimal control

이 input이 stable input임이 보장됨.

$Q, R$은 state, $u(t)$에 대한 상대적 cost를 나타냄

Theorem :

If (A, B) controllable,

\[\exists P >0 \text{ s.t. } A^TP+PA+Q-PBR^{-1}B^TP=0\]

(Algebraic Riccati Equation, ARE about $P$)

\[u^*(t) = -R^{-1} B^TPx(t)\]

LQR(Linear Quadratic Regulator)

원래의 $u^*(t)$는 open loop control로 $x(0)$만의 function

thanks to the theorem, the solution transformed into feedback control

\[u = -Kx(t)\]

보조 정리

\[\begin{aligned}\text{if } x(t) &\rightarrow 0 \text{ as } t \rightarrow \infty \text{ by some } u(t) \\\text{then for any } P &> 0\end{aligned}\]

(any PositiveDefinite matrix $P$가 가능하지만 Riccati Eqn의 $P$를 사용하자)

\[\int_0^\infty x^T(t)(A^TP+PA)x(t)+2x^T(t)PBu(t)dt = -x^T(0)Px(0)\]

위 수식의 이해 : $x(t), A, B, u$를 집어넣으면, Initial value만으로 해당 적분을 표현할 수 있음

pf)

\[\int_0^\infty \dot x^T(t) Px(t) + x^T(t)P\dot x(t) dt = \int \frac{d}{dt} (x^T(t)Px(t))dt\]

$\dot x(t) = Ax+Bu$임을 대입하면,

좌변은 위 integral이 되고, 우변은 $\bigg[x^T(t)Px(t)\bigg]_0^\infty= -x^T(0)Px(0)$

Proof of LQR

pf)

\[\begin{aligned}J &= \int_0^\infty (x^T Q x + u^T R u) \, dt = x^T(0) P x(0) - x^T(0) P x(0) + \int_0^\infty (x^T Q x + u^T R u) \, dt \\&= x^T(0) P x(0) + \int_0^\infty (x^T (A^T P + PA) x + 2 x^T P B u) \, dt + \int_0^\infty (x^T Q x + u^T R u) \, dt \\&= x^T(0) P x(0) + \int_0^\infty \left( u + R^{-1} B^T P x \right)^T R \left( u + R^{-1} B^T P x \right) \, dt \\&\quad + \int_0^\infty x^T (A^T P + PA - P B R^{-1} B^T P + Q) \, dt \\&= x^T(0) P x(0) + 0 \text{ (if } u = u^*) + 0 \text{ (by Riccati Eqn)}\end{aligned}\]

$u^*=-R^{-1}B^TPx$ is Optimal solution

while $J(x(0), u^*(\cdot))=x^T(0)Px(0)$ is optimal value

Physical Meaning of Q, R

$Q$ : digaonal matrix라 할 때 각 element들은 상대적 cost weight를 나타냄. 즉 diag(100 1) 이면, state 1이 2보다 100배 더 cost가 높으므로 상대적으로 더 빠르게 target으로 수렴해나갈 것으로 생각할 수 있음.

단, state들끼리 종속적일 수 있음. 이 때는 x2도 따라서 앞으로 가거나 할 수 있음.

$R$ : single input이라면 scalar. 힘으로 생각해보면 힘의 크기 * R = cost이므로, $R$이 커지면 더 적은 힘으로 제어해야함을 의미. 반대로 $R$이 작아지면 상대적으로 큰 힘으로 빠르게 제어할 수 있을 것

c.f ) 작금의 강화학습 방법

$V(x)$을 학습.

$J(x(0), u^*) = V(x(0))$ 학습 : by figuring Analytic form Table을 만들어서 Q-Q learning, Neural network