Arrêt optimal

Les problèmes de règle d'arrêt sont liés à deux entités :

1. Une séquence de variables aléatoires ${\displaystyle X_{1},X_{2},\ldots }$, dont la distribution jointe est supposé connu
2. Une séquence de fonctions de « récompense » ${\displaystyle (y_{i})_{i\geq 1}}$ qui dépendent des valeurs observées des variables aléatoires en 1 :

   ${\displaystyle y_{i}=y_{i}(x_{1},\ldots ,x_{i})}$

En considérant ces éléments, le problème se pose de la manière suivante :

• Vous observez la séquence de variables aléatoires, et à chaque étape ${\displaystyle i}$, vous pouvez choisir d'arrêter l'observation ou de continuer
• Si vous arrêtez d'observer à l'étape ${\displaystyle i}$, vous recevrez une récompense ${\displaystyle y_{i}}$
• Vous souhaitez choisir une règle d'arrêt pour maximiser votre récompense attendue (ou de manière équivalente, minimiser votre perte attendue)

Soit un processus de gain ${\displaystyle G=(G_{t})_{t\geq 0}}$ défini sur un espace de probabilité filtré ${\displaystyle (\Omega ,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} )}$ et supposons que ${\displaystyle G}$ est adapté à la filtration. Le problème d'arrêt optimal est de trouver le temps d'arrêt ${\displaystyle \tau ^{*}}$ qui maximise le gain attendu

${\displaystyle V_{t}^{T}=\mathbb {E} G_{\tau ^{*}}=\sup _{t\leq \tau \leq T}\mathbb {E} G_{\tau }}$

où ${\displaystyle V_{t}^{T}}$ est appelée la fonction valeur . Ici ${\displaystyle T}$ peut prendre de la valeur ${\displaystyle \infty }$ .

Nous considérons un processus de Markov adapté ${\displaystyle X=(X_{t})_{t\geq 0}}$ défini sur un espace de probabilité filtré ${\displaystyle (\Omega ,{\mathcal {F}},({\mathcal {F}}_{t})_{t\geq 0},\mathbb {P} _{x})}$ où ${\displaystyle \mathbb {P} _{x}}$ désigne la mesure de probabilité à laquelle le processus stochastique commence à ${\displaystyle x}$ . Étant donné les fonctions continues ${\displaystyle M,L}$, et ${\displaystyle K}$, le problème d'arrêt optimal est

${\displaystyle V(x)=\sup _{0\leq \tau \leq T}\mathbb {E} _{x}\left(M(X_{\tau })+\int _{0}^{\tau }L(X_{t})dt+\sup _{0\leq t\leq \tau }K(X_{t})\right).}$

Parfois, on fait référence à la formulation MLS, abréviation représentant les noms de Mayer, Lagrange et Supremum^[4].

Il existe deux approches pour résoudre les problèmes d’arrêt optimal^[4]. Lorsque le processus sous-jacent (ou le processus de gain) est décrit par ses distributions inconditionnelles de dimension finie, la technique de solution appropriée est l'approche martingale, ainsi appelée parce qu'elle utilise la théorie de la martingale, le concept le plus important étant l'enveloppe de Snell. Pour des plages de temps discrètes et un horizon de planification fini, la résolution du problème peut être aisément effectuée en utilisant la programmation dynamique.

Lorsque le processus sous-jacent est déterminé par une famille de fonctions de transition (conditionnelles) conduisant à une famille de probabilités de transition de Markov, de puissants outils analytiques fournis par la théorie des processus de Markov peuvent souvent être utilisés et cette approche est appelée méthode de Markov. La solution est généralement obtenue en résolvant les problèmes de frontière libre (problèmes de Stefan).

Soit ${\displaystyle Y_{t}}$, une diffusion Lévy en ${\displaystyle \mathbb {R} ^{k}}$ donné par le SDE

${\displaystyle dY_{t}=b(Y_{t})dt+\sigma (Y_{t})dB_{t}+\int _{\mathbb {R} ^{k}}\gamma (Y_{t-},z){\bar {N}}(dt,dz),\quad Y_{0}=y}$

où ${\displaystyle B}$ est un ${\displaystyle m}$-dimensionnel mouvement brownien, ${\displaystyle {\bar {N}}}$ est un ${\displaystyle l}$-dimensionnel mesure aléatoire de Poisson compensée, ${\displaystyle b:\mathbb {R} ^{k}\to \mathbb {R} ^{k}}$, ${\displaystyle \sigma$ :\mathbb {R} ^{k}\to \mathbb {R} ^{k\times m}} , et ${\displaystyle \gamma$ :\mathbb {R} ^{k}\times \mathbb {R} ^{k}\to \mathbb {R} ^{k\times l}} reçoivent des fonctions telles qu'une solution unique ${\displaystyle (Y_{t})}$ existe. Soit ${\displaystyle {\mathcal {S}}\subset \mathbb {R} ^{k}}$, un ensemble ouvert (la région de solvabilité) et

${\displaystyle \tau _{\mathcal {S}}=\inf\{t>0:Y_{t}\notin {\mathcal {S}}\}}$

, le moment de la faillite. Le problème d’arrêt optimal est :

${\displaystyle V(y)=\sup _{\tau \leq \tau _{\mathcal {S}}}J^{\tau }(y)=\sup _{\tau \leq \tau _{\mathcal {S}}}\mathbb {E} _{y}\left[M(Y_{\tau })+\int _{0}^{\tau }L(Y_{t})dt\right].}$

Il s’avère que sous certaines conditions de régularité^[5], le théorème de vérification suivant est valable :

Si une fonction ${\displaystyle \phi$ :{\bar {\mathcal {S}}}\to \mathbb {R} } satisfait

• ${\displaystyle \phi \in C({\bar {\mathcal {S}}})\cap C^{1}({\mathcal {S}})\cap C^{2}({\mathcal {S}}\setminus \partial D)}$ où se trouve la région de continuation ${\displaystyle D=\{y\in {\mathcal {S}}:\phi (y)>M(y)\}}$ ,
• ${\displaystyle \phi \geq M}$ sur ${\displaystyle {\mathcal {S}}}$, et
• ${\displaystyle {\mathcal {A}}\phi +L\leq 0}$ sur ${\displaystyle {\mathcal {S}}\setminus \partial D}$, où ${\displaystyle {\mathcal {A}}}$ est le générateur infinitésimal de ${\displaystyle (Y_{t})}$

alors ${\displaystyle \phi (y)\geq V(y)}$ pour tout ${\displaystyle y\in {\bar {\mathcal {S}}}}$ . De plus, si

• ${\displaystyle {\mathcal {A}}\phi +L=0}$ sur ${\displaystyle D}$

Alors ${\displaystyle \phi (y)=V(y)}$ pour tout ${\displaystyle y\in {\bar {\mathcal {S}}}}$ et ${\displaystyle \tau ^{*}=\inf\{t>0:Y_{t}\notin D\}}$ est un temps d'arrêt optimal.