Algorithme UCB
From Wikipedia, the free encyclopedia
En intelligence artificielle, plus précisément en apprentissage par renforcement, l'algorithme UCB (pour Upper Confidence Bounds) est une stratégie pour le problème du bandit manchot, qui consiste à exploiter les choix fructueux et à explorer les choix peu explorées jusqu'à présent. Il a été proposé par P. Auer en 2002 [1].
Considérons un agent, qui à chaque instant, doit choisir une action (tester un médicament A, tester un médicament B, etc.). L'agent ne connaît pas l'effet des actions (par exemple, il ne sait pas si le médicament A est efficace, etc.). Après avoir exécuté une action, il observe son effet et reçoit une récompense (par exemple, il se rend compte que le médicament A soigne). L'algorithme UCB consiste à choisir l'action a à l'instant t qui maximise la quantité
où est la moyenne des récompenses obtenues en exécutant a, c est une constante, est le nombre de fois que l'action a été choisie jusqu'à l'instant t.
Cette algorithme possède une complexité temporelle maximale :
Exemple
