Dans les années suivantes, Riske est partie intégrante de l'enclos de relève des Indians. En 2003, sa moyenne n'est que de 2,29 avec 8 sauvetages en 24 sorties. En 2004, il apparaît 72 fois au monticule et remporte 7 victoires. En 2005, sa moyenne de points mérités est de 3,10.
Riske affiche une moyenne de points mérités de seulement 2,45 en 65 sorties en relève pour les Royals de Kansas City en 2007. Au cours de son séjour d'une seule saison avec Kansas City, il côtoie notamment le futur gagnant du trophée Cy Young, Zack Greinke, et aide à remettre la carrière de ce dernier sur la bonne voie[1].
