En 2011, Bastardo se montre très efficace en 64 matchs joués pour les Phillies. Sa moyenne de points mérités est de 2,64 en 58 manches lancées, avec 70 retraits sur des prises. Il remporte six victoires, ne perd qu'une seule partie, et enregistre 8 sauvetages. Il fait deux apparitions en séries éliminatoires, blanchissant les Cardinals de Saint-Louis sans leur accorder de coup sûr en une manche lancée dans la Série de divisions entre les deux clubs.
Saison 2012
Bastardo ne répète pas les mêmes succès en relève en 2012 avec une moyenne de points mérités élevée: 4,33 en 52 manches lancées. En 65 apparitions pour les Phillies, il compte deux victoires, cinq défaites, un sauvetage et 81 retraits sur des prises.
Saison 2013 et suspension
En 2013, Bastardo montre une excellente moyenne de points mérités de 2,32 en 42 manches et deux tiers au monticule, avec trois gains, deux revers et deux sauvetages en 48 parties. Impliqué dans l'affaire Biogenesis, il est cependant suspendu pour 50 matchs le pour dopage[4].
Saison 2014
En 2014, la moyenne de points mérités de Bastardo s'élève à 3,94 en 64 manches lancées. Il rehausse sa moyenne de retraits sur des prises par 9 manches lancées, qui passe de 9,9 à 11,4. En 67 apparitions au monticule pour Philadelphie, il gagne 5 matchs et encaisse 7 défaites.
Le , Bastardo signe un contrat de 12 millions de dollars pour deux saisons avec les Mets de New York[6].
Retour à Pittsburgh
Le , il est échangé à son ancienne équipe, les Pirates de Pittsburgh, contre le lanceur gaucher Jon Niese. Ce dernier avait quitté les Mets pour les Pirates après la saison 2015, faisant exactement l'inverse de Bastardo.