Bully la fundó Alicia Bognanno en Rosemount, Minnesota, su ciudad natal, habiéndose graduado en grabación de audio por la universidad estatal de Middle Tennessee, antes de conseguir una plaza de becaria en los estudios Electrical Audio de Steve Albini en Chicago.[1] Ella empezó a grabar maquetas con su propio material antes de trasladarse a Nashville, Tennessee, donde trabajó como ingeniera en Battle Tapes Recording y en el local Stone Fox. Más tarde se unió al grupo de power-pop de Nashville, King Arthur, antes de montar su propio grupo a mediados de 2013, reclutando a la batería a Stewart Copeland (no confundir con Stewart Copeland, exbateria de The Police), el guitarrista Clayton Parker y el bajista Reece Lazarus.
Después de autopublicar un casete de distribución limitada, el primer single propiamente dicho del grupo, "Milkman", se lanzó en abril de 2014. Firmaron con la disquera Columbia Records Startime International y lanzaron su álbum de debut Feels Like en junio de 2015.
