El delantero Baljak comenzó su carrera en 1996 en el Partizán. Ya en su primer año en el equipo ganó la Liga. En 1999 y 2002, gana otra vez la Liga. En 1998 y 2001, el equipo conquistó la copa de Serbia. En la temporada 2000/01 fue enviado a préstamo al club de la segunda división Teleoptik. En 2002 fichó por un año con el Consadole Sapporo de la primera división japonesa, donde finalmente descendieron de categoría. Desde 2003, Baljak jugó en el Budućnost Banatski Dvor; en 2006 su equipo se fusiona con Proleter Zrenjanin al FK Banat. En el primer año después de la fusión, el club fue octavo en la Superliga Serbia, anotó 18 goles.
En junio de 2007, firmó un contrato de tres años con el 1. FSV Mainz 05 de la segunda división alemana.[2] Allí se encontraba bien y fue con seis goles en la temporada 2007/08, segundo mayor goleador detrás de Félix Borja en el club. Al año siguiente subió sus goles y Baljak llegó a once goles; él ascendió con Mainz a la 1. Bundesliga. Su debut en fue en septiembre de 2009, contra el Hertha BSC. El mercado de invierno de la temporada 2009/10, llegan otros tres delanteros al equipo, lo termina firmando su partida del club.
En enero de 2010 fichó por el MSV Duisburg, en el que tenía un contrato hasta 2012.[3] En 6 meses se convierte en el goleador del equipo con 6 tantos. En la temporada 2010/11 el entrenador Milan Šašić lo nombra capitán.[4] En la jornada 3 marcó dos goles en el triunfo por 2-1 contra el TSV 1860 Múnich, y por tanto, su primer "doblete" para el MSV.[5] En febrero de 2012, amplió su contrato con el MSV hasta el 30 de junio de 2013.[6]
En la temporada 2013/14, ficha por el Wormatia Worms de la cuarta división alemana.[7]
