エディルネに生まれる。第一次世界大戦中の1917年に高校を卒業後陸軍に入営。第63歩兵連隊第12中隊長を務めたが、1918年10月にパレスチナ戦線に従軍中メギッドの戦いでイギリス軍の捕虜となった。1920年10月に釈放されるとトルコ革命に参加。戦功により独立勲章を授与された。さまざまな部隊指揮官を経て1931年に陸軍大学に入学し、1934年に参謀将校となった。
1948年に准将に昇進し第65師団歩兵旅団長、ついで自動車化部隊学校長、第9師団長代行、第3軍参謀長を務める。1951年に少将に昇進し、第65師団長、ついで第2軍団司令官に就任。1955年に中将に昇進し、第7軍団司令官ついで第3軍司令官を務めた。1959年に大将に昇進。
1960年5月27日に軍部の青年将校がクーデター（英語版）を起こし、国家統一委員会を組織して国政を掌握すると第3軍司令官だったギュムシュパラがその名目上の指導者に擬せられたが、結局は退役将軍であるジェマル・ギュルセルが祭り上げられ、引退先であるイズミルからアンカラまで飛行機で連れて来られた。逮捕された前任者に代わり6月にギュミュシュパラが参謀総長に就任した。しかし軍部指導者の若返りと民主化復帰の目的のため、早くも8月には国家統一委員会により退役させられた。
退役後、軍部により解散させられた民主党を吸収する形で公正党を設立した。1961年に行われた選挙ではイズミル選挙区から出馬してトルコ大国民議会議員に当選。この党は1965年総選挙で52％の得票率を記録して第一党になり、民主化復帰へ大きな役割を果たしたが、ギュムシュパラはその前に1964年にアンカラで死去した。