極東選手権の審判は開催地から出すことになっており、審判員は全員フィリピン人であった[8]。競技開始前から開催国・フィリピンは天皇杯をデパートのショーウインドーで靴下と一緒に並べるなど、日本人をもやもやとさせていた。
審判員らは陸上競技の第1日目である5月17日に、円盤投の沖田芳夫の記録を改ざんして失格[注 1]とし、走高跳では曲がったバーを用意して、フィリピン選手には低くなった部分を跳ばせ、日本の南部忠平にはバーを回転して高くなったところを跳ばせるという不正を働き、200mHの予選では、各組1着の選手の記録が全員22秒8だったと発表するなど、ずさんな大会運営を行った。第2日目には、100m第2予選で明らかに谷三三五が先着したのにネポムセノが勝ったことにし、日本から抗議されて谷を1着に訂正した。取材していた大阪毎日新聞の鈴木特派員は「審判の不公平がその極に達し、ほとんど見るに堪えない。スポーツを解する国の競技と思えない」と記事に記した。
続く第3日目に日本の怒りが頂点に達した。まず100mではスタートの不正があったが審判は黙認し、フィリピン選手が1着と2着を占め、谷は3着、加賀一郎は4着と判定された。続いて400mでは、決勝戦でスタートラインを予選時よりも10m前進し、第1コーナーまで13mしかないというコースに変更したため、選手同士の交錯が危惧された[注 2]。案の定、日本の田中とフィリピンのヨロングは激しく接触し、その仕返しにクリスピン・ガルシア（Crispin Garcia）は先行する納戸徳重を突き飛ばした。当時の大会結果はポールに国旗を掲揚することで示され、1着はフィリピン、2着は日本、3・4着はフィリピンと発表された。岡部平太監督は4着が田中だったはずだと抗議すると、国旗はいったん撤収され、1着から3着までフィリピン、4着が日本に変更された。岡部は激怒し、「最初の2着は誰だ」と問うと「田中だ」と返答され、訂正後の4着も田中だと言われた。第1コーナーでの接触が失格に当たるとすれば田中が失格となるはずだが、フィリピン人審判員はちゃんと見ておらず、納戸を失格だと判定したのであった。またガルシアの突き飛ばしは不問に処した。岡部は谷三三五・織田幹雄両主将と相談の上、ホイッスルを吹いてフィールドに日本選手団を集め、全員の意見を取りまとめ、日本選手団の棄権退場を宣言した。場内は静まり返り、日の丸を先頭に日本選手は宿舎へと引き揚げた。
これを知った大日本体育協会（体協）会長の岸清一は、いかなる場合でも審判に絶対服従すべしと主張し、体協名義で「日本選手の行動は国際スポーツマンの本義に反する」との声明を発表、特に強硬な13人を除名処分に付した。ここに岸会長と岡部監督の対立は決定的となり、陸上競技日本代表54人のうち縄田尚門（1500m優勝者）を除く53人は、一致団結して53人会を結成した。体協は53人を宿舎から追い出したため、日本選手団に同情した現地の日本人が経営する旅館[注 3]に無料で宿泊させてもらった[8]。岸会長が53人の帰国費用を出さないと宣言したため、岡部は妻や知人から借金して旅費を用立て、帰国の途に就いた[8]。帰国途上、日本側から「岸清一を台湾沖で葬れ」という過激な電報が届き、選手側は「金を送れ」と打電した。
日本では詳細が知られていなかったため、新聞の論調は総退場した選手団に批判的であったが[8]、帰国後に大阪市中央公会堂と青山青年会館（東京）で報告演説会を行ったことで事情が知られ、一転して体協批判を行うようになった[8]。かねてより体協には1924年パリオリンピックの選手選考をめぐる疑義があり、今大会の件と合わせて強い批判を浴び、体協の組織改革が断行されることとなった。
今大会が初めての国際大会であった南部忠平は、自身は銀メダル2つに銅メダル1つを獲得する好成績を収めたものの、総退場問題で急な帰国を経験し、当時は大きなショックを受けた。しかし後年には非常に懐かしい思い出になったと自伝に記している。
