第4代バイロン男爵ウィリアム・バイロンの次男に生まれた。1731年にイギリス海軍に入り、1740年士官候補生としてジョージ・アンソンの率いる世界一周航海を行った艦隊のウェイジャー号に乗艦した。ウェイジャー号は1741年5月、パタゴニア沖で難破し、バイロンは苦闘の末に帰還した。この時の経験は後に『ジョン・バイロン閣下の物語』(Narrative of the Honourable John Byron)として出版され、好評を受け版を重ねた。海洋冒険小説家のパトリック・オブライアンの小説『知られざる岸辺』(The Unknown Shore)もバイロンの記録によっている。