1883年（明治16年）、多賀半蔵の長男として出生。半蔵の兄で花月楼（明治元年創業）を経営する平岡廣高の養子になった。はじめ竹内栖鳳に日本画を学び、後に白馬会で洋画を学び、黒田清輝に師事した。「コック場」などで文展に入選、後に文展無鑑査になった。
1911年（明治44年）、松山省三とともに銀座日吉町にカフェー・プランタン（日本初のカフェー）を開業したことでも文化史上に名を残している。
関東大震災後、神楽坂にカフェー・プランタン支店が開業すると、ここへ上海帰りの平岡が麻雀を持ち込み、流行させた（麻雀史ではプランタン時代という）。
洋画の他、帝国劇場の舞台装飾も行った。また新橋演舞場の取締役を務めた。
父の平岡廣高は大正3年（1914年）、鶴見に2万5千坪の遊園地、花月園を開園させたことでも知られる。跡地は現在の花月園競輪場である。
