弘安4年（1281年）春、長兄の大井時光と大井の家督を争う。父光長は三郎行光を継嗣とし、彦太郎時光を大室に、弥二郎光泰を長土呂に、四郎行氏を耳取に、五郎宗光を森山に、六郎光盛を平原に夫々居せしめていた（『四鄰譚藪』）。
光長が卒した時、行光が鎌倉に居た隙に時光は宗光と謀り、岩村田館（大井城）に移ろうとしたが、行光は執権北条時宗に訴えて、将軍惟康の命により時光を信濃に閉居させ、宗光を佐渡に追放した。（後に赦免される。）
時光の背後には同族の出羽守伴野長泰とその従兄で霜月騒動で討たれた安達泰盛が居たとされる。