永禄2年（1559年）、赤尾清綱の三男として誕生。
天正元年（1573年）、織田信長の小谷城攻撃で父・清綱は切腹に追い込まれるが、虎千代は清綱のそれまでの働きと忠義に免じて信長直々に助命され、多賀法印の弟子とされる。のちに人を斬り、赤尾の地に隠れ住んだのち、京極高次に仕官し、赤尾伊豆守と名乗る。
慶長5年（1600年）、大津城の留守を黒田伊予守と共に預かる。高次の帰還後の大津城の戦いで山田大炊良利らと共に奮戦したため、西軍はなかなか城を落とせなかった。関ヶ原の戦い以後、新しい封地の小浜城の築城に際して、縄張りをして石垣の基礎を築いた。