Au moment où il commence son service auprès des Azai, Sukemasa est alors à la tête du clan et Kazumasa entame sa grande succession de prouesses en soutenant celui-ci dans un conflit désespéré contre les Rokkaku en 1561. En la circonstance, la tentative des Rokkaku de s'emparer du château de Sawayama par un siège se termine par un échec après que Kazumasa est envoyé en renfort et convainc Sukemasa d'accorder à cet obligé (lui-même) pleine compétence sur le château comme récompense pour sa fiabilité. À la suite de la succession d'Azai Nagamasa, Kazumasa soutient volontiers ce dernier lors ses nombreux conflits au cours des années qui suivent, le plus notable étant la bataille d'Anegawa de 1570 où Kazumasa passe pour avoir combattu avec tant de conviction et de courage sur le champ de bataille que son cheval préféré a été abattu sous lui et qu'il n'a pas hésite à en monter un autre immédiatement après, chargeant encore plus profondément dans les rangs des Oda qui l'entourent. Kazumasa pénètre si loin derrière les lignes des soldats de Shibata Katsuie et Toyotomi Hideyoshi qu'il aurait fait irruption dans le camp principal d'Oda Nobunaga si les unités additionnelles de Mori Yoshinari et Sakuma Nobumori n'étaient immédiatement intervenues pour aider leurs alliés respectifs.
Même avec une telle démonstration d'héroïsme, Kazumasa est chargé d'une obligation écrasante en 1573 : Oda Nobunaga a déjà défait les Asakura et charge le château de Sawayamasa avec plus de 35 000 soldats pour soutenir ses aspirations. Mais comme Nagamasa a trop peur de l'humiliation qu'il aurait à souffrir s'il devait à nouveau se rendre à Nobunaga, il prend la vieille mère de Kazumasa en otage, jurant qu'elle sera crucifiée si Kazumasa échoue dans l'ultime tentative de repousser les assiégeants Oda de Sawayama. Comme Kazumasa est déterminé à combattre jusqu'à son dernier souffle pour éviter que sa mère ne subisse une mort atroce, il parvient à résister pendant plus de huit mois avant de finir à court de réserves pour nourrir son armée. Sachant que la défense est désormais un idéal impossible, Kazumasa n'a peu d'autre choix que de se rendre à Nobunaga, qui, en retour admire le guerrier pour sa loyauté et son engagement et lui accorde le district de Takashima dans l'ouest de la province d'Ōmi. Installé dans un tel fief, Kazumasa déteste vraisemblablement Nagamasa d'une haine intense et soutient les Oda avec une détermination renouvelée puis abandonne son domaine en 1578 où il reste, semble-t-il, dans la même province, s'employant à une vie simple d'agriculteur.
Kazumasa meurt en 1590[1]. Par ailleurs, alors que Nagamasa était marié à Oichi, sœur cadette d'Oda Nobunaga, Kazumasa aimait beaucoup Oichi et c'est l'une des raisons pour lesquelles il a combattu avec tant de courage.
