頼香の父・頼武は、美濃国守護・土岐政房の長男だったが、弟・頼芸との家督争いにより、美濃を落ち延び、大永5年（1525年）ごろに死去したとみられる。頼武の跡を継いだのは頼香の兄・頼充（頼純）で、越前朝倉氏・近江六角氏・尾張斯波氏などの支援を得て美濃復帰を目指した。結果、頼芸を倒すには至らなかったが、天文15年（1546年）に和議が結ばれ、頼充は美濃に復帰し、頼芸の後継者として認められたとみられる。頼充は頼芸の重臣・斎藤道三の娘を娶るが、天文16年（1547年）に急死する。『信長公記』は道三による毒殺とするが、「六角承禎条書写」で六角義賢が自然死としているので実際は病死とみられる。
頼香もまた斎藤道三の娘を娶っており[4]、頼充の死後に頼香が家督継承者の地位を受け継いだものとみられる。
しかし、頼香は道三に殺害され命を落とした。頼充の死を自然死とする前述の「六角承禎条書写」にも「舎弟八郎殿へ申合わせ、井の口へ引き寄せ、事に左右をよせ、生害させ申し」とあることから事実とみられる。なお、道三が自身の聟となった頼充・頼香を殺害した逸話は『信長公記』首巻や『大かうさまくんきのうち』にも見える。
頼香の最後の発給文書は天文17年（1548年）11月の禁制（「華厳寺文書」）なので、殺害されたのはそれ以降となる。この時期織田信秀が美濃に侵攻していたが、これは道三と対立した頼香の要請によるものの可能性がある。
頼充の殺害後、天文19年（1550年）ごろに頼芸を追放したことで斎藤道三は美濃国主の地位に上り詰める。道三の孫の可能性もある頼香の子・宗鳳童子は、天文24年（1555年）に亡くなっている。
天文13年（1544年）9月、美濃と隣接する尾張を統治していた戦国大名・織田信秀の美濃侵攻によって起きた戦（無動寺城の戦い、松山の戦い[要出典]）の際、舅である斎藤道三に与して戦っていたが、無動寺城にて、土岐氏を潰そうと前から目論んでいた道三から亘利城主・松原源吾を刺客に差し向けられ、寝所に乱入されたため、自刃した[要出典][1]。
