先祖は源頼朝の御家人で、北伊勢の地頭・工藤祐長（薩摩守）に始まる。祐長は2人の息子に所領を分け、兄・長春は長野に城を継ぎ大和守を称し、弟・祐許が北伊勢の雲林院城を居城とし出羽守を名乗り、松軒はこの祐許系の出自にあたる。
はじめ光秀（松軒）は、本家の大和守とともに織田信長に対抗して滅ぼされ、一時柳生に隠棲した(『岩尾家先祖附』）。松軒と号したのはこの頃と考えられる。のち信長の召し出しに応じ、信長の三男・織田信孝の兵法指南役として仕官。『信長公記』には本能寺の変の頃、安土城の留守居役に雲林院出羽守の名を載せている。
松軒は剣豪として知られ、新当流開祖塚原卜伝の高弟で、卜伝より天文23年（1554年）に発給された天真正伝香取神道流の極意皆伝書（現存）が確認される唯一の弟子である。柳生宗矩は、足利義輝や北畠具教とともに天下に5人ほどもいない卜伝流儀の兵法者としている（『岩尾家文書』）。
新陰流上泉信綱の高弟・侏田豊五郎景兼（疋田景兼）から雲林院弥四郎入道（松軒）に宛てた新當流兵法起請文（永禄9年）や、大友宗麟の嫡男・大友義統（天正3年）、織田信孝（天正6年）の松軒あて天罰起請文が子孫の家に伝わっている（『岩尾家文書』）。また、宮本武蔵の伝記『二天記』に、武蔵の晩年に肥後熊本藩主・細川忠利の前で武蔵と立ち合った氏井弥四郎の記事があるが、これは松軒の子・雲林院弥四郎光成のことと俗にいわれている。しかし、これは武蔵の死後100年ほど後に書かれており同時代の一次史料はなく、雲林院を氏井と誤記しているため、武蔵流の弟子たちによる創作と考えられる。