東京出身。大倉喜八郎の片腕で日本製靴（現在のリーガルコーポレーション）社長などを歴任した山岸覺太郎（1867年-1937年; 米国留学後、山岸藪鶯の筆名でダグラス・フォウセット『空中軍艦』などの翻訳もおこなった）の息子。第七高等学校を経て、東京帝国大学文学部哲学科で出隆に師事。1931年（昭和6年）、同人誌『アカデモス』を主宰。1934年（昭和9年）に『散文』を創刊。創刊号掲載の「『紋章』と『禽獣』の作家たち」で川端康成に、「佐藤春夫論」で佐藤春夫にそれぞれ認められた。
1934年、太宰治や檀一雄たちと共に同人誌『青い花』に参加。太宰は、短篇「東京八景」の中で、山岸および檀との友情を「純文芸冊子『青い花』は、そのとしの十二月に出来た。たつた一冊出て仲間は四散した。目的の無い異様な熱狂に呆れたのである。あとには、私たち三人だけが残つた。三馬鹿と言はれた。けれども此の三人は生涯の友人であつた。私には、二人に教へられたものが多く在る」と記している。
1935年（昭和10年）、日本浪曼派の同人となる。1939年（昭和14年）、『人間キリスト記』（第一書房）で第3回透谷文学賞受賞。
1944年（昭和19年）、『ロダン論』（育英書院）刊行直後に軍部からの言論弾圧と空襲を避けて山形県米沢市に疎開。1948年（昭和23年）6月、太宰が愛人と心中を遂げた際には、太宰夫人の津島美知子から「山岸さんが東京にいたら、太宰は死ななかったものを」と嘆かれた。
1950年（昭和25年）まで山形で農民生活を経験。このことがきっかけとなり、1948年12月25日、日本共産党に入党。新日本文学会の文学学校の事務局長を務めた。戦後『青い花』を復刊、ここからは萩原葉子が出た。1962年（昭和37年）、日本共産党から離脱。その後、日本民主主義文学同盟に所属した。
著書『人間キリスト記 或いは神に欺かれた男』は太宰に多大な影響を与えた。後年の著書『人間太宰治』で、太宰の短篇「二十世紀旗手」の冒頭に掲げられた有名なエピグラフ「生れて、すみません。」が、山岸のいとこにあたる詩人寺内寿太郎の一行詩「遺書」（かきおき）の剽窃（盗作）であることを明らかにした。寺内は「二十世紀旗手」を読んで山岸のもとに駆けつけるなり、顔面蒼白となって「生命を盗られたようなものなんだ」「駄目にされた。駄目にされた」と叫び、やがて失踪してしまったという。
墓所は栃木県佐野市久保町の金成院。
