創業者は、詩集のコレクターとして知られていた山田耕一。1970年に岡田隆彦の詩集『海の翼』を出版したのが最初である。1970年代は、瀧口修造らの豪華な特装の限定本とともに、大きな紙を3回折って包み紙で押さえた定価500円前後の書き下ろし叢書「草子」（著者は瀧口修造、吉岡実、飯島耕一など）でも知られた。夭折した山口哲夫の詩集『童顔』（1971年）も出している。当時池袋と渋谷の西武百貨店にあった詩書専門店の「ぱろうる」の店内でも一際目を引く本を作り出していた。
1980年代以降は、詩書出版社としての地位を固めるとともに、普及版の詩集が主になった。
1980年代初頭に、「日本のライト・ヴァース」全4巻、「世界のライト・ヴァース」全5巻のシリーズが話題を呼んだ。ライト・ヴァースは、直訳すれば軽い詩だが、ただ軽いだけではないしたたかさを備えた詩のことで、日本にライト・ヴァースという言葉が定着したのはこのシリーズによるものだと言っても過言ではない。
1984年に、粟津則雄、入沢康夫、渋沢孝輔、中上健次、古井由吉を編集同人とする雑誌「潭」を創刊。1987年の9号まで刊行した。この時期には、吉岡実の重要な（そして最後の）詩集である『薬玉』、『ムーンドロップ』を刊行している。
1989年には季刊誌「るしおる」を創刊。姉妹版にあたる叢書「りぶるどるしおる」が、1990年以降刊行されている（1冊目は吉岡実『うまやはし日記』）。「りぶるどるしおる」には、「るしおる」の連載記事が母体となったタイトルが多く含まれており、たとえば宇野邦一『日付のない断片から』、前田英樹『言語の闇をぬけて』、石井辰彦『現代詩としての短歌』、中村鐵太郎『詩について──蒙昧一撃』などが挙げられる。また、「りぶるどるしおる」は特徴的な海外作品を持っており、中国地下文芸雑誌「今天」に拠った北島や芒克の作品、リトアニア出身の映像作家、ジョナス・メカスの作品などがラインナップされている。
創刊時の「るしおる」は、縦も横も22cmのわら半紙の束が右端で綴じられている形で（表紙も本文も同じ用紙）、さらに中央で半分に折られて紙のテープで留められていた。毎号しおりのように普後均、加納光於らの作品がはさまっていた。1995年の25号からは、毎号の表紙を若林奮の作品が飾っている。若林没後の53号からは、表紙は中の作品、著作の一節を大きく書いたものに変わった。そして、2007年5月、176ページという「るしおる」としては特別分厚い64号を出して、休刊に入った。
1990年代には、刊行時点での全詩集となる詩集成シリーズを創刊した。今までに刊行されているのは、池澤夏樹（池澤は小説家デビューする前に処女詩集を山田で出しており、山田とは縁が深い）、高橋順子、辻征夫、伊藤聚の4人の『詩集成』で、ほかに『矢川澄子作品集成』がある。
雑誌「ユリイカ」2003年4月号（青土社）には、山田耕一から書肆山田の経営を引き継いだ現代表・鈴木一民のインタビューが載っており、「印刷屋ではなくて出版社なんだ」というこだわり、活版印刷へのこだわりなどが語られている。なお、書肆山田は法人（会社組織）ではなく、商号である。
