渥美半島の先端の村、三河国渥美郡伊良湖村（現・愛知県田原市伊良湖町）の貧しい漁師の家の長男として生まれた[2]。31歳で父を亡くし、母も長い間病気で、30歳を過ぎるまで読み書きができなかった[2]。しかし、母の病気全快を願い、伊良湖神社に日参するうちに参詣人の詠む和歌の不思議な響きに魅せられ、35歳にして歌の道を志した[2]。大垣新田藩の郡奉行であり国学者の井本常蔭に文字や和歌の教えを受け、「磯丸」という号を授かる[2]。その後、林織江の世話をしたことがきっかけとなり、織江の師である芝山大納言持豊に師事し「貞良」の号を授かる[2]。
磯丸は一生のうちに数万首の歌を作ったといわれている。読み書きができなかったことから「無筆の歌詠み」とも呼ばれた。1848年（嘉永元年）、生まれた日と同じ5月3日に85歳で死去した[2]。その死後、磯丸を慕う人々によって「磯丸霊神」の名を与えられ、神としてまつられた[2]。磯丸の生家に建てられた「磯丸霊神祠」は現在、「糟谷磯丸旧里」と刻まれた石碑と共に伊良湖神社境内に安置されている[2][3]。
磯丸は多くの文人と同じように旅を好み、三河の各地から渥美半島の対岸の知多半島や奥三河・浜松・長野（いわゆる三遠南信地域）また京都、伊勢、尾張、江戸などを旅した[2]。同時代を生きた渡辺崋山とも天保4年（1833年）に田原城にて会ったという記録がある[4]。
