父の号の由来としても知られている佐賀の精小路（しらげこうじ）の邸宅に生まれる。父が幕府から昌平黌の学官に任じられると、その後を追いかけて寛政9年（1797年）に江戸に出て父の下で学び、柴野栗山・尾藤二洲からも教えを受けた。7年ほど江戸に滞在したのちに佐賀に戻り、文化3年（1806年）藩校弘道館の教授に任ぜられる。この年藩主鍋島斉直に対して意見書「学政管見」を提出し、教育予算の拡充のみならず、学問に励まない藩士や僧侶の処罰、儒学以外の医学や蘭学の振興の必要性を訴えた。
文政2年（1819年）、世子貞丸（後の鍋島直正）の側頭に任じられ、江戸において世子の教育にあたり、文政6年（1823年）には江戸詰藩士の教育機関として明善堂を設置した。天保元年（1830年）、直正が藩主を継ぐと年寄相談役に任じられ、佐賀に戻る。
翌天保2年（1831年）直正に意見書「済急封事」を提出した。この中で藩政改革の基本を「人才の登用」「勤倹の奨励」「三病の除去」であると論じた。三病とは、藩士に横行する妬忌（嫉妬）・優柔不断・負け惜しみを指し、更に改革を阻む障害として「葉隠一巻にて今日のこと随分事たるように」と論じて『葉隠』崇拝してその他の学問を軽視する佐賀藩内の風潮を批判している。
当初は保守派の抵抗によって改革は困難を窮めたが、天保5年（1834年）の佐賀城の火災をきっかけにして藩政改革は急速に進み、医学館の設立、着座ら上級家臣子弟の弘道館出仕義務などの教育改革が実施された。だが、病気がちであった穀堂は改革半ばで病に倒れ、59歳で死去した。
父・精里を尊敬して、午前4時には起床し、勉学に打ち込んだと伝えられている。その一方で、父と異なって朱子学以外の人士とも積極的に交流し、父が「偽学者」として糾弾した陽明学者の頼山陽や徂徠学派の亀井昭陽とも親しく交際し、特に山陽の文才を高く評価している。更に蘭学導入の必要性を早くから唱え、鍋島直正が西洋技術を佐賀藩に積極的に導入する素養を育んだ人物でもあった。
