現在見られる住居は復元であるが、1830年代に建てられたものをほぼ再現している。
はじめにここに住んだのは崋山の招聘によって天保5年（1834年）に田原藩のお抱えになった豊後・日田出身の農学者・大蔵永常であった。彼はこの建物の周辺を実験用の農場とし、商品作物を田原藩の新しい収入源にしようと考え、アブラナ・サトウキビなどを栽培した。こうしたことから当時の人に「御産物屋敷」とあだ名された。ただし、成果はあまりあがらなかったようである。そうしたうちに天保10年（1839年）、江戸で蛮社の獄によって渡辺崋山が捕らえられ、国元の田原で蟄居と決まった。彼を招聘し、また家老として力を持っていた崋山が失脚したことで、大蔵永常は田原での身分を失い、池ノ原の住居を去った。罪人として田原に来た渡辺崋山の一家がそのまま空いた住居に住むこととなった。
蟄居中の崋山は絵を描くなどしていたが、2年後の天保12年（1841年）に住居北側の小屋（大蔵永常がサトウキビの醸造に利用していた）で切腹した。遺体は幕府役人による検死の後、城下の城宝寺に葬られた。
その後しばらく崋山の存在は世間から忘れ去られていたが、1880年代に高野長英などとともに維新の先覚者として大きく取り上げられ、また崋山は修身の教材に取り上げられたこともあり、日本人なら誰でも知っている人物となった。この影響か、住居の東側には崋山を顕彰する東郷平八郎揮毫の碑がある（1909年に建置）。この住居はいつのころか取り壊されたらしく、建物はなくなっていたが、昭和30年（1955年）5月に地元の有志の共同出資によって復元された。復元に当たっては、数十年前の取り壊し作業に当たった大工の記憶を参考にしている。建築も有志が行ったもので、十分豊かではない時代に、有志によってこのような事業が行われたことは、地元田原の人々が崋山に強い愛情を寄せていることをよく示している。また、同時に公園内に渡辺崋山の坐像が設置されている。また平成4年（1992年）6月、当時の田原町によって史跡に指定されている。
現在はこんもりとした林の中に、こぢんまりとしたスペースで崋山の旧宅と銅像、東郷平八郎の顕彰碑がある。周辺は江戸時代には武家屋敷が多く、当時の屋敷は残っていないが細く曲りくねった道と囲いの椿に風情を残している。また、つい最近この一帯が整備され、池ノ原公園の南側に池ノ原会館が建設された。ここではゆったりとした和室で抹茶を飲むことができる。
