矢島半左衛門直之の三男として周防国山口に生まれた。萩藩大組坂時澄の養嗣子に入り、のち毛利吉元の右筆となる。宝永7年（1710年）家督を継ぎ、当職手元役と当役手元役を歴任し、民政・財政に活躍する。享保3年（1718年）藩主吉元の命により、山県周南と協力して藩校明倫館の創設に尽力した。
70歳で隠居後、藩主毛利重就に長沼正勝、山県昌貞と共に召され､藩政改革について忌憚のない意見を求められた。この時3人は合議して「三老上書」を作成した。
宝暦8年（1758年）80歳の時、藩主重就から城中に呼ばれ、藩の財政再建策を提出するよう求められた。そこで時存は7ヶ条の改革案を具体的に提案し、｢上書｣として提出した。それは主に他領借問題の解決、宝蔵銀の増蓄、新田開発や荒廃田の復旧を正確に把握すること、良港を整備・設置して商品流通を盛んにすること、馳走米銀の再検討についてであった。重就はこの時存の「上書」と高洲就忠の「御仕組一件」を車の両輪のように補いながら、藩政改革の基本政策を煮詰めていき、城内の獅子の廊下に「御前御仕組方」を設けた。これがのちに撫育方の設置につながることとなった。
また嫡男の次郎右衛門時連も山口奉行、蔵元両人役、札座頭人などを勤め有能であり、藩主重就に近侍し、当職手元役・所帯方に任じられ御手廻組に編入され藩政の枢機に参画した。次男は同じ大組士である高杉春信の養嗣子となり高杉又左衛門春善を名のり、重就、治親二代の藩主に仕え、手元役を務め三田尻開作などに尽力した。春信の子孫に高杉晋作がいる。
時存は撫育方発足直前に81歳で没した。