弟のピーターがはしかにかかり、おじとおばの住むアパートに預けられた少年トム。その邸宅には庭すら無く、はしかのために外出すらできない彼は退屈し切っていた。そんなある日の夜、ホールの大時計が奇妙にも「13時」を告げたのをきっかけに、彼は存在しないはずの不思議な庭園を発見する。そこはヴィクトリア朝時代のメルバン家という一家の庭園であった。それから毎日、彼は真夜中になると庭園へと抜け出し、そこで出会った少女、ハティと遊ぶようになる。しかしながら、庭園の中では時間の「流れる速さ」や「順序」が訪れるごとに違っていた。彼はだんだんと、ハティの「時」と自分の「時」が同じでないことに気づいていく。