日本の律令制においては、中央の官衙や地方の国衙・郡衙に設置された。和銅7年(714年)には、穀倉の規格を2,000・3,000・4,000斛の3等級にと定めたが、実際には1,000斛や7,000斛の穀倉も設置された。
穀倉の底には穎稲が厚さ5寸で敷き詰められ、その上に稲穀をバラ積みして置く委穀という方式が取られ、入口には塞という空間を設置した。塞は穀物の流出を防ぐとともに委穀の計測や搬入積出にも利用された。
天平宝字3年(759年)に唐の制度をまねて平城京に常平倉が設置され、その後存廃を繰り返しながら、平安時代初期には平安京の穀倉院へと発展した。