天平宝字3年（759年）に唐の制度をまねて平城京に常平倉が設置され、その後存廃を繰り返しながら、大同3年（808年）3月に穀倉院として建造された。弘仁13年（822年）3月、近江国諸郡の穀十万石を運び入れ穀倉院を建造、洛中に建造された際、もともとその様な施設は建造すべきものではなかったが、近江に在する延暦寺を尊崇することで、特に建てさせた。翌14年（823年）3月京師において米が高騰したため、救貧策として、穀倉院の米穀千石を供出し、貧民に安価に売り渡した。以降、同様の救民施策に用いた。
延喜式には、以下の事項などが制定されている。
- 無主の位田・職田は穀倉院に移し、地子を納めさせ、穀倉院に納めた米穀は、京職の税帳に載せてこれを申告させる。
- 畿内諸国が納税する調銭は、調銭を勘定する日に銭数を記録し、穀倉院に移送して納めさせる。
- 収文が官より発行されるのを待って勘会する。
- 絁120匹、調綿200屯は、毎年12月官に申告し穀倉院に納める。
同院の長官は別当職であるが摂政・関白又は一上（主として左大臣）などが補任される名誉職的な公卿別当、弁官または蔵人頭の補任される四位別当（従四位）、左右大史や大外記、主税頭・主計頭が補される五位別当（従五位）があり、預・蔵人が事務処理を行なった。なお、別当職は、後述する学問料との関係か、初期の公卿別当を除き学問の家系の者が多く任命されており、賀茂保憲、安倍晴明が任命されたほか、名目上の役職となってからは、舟橋家（清原氏）・押小路家（中原氏）両家に明経博士とともに世襲されることとなった。
天延3年（975年）、石清水八幡宮臨時祭日の献納を畿内諸国に代わって穀倉院に勤めさせるという文書以降、史料に記述がないことから、この頃機能を失ったと見られる。
なお、平安中期以降も、諸司領である穀倉院領の存在が、播磨国小犬丸保をはじめとして十ヵ所前後確認できる。また、室町・戦国時代、穀倉院領のひとつである山城国山崎の油公用の領知をめぐり、中原氏と清原氏との間で再三相論があった。
大学寮紀伝道の学生である文章生から選抜されて支給された奨学金である学問料は、勧学田（学料田）と呼ばれる田地からの貢租によって学生を寄宿させ、食事を給付していた。しかし、その主たる面積を占めていた加賀国の旧大伴家持没官領が、藤原種継の暗殺事件関係者の名誉回復に伴い、当時の官界の実力者伴善男の要求で伴氏（旧大伴氏）に返還されることとなり、その後、応天門の変（貞観8年（866年））によって伴善男が流罪となり、再度当該地が没官された後に大学寮ではなく、穀倉院に編入されたことから経営基盤を失った大学寮と新たに当該地を得た穀倉院の間で対立が生じた。そこで、穀倉院から一部学生への学問料支給を行うことで大学寮側からの不満の緩和に努めた、これを、穀倉院学問料という。
穀倉院は、この頃には、律令制の弛緩によって不足する内廷費用を捻出するための一種の「裏金」捻出の役割を担っており、穀倉院領となった旧勧学田を大学寮に返還することは、財政政策上採るところではなかった。朝廷はその代償として、穀倉院から学問料の支給を開始したと考えられている。
