1500年、アウクスブルクの帝国議会において認められ、ニュルンベルクに設置された。6人の選帝侯、聖界・俗界の諸侯各1名、オーストリアとブルグントの代表各1名、高位聖職者と伯の代表各1名、帝国都市代表2名、この時創設された6つの「帝国クライス」からの代表各1名の計20名によって構成され、皇帝との共同統治を試みた。しかし、十分に機能することなく1502年には解消することになった。ただし、「帝国クライス」の制度は、その後も帝国の軍事システムなどと結びついて存続していった。
スペイン王カルロス1世が1519年にローマ王・ローマ皇帝カール5世となったことは、帝国内の諸勢力に様々な懸念を生じさせた。ドイツ語をほとんど理解せず、広大なハプスブルク帝国をカトリック理念に基づき統治しようとするカールは、ドイツの独自性や帝国等族の自立性を脅かす存在とみられたのである。そのため、皇帝即位に際して「選挙協約」が成立して皇帝の統治権を制限することが図られ、帝国統治院を復活して常設機関とすることも確認された。しかし、カールは帝国統治院の常設に否定的で、結局は1521年にヴォルムスの帝国議会において、皇帝が帝国に不在の時に限り帝国統治院の設置を認めた。ヴォルムス帝国議会後、カールは10年ほど帝国から離れたので、1530年まで第二次帝国統治院は存続することになった。帝国統治院の所在地は、1524年にエスリンゲン、1527年にシュパイアーへと移された。
統治院は、皇帝による専制的な帝国統治を牽制する役割を果たす一方で、有力諸侯を帝国の枠にはめて自律性を奪うことにもつながったため、彼らの支持を得ることが難しかった。結局、ドイツ農民戦争や騎士の反乱に際しては、各地の有力諸侯が帝国統治院によらず自主的に鎮圧にあたるなど、第二次帝国統治院も十分に機能したとはいえなかった。