Desde el final de la Segunda Guerra Mundial, las agencias de inteligencia italianas se han reorganizado muchas veces (SIM 1900-49, SIFAR 1949-65, SID 1965-77) y el último SISDE (civil) y SISMI (militar) de 1977 a 2007, en un intentar aumentar su eficacia y ponerlos más plenamente bajo control civil.
La agencia se estableció como parte de una reforma más amplia de la comunidad de inteligencia italiana, que representó el último de una larga serie de intentos del gobierno para administrar de manera efectiva las agencias de inteligencia de Italia.
En 1977, con la Ley Legislativa n. 801, se creó el SISMI luego de que un exjefe de la SID, Vito Miceli, fuera arrestado en 1974 por "conspirar contra el Estado" tras el Golpe Borghese. Así, las agencias de inteligencia se reorganizaron en un intento democrático. Esta reorganización consistió principalmente en:
- La división de SID, la agencia de inteligencia en ese momento, en dos agencias separadas con roles diferentes: SISDE (la doméstica) y SISMI (la militar).
- La creación de CESIS, con función de coordinación entre las dos agencias de inteligencia y la Presidencia del Consejo de Ministros.
- La creación de la Comisión Parlamentaria, COPACO, para supervisar las actividades de las dos agencias. Desde el 1 de agosto de 2007, con el acto legislativo n. 124 de 08/03/2007, tras la reforma de las agencias de inteligencia italianas, SISDE, SISMI y CESIS fueron sustituidas respectivamente por AISI, AISE y DIS y se concedió la COPACO poderes adicionales de supervisión y control.
El primer director del servicio fue Giuseppe Santovito (1978-1981), sucedido por el general Nino Lugaresi fue director del SISMI de 1981 a 1984; testificó sobre Gladio. El general Nicolò Pollari fue el penúltimo director del SISMI; dimitió el 20 de noviembre de 2006 tras ser acusado en el caso Abu Omar, por lo que el primer ministro Romano Prodi lo reemplazó por el almirante Bruno Branciforte.
El almirante Bruno Branciforte fue el último director del SISMI, a cargo hasta el 3 de agosto de 2007. Con la reforma de los Servicios de Inteligencia italianos aprobada el 1 de agosto de 2007 se eliminó la inteligencia militar y la inteligencia italiana se dividió en interna y extranjera.
