Las noticias sobre sus primeros años son escasas y contradictorias: perteneciente a la noble y poderosa familia de los Colonna, no está claro si era hijo de Giordano Colonna y Francesca Conti o de Oddone de Giordano y Margherita Orsini.
Tras cursar sus estudios en la Universidad de Bolonia desempeñaba el cargo de archidiácono de Pisa cuando el papa Nicolás III le creó cardenal de Santa Maria in Via Lata en el consistorio del 12 de marzo de 1278, teniendo también in commendam los tituli de San Marcello y Santa Maria in Aquiro, y el arciprestazgo de la Basílica de Santa María la Mayor. En tal condición participó en el cónclave de 1280-81 en que fue elegido papa Martín IV; no se halló presente, por motivos que se desconocen, en el de 1285 en que fue coronado Honorio IV, pero sí en el de 1287-88 que eligió a Nicolás IV, quien mantuvo con los Colonna una estrecha relación, en el de 1292-94 que tras una larga sede vacante sentó brevemente a Celestino V en la cátedra de San Pedro, y en el de 1294, en que Giacomo apoyó la elección de Bonifacio VIII.
Si el pontificado de Nicolás IV había sido un periodo dorado para el cardenal, que había acrecentado notablemente sus rentas y conseguido el capelo para su sobrino Pietro, el de Bonifacio VIII supuso su expulsión de la Curia:
en el pleito mantenido con sus hermanos por la distribución de las propiedades en el feudo familiar, Giacomo se había alineado con los sobrinos de su hermano Giovanni, dejando a sus hermanos Oddone, Matteo y Landolfo en la ruina; apelaron éstos al papa, que resolvió que el cardenal devolviera lo que había usurpado, pero descontentos con la sentencia, en mayo de 1297 sus sobrinos asaltaron la comitiva que transportaba el tesoro pontificio; las condiciones exigidas por Bonifacio VIII a modo de resarcimiento indignaron a los Colonna, y el día 10 éstos publicaron un manifiesto acusando a aquel de haber forzado la renuncia de su antecesor y negando su legitimidad como papa; Bonifacio respondió deponiendo a Giacomo y a Pietro de su dignidad cardenalicia, excomulgándolos, desterrándolos y confiscando sus propiedades.
Tío y sobrino se acogieron a la protección de Felipe IV de Francia, enemistado a su vez con Bonifacio VIII. Fue en este contexto que su pariente Sciarra Colonna llevó a cabo el famoso atentado de Anagni de 1303 contra el papa. Ambos fueron indultados de su condena en diciembre de ese mismo año, ya en el pontificado de Benedicto XI, aunque no fueron restituidos hasta dos años después, ya bajo el papado de Clemente V y con la intermediación del rey francés.
Durante los años siguientes, establecido junto a la corte papal en Aviñón, Giacomo intervino en el concilio de Vienne de 1311 y en el cónclave de 1314-16 en que fue elegido papa Juan XXII. También destacó como protector de las artes, en especial de la arquitectura, colaborando generosamente en la restauración de la basílica lateranense destruida tras el incendio de 1308, en la fundación del hospital de San Giacomo in Augusta y en la del convento franciscano de San Silvestro in Capite, en la que depositó los restos de su hermana, la beata Margarita; como símbolo de su pasión por la edificación, en su sello llevaba la leyenda extraída de los Salmos "Ego confirmavi columnas eius" (Yo di firmeza a las columnas).
Fallecido en Aviñón en 1318, fue trasladado a Roma y sepultado en la Basílica de Santa María la Mayor.
