Alberto II era el tercer hijo varón del Duque Erico I y de Isabel de Brunswick-Göttingen, una hija de Otón el Malvado, Duque de Brunswick-Göttingen. Era nieto del Duque Alberto I, y era todavía menor de edad cuando su padre murió el 27 de mayo de 1427. Su primo, el Duque Otón el Joven de Grubenhagen-Osterode sirvió hasta 1440 como regente en nombre de Alberto II y de sus hermanos Enrique III y Ernesto II. Después de 1440, los tres hermanos, siguiendo la tradición de Grubenhagen, gobernaron conjuntamente hasta la muerte de Enrique en 1464. Después de la muerte de Enrique III, Ernesto II se unió al clero y Alberto II se convirtió en el único gobernante y regente para el hijo de Enrique III, Enrique IV.
Alberto II se vio involucrado repetidamente en disputas. Por ejemplo, en 1477, el Duque Guillermo IV el Joven de Göttingen entró en disputa con la ciudad de Einbeck (en el Ducado de Grubenhagen) y en 1479, acampó su ejército ante la ciudad. Los ciudadanos de Einbeck salieron a luchar contra él a campo abierto. El Duque Guillermo los atrajo a una emboscada y los derrotó completamente. Según la crónicas, más de 300 ciudadanos murieron y más de 800 fueron capturados y llevados al Castillo de Hardegsen de Guillermo. Alberto y Guillermo resolvieron su disputa el 5 de diciembre de 1479 en Göttingen, sin lucha. La ciudad de Einbeck, sin embargo, tuvo que pagar un rescate de 30.000 florines para liberar a los ciudadanos captivos, y tuvo que aceptar la protección de Guillermo.
Enrique IV alcanzó la mayoría de edad en 1479 y acordó con su tío la división de su territorios. Alberto mantuvo el Castillo de Herzberg y el Castillo de Osterode, mientras que Enrique recibía el Castillo de Heldenburg. Las ciudades de Einbeck y Osterode serían gobernadas conjuntamente.
Alberto contrajo matrimonio con Isabel, hija del Conde Wolrad I de Waldeck. Ella dio a luz a sus tres hijos varones y a una hija, Sofía, quien murió a la edad de 6 años. Su hijo Ernesto murió poco después de la muerte del propio Alberto. Alberto fue sucedido en el gobierno por su hijo Felipe I, mientras que su hijo Erico se convirtió en Obispo de Osnabrück y Paderborn. En 1532, Erico fue elegido Obispo de Münster, pero murió el 14 de mayo de ese año, antes de ser confirmado en el cargo.
Alberto murió en 1485 y fue enterrado en Osterode am Harz.
