服部正信（平蔵）の次男として誕生した。元亀2年（1571年）、母の従兄の青山忠重が戦死し、子がなかったため、主君徳川家康の命で青山家を継ぐ。
徳川秀忠の後見役となり、天正18年（1590年）の家康関東入封の際に下総国香取郡に3000石を与えられた。慶長5年（1600年）の関ヶ原の戦いでは秀忠の軍に従軍し、信濃国上田城の攻撃に加わる。その功によって翌年の慶長6年（1601年）に2000石を加増されて5000石となり、慶長8年（1603年）12月25日には下総国内において5000石を加増され、石高が1万石に達したため下総飯田藩を立藩した。
慶長13年（1608年）、老中に就任するが、大久保長安の子成国を養子にしたことから、慶長18年（1613年）の大久保長安事件に連座し、罷免、改易される。7000石を減知され、飯田の地に蟄居した。大坂の陣では本多正信に供奉を懇請して武功を挙げて挽回を図ろうとしていたが、結局赦免されることのないまま死去した。
3000石は成重が赦免されず死去したため、収公となったが、改めて嫡男・成次に新知1000石が与えられ、子孫は旗本として存続する。成次の子成政の代に1200石となり、4代あとの成存は勘定奉行になっている。