『武徳編年集成』には、少年時代の正綱は人質として駿府に連行された徳川家康と仲良くなり、岡部家は日常生活面で助力するなど家康に対して今川家の重臣の中では最も好意的な態度をとっていたことが記されているが、江戸期の資料であり、これらは空想の域をでない。
今川家の譜代家臣として、弘治3年（1557年）に初陣、兜首2つを獲って名を馳せた。永禄11年（1568年）12月より武田信玄が今川領国への侵攻を開始すると（駿河侵攻）、重臣の多くが武田方に寝返る中で今川方の立場を堅持して弟・岡部治部右衛門（長秋？）と抵抗し、翌年4月に信玄が後北条氏に攻められ駿河から撤退した後に駿府今川館を占拠した。同年12月に再び武田軍が駿河に侵攻した際にも頑強に抵抗したが、その武勇を高く評価され、臨済寺の鉄山宗純を介して開城し、以後武田氏の家臣として仕えた[2]。
武田氏従属後は武田氏の駿河侵攻に貢献し、元亀元年（1570年）正月の駿河花沢城攻めに参戦した。その後の同3年（1573年）12月の三方ヶ原の戦いや翌元亀4年2月の岩村城の戦いにも馬場信春の先陣に属して参戦し、活躍した。天正2年（1574年）の武田勝頼により高天神城攻めにも参陣し、弟・治部右衛門が戦死している。
武田氏傘下の正綱の知行は定納高968貫文余であり、それに対して70人の軍役負担が求められた。また正綱は水軍も有して武田水軍の一翼も担っており、同4年（1576年）8月23日付で武田氏より正綱が所有する清水湊の船14艘の役銭を免除されている[2]。
天正9年（1581年）に高天神城が徳川家の侵攻で陥落し（高天神城の戦い）、一門で同城城代の岡部元信らが討ち死に[注釈 1]した。武田氏の退潮が著しい中で翌年（1582年）2月の織田・徳川軍による武田攻めが開始される（甲州征伐）と、穴山信君と共に徳川家康に内通した。3月に武田氏が滅亡すると徳川家康の家臣となった。
天正10年（1582年）6月に本能寺の変で織田信長が死去し、さらに家康の伊賀越えの最中に穴山信君が殺害されると、正綱は6日に家康より穴山氏の甲斐河内領に派遣され、菅沼城（現・身延町）の普請を行い穴山領の保全を図っている。直後に徳川軍が甲斐国に侵攻すると大須賀康高や曽根昌世と共に先陣を務め、旧知である旧武田家臣の調略などを行って、家康の甲斐平定に尽力した[2]。翌年（1583年）正月には、家康より平岩親吉と共に軍事指揮下にあった穴山武田氏の軍勢への指図を任された。徳川氏の甲斐支配体制においては、徳川家譜代の家臣の平岩親吉と同格に置かれていたとする説もある[3]。
天正11年（1583年）11月8日、駿河国において死去した。享年42。
戦傷が原因で死去したとも、武田旧臣達を調略する際に毎度酒宴を催していたため、急性アルコール中毒で身体を壊して死去したともいわれ、没年・死因ともに異説がある。
墓所は静岡市葵区伝馬町の宝泰寺。法名は「吸江院殿好雪道龐大居士」。また、藤枝市岡部町子持坂の萬松院にある岡部氏の墓に五輪塔が建てられている。
通説は後に福知山・大垣藩主となった岡部長盛が後を継いだとされているが、天正15年10月13日に発給された判物（「桜井文書」所収）より「康綱」と称される人物が次の岡部氏当主であったとされている。これを裏付けるものとして、『仏眼禅師語録』天正13年11月8日条に記された岡部正綱の三回忌の記事に「孝子康縄（縄＝綱と考えられる）」と書かれており施主が康綱と考えられることからも彼が正綱の嫡男であったと思われる。歴史研究家の前田利久（元清水国際高等学校校長）は、長盛が通字である「綱」を名乗っていない点や長盛以前の当主関係文書の原本が伝わっていない[注釈 2]ことなどから、長盛が正綱の実子ではなく康綱の死後に同家を継いだ別系の岡部氏の人物であったのではないかとしている[5]。
