父は土星型原子モデルを提唱したことで知られる長岡半太郎。母は明治期の啓蒙思想家として有名な箕作麟祥の三女操子。
長岡正男の外祖父・箕作麟祥は幕末の蘭学者・箕作阮甫の孫なので、正男は阮甫の玄孫にあたる。正男の兄に理化学研究所理事長を務めた長岡治男が、異母弟に実験物理学者の嵯峨根遼吉がおり、妹は父・半太郎の弟子である岡谷辰治に嫁いだ。
正男の外祖母、すなわち箕作麟祥の先妻・もとは三沢精確の三女であり順天堂大学の基礎を作った医師・佐藤泰然の孫娘にあたる（三沢の妻が泰然の次女・きは）。もとの叔父、すなわち泰然の五男が林洞海の養子となった林董である。なお董の養父・洞海は佐藤泰然の長女・つると結婚したため林洞海は林董の義兄でもある。
林董の孫・忠雄は三菱財閥の4代目総帥・岩崎小弥太の養嗣子となった。小弥太には子供がいなかったので弟で旭硝子の創業者として知られる岩崎俊弥の次女・淑子（小弥太の姪にあたる）を養女とした上で、忠雄を婿養子に迎えたのである。長岡正男が社長を務めた日本光学は三菱グループの光学機器メーカーだが、長岡家は箕作家・三沢家・佐藤家・林家を通じて三菱の創業者一族・岩崎家とも姻戚関係で結ばれることになった。なお岩崎忠雄は長岡正男の母・操子の又従弟にあたる。