安井氏は河内守護の畠山氏一族で、河内守護畠山家国の子、畠山義熈の後裔。義熈の子、満基が河内国渋川郡を領有し渋川氏を名乗ったが、その子、満定が播磨国の安井郷に移封され、安井氏を名乗った。
安井氏初代、安井満定以降、満行、定重、定正などが現れた。安井定重の時、先祖の畠山満基の居城であった河内国久宝寺城の城主となり、定重、定正らが河内守護畠山氏の家臣として久宝寺周辺を治めた。定正の時代に主家畠山氏は没落。上洛してきた織田信長に誼を通じたが、織田信長と対立した石山本願寺・一向一揆衆によって久宝寺城は陥落。定重も討ち死にした。
定重の死後、その子または末弟と思われる安井定次が織田信長に仕えた。その後、安井定次は子とともに豊臣秀吉に仕えた。その子が成安で後に出家して安井道頓と名乗った。
定正の四男宗順の二男である六蔵は碁技に優れ、これにより江戸幕府から俸禄を受け、安井算哲と名乗って囲碁の家元安井家の始祖となった。また算哲の子2世算哲は、後に碁打衆から幕府天文方に転じて渋川春海を名乗った。春海の直系は早くに途絶えたが、渋川家は養子を迎えながら、明治維新まで天文方の地位を継承した。