沢渡氏は、時期は不明なものの中世頃に仁科家から分かれ、仁科三湖の北部、姫川沿いの三日市場城を居城としていた。
応永7年（1400年）大塔合戦において仁科氏に従い参戦した親類被官の中に「沢渡五郎」の名がある[1]。室町時代後期頃の人物である沢渡盛利は武勇に優れ、沢渡家の領土を拡大させ、神仏にも深く帰依した一族中興の祖であったという[2]。
時代が下り、戦国時代になると安曇郡にも甲斐武田氏が影響を及ぼし、天文年間後期、宗家の仁科家は武田家に臣従する。小岩盛親・飯森盛春など一部の仁科氏親類は武田氏の統治に叛旗を翻したが、悉く滅ぼされた。
この頃、沢渡氏は盛利の子である盛辰・盛賢（盛則？）が存在したが、盛辰は二重城にて討死したという[2]。盛賢は武田氏麾下として武勇を発揮したようであり、この人物は永禄年間における生島足島神社の起請文に署名した「沢渡兵部助盛則」と同一と推定されている[3]。
また、年代は不明なものの武田氏からの諸役免許として仁科民部入道が馬五匹分の税免除という恩賞を受領した。この民部入道は沢渡氏一族に比定されている[4]。
盛賢（盛則）は元亀元年（1570年）正月、武田信玄の駿河侵攻に於いて、駿河今川方の小原鎮実が守備する花沢城攻めに動員された。しかしこの合戦は、武田氏譜代・穴山氏重臣の万沢氏が討死するほどの激戦となり、この渦中で盛則も討死したという。
その後、家督は沢渡盛忠が継いだ。武田勝頼期における、宇治久家が記した「信濃国道者之御祓くばり日記」では沢渡氏が記されている[5]。
天正10年（1582年）、甲州征伐で武田氏が滅び、また同年には本能寺の変で織田信長が倒れると、信濃国内は動乱におちいる（天正壬午の乱）。
はじめ盛忠は上杉景勝に仕えるものの小笠原氏に転じて、同年9月19日、盛忠は小笠原貞慶より所領を安堵された。
だが、盛忠は天正11年（1583年）2月16日、松川村細野にて捕縛される。同日には、二日前の小笠原貞慶による古厩氏粛清から逃れていた古厩盛時が討ち捕らえられた。しかし盛忠は間もなく釈放され、その後は貞慶家臣として、安曇郡北方にて上杉氏と攻防戦を行った[6]。
天正16年（1588年）には沢渡神明社社殿が沢渡氏により造営された。このように、安土桃山期には信濃国にて活動していたが、その後は小笠原家一門の古河藩への転封とともに安曇郡を去り、そののちさらに小笠原家の九州小倉転封に付き従い、小倉藩士となり江戸期を存続した。
