1887年（明治20年）に愛知県海部郡佐屋町（現・愛西市）に生まれた。旧制の愛知第三中学校（現在の愛知県立津島高等学校）を中退し、単身でアメリカ合衆国の渡った。現地のハイスクールを経て、スタンフォード大学で土木工学を専攻し、卒業後はアメリカ合衆国で建築家として活動した。そののちにアメリカ合衆国に留学中の杉野芳子（芳子の旧姓は岩沢）と知り合い、1914年（大正3年）に結婚した[2]。
1920年（大正9年）に夫妻で帰国後、繁一は日本統治時代の朝鮮にある平壌（現・北朝鮮）で建築家として活動していた。1926年（大正15年）に芳子がドレスメーカー学院を設立すると、芳子に事業を手伝うように懇願され、杉野学園の初代理事長に就任した。専修学校や各種学校の法的地位を確立させるために奔走するなど、教育者として活動する一方、現在の杉野服飾大学（杉野学園）の校舎、体育館、衣装博物館などを設計する建築家としても活動した。故郷の佐屋町が1965年（昭和40年）に町制施行10周年を迎えると、繁一は個人的に佐屋町に1000万円を寄付した。佐屋町は「杉野」の名を関した図書館の建設を計画し、1966年（昭和41年）には佐屋町立杉野図書館が開館した。墓所は多磨霊園(22-1-79-1)
東京都品川区上大崎4-4にある2人の旧宅は、「杉野記念館」として公開されている。目黒駅を西に出て、ドレメ通りと呼ばれる通りにある。「杉野記念館」では杉野芳子遺作展などを開催している。
