近江国膳所藩士の子として江戸に生まれる。膳所藩士になるが、幕末に膳所藩の藩論が開明派の攘夷論になると、膳所藩を脱藩する。
1868年（慶応4年）4月にJ・H・バラから洗礼を受け横浜海岸教会に入会するが、元々支持していた中江藤樹の宗教理念を変えることはなかった。
入信3年後の1871年（明治4年）には、独特の宗教理念の故に、バラ宣教師に疎んじられ、バラの弟子ではなくなり、日本語礼拝に出席するだけの信徒になるが、その翌年の1872年（明治5年）、篠崎桂之助が横浜海岸教会で入信すると、粟津の同志になる。
1870年(明治3年)より海軍兵学寮に出仕する。1874年（明治7年）に海軍兵学寮の新寮掛になると幼年生徒を集めて、キリスト教の講話を日曜ごとに行う。教え子の一人に、和田秀豊がいる。
その後、兵学校教官として渡米するが、アメリカの人種差別を見て西洋嫌いになる。帰国後、海軍兵学校の教頭になる。
1876年(明治9年)4月7日に教会の長老候補者に、日本基督公会（横浜海岸教会）と東京基督公会（新栄教会）が公会主義を無視しているとの非難の文書を送り、その年自宅に自費で、石造りの会堂を建てて、新栄教会に通いながら集会を始める。会堂を建てる時に、宣教師たちが、腰掛や椅子やテーブル、敷物、オルガンなどを贈られると、粟津はそれを丁重に断り、西洋色のない日本独自の教会を目指し、日本教会と呼ばれる。
1880年(明治13年)に病死するが、遺言で「外国に関係のない教会を樹立せよ」と言った。
粟津の死後2年目の1882年（明治14年）に、小崎弘道の新肴町教会と日本教会とが合併して東京第一基督教会となる。後に、日本組合基督教会に所属し霊南坂教会と呼ばれる。
1942年の日本基督教会成立と共に日本基督教団霊南坂教会になる。
