福岡県の久留米市に生まれた[2]。幼少時より扱心流の柔術を学び[3]、旧制中学校を卒業後に上京して1912年3月に講道館へ入門[1]。返し技（当時は“裏技”と言った）の名手として名高い高橋数良の元で専心修行し、ここで返し技に不可欠な足技を磨き終生の武器として会得した[1]。
1914年2月に初段を許されると、翌1915年に郷里・久留米の憲兵隊柔道教師を拝命し[3]、1918年5月には恩師高橋の斡旋により2段格として呉鎮守府海兵団および江田島海軍学校の柔道教師に着任した[1]。
初段や2段で立派に警察署等の柔道教師が務まった時代ではあるが、階級意識の強い海兵団において弱冠22歳の紅顔の美青年が柔道指導に赴任してきたと聞き付けた団員達は、“目に物見せてくれよ”とばかりに下士官兵集会所道場にぞろぞろと上陸[4]。
一見やさ男のような出で立ちの緒方は、ここで百戦錬磨で猛者揃いの団員達を軽妙かつ大胆な足技で手玉に取って驚かせ、また生来の清濁併せ呑む性格と物に拘らない風格とも相俟ってたちまち団員達の心を惹き付けたという[4]。
呉市ではこのほか呉警察署、呉憲兵隊、海軍工廠総務部、海軍第11空廠、呉水交社、呉青年団、興文中学校等の柔道教師・師範を務めて当地に深く根を下ろし、また1919年には3段位で同市岩方通に私設道場「弘道館」を開設し後進の指導に当たった[1]。
1920年に大日本武徳会で精錬証を受けたほか後には同会広島支部呉支所の副支所長を任ぜられ、また1923年の広島県柔道有段者会創設のために奔走し1930年には同会副会長に着任[3]。講道館の5段位にあった1927年には大日本武徳会より柔道教士号を拝受している[3]。
身長169.7cm・体重71.3kgと均整の取れた体格で前述の通り足技・返し技を得意とした緒方は[5]、1935年10月に開催された第5回全日本選士権大会で第6区代表として専門成年前期の部に出場し、初戦で群馬の佐藤信作5段を、準決勝戦で第3回大会覇者の松野内安一6段を相手にそれぞれ優勢勝を収め、決勝戦では名人・西文雄6段の右体落に敗れたものの準優勝という成績を残した。
長迫公園（旧呉海軍墓地）に
建立された海軍柔道部員戦没者の碑
緒方はその後も柔道を通じた後進の体育向上と精神教育に尽力し、門下からは1939年に開催の第10回明治神宮大会柔道競技にて海軍軍人の部を制した高村徳一らの逸材を輩出[4]。高村の回想に拠れば、この頃の呉鎮守府では艦隊が入港するや隊員たちは集会所道場に集合して緒方の元で猛稽古に励み、稽古後は緒方を囲んで大いに痛飲し技と精神の論戦に花を咲かせていたという[4]。
呉鎮守府のみならず全国の海軍柔道部員達からも慕われ、旧海軍出身者により結成された舷友会の会長に就任し、戦後も海上自衛隊が組織されるや柔道師範となって隊員達の指導に汗を流した[4]。
また太平洋戦争の戦災に遭った「弘道館」道場をいち早く再興して、第2の故郷たる呉の地に於いて休む暇（いとま）もなく多くの青少年育成に当たったほか[4]、広島県整復師会会長等の重責も担っている[2]。
1958年5月に講道館より9段位を允許[注釈 1]。東京五輪で初めて実施競技として採用されるなど柔道の国際化が進展した1960年代には、広島市を中心に柔道指導を行った倉田太一と共に広島県柔道界の重鎮として知られた[1]。
その傍らで、大東亜戦争に殉じた海軍柔道部員達の御霊を祀るべく慰霊碑建立のために苦心し、1967年に長迫公園（旧・呉海軍墓地）でその望みが叶った際には「これで思い残す事は無い」と満足気に語っていたという[4]。
半世紀以上に渡り呉の地で柔道指導を行い万余の門下生を育成した緒方は、1970年にその生涯を閉じている[4]。
日本