大阪市東淀川区西淡路（日之出地区）出身。被差別部落出身ではない父親と被差別部落出身の母親の間に非嫡出子として生まれる。父親は鏡会社の工場長、母親はその工場の工員であった[2]。大阪市立啓発小学校2年の時、父親の正妻のもとに引き取られ、和歌山市で異母姉兄と共に育てられる。和歌山師範附属小学校（現・和歌山大学教育学部附属小学校）に編入学したが、1945年7月9日の和歌山大空襲で被災したため日之出地区に戻り、さらにまた父親のもとに移るなど、被差別部落の内外を往復して育つ。中学2年で大阪市立淡路中学校に転校。大阪府立北野高等学校卒業。
大賀は大阪市立大学文学部へ進学。1957年、上田卓三と共に部落解放同盟大阪府連合会第6回大会に出席[3]。 1959年、大学4年の時に上田卓三、向井正、山中多美男らと部落解放同盟大阪府連日之出支部結成に参加、初代支部長に就任[4]。
部落解放同盟では、日本共産党フラクションの一員であったが、共産党内では同じ日之出地区出身の盟友、上田卓三と共にソ連派に同調し、「日本のこえ」に参加して後に同党を除名された。まだ党籍のあった時期に開かれた解放同盟第20回全国大会では、大阪府連の代議員として出席し，現役の共産党員であることを明言しつつ同和対策審議会答申を否定的に評価する共産党の方針に異議を唱える発言を行った。
また、この大会開催前、同盟内共産党員に、党中央から伝えられた「通達」と題する内部文書を1968年に公表し、当時の共産党が同対審答申を否定的にしか評価していなかったこと、それ以後なし崩し的に同党が評価を変えていったことを示す根拠だと主張した。
旧社会党「社会主義協会派」の小森龍邦とは敵対関係にある。1994年、組織方針をめぐって小森が書記長辞任を申し出た時には、他の中執に慰留される段取りだと小森は思っていたにもかかわらず即座に辞任が認められ、このため悔しがった小森は「大賀にやられた」と叫んだという話も伝わった[5]。
上田卓三のブレーンであり、部落解放同盟の「影の書記長」「影の委員長」「最大の権力者」ともいわれたこともある[5]。部落解放同盟を「人権同盟」と改称し、部落問題だけではなく人権問題全般を扱うNGOに改組し、行政の補助により運営していく構想を持っている、と伝えられた[6]。
『旧社会党「社会主義協会派」の小森龍邦とは敵対関係にある。『小森は「大賀にやられた』これは全くの誤解である。2018年１月３１日（水）午後、子女の瀧野康子氏同伴で来訪を受け、こうした誤った記述について話し合った。個々の意見のちがいはあっても盟友の関係であったことを確認し固い握手をした。
