多才で有職故実に通じ、文筆にも長じ、絵や占いその他百般の才能があったという。『吾妻鏡』での初出は頼朝の旗挙げの直前の治承4年（1180年）6月22日条である。8月4日条には、その頃京を離れて「遊歴」していたが、安達盛長の推挙で頼朝に仕えたとある。頼朝の旗挙げの初戦である山木兼隆襲撃の直前に、酒宴にかこつけて兼隆の館に留まり、周囲の地形を絵図にして持ち帰り、それを基に頼朝達が作戦を練った。
頼朝時代の初期において右筆、公事奉行人、供奉人などを務め、元暦元年（1184年）10月6日条には新造の公文所の吉書始（始業式のようなもの）で吉書（最初の行政文書）を書く。このときの初代公文所別当は当時中原姓であった大江広元である。藤原俊兼が源頼朝に仕えて以降は右筆としても影が薄くなる。
それでも、文治元年（1185年）10月24日に行われた勝長寿院堂供養に参列を許された京吏は広元と邦通の2人だけで、広元と同格あるいはそれに次ぐ地位を認められており、翌文治2年（1186年）9月9日、頼朝に菊の花と絶句詩を献じたところ、そのみごとさにうたれた頼朝は毎年献じるように命じたということから、頼朝の厚い信任を受け続けていたようである。