『吾妻鏡』での初出は養和2年（1182年）正月28日条で、俊兼は簀子（すのこ）に控えて、伊勢神宮に奉献される神馬10匹の毛付を記している。元暦元年（1184年）4月23日には、下河辺政義が俊兼を通じて訴え出、頼朝の命により、俊兼が常陸国目代に御書を代書している。藤原邦通と重なりつつも、それと入れ替わるようによく登場し、逆に邦通は右筆としても影が薄くなる。同10月20日条では頼朝御亭東面の廂を問注所とし、三善康信を筆頭に藤原俊兼、平盛時が諸人訴論対決の事を沙汰することになったとある。
元暦元年（1184年）11月21日条。源頼朝に呼び出された俊兼は特に華美かつ派手であり、小袖十余領を着、その袖の褄（つま、端）は重色になっていた。頼朝は俊兼の小袖の褄を切り、千葉常胤や土肥実平の質素さを引き合いに出しながら「お前は才能に富んだ者なのに倹約ということを知らない」「今後は華美を止めよ」と説教して奢侈を戒めた。その場に居合わせた大江広元や藤原邦通も肝を冷やしたとある。
文治2年（1186年）3月6日条では源義経の行方について静御前の尋問を行った。同年8月15日条では、西行の語る流鏑馬の奥義を頼朝が俊兼に書き取らせている。