杉山直矢は、嘉永3年（1850年）3月14日（15日とも）、周防国熊毛郡室積村東之庄（現・山口県光市）に、士族林家の次男として生まれ、幼名を文蔵といった。父は一膺、母は光子。少年期に藩儒・東宗一に師事し、特に陽明学に深く通じたとされる。豪胆で不敵な性格で知られ、慶応年間には干城隊に加わって第二次長州征伐に参加し上阪、活躍が認められて山縣有朋の知遇を受けた。帰国後は藩の兵学校、歩兵塾で学び、剣道を萩の馬木勝平に学んだ。その後帰郷して江ノ浦に道場を開き、農兵の指南にあたった。禁門の変から長州征伐まで、長州藩は内憂外患の極であり、藩内でも各地に郷兵の養成が急がれ、江ノ浦道場にも壮志に燃える青年たちが多く集まった。
明治3年（1870年）10月、山田顕義が校長を務めた大阪青年舎（兵学校）に入り、翌明治4年（1871年）二等見習士官、さらに歩兵少尉心得として教導団に出仕した。明治5年（1872年）には半年ほどの間に少尉・中尉・大尉へと連続昇進し、教導団一番大隊副官を経て陸軍大尉に進む。この異例の速さは「上司の特別な信任によるもの」と評された。
明治11年（1878年）2月に参謀本部管西局員となり、翌月少佐。局長桂太郎のもとで清国・朝鮮情勢研究の中心人物として活躍し、その献身的な研究姿勢から「管西局の杉山か、杉山の管西局か」と称された。
その後も対清戦略調査の一環として、明治15年（1882年）には北清・朝鮮方面への派遣、同年秋には福建・広東方面の長期視察を命じられ、合わせて半年以上の現地調査を実施した。
明治17年（1884年）に参謀本部編纂課長代理、翌明治18年（1885年）本任の編纂課長となり、明治19年（1886年）には歩兵中佐として歩兵第22連隊長、明治23年（1890年）歩兵大佐に進み、明治24年（1891年）近衛歩兵第1連隊長に転じた。同年12月に従五位。明治26年（1893年）には病気療養のため休職となる。
しかし日清戦争に際し再召集に応じ、馬関兵站兼碇泊場司令官、ついで馬関運送通信支部長を務めた。明治29年（1896年）1月27日に陸軍少将となったが、同年5月16日、東京下渋谷の自邸にて病没した。享年47。
対支活動における評価として、陸軍大将柴五郎は「明治11年から19年にかけ、支那問題に最も力を入れ参謀本部で画策した人物」として、杉山直矢、山本清賢、海軍では曽根俊虎の名を挙げている。
私生活では、桂太郎の紹介で子爵杉孫七郎家と縁戚を結び、杉家長女を娶り2男2女をもうけた。次男の寅三郎（明治30年生）は植木平之允の養子となり工学士となっている。