杉山直矢は、嘉永3年(1850年)3月14日(15日とも)、周防国熊毛郡室積村東之庄(現・山口県光市)に、士族林家の次男として生まれ、幼名を文蔵といった。父は一膺、母は光子。少年期に藩儒・東宗一に師事し、特に陽明学に深く通じたとされる。豪胆で不敵な性格で知られ、慶応年間には干城隊に加わって第二次長州征伐に参加し上阪、活躍が認められて山縣有朋の知遇を受けた。帰国後は藩の兵学校、歩兵塾で学び、剣道を萩の馬木勝平に学んだ。その後帰郷して江ノ浦に道場を開き、農兵の指南にあたった。禁門の変から長州征伐まで、長州藩は内憂外患の極であり、藩内でも各地に郷兵の養成が急がれ、江ノ浦道場にも壮志に燃える青年たちが多く集まった。
明治3年(1870年)10月、山田顕義が校長を務めた大阪青年舎(兵学校)に入り、翌明治4年(1871年)二等見習士官、さらに歩兵少尉心得として教導団に出仕した。明治5年(1872年)には半年ほどの間に少尉・中尉・大尉へと連続昇進し、教導団一番大隊副官を経て陸軍大尉に進む。この異例の速さは「上司の特別な信任によるもの」と評された。
明治11年(1878年)2月に参謀本部管西局員となり、翌月少佐。局長桂太郎のもとで清国・朝鮮情勢研究の中心人物として活躍し、その献身的な研究姿勢から「管西局の杉山か、杉山の管西局か」と称された。
その後も対清戦略調査の一環として、明治15年(1882年)には北清・朝鮮方面への派遣、同年秋には福建・広東方面の長期視察を命じられ、合わせて半年以上の現地調査を実施した。
明治17年(1884年)に参謀本部編纂課長代理、翌明治18年(1885年)本任の編纂課長となり、明治19年(1886年)には歩兵中佐として歩兵第22連隊長、明治23年(1890年)歩兵大佐に進み、明治24年(1891年)近衛歩兵第1連隊長に転じた。同年12月に従五位。明治26年(1893年)には病気療養のため休職となる。
しかし日清戦争に際し再召集に応じ、馬関兵站兼碇泊場司令官、ついで馬関運送通信支部長を務めた。明治29年(1896年)1月27日に陸軍少将となったが、同年5月16日、東京下渋谷の自邸にて病没した。享年47。
対支活動における評価として、陸軍大将柴五郎は「明治11年から19年にかけ、支那問題に最も力を入れ参謀本部で画策した人物」として、杉山直矢、山本清賢、海軍では曽根俊虎の名を挙げている。
私生活では、桂太郎の紹介で子爵杉孫七郎家と縁戚を結び、杉家長女を娶り2男2女をもうけた。次男の寅三郎(明治30年生)は植木平之允の養子となり工学士となっている。