橋名の由来は、下記のように土佐藩が白髪山から木材を当地へ運んだ説と、新羅船が当地に着岸し、後世にそれが訛って白髪町・白髪橋となった説がある[3]。
土佐の白髪山から切り出した木材を得るため、ここに木材市場を設けたことによりこの名がつけられた[4]。白髪山は高知県長岡郡本山町にある標高1,470メートルの山であり、スギやヒノキの良材を産出する。白髪山の由来について、郷土史家の細川敏水は「白い光る岩からなっているため白峨の文字を使っていたが後に今も奥白髪に猿田彦神（白髪の老翁）という白峨山霊を祭ったから、白峨を白髪と改めた」とする説を主張している[5]。
