起源は律令時代に兵役に就いた者が、兵役終了の証として中央での配属先の左衛門府の名を名乗ったことであるとされる。時代が下がり室町時代以降になると、武士階級においては仮名・官名として、平民階級では名として広く用いられるようになり、頭に親族・兄弟関係を表す文字を付けた「新左衛門」、「彦左衛門」など、衛門府の官などである「尉」「佐」をつけた「左衛門尉」「左衛門佐」などとして多用された。左衛門尉酒井家のように家名にした例もある。頭に文字を付けた場合「左衛門」の部分は「 - さえもん」ではなく「 - ざえもん」と読む場合が多い。