会津藩士・堀藤左衛門の次男として生まれ、外島家の養子となった。名は義直。外島家の家祖は佐原義連で、家禄は200石である。
勘定奉行助や学校奉行助、目付、江戸留守居役など要職を歴任し、文久2年（1862年）、京都守護職に就任した藩主松平容保に従って上洛。公卿や諸藩との交渉を担当し、文久3年（1863年）には容保より公用人に任じられる。慶応3年（1867年）には勘定奉行を兼任した。なお姉小路公知殺害の疑いのあった田中新兵衛を京都町奉行所に引き渡したのは外島である[1](朔平門外の変)。
慶応4年（1868年）1月、鳥羽・伏見の戦いが始まると江戸で兵糧などの調達にあたった。しかし会津藩をはじめとする旧幕府軍は敗北し、外島は藩兵の撤収に務めた。容保に対しては新政府への恭順を説き、総督府へ陳情するために江戸へ留まった。しかし病に倒れ、広沢富次郎との会談中に絶息した。享年43。
外島の死後会津藩は抗戦派が主導し、会津戦争まで戦ってゆくことになる。