リチャードソンは1878年9月18日にアメリカ合衆国テキサス州パリスで生まれた。1898年にアナポリス（アメリカ海軍兵学校）に入学し、1902年に卒業した。卒業席次は85人中5番。
アメリカアジア艦隊に配属されると米比戦争に参加、1905年には大西洋方面の魚雷艇ティンゲイとストックトンの艇長、1914年には少佐に昇進。その後アジア艦隊や海軍省兵備局などの勤務の後、1931年にはアジア艦隊の旗艦となった重巡洋艦オーガスタ (USS Augusta, CA-31) の初代艦長となる。1933年にチェスター・W・ニミッツ大佐と艦長職を交代すると、海軍大学校に入学。
卒業後1934年12月に少将に昇進、合衆国艦隊参謀長兼駆逐艦戦隊司令となる。1937年6月に海軍作戦部次長、翌1938年には海軍省航海局（人事局）長となる。1939年2月の第20回大演習の前に退任予定の海軍作戦部長ウィリアム・D・リーヒ大将の後任人事案にトーマス・C・ハートを加えたところ、ルーズベルト大統領から「この名前をリストから外せ！」ととりつく島もなく却下される。ルーズベルトとの確執の始まりであった。1939年6月には太平洋艦隊司令長官兼合衆国艦隊司令長官になり、これに伴い少将から中将を飛ばして大将となる。航海局（人事局）長の座はオーガスタ艦長に続きニミッツ少将が後任となった。
翌1940年5月のハワイにおける春の大演習の後、艦隊をそのままハワイに駐留させ、真珠湾を母港にせよとの大統領命令を受ける。大日本帝国の中国大陸への侵略行為はアメリカの宥和政策が大日本帝国に弱腰と受け取られている結果であり、これを阻止するためには断固とした態度を取るべきだとするルーズベルトの意向を反映したものだった。しかし、リチャードソンはこれには反対であった。その理由は、
- 真珠湾は合衆国艦隊の主力を駐留させるには施設・防御力が貧弱である
- 米本土から2000マイル以上も離れた洋上の孤島で、補給が困難
- 艦隊をこれだけ進出させると日本を刺激して日米戦争の引き金となる
と、いうものであった。特に防御力については第19回演習の折アーネスト・J・キング中将が真珠湾の海軍工廠への模擬空襲を北西からの奇襲攻撃で大成功を収めていたことも念頭にあった。このような危険を冒すより米本土西海岸サンディエゴに駐留させるべきだと方々を説得し、1941年にはルーズベルト大統領に面会して説得に当たったが、ルーズベルトからの回答は、合衆国艦隊へのハワイ真珠湾常駐命令に反論したため、ジェームズ・リチャードソン大将は1941年1月に太平洋艦隊司令長官と合衆国艦隊司令長官を解任、少将に降格（同年２月）合衆国艦隊司令長官を解任。というものであった。
その後、1941年2月1日付の合衆国艦隊再編（常設職としての合衆国艦隊司令長官廃止）で設けられた太平洋艦隊司令長官に、先任31人（46人という史料もある）を飛び越して（必要時には合衆国艦隊司令長官を兼務）、後任としてアナポリス三期も下のハズバンド・E・キンメルが就任した。
大日本帝国の真珠湾攻撃が起こると真珠湾攻撃陰謀説論者からはリチャードソンの、未来を予言したかのような警告と、警告を受けたのに一切無視してその挙句奇襲を許したルーズベルトの態度に注目が集まったが、リチャードソン本人はこれに対しては特にコメントを残していない。（もし、大統領の意図が日本軍による先制攻撃を望んでいた場合、歴史的な被害を回避する策を否定された彼の軍人としての立場と感情から見て、ルーズベルトのやり方を肯定していたとは考え難いが、戦争という重要局面でルーズベルトの不興を買う気にはなれなかったはずであり、うかつなコメントは藪蛇になるとして口をつぐんだものと思われる。）
1942年10月に階級が大将に戻され、統合参謀本部特別委員会委員として極東国際軍事裁判に従事した。この時、真珠湾作戦を許可した責任を問われ、裁判にかけられていた永野修身元帥海軍大将の裁判での態度（言い訳するようなことは一切せず、すべての責めは自分が負うと言い、終始判決を受け入れる態度を取った）を見たリチャードソンは感銘を受け、人を介して「あの雄大な真珠湾作戦を完全な秘密裡に遂行したことに対し、同じ海軍軍人として被告永野修身提督に敬意を表する」と述べ「マーシャル永野こそ、真の武人である」と称えたとされる（阿川弘之『「大人の見識」p.164』新潮新書）。
これを見た限りでは当時のリチャードソンは、真珠湾攻撃が純粋に日本側の意図によるものだと周囲に印象付ける事に心を砕いていた事が分かる。そして、それが公式に残された彼の最後の活躍でもあった。
1947年1月に退役。退役後はワシントンD.C.で過ごし1974年5月2日に死去した。
アメリカ海軍