シャークは1958年2月24日にバージニア州ニューポート・ニューズのニューポート・ニューズ造船所で起工した。1960年3月16日にルイス・シェーン・ジュニア夫人によって命名、進水し、1961年2月9日に艦長ジョン・F・ファーガン・ジュニア少佐の指揮下就役する。
予備試験および艤装の後、シャークは整調巡航のため5月にカリブ海へ向けて出航した。巡航後ニューポート・ニューズに帰還し、整調後の検査修理を行い、検収完了に備えた。
シャークは8月12日に地中海に向けて出航、第6艦隊との配備に向かった。これは原子力潜水艦の初の地中海配備であった。シャークの配備は1961年11月14日まで行われた。1962年1月29日、英領西インド諸島のバミューダに向けて出航し、2週間の定時訓練に従事した。続いて3月15日から5月23日まで北大西洋へ展開する。この期間にシャークはポーツマスへ1週間の訪問を行う。8月25日に再び北大西洋での2か月の配備に向かった。バージニア州ノーフォークに帰還すると整備が行われ、作業は1963年1月7日まで続いた。
シャークは8月7日から10月24日まで北大西洋での演習「SUBFALLEX」に参加する。その間にスコットランドのファスレーンに1週間停泊した。1963年の残りは沿岸での作戦活動もしくはカリブ海での対潜水艦戦演習で費やされた。
1964年3月22日、シャークは演習「SUBSPRINGEX77」に参加するためノーフォークを出航し、5月21日に帰還した。6月25日に最初のオーバーホールのためサウスカロライナ州チャールストンへ向かい、作業は6月7日まで行われた。造船所に入渠中シャークは4月5日から5月9日までの活動で「対潜水艦戦能力の分野でアメリカ海軍に対する、大きな価値および重要な結果を達成した」功績により殊勲部隊章を受章している。
シャークは6月7日に海上公試のため出航した。1か月後、前部酸素システムを損傷したためチャールストンでの追加の修理を行う。10月9日、海上公試を通過しフロリダ州キーウェストへ向かい、2週間の魚雷発射管の試験およびワイヤーでガイドされた魚雷の開発計画に従事する。
ノーフォークには10月25日に帰還し、定時訓練および独自の訓練、対潜水艦戦演習に1966年1月8日まで従事する。その後カリブ海で2月7日まで活動し、7月と10月に再び公試を行った。
シャークは1967年1月7日に北大西洋に向けて出航し、3月24日まで特別活動に従事した。この間スコットランドのホーリー・ロッホで2週間を過ごす。4月12日に「対潜水艦戦の分野における知識でアメリカ海軍に著しく貢献した」功績により2度目の殊勲部隊章を受章した。5月16日にノーフォークを出航し、ノバスコシア州ハリファックスに向かう。これはカナダに対する原子力潜水艦の初の訪問であった。シャークはカナダ海軍の対潜水艦戦部隊と共に演習を行い、その後母港に帰還した。
1967年6月11日、シャークはノーフォーク海軍造船所で初の燃料交換の準備に入り、1968年3月に作業は完了した。1968年の残りと1969年は沿岸での活動および特別任務に従事した。
1970年1月1日から1971年8月9日までノーフォークで乾ドックに入渠し、1971年の残りと1972年は東海岸沿いに回復訓練および様々な公試を行い、1972年5月31日から11月19日まで第6艦隊との展開を行った。
シャークは1986年10月16日に予備役状態に置かれ、1990年9月15日に正式に退役、同日除籍された。船体は原子力艦再利用プログラムに従ってワシントン州ブレマートンで1995年10月1日に解体が始められ、1996年6月28日に解体が完了した。
