ニューヨークのスタテンアイランドで、ハンガリー系ユダヤ人の裕福な医者の息子として生まれる。母親のメアリー・ライリー・アトラスは元モデルでミス・アメリカに出場したことがある。
不良少年だったアトラスは、学校を中退、武装強盗などで何度も逮捕され、ライカーズ島の刑務所にも数回服役した[1]。この頃に喧嘩で左頬をナイフで切りつけられ400針も縫う大ケガを負い、その傷跡は今でも残っている[1]。
現在は結婚をして2人子供がいる[2]。
アマチュアボクサー時代に、トレーナーカス・ダマトの指導を受けるが、背中を負傷したことで短い現役生活を終える。1976年にトレーナーへ転向し[2]、ダマトのアシスタントを務めることになる。それからマイク・タイソンのトレーナーを4年間務めることになるが[1]、16歳だったタイソンがアトラスの親類の12歳の女の子に性的な不適切行為（タイソンは尻を触っただけだと話している）をしたことで、アトラスが激怒、38口径の拳銃をタイソンの頭に突きつけて「二度と俺の家族に触れるな、今度やったら俺はお前を殺すからな」と警告した。しかし、このことでアトラスは6年間居たダマトのジムを解雇され[1]、以降ダマトやタイソンと関わることは無くなった。
トレーナーとしてウィルフレド・ベニテス、マイケル・モーラー、シャノン・ブリッグス、アレクサンデル・ポベトキンを指導した一方で、軍隊式の厳しいトレーニングや激情型で気難しい性格が災いして、選手と短期間で喧嘩別れするなどトラブルも少なくない。元WBC世界ライトヘビー級王者のロニー・ラロンドもその1人で、ラロンドは短期間でアトラスの元を離れた後にシュガー・レイ・レナード戦で大金を稼ぐが、アトラスはレナード戦で歩合で受け取るはずだったトレーナー料を稼ぎ損ねたことに逆上。ラロンドを殺すつもりで拳銃を携えてラロンドのアパートへ向かうが、ラロンドが留守だったことで人殺しになってしまうのを免れたと、アトラスは自著に記している。また2009年にウラジミール・クリチコとの試合が決まっていたアレクサンデル・ポベトキンが試合を直前で欠場した際に、アトラスがポベトキンに試合を欠場するよう勧めていたことがわかり大きな批判を浴びた。
シドニー（2000年）、アテネ（2004年）、北京（2008年）、ロンドン（2012年）のオリンピックでNBCのボクシング解説者を務めている。
ESPN2で放送されていたボクシング中継番組『フライデーナイトファイト』で1998年以降、2015年の番組終了まで解説者を務めていた[1]。2008年には特定のプロモーターに便宜を図っていた番組ディレクターの不正を追及したところ、番組スタッフを脅したとされESPNから番組を一時的に降板させられたことがある。
