マンハッタン出身のジミー・キャスターは1956年にジミー&ザ・ジュニアーズというグループを結成し、自作の「I Promise to Remember」を録音した（クレジットはジミー・スミスとの共作）。これをフランキー・ライモン&ザ・ティーンエイジャーズがシングルとして発表しヒット。キャスターはティーンエイジャーズへの加入を打診されるが、断った[2]。
サックス奏者でもあるジミー・キャスター[3]は1970年代から「ジミー・キャスター・バンチ（The Jimmy Castor Bunch）」というグループを率いて活動していたがヒットには恵まれなかった。1972年、グループは次のような語りで始まるファンク音楽をレコーディングした。
そのころ人類は、洞穴に住む男、洞穴に住む女、
ネアンデルタール人といった奴らしかいなかった。つまり "トログロダイト" だ。ここで平均的な穴居人の暮らしを見てみよう。穴居人は家でステレオを聞いている。やがて動き始める。こんなふうに。「踊るぞ、踊るぞ」。だけれどやがて一人で踊ることにも飽きて、鏡を見て叫ぶんだ。「女を探しに行かなくちゃならねえ」
1972年4月に発売されたシングル「原始穴居人」のB面は前述の「I Promise to Remember」だった[1]。ビルボード・Hot 100で6位、R&Bチャートで4位、カナダで1位[4]を記録するなど大ヒットとなった。ビルボードの1972年の年間チャートでも80位を記録した。本作を収録したアルバム『It's Just Begun』もBillboard 200で27位を記録した[5]。