ニューヨークで労働者階級の東欧ユダヤ系の家庭に生まれ育つ。成功してからは、自らの出自を軽蔑していたふしが見られる。車掌として働いた後、楽譜の印刷会社で営業をしていたのがきっかけでユニバーサル映画に入社（ユニバーサルには既に兄ジャック・コーンがいた）。1924年、兄およびハリー・ブラントと共にコロムビアの前身であるCBC映画販売社の創立に加わる。兄ジャックがニューヨークで財務を担当したのに対して、ハリーはハリウッドにおける映画製作を担当した。兄弟の仲は時としてしっくり行かなかったが、ブラントはハリーと親しくなり、やがて会社の株の3分の1をハリーに売り渡すまでになった。
コーン兄弟の時代にコロムビアは急成長を遂げた。最初は主にB級映画を作っていたが、やがて名匠フランク・キャプラを迎え、ジーン・アーサー、スリー・ストゥージズ(三ばか大将)、リタ・ヘイワース、ウィリアム・ホールデンなどの名優を配して評価を上げた。ハリー・コーンが牛耳っている間はコロムビアは絶対赤字になるまいと、業界ではもっぱらの噂だった。
コーンは独裁的かつ威嚇的なやり方で有名だった。従業員からは「ハリウッド始まって以来の完全な暴君」と呼ばれ、スタジオを「私的警察国家のように」牛耳っていると評された。「スタジオのあらゆる音声機器には盗聴器が仕掛けてあって、誰かに悪口を言われようものなら、すぐさま拡声器で怒鳴りつける」との評判だった。従業員のやる気を最大限に引き出すため、あるいは単にスタジオでの支配力を増大させるために、暴君としての評判が壊れないよう細心の注意を重ねていたという説もある。彼は1933年にイタリアでムッソリーニに会い、サイン入りの肖像写真を貰って、第二次世界大戦が始まるまで机の上に飾っていた。マフィアのジョン・ロッセーリは旧友であり、ユダヤ系ギャングのアブナー・ツヴィルマンからは、ブラントから会社の株を買い占めるときに資金を借りた。出演契約をエサにして女優にセックスを要求したという話もあるが、この種の要求自体は、当時のハリウッドのプロデューサーとしては別に珍しくもなかった。
1949年にオスカーに輝いた政治映画『オール・ザ・キングスメン』（コロムビア社製作）では、主役の権力にとりつかれ横暴になった政治家を演じるブロデリック・クロフォードは監督のロバート・ロッセンから『この役を演じるにはハリー・コーンを思い浮かべてくれればいい』とアドバイスを言われたという。
既にアカデミー賞助演男優賞に複数回ノミネートされた実績のあるピーター・フォークに対して「同じギャラを払うなら、ちゃんと2つ目がある役者を使うよ」と発言し、オーディションで落とした。
1958年に亡くなった際には大規模な葬儀がおこなわれた。出席者の一人レッド・スケルトンは、「『人が見たがっているものを出せ、そうすりゃ人は見に来るんだ』と言うが、本当だね」と冗談を言った。（ゴシップコラムニストのヘッダ・ホッパーは「ハリーを嫌うには、行列に並ばなきゃね」と付け加えた。）。葬儀を締めくくる献辞はクリフォード・オデッツの文章をダニー・ケイが代読したもので以下の内容だった。
（
ダニー・ケイ）「ハリー・コーンの幅広さと大きさは、私たちが二度と見ることのない古い時代のものでした。ハリー・コーンと彼の尽きることのない活力を知ることができたのは私の喜びです -- 彼は忘れられない男でした
」。
ハリーの亡骸は、ロサンゼルスのハリウッド・フォーエバー墓地に埋葬された。
