他の作曲家のヨハネ受難曲と同様に、ヨハネ福音書を骨子として、自由詩によるアリアとレチタティーヴォ、さらに種々のコラールで構成される。旧バッハ全集では68曲とカウントしていたが、新バッハ全集では40曲に改めた。場面は第一部14曲（捕縛からペテロの否みまで）、第二部26曲（ピラトの審問から埋葬まで）、の二部構成である。特に第二部については、曲の配置がシンメトリーになっていることが知られている。
「マタイ受難曲」の台本は、「ピカンダー」のペンネームを持つクリスティアン・フリードリヒ・ヘンリーツィがほぼ一人で執筆した。これに対して、ヨハネの台本は誰の手によるものか判明していない。
マタイ受難曲や聖書オラトリオと同様に、聖書の部分は、地の文を福音史家（エヴァンゲリスト）役のテノールがレチタティーヴォで朗誦していく。登場人物のうち、個人の台詞はソリストに委ねられ、特にバスが担当するイエスの福音は、マタイと同様に弦楽器伴奏をともなうレチタティーヴォ・アコンパニヤートで区別される。カヤパやイスカリオテのユダどころか、同時に磔刑にされた罪人や千人隊長にまで台詞が割り振られたマタイより登場人物が少ないため、ソリストが担当する脇役の人物は、ペテロ（バス）・ピラト（バス）・ペテロを見咎めた召使の女（ソプラノ）の3名に留まる。
逆に、イエスを捕らえる兵隊たち、イエスの死刑を要求する群集などの集団の台詞は合唱によって歌われる。ソリストが多数登場するマタイに比べて、合唱の比重がかなり高い。これはマタイが個人の言葉、ヨハネが群衆の言葉を多用するためである（無罪を要求するピラトに対して司祭たちが脅迫する場面では、マタイ福音書では代表者カヤパの台詞で、ヨハネ福音書では司祭たち全員の怒号で表記されている）。
なお、2箇所に限ってマタイ福音書の劇的な描写が挿入されている。1つ目は第1部の終末、ペテロが3度イエスを否んだ直後に、過ちを悟ったペテロが慟哭する場面を描写したマタイ26章76節である。2つ目は、イエスの絶命直後に起きた天変地異を描写したマタイ27章51-52節である。
この曲に用いられているヨハネ福音書は、当時のライプツィヒで市販されていた聖書とは異なる文体の聖書から引用されている。バッハが過去に就職していた町で流布していた聖書とも一致しない。
この聖書を個人の信仰に結びつける役目を担うのが、自由詩のアリアとアリオーソである。受難の現場を直接目撃する者の視点で描かれる曲だが、8曲分の詩が判明している。一つの台本からではなく、4種以上の受難曲台本から抜粋している。バッハ本人が選者ではないかとする仮説もある。
さらにヨハネに欠かせないのがコラールである。前述のシンメトリー構造の中心軸に据えられているのがコラールであり、ヨハネ全体を締めくくるのもコラールである。教会で受難物語を聞く参列者の視点で、参列者の信仰心を問うものである。
そして大規模な自由詩合唱は、常識的にはオープニングとエンディングに置かれる。現にマタイ受難曲ではそのようになっているが、バッハのヨハネでは、1732年稿を例外として、終曲は合唱の後ろに置かれたコラールが占有している。
構成要素を数で表すと、聖書朗誦17曲（第1部6・第2部11）・自由詩アリア類10曲（3/7）・コラール11（4/7）・合唱2で合計40曲である。
