Karl Sack estudió Derecho en Heidelberg donde se unió a un Burschenschaft, y después de un tiempo en la práctica legal se convirtió en juez en Hesse. Se casó con Wilhelmine Weber y tuvo dos hijos varones. En 1934, Sack se unió al recién fundado Reichskriegsgericht (Tribunal Militar del Reich) donde ascendió rápidamente a una posición sénior. Pudo retrasar el procedimiento contra el Comandante en Jefe del Ejército Werner von Fritsch que había sido falsamente acusado de homosexualidad por la Gestapo en un intento de desacreditarlo por su oposición a los intentos de Hitler de subyugar a las fuerzas armadas alemanas. En otoño de 1942, Karl Sack se convirtió en Juez Abogado General del Ejército.
Durante la Segunda Guerra Mundial, Sack mantuvo contactos con círculos de la resistencia en el ejército, incluyendo al Almirante Wilhelm Canaris, al Mayor General Hans Oster y Hans von Dohnanyi, así como otros dentro del Abwehr (inteligencia militar alemana). Formó parte del intento de asesinar a Hitler en el complot del 20 de julio y tras este fracasado intento fue arrestado el 9 de agosto de 1944. En los últimos días de la guerra, fue llevado ante una corte marcial de las SS presidida por Otto Thorbeck. Fue sentenciado a muerte y colgado dos días después. Sack había sido designado para el papel de Ministro de Justicia en un planificado gobierno civil posterior al golpe de Estado.
En 1984, el papel de Sack como miembro de la resistencia fue recordado con una placa de bronce en el antiguo Reichskriegsgericht en Berlín-Charlottenburg. Hubo cierta oposición a estos honores ya que Sack favoreció un interpretación de gran alcance de lo que constituía deserción, lo que pudo llevar a varias penas de muerte injustificadas.
En Bosenheim, un suburbio de Bad Kreuznach, una calle ha sido nombrada en su honor.
