Le procès de Francfort débuta le 20 décembre 1963 à l’Hôtel de ville de Francfort – non pas suite à des poursuites systématiques, mais à la plainte déposée au printemps 1958 par un particulier contre l’un des futurs prévenus, l’adjudant chef (Oberscharführer) Wilhelm Boger.
En vertu de ses compétences, c’est tout d’abord le parquet de Stuttgart qui fut chargé de l’instruction, puis à partir du mois de décembre de la même année également l’Office central de Ludwigsburg. En janvier 1959, le procureur général du tribunal de Francfort, Fritz Bauer, reçut des documents authentiques prouvant les meurtres ciblés de détenus d’Auschwitz par les SS. Il ouvrit alors immédiatement également une enquête. Fritz Bauer, qui avait été lui-même poursuivi par le régime nazi en tant que juif et social-démocrate, demanda au printemps 1959 à la Cour suprême de justice de Karlsruhe que la compétence juridique pour l’ensemble des crimes commis à Auschwitz soit transférée au tribunal de Francfort. Dans le cadre du regroupement de ces procédures, Fritz Bauer put réunir, sous la houlette d’Hanns Großmann, une équipe de procureurs très motivés et engagés, et qui n’étaient pas impliqués dans des crimes nazis : Georg Friedrich Vogel, Joachim Kügler et Gerhard Wiese.