Nach dem Studium in Freiburg, Würzburg und Straßburg promovierte er 1884 in Straßburg. Bereits 1894, im Alter von 33 Jahren, wurde er zum Direktor der Frankfurter Hautklinik berufen, die er bis 1930 leitete. 10 Jahre später wurde diese zunächst städtische Hautklinik mit der Gründung der Frankfurter Universität in die Universitätsklinik umgewandelt. Aus seinem wissenschaftlichen Werk ragen die Beschreibung der Acrodermatitis chronica atrophicans und der Fieber-Reaktion zu Beginn der Syphilis-Behandlung hervor. Beide Phänomene sind bis heute mit seinem Namen verbunden. Er war ein begeisternder akademischer Lehrer; Peter Bamm, der ihn als Student erlebte, berichet: Sein Kolleg war ein erlesener Genuß. Er blieb in Frankfurt, nachdem ihm 1933 die Nationalsozialisten als Emeritus verboten, die Klinik zu betreten. Er konnte nicht glauben, daß er als international bekannter Forscher bedroht sei und Deutschland verlassen sollte, wie ihm Freunde rieten. Im Alter von 81 Jahren ist er am 27. August 1942 nach Theresienstadt verschleppt worden und dort nach kurzer Zeit elend zu Grunde gegangen. Die Deutsche Dermatologische Gesellschaft verleiht heute eine Karl-Herxheimer-Medaille an verdiente Vertreter ihres Faches.