Herz war der Sohn sehr armer Eltern, die für ihn eine kaufmännische Laufbahn vorsahen. 1762 zog die Familie nach Königsberg, Ostpreußen. Seine Anstellung gab Herz jedoch bald auf, um sich an der Universität einzuschreiben und Vorlesungen bei Immanuel Kant zu hören. Er musste seine Studien jedoch bald aus finanziellen Gründen unterbrechen und wurde Sekretär eines vermögenden Russen, mit dem er die Baltischen Provinzen des Russischen Reiches bereiste. Im Jahr 1770 kehrte Herz nach Deutschland zurück und nahm ein Medizinstudium in Halle auf. Bereits 1774 wurde er Doktor der Medizin und ging nach Berlin zurück, wo er Assistenzarzt am Jüdischen Krankenhaus wurde. Ab 1777 hielt er Vorlesungen über Medizin und Philosophie, die sich großer Beliebtheit erfreuten. Auch Mitglieder der Königlichen Familie besuchten seine Vorlesungen.