Der Sohn eines Verwaltungsbeamten studierte in Tübingen seit 1831 Theologie. Dort trat er 1831 der Burschenschaft „Patrioten Tübingen“ bei. Dort lernte er David Friedrich Strauss und Friedrich Theodor Vischer näher kennen. Mit einer Arbeit über Platons Schrift Nomoi promovierte er 1836. Die Habilitation erreichte er 1840.

Zusammen mit Ferdinand Christian Baur gab er seit 1847 das Organ der Jüngeren Tübinger Schule, die „Theologischen Jahrbücher“ heraus, die aber schon seit 1842 bestanden. Die „Jahrbücher der Gegenwart“ begründete Zeller 1843. An der Universität Bern lehrte er als a. o. Professor seit 1847 Theologie, um dann 1849 nach Marburg zu wechseln.

In Marburg erfolgte der Ruf an den theologischen Lehrstuhl, den er jedoch mangels kirchlicher Lehrerlaubnis wegen seiner historisch-kritischen Forschungsansätze nicht besetzen durfte. Auf Erlass der Regierung musste er an die philosophische Fakultät wechseln. In Heidelberg lehrte er von 1862 bis 1872 als a. o. Professor Philosophie. Mit dem Thema seiner Anrittsrede, „Über Bedeutung und Aufgabe der Erkenntnistheorie“ führte er den Begriff Erkenntnistheorie endgültig in die deutsche Literatur ein. In Berlin lehrte er von 1872 bis 1894 Philosophie, wobei er seine Antrittsrede zum Thema „Über die gegenwärtige Stellung und Aufgabe der deutschen Philosophie“ hielt.

In die Preußische Akademie der Wissenschaften wurde er 1872 aufgenommen, im darauffolgenden Jahr wurde er zum auswärtigen Mitglied der Bayerischen Akademie der Wissenschaften ernannt. 1877 wurde ihm der Orden Pour le Mérite verliehen. Von 1895 an lebte er in Stuttgart. Als Schwiegersohn und Schüler von Baur war er ein bedeutender Vertreter der historisch-kritischen Methode. In der Theologie behandelte er Fragen des Urchristentums. In der Philosophie orientierte er sich erst an Hegel, später an Immanuel Kant. Er gilt als einer der ersten Vertreter des Neukantianismus und des Neukritizismus. Er gilt als der mit bedeutendste Interpret der antiken griechischen Philosophiegeschichte.

Er begründete 1888 das „Archiv für die Geschichte der Philosophie“ mit. Sein erster Beitrag zu dieser Reihe trug den Titel „Die Geschichte der Philosophie, ihre Ziele und Wege“.

Während seiner Zeit als Professor in Marburg begründete er gemeinsam mit Heinrich von Sybel eine wohltätige Einrichtung, die den Armen der Stadt Nahrung und anderes Nötige zukommen ließ.