Das Keltertor bildet den befestigten Zugang zur Bergstadt vom Klingenteichtal aus. Direkt nördlich des Tores lag die kurfürstliche Hofkelterei, die dem Tor seinen Namen gab.
Das genaue Erbauungsdatum des Turmes ist nicht bekannt. Im Allgemeinen wird eine Erbauung im Jahre 1555 angenommen. Begründet wird dies mit einem Schlußstein eines Torbogens, auf dem die Jahreszahl 1555 eingemeißelt ist. Nach GOETZE (1999) stammt dieser Schlußstein allerdings von der Hofkelterei. Wahrscheinlicher erscheint ein Erbauungsdatum, das mit dem Bau einer Mauer zum Schutz der Bergstadt zusammenfällt. Bereits im so genannten Schatzungsverzeichnis von 1439 werden in der Auflistung der Bewohner "vor dem Berge" ein Torwächter und zwei Turmknechte genannt. Es kann davon ausgegangen werden, dass diese drei Personen den Kelterturm bewohnt haben. Die Wohn- und Lebensbedingungen im Turm sind ärmlich gewesen; jedes der bewohnbaren Stockwerke hatte nur eine Fläche von ca. 15 qm. Eine aus dem 19. Jahrhundert stammende Grundrisszeichnung zeigt eine Mauerdicke im Süden und Norden von knapp 1,7 Metern, was auf einen wehrhaften Turm hinweist. Das auf dieser Zeichnung zu erkennende Treppenhaus im Norden wurde erst nachträglich errichtet.
Das Keltertor wurde im Zusammenhang mit dem Bau der Neuen Schlossstraße im Sommer 1877 abgerissen.