Fast jede Kleinstadt besaß in früheren Zeiten einen Pulverturm. Der Dresdner jedoch war mit einer Höhe von 23 Metern ein wahrer Riese. Vermutungen, dass er 1565 aus einer Windmühle umgebaut wurde, sind nicht belegbar. Nachgemessen wurden 18 Meter Durchmesser, das sind etwa 33 Dresdner Ellen. Die ebenfalls ermittelte größte Mauerdicke von über 2 Metern wäre für eine Windmühle sehr ungewöhnlich gewesen.

Fest steht, dass der Pulverturm Teil der Dresdner Befestigungsanlage war und zur Aufbewahrung des Schießpulvers diente. Pläne und Grundrisse aus den Jahren 1591 und 1592 u.a. von Festungsbaumeister Paul Bucher beweisen dies. Ein Holzschnitt von 1594 zeigt den Baufortschritt, bei dem auch Schäden eines Blitzeinschlags von anno 1585 beseitigt wurden. Bis ins 17. Jahrhundert gehörte der Pulverturm nun zur auf allen Stichen und Gemälden gezeigten „Türmegalerie“ Dresdens. Nachdem man 1744 die Pulvervorräte in die drei Türme an den Neustädter Wällen umlagerte, wurde er bis auf die noch heute vorhandenen Mauerreste abgerissen.

Auf königlichen Erlass erhielt Johann Christoph Knöffel das Land hinter der Frauenkirche geschenkt, wo er zunächst zwei Gebäude errichtete, wovon eines die Porzellanmanufaktur beherbergte. 1760 wurden beim Beschuss der Stadt diese beiden Gebäude fast vollständig zerstört. Drei Jahre später erwarb Friedrich August, Reichsgraf von Cosel, Sohn des sächsischen Kurfürsten August des Starken und der Reichsgräfin von Cosel, die Ruine des Knöffelschen Gebäudes. Er ließ von Julius Heinrich Schütze, einem Schüler Knöffels, den Ausbau zum Coselpalais in der heute wieder entstandenen Form durchführen.

Im Untergeschoss finden sich noch immer die beeindruckenden, historischen Fragmente des Pulverturms sowie ein Gewölbe des Knöffelschen Hauses aus dem 18. Jahrhundert. In Anlehnung an die militärische Vergangenheit Sachsen entstand im Frühjahr 2000 das Restaurant „Pulverturm an der Frauenkirche“.