Nach der alten Chronik von 1842 soll Hedwig, die Gemahlin des Grafen Friedrich von Brehna, die große Stadtkirche und nördlich der Stadt das Augustinerkloster 1214 gegründet haben. Die erste und älteste schriftliche Urkunde über das Kloster in Herzberg stammt aus dem Jahre 1476.

1487 verwahrloste das Augustinerkloster derart, dass Sammlungen in den Orten für die Renovierung notwendig wurden, die 1492 beginnen konnte. Durch die Reformation verlor das Klosterwesen maßgeblich an Bedeutung.

1522 zogen die letzten Mönche mit ihren Prior aus und Ostern 1522 wurde das Kloster dem Kurfürsten übergeben, wobei auch Dr. Martin Luther, von Torgau kommend, in Herzberg weilte.

Am 29. September 1572 übergab der Kurfürst August das Augustinerkloster der Stadt Herzberg gegen einen jährlichen Erbzins. Schon ab 1531 wurde das Kloster in städtischen Rechnungen als Marstall, später als Vorwerk oder Stadtgut geführt.

Der Marstall mag ehedem ein landesherrliches Gestüt gewesen sein, welches der Stadt in früherer Zeit gegen die Verpflichtung Hengste für die Pferdezucht der ganzen Gegend zu halten, übernommen hat. Später ist dann von Pferden überhaupt kaum noch die Rede, man beschränkt sich vielmehr darauf, Rindvieh zu halten. Die Wirtschaft wurde von dem Marställer auf Rechnung der Ratskämmerei besorgt. Diese standen, wie die übrigen Diener in den Rates Lohn und bekamen außer ihrem Gehalte, Kleidung und ein Deputat an Holz. Getreide und Salz. 1578 überließ der Kurfürst August auf Bitten des Rates und der Bürgerschaft diesen unter Verzicht auf jeden Erbzins das Klostergehöft für Wohnungen des Pfarrherrn, den Kirchen- und Schuldienern und dem Stadtschreiber.

Am 30. Juni 1819 wurden die ehemaligen Klostergebäude, Stall und Wohnhaus vom Rat der Stadt an Frau Christiane Dorothea Kunze nebst Gärten verkauft. Das Wohnhaus wurde abgerissen. Das ehemalige Stallgebäude aus Fachwerk, welches 1832 zu Wohnhäusern umgebaut wurde, ging in den Besitz der Familien Leubauer und Lösche über, denen es heute noch gehört. Es ist das älteste noch erhaltene Gebäude in Herzberg. Die alte Klosterkirche wurde 1825 von der Brauereigenossenschaft erworben und für die eigene Nutzung umgebaut. Am 08. Dezember1868 ist diese abgebrannt.

Man kann also von 3 Perioden der Nutzung des Klosters sprechen:

1. als Augustinerkloster von der Gründung bis 1522

2. als Wirtschaftsgebäude der Stadt Herzberg von 1531 bis 1819 und

3. als Brauereigebäude ab 1825 bis zum Brand am 08.12.1868