Der Ort wird 1380 erstmals urkundlich erwähnt und bewahrt in seinem Namen offensichtlich die Erinnerung an einen deutschen Kolonisten bzw. Bauernführer namens Volkmar, welcher das Dorf wohl im Zuge der großen Siedlungsbewegung nach 1150 gründete. In früherer Zeit tritt Fermerswalde auch als Rittersitz in Erscheinung, und als ausdrücklich "zu Volkmarswalde" sesshaft wird 1424 der Besitzer Oswald von Czemen genannt. In der zweiten Hälfte des 15.Jahrhunderts und der ersten Hälfte des 16. Jahrhunderts findet sich hier das Geschlecht der Falk(en), die auch Rechte über Triestewitz, Arzberg, Nichtewitz und Bleddin besaßen.
Als letzter steinerner Zeuge des Familienbegräbnisses ist in der Dorfkirche das Epitaph der Sophie von Falk, geb. von Sahlhausen, erhalten geblieben. Der Grabstein als auch der davor befindliche Taufstein vermitteln die Tragik des Schicksals jener jungen Frau, die in den Ostertagen des Jahres 1542 am 9.Tage ihres Wochenbettes verstorben ist und ihr einziges Kind nicht mehr zur Taufe tragen konnte. Nach 1555 wird Fermerswalde durch den Kurfürsten erworben und untersteht fortan der Botmäßigkeit des Amtes Lochau / Annaburg. Im Dorfe sind 1529 10 Hüfner und 2 Gärtner ansässig.
In besonderer Weise war die Gemeinde 1576/77 vom Ausbau des Neugrabens, eines im Durchschnitt 6-8m breiten und etwa 30 km langen Flößkanals betroffen, denn ein Teil der westlich des Dorfes gelegenen Nachtheide fiel den Bauarbeiten zum Opfer. Immerhin konnte die Dorfschaft 1579 eine Entschädigung durch Einräumung anderer Flächen aushandeln.
Es mag wohl auf diese künstliche Wasserstraße als auch die ungünstige Niederungslage zwischen Elbe und Elster zurückzuführen sein, dass Fermerswalde oft zu den hochwassergefährdeten Ortschaften gehörte.
Im April 1785 mussten hier z.B. Reisende, welche von der Leipziger Messe zurückkamen, per Kahn nach Herzberg übergesetzt werden.

Das wilhelminische Zeitalter bringt für die Gemeinde gleich zwei infrastrukturelle Errungenschaften, die Eröffnung der Leipzig-Frankfurter-Chaussee (1872) und die Einweihung der Eisenbahnlinie Falkenberg - Wittenberg im Jahre 1875 (Einrichtung Haltestelle Fermerswalde 1876). Als landschaftstypische Gewerbezweige entstehen 1907/08 ein Sägewerk und eine Mahlmühle, 1909 schließlich eine Molkerei. Die Fermerswalder Dorfkirche, im Kern ein spätgotisches Bauwerk aus Backstein und Raseneisenstein, erlebte in den letzten 60 Jahren entscheidende bauliche Veränderungen.
1933 z.B. wurde der 1771 errichtete Fachwerkturm, welcher baufällig war, abgetragen und durch einen schlichten Rechteckturm mit flacher Haube im Stile der Zeit ersetzt. Nach einem Brand im Jahr 1953 schließlich wurde der knapp 20 Jahre alte Turm auf Betreiben des Institutes für Denkmalpflege abgerissen und eine Rekonstruktion nach dem Vorbild des alten Turmes von 1771 vollzogen.
Zu den Sehenswürdigkeiten der Gemeinde gehört des Weiteren eine etwa 90 Jahre alte stattliche Lindenallee im Kern des Dorfes.

Ortsvorsteher:

Matthias Jankowski