Durch den gleichen Schenkungsakt, wie er bei den umliegenden Gemeinden stattfand, wurde der Ort 1325 durch Johann von Wustehube, (auch Westerhube genannt) an das Kloster Kamenz geschenkt. Schon bald darauf kaufte der Landesherr das Gebiet zurück, und gliederte es der Herrschaft Goldenstein an.
Das genaue Gründungsjahr des Ortes kann man nur schätzen, es dürfte wohl auch ungefähr das Jahr 1280 gewesen sein.
Die älteste aller bekannten obrigkeitlichen Schenkungen an ein Erbgericht im Kreis Mähr.-Schönberg ist die in Waltersdorf : 1422 verlieh Ignaz von Waldstein, damals Herr auf Goldenstein
„ dem Waltersdorfer Richter Nikolaus Stöhr zum Erbgericht 2 1/2 Huf Land auf ewige Zeit"
und stattete ihn mit Vorrechten aus.
Wie bei den meisten anderen Gemeinden im oberen Marchtal, wurde auch Waltersdorf vermutlich im Jahre 1432 durch die Husitten zerstört und entvölkert.
Eine Besonderheit ist dabei zu bemerken: Waltersdorf ist einer der wenigen Orte, der wohl durchgängig von der Gründung bis zur Vertreibung den gleichen Namen hatte. Das könnte bedeuten, das die Bevölkerung sich zu einem nicht unwesentlichen Teil retten konnte, und nach der Husittenzeit sich wieder dort ansiedelte. Bei den umliegenden Orten änderte sich meist der Ortsname durch die Neubesiedlung nach 1500.
Nach der Vernichtung begann eine schwierige Zeit, die Umgebung von Goldek (Altstadt) und Goldenstein wurde von rivalisierenden adeligen Räuberbanden terrorisiert. Deshalb wurde Waltersdorf, wie auch die westlich davon liegenden Gemeinden von Eisenberg regiert. Die Eisenberger hatten sich wohl nach Böhmen orientiert, und sich mit den Husitten geeinigt, vermutlich waren sie deshalb noch ein vermögendes Herrscherhaus. Von den Eisenbergern wurde schon ein Jahr nach Beendigung der Husittengreuel die Glashütte im Glasdörfl gegründet, und der Ort Klein-Mohrau zwischen 1436 und 1460 wiederaufgebaut. Während Goldek im Jahre 1460 ein zweites Mal zerstört wurde, hatte sich die Herrschaft der Eisenberger wohl so gefestigt, das sie den Räuberbanden standhalten konnten.
Die Eisenberger Herrschaft hatte sich nach den Husittengreueln auf das nördliche Marchufer ausgedehnt. Nach 1500 hatte sich die Goldensteiner Herrschaft wohl wieder soweit gefestigt, daß von deren Seite wieder verwaiste Orte wie z.B. Woitzdorf neu besiedelt wurden. Die Siedler kamen wieder aus Schlesien, und so war bis zur Vertreibung die Mundart von Klein Mohrau und Woitzdorf auf engstem Raum unterschiedlich. Im Zuge der Erstarkung der Goldensteiner wichen die Eisenberger wohl wieder auf das südliche Marchufer zurück. Das von den Eisenbergern als Stadt geplante Grumberg entwickelte sich im Laufe der Zeit wieder zurück zum Dorf.