Das Verhältnis zwischen Markt und Herrschaft war zumeist ein sehr trübes. Beim bereits erwähnten Verkauf der Herrschaft Aspang im Jahre 1515 an Siegmund von Dietrichstein fehlt eine besondere Nennung des Marktes in der Verkaufsurkunde. Der landesfürstliche Markt, bisher vom Landesherrn verpfändet, stellte fortan eine eigene administrative Einheit neben der Herrschaft dar.
Auch der Kaufbrief des Jahres 1555, durch den die Herrschaft an die Königsberger ging, schränkte die Rechte des freien Marktes nicht ein. Dennoch untergruben gerade die Königsberger in Verfolgung ihrer Interessen die Freiheiten des Marktes bis zu dessen völliger Rechtlosigkeit. Die schlimmste Zeit für den Markt war die Herrschaft von Wolf Matthäus von Königsberg. Unter anderem nahm er dem Markt sein verbrieftes Recht, einen Marktrichter zu wählen, und bestimmte diesen selbst.
1615 beraubte er den Markt seines alten Bannbuches und des Rechts, über seinen Wald und Besitz frei zu verfügen. Proteste der Bürger beantwortete die Herrschaft mit Verhaftungen. Sie erpresste von der Bürgerschaft einen Vertrag, in dem die von der Herrschaft widerrechtlich angeeigneten Rechte anerkannt wurden. Die Richter wurden gezwungen, die von der Herrschaft verlangten Urteile zu fällen. Weigerten sie sich, mussten sie hohe Geldstrafen entrichten oder wurden gar eingekerkert.
Viele dem Markt von der Landesregierung verliehene Rechte, wie Markt- und Mautrechte, wurden von den Königsbergern missachtet oder mit Gewalt unterdrückt. In höchster Bedrängnis wandten sich 1624 die Bürger des Marktes um Hilfe an die Landesregierung. Diese erließ nun eine ausführliche und gründliche Verordnung, in der das Verhalten der Herrschaft verurteilt und diese angewiesen wurde, die alten Rechte des Marktes Aspang zu achten, die kaiserlichen Freiheiten nicht anzutasten und das geraubte Bannbuch zurückzuerstatten.
Auf eine ablehnende Erwiderung der Herrschaft folgte ein von Kaiser Ferdinand II. persönlich an Wolf Matthäus von Königsberg gerichteter Erlass, indem er ihm eine Strafe von 2000 Golddukaten androhte, sollte er nicht unverzüglich dem kaiserlichen Befehl Folge leisten.
Nach dem Tod dieses Königsbergers, der keine Erben hinterließ, kam die Herrschaft durch Kauf 1653 an Karl von Pergen. Zwar war zunächst das Verhältnis zur Herrschaft besser als unter der Zeit der Königsberger, doch blieben genügend Reibungsflächen, die ein friedliches Nebeneinander unmöglich machten. So versuchte 1749 die Herrschaft, die Instanz des Marktgerichtes auszuschalten und jede strafgerichtliche Untersuchung im Schloss durchzuführen. Die empörte Bürgerschaft Aspangs strengte daraufhin einen Prozess gegen die Herrschaft an, der am 30. April 1749 mit einem Urteil im Sinne der Beschwerdeführer endete.
1757 wurde die Herrschaft mit grundrechtlichen Ansprüchen, besonders aber mit ihrem Verlangen nach Einhebung der Marktgebühren, was ein altes Recht des Marktes war, abgewiesen. Dennoch kam es 1759 zu einem Vergleich, nach dem die Marktgebühren von Unteraspang von der Herrschaft, jene von Oberaspang wie bisher vom Markt eingehoben werden sollten. In den folgenden Jahren wurde die Herrschaft, die oft genug bereits ergangene Urteilssprüche einfach ignorierte mit verschiedenen Ansprüchen vor Gericht abgewiesen.
1778 etwa wurde die Herrschaft angewiesen, das Einheben von Rekruten im Markt einzustellen und die dem Markt widerrechtlich abgenommenen Konskriptionslisten zurückzuerstatten. Dennoch war der beharrliche und zähe Kampf der Herrschaft von einem gewissen Erfolg gekennzeichnet, als die Regierung 1779 schließlich die Einsetzung einer Kommission beschloss, die endgültige Entscheidungen in allen strittigen Fragen fällen sollte. Das Ergebnis war allerdings für die Herrschaft vernichtend, bestätigte doch die Kommission den Markt in allen seinen Rechten.
Dennoch gab die Herrschaft nicht nach. Als sie mit Gewalt die Erfüllung ihrer Ansprüche zu erzwingen versuchte, richteten die Bürger des Marktes 1783 ein Gesuch an Kaiser Josef II., in dem sie baten, ihre Rechte gegen die Ansprüche der Pergenschen Herrschaft zu schützen. In seiner Antwort bestätigte der Kaiser die Rechte Aspangs und erließ ein mit dem 2. Jänner 1784 datiertes Dekret, mit dem nochmals bekanntgegeben wird, dass der freie Markt Aspang in Rechtsangelegenheiten nur dem niederösterreichischem Land unterstellt sei.
1786 verfasste die Bürgerschaft eine Erklärung, dass sie die Rechte des freien Marktes behaupteten, keine andere Obrigkeit als den Marktrat anerkennen und die für den Magistrat notwendigen Gelder je nach Vermögen des betreffenden durch Zahlungen aufbringen wollten, sobald die Schulden, die durch die zahlreichen Prozesse zustande gekommen waren, getilgt wären.
So wahrte der Markt unter dem Schutz der Landesregierung mit Zähigkeit und Ausdauer seine Rechte. Dass der Konflikt mit der Herrschaft noch lange andauerte, beweist ein Vorfall aus dem Jahre 1835, als sich die Marktgemeinde weigerte, Zuschriften, die sie von der Herrschaft erhielt, anzunehmen und diese ungeöffnet zurückschickte. Der Grund lag darin, dass die Herrschaft in der Anschrift offenbar mit Absicht die Bezeichnung “Freier Markt“ weggelassen hatte. Daraus entstand nun wiederum ein Prozess, der aber der letzte in einer langen Reihe sein sollte.
Als nunmehr die Landesregierung erklärte, bei weiterer Nichtbeachtung ihrer Entscheidungen schärfer gegen die Herrschaft vorzugehen, lenkte diese nach achzigjährigem, fast ununterbrochenem Rechtstreit ein und erkannte die Rechte des freien Marktes an. Sichtbares Zeichen der Versöhnung der einst so verfeindeten Parteien war die Verleihung der Ehrenbürgerschaft von Aspang an Graf Johann Anton von Pergen Jahr 1891.
Gräflich Pergensche Familiengruft (um 1880)