Nejstarší dochovaná písemná zpráva o existenci Pardubic z roku 1295 hovoří o zdejším klášteře křižovnického řádu cyriaků při kostele sv. Bartoloměje, přičemž mniši tehdy spravovali ještě další kostel sv. Jiljí v dnešní předměstské čtvrti Pardubičky. V místech nynějšího zámku stálo již tenkrát panské sídlo, vystavěné u důležitého labského brodu, který byl rovněž výběrčím místem cla za plavení dřeva. V této době měly ovšem Pardubice za sebou už zhruba stoletý vývoj, jak v náznacích dokládají pozdější archeologické nálezy.
Někdy mezi lety 1332 a 1340 se z Pardubic zásluhou jejich tehdejšího majitele Arnošta z Hostýně stává poddanské městečko. Arnoštův rod se později psal se šlechtickým titulem jako páni z Pardubic a město také posléze přijalo za svůj i jejich rodový znak - bílou (stříbrnou) přední půlku koně se zlatou uzdou na červeném poli. Nejvýznamnějším představitelem rodu se stal Arnošt z Pardubic, první pražský arcibiskup, který spojil svou životní dráhu s králem a císařem Karlem IV. Byl jeho nejbližším rádcem, důvěrníkem a významným diplomatem té doby.
Arnoštův synovec Smil Flaška z Pardubic a Rychmburka proslul jako autor staročeské veršované skladby Nová rada, alegorické satiry na poměry na dvoře krále Václava IV., jejíž literární úroveň ovlivnila na další století vývoj české poezie. Smil však nakonec o Pardubice přišel v soudním sporu právě s Václavem IV. a jejich novým majitelem se stal králův oblíbenec Hanuš z Milheimu. Na počátku husitských válek již ale Pardubice patřily stoupenci husitů Viktorinu Bočkovi z Kunštátu, otci pozdějšího českého krále Jiřího z Poděbrad, zatímco na jejich konci přešly do majetku Diviše Bořka z Miletínka, který si nechal postavit nové sídlo na nedaleké Kunětické hoře.
Páni z Pardubic mají ve znaku přední polovinu koně se zlatou uzdou na červeném poli. O vzniku tohoto erbovního znamení se dochovala tato pověst: Český král Vladislav II. táhl roku 1158 společně s císařem Fridrichem Barbarossou do Itálie pokořit město Milán a v této válce se vyznamenali čeští bojovníci svou statečností. Při jednom nočním nájezdu na město se jim podařilo ukořistit koně a válečné zástavy Milána. Milánští se ale začali útokům bránit a Čechy vytlačovali z města. Na posledního z unikajících bojovníků a jeho koně spustili mříž brány. Bělouš, ač přeťatý v půli, ještě chvíli svého pána nesl. Statečný zbrojnoš jménem Ješek si věrného půlkoně naložil na bedra a donesl až do ležení svého krále Vladislava II. Za svou neohroženost dostal od krále do erbu onu přední půlku koně. Tato pověst je vyobrazena i na Zelené bráně.