Zájezdní hostinec Veselka se v pramenech objevuje poprvé v 17. století. Stál na západní straně města vedle městského hřbitova, na dnešním Zeleném předměstí, pod číslem popisným 76. Největší proměnou prošel podnik v polovině 19. století, kdy ho majitelé po požáru nákladně přestavěli na jednopatrovou moderní budovu.
Od roku 1802 byla Veselka ve vlastnictví rodiny Kašparovy, když ji zakoupil František Kašpar (1768–1842), a o 81 let později se zde narodil Jan Kašpar (1883–1927), budoucí průkopník aviatiky. Hostinec fungoval jako středobod společenského života v Pardubicích. Pořádaly se tu koncerty, přednášky, bydleli zde významní hosté. Například v roce 1873 hrál ve Veselce Bedřich Smetana.