W połowie XVI wieku Katarzyna Wołłowiczówna zapisała swojemu drugiemu mężowi – Piotrowi Wiesiołowskiemu (zm. 1556r.) dobra białostockie. Ponadto Wiesiołowscy związani byli z dworem Zygmunta I Starego a następnie jego syna Zygmunta Augusta. Według legendy Piotr Wiesiołowski podczas jednego z polowań uratował życie Zygmuntowi Augustowi, za co otrzymał liczne starostw
Piotr Wiesiołowski sprowadził do Białegostoku Joba Preytfusa zwanego też Bretfusem, budowniczego zamku tykocińskiego i królewskiego dworca w Knyszynie. Pod jego kierownictwem powstaje murowana, dwukondygnacyjna kamienica zwana też zamkiem, której mury tkwią dotychczas w środkowej części pałacu.
Zgodnie z ówczesnymi tendencjami, obronna budowla posiadała gotycko-renesansowe formy architektoniczne. Do dzisiaj zachowały się elementy gotyckich sklepień oraz odkryte okienko piwniczne od strony dzisiejszej elewacji ogrodowej.
Białostocka kamienica Wiesiołowskich oblana była wodami rzeki Białej i licznymi strumieniami. Ponadto do dziś w ogrodach możemy oglądać fragmenty dawnych umocnień obronnych. Na krańcu południowo-zachodnim ogrodu górnego zachował się szczątek bastionu oraz dawna fosa przekształcona później w parkowy kanał.
Białystok w rękach Wiesiołowskich pozostawał do 1637 roku, kiedy umarł ostatni jego dziedzic-Krzysztof. Znany był on ze swej ofiarności i licznych fundacji na rzecz Kościoła. W Tykocinie ufundował m.in. Alumnat czyli Zakład dla Inwalidów Wojennych. Po jego śmierci dobra białostockie zostały włączone do królewskiego starostwa tykocińskiego.