W nocy z 4 na 5 kwietnia 1854 roku, w tygodniu wielkanocnym, Garwolin spłonął niemal doszczętnie. Ogień strawił sto szesnaście domów mieszkalnych. Murowany był wśród nich dokładnie jeden, a bez dachu nad głową zostało blisko tysiąc dwustu ludzi. Przez większość swoich dziejów Garwolin był miasteczkiem drewnianym, kilka razy odbudowywanym od zera. Zostały po tym ostatnie rzędy drewnianych domów, a obok to, co drewno miało zastąpić: murowana świątynia, dwory na obrzeżach i ceglane koszary.
Najstarszy dom
Przy Sienkiewicza 19 stoi dom, o którym w Garwolinie mówi się, że jest najstarszy w mieście. Jedni datują go na początek XIX wieku, inni cofają aż do XVIII. Zwrócony do ulicy wąskim bokiem, wsparty na dębowych belkach, ma sień przechodzącą na wylot przez cały dom i komin oparty na murowanych łukach. Tak budowano w Garwolinie, zanim miasto spłonęło w 1854 roku.
Spichlerz i park w Sulbinach
W dawnej wsi Sulbiny, dziś na południowym skraju miasta, powstał w pierwszej połowie XIX wieku zespół dworski Orłowskich. Z gospodarczych zabudowań przetrwał murowany, piętrowy spichlerz z około 1835 roku, postawiony nad skarpą niewielkiej rzeczki. W miejscu dworu stoi dziś szpital, a wokół niego trwa trzyipółhektarowy park.
Dwór w Miętnem
Po wschodniej stronie miasta, przy ulicy Studzińskiego, stoi drewniany dwór w Miętnem, postawiony w latach 1840–1842 przez pułkownika Michała Staniukowicza, któremu folwark przypadł ukazem carskim. W sierpniu 1915 roku zatrzymał się tu na kilka dni Józef Piłsudski. Od 1924 roku przez ponad pół wieku działała w dworze szkoła rolnicza, otwarta osobiście przez prezydenta Stanisława Wojciechowskiego. Dwór otacza park z aleją lipowo-dębową o drzewach starszych niż sam budynek.
Drewniane domy
Po pożarze z 1854 roku miasto znów odbudowało się głównie w drewnie. Wzdłuż południowej strony Senatorskiej, a także przy Polskiej i Młyńskiej, stoi kilkanaście parterowych drewnianych domów, stawianych od lat osiemdziesiątych XIX wieku po lata trzydzieste XX. Mają ściany z bali obite deskami, okiennice przy oknach, a przez całą głębokość domu biegnie na wylot sień z kominem wspartym na murowanych łukach. W większości miast takiej zabudowy już nie ma. O podobnej, ocalałej drewnianej zabudowie pisaliśmy przy drewnianych domach Nowego Dworu Mazowieckiego.
Kolegiata Przemienienia Pańskiego
Wcześniejsze świątynie Garwolina płonęły jedna po drugiej. W latach 1890–1909 stanęła przy ulicy Staszica murowana, neobarokowa kolegiata, dziś najokazalszy budynek w mieście: duży kościół na planie krzyża, z dwiema wieżami od frontu. Zaprojektował ją Józef Pius Dziekoński, jeden z najbardziej zapracowanych architektów kościołów w Królestwie Polskim. We wrześniu 1939 roku spłonęła i ta świątynia, więc po wojnie trzeba było ją odbudować.
Koszary
Na skraju miasta stoją ceglane koszary, które postawili jeszcze Rosjanie dla stacjonującego tu do 1914 roku 13. Pułku Dragonów. Z dawnego kompleksu przetrwały między innymi stajnie z 1905 roku. W czasie pierwszej wojny kwaterował w koszarach dywizjon artylerii Legionów, a od stycznia 1923 roku aż do 1939 stał tu 1. Pułk Strzelców Konnych, jedna z bardziej znanych jednostek kawalerii międzywojnia.
Mini-muzeum przy Senatorskiej 39
Jeden z drewnianych domów przy Senatorskiej, postawiony w 1924 roku, mieści dziś małe muzeum miasta. Rodzina Kalbarczyków udostępniła go pasjonatom lokalnej historii, którzy zebrali tam fotografie, dokumenty i mapy dawnego Garwolina. Sam dom też jest eksponatem: drewniana chałupa z sosnowych bali łączonych w narożnikach, z czterema izbami rozdzielonymi przechodnią sienią.