W 1777 roku Grójec liczył zaledwie 59 domów skupionych wokół rynku. Pozostałą zabudowę pochłonęły wojny XVIII wieku. Prawie wszystko, co stoi tu dziś, powstało w XIX wieku, gdy miasto odbudowało się jako siedziba rosyjskiego garnizonu, a potem powiatu. Starszy jest tylko gotycki kościół na wzgórzu, przy którym według tradycji ochrzczono Piotra Skargę.
Kościół św. Mikołaja
Najstarsza warstwa Grójca leży na wzgórzu w północno-zachodniej części miasta. Gotycki kościół świętego Mikołaja ufundował książę mazowiecki Janusz I Starszy, a część z ołtarzem głównym ukończono w 1398 roku. W środku stoi piaskowcowa chrzcielnica z datą 1482 i herbem szlacheckim Półkozic. Według miejscowej tradycji ochrzczono przy niej Piotra Skargę, kaznodzieję i autora „Kazań sejmowych”, urodzonego pod Grójcem w 1536 roku. Skarga uczył się potem w tutejszej szkole parafialnej. Obok kościoła stoi drewniana dzwonnica z 1889 roku.
Rynek i ratusz
Rynek jest prostokątny, mniej więcej 45 na 60 metrów, a z każdego jego narożnika wychodzą po dwie ulice. W północnej pierzei, przy Placu Wolności 2 , stoi ratusz z około 1821 roku. Bywa przypisywany architektowi Hilaremu Szpilowskiemu, który stawiał klasycystyczne ratusze także w pobliskim Piasecznie i Mogielnicy, choć autorstwo grójeckiego budynku nie jest pewne. Parter pokrywają poziome bruzdy udające kamienne bloki, a na dachu siedzi wieżyczka z tarczami zegarowymi. W dawnej siedzibie władz miejskich działa dziś Urząd Stanu Cywilnego.
Na dobre życie wróciło jednak do miasta dopiero w latach 30. XIX wieku, gdy zbudowano drogę bitą do Warszawy i gdy stanął tu rosyjski garnizon. W połowie stulecia rynek obudował się zwartą zabudową, w większości parterową i jednopiętrową, ze skromnymi klasycystycznymi ozdobami.
Dawna poczta
Na południe od rynku, przy Alei Niepodległości 6 , wzniesiono w pierwszej połowie XIX wieku pocztę. Wygląda jak klasycystyczna willa: siedem okien w rzędzie, wysunięta do przodu część środkowa i mocno wystający gzyms pod dachem. Po bokach dziedzińca zostały bramy wjazdowe oraz dawna stajnia i wozownia.
Przy tej samej alei, pod numerem 20 , stoi klasycystyczny gmach urzędowy z czasów, gdy Grójec został stolicą powiatu. Rosyjska reforma z 1867 roku rozpisała nowe powiaty na całe Królestwo Polskie, a grójecki powiększono jeszcze w 1879 roku. Dziś w budynku mieści się Prokuratura Rejonowa.
Kaplica Makowskich
Główną aleję cmentarza katolickiego przy ulicy Mszczonowskiej zamyka kaplica Makowskich, klasycystyczny grobowiec jednej rodziny, postawiony w 1851 roku przez Leonarda Makowskiego. Wejście ujęto parami płaskich półkolumn pod trójkątnym szczytem, a pod kaplicą jest krypta. Dziś służy też jako kaplica cmentarna.
Szpital księdza Piotra Skargi
W latach 1855–1857 miasto dostało pierwszy murowany szpital, zbudowany według projektu architekta A. Gołońskiego. Nosi imię Skargi i stoi przy ulicy nazwanej dziś jego nazwiskiem. Bywa wiązany z wcześniejszą fundacją szpitalną samego kaznodziei z początku XVII wieku, choć pewności co do tego nie ma.
Jatki
W trzeciej ćwierci XIX wieku przy ulicy Jatkowej urządzono miejski targ. Zespół dawnych jatek to trzy murowane budynki sklepowe z jednym piętrem, połączone parterowymi łącznikami, między którymi mieściły się drewniane stragany rzeźników.
Carskie koszary
Garnizon dostał własne budynki przed 1860 rokiem. Przy ulicy Armii Krajowej stanęły carskie koszary dla oddziału Kozaków, a razem z nimi cerkiew dla żołnierzy, pierwsza prawosławna świątynia w centralnej Polsce.
Po odejściu Rosjan, w 1918 roku, koszary zajęło gimnazjum imienia Piotra Skargi. Dziś jest tu Szkoła Podstawowa nr 3, a w dawnej cerkwi, której obniżono mury, urządzono salę gimnastyczną.
Dworzec kolejki wąskotorowej
W 1914 roku Warszawskie Koleje Dojazdowe doprowadziły do Grójca wąskie tory. Na wschodnim skraju miasta, przy ulicy Przedstacyjnej, stanął wtedy dworzec grójeckiej kolei wąskotorowej. Kolejka woziła pasażerów, a także cegłę z okolicznych cegielni na budowy rozrastającej się Warszawy. Pociągi już tu nie dojeżdżają, a w dawnym dworcu działa ośrodek kultury.
Cmentarz żydowski
Przy ulicy Mogielnickiej, tuż obok cmentarza katolickiego, leży cmentarz żydowski założony w 1794 roku i kilkakrotnie powiększany, bo przez blisko półtora wieku chowała tu zmarłych grójecka społeczność żydowska. W czasie drugiej wojny Niemcy zdewastowali cmentarz i nie przetrwał ani jeden cały nagrobek. Po wojnie złożono tu w zbiorowej mogile szczątki około dwustu Żydów rozstrzelanych w 1943 roku w pobliskim Chynowie. W 2004 roku cmentarz uporządkowano staraniem Fundacji Nissenbaumów.