Część murów w Żyrardowie nosi wyciśnięte w cegle inicjały H&D. To znak firmy Hielle i Dittrich, która prowadziła tu fabrykę lnu i wokół niej postawiła całe miasto: hale, domy dla robotników, szkoły, kościoły, szpital i wille właścicieli. Większość tych budynków stoi do dziś, kilka ulic od siebie.
Fabryka lnu
Miasto wzięło nazwę od Filipa de Girarda, francuskiego inżyniera, który skonstruował mechaniczną przędzarkę lnu. W 1833 roku uruchomiono fabrykę opartą na jego wynalazku we wsi Ruda Guzowska, a de Girard kierował nią technicznie do 1844 roku. Osadę, która narosła wokół zakładu, nazwano na jego cześć Żyrardowem, spolszczając nazwisko Girard. Najstarszy ślad z tamtych lat to Stara Przędzalnia z 1844 roku przy ulicy Nowy Świat 7.
Spółka, do której należała fabryka, popadła w długi i w 1847 roku zarząd nad zakładem przejął Bank Polski. W 1857 roku kupili go Karol Hielle i Karol August Dittrich. Hielle pochodził z rodziny o włókienniczych tradycjach w czeskich Sudetach. Pod rządami spółki Hielle i Dittrich rozrosła się fabryka lnu: zwarty zespół ceglanych hal, przez które len przechodził po kolei, od czesania włókna po drukowanie gotowej tkaniny. Nad największą tkalnią, przy Małym Rynku 7, góruje ceglana wieża z bulwiastym zwieńczeniem, od którego budynek nazwano Tkalnią Cebulową. Zakład urósł do największej wytwórni wyrobów lnianych w Europie, a od 1870 roku wolno mu było znaczyć płótna herbem cesarskiej Rosji, na znak uznanej jakości. Miasto do dziś posługuje się hasłem „Miasto lnem tkane”.
Pałacyk Dittricha
Pod koniec lat siedemdziesiątych XIX wieku zarządzanie przejął Karol Dittrich młodszy, syn wspólnika Karola Augusta Dittricha, wykształcony na politechnice w Dreźnie, a w 1885 roku przekształcił firmę w spółkę akcyjną. W latach osiemdziesiątych stanął kilka ulic od hal jego pałacyk, nakryty wysokim, łamanym dachem z mieszkalnym piętrem schowanym w jego wnętrzu, z tarasem i dwustronnymi schodami od ogrodu. Dittrich finansował w mieście kościoły, szkoły, bibliotekę i szpital, a gdy w 1899 roku sprzedawał swoje udziały, część pieniędzy przeznaczył na cele socjalne dla robotników. Po 1948 roku w pałacyku urządzono muzeum. Ulica, przy której stoi, nosi dziś jego nazwisko.
Domy robotnicze
Już od pierwszych dekad fabryki robotnicy mieszkali w długich, wielorodzinnych domach, które w Żyrardowie nazywano familijniakami. Najstarszy zachowany, przy Mireckiego 70, powstał przed 1867 rokiem. Wewnątrz biegł korytarz pośrodku, a po bokach były cztery duże sale. Między 1867 a 1910 rokiem fabryka rozplanowała całą osadę, z osobną strefą przemysłową i osobną strefą domów robotniczych. W latach 1910–1912 dostawiono do niej Dom Ludowy z salą kinową, sceną i okrągłą wieżą, nazywany przez mieszkańców Ludowcem, dziś ośrodek kultury. W 2012 roku osadę wpisano na państwową listę Pomników Historii, najcenniejszych zabytków kraju.
Kilkadziesiąt lat później, już w niepodległej Polsce, według tego samego pomysłu powstały wokół wytwórni prochu Pionki.
Kościoły
Do fabryki ściągali ludzie z wielu stron, także z Niemiec, Czech i Moraw, i przywozili swoją wiarę. Dlatego kościoły w Żyrardowie należą do trzech wyznań. Katolicki kościół św. Karola Boromeusza powstał w 1882 roku. Zbór baptystów uformował się na miejscu, wokół grupy czytającej Biblię, którą w latach sześćdziesiątych XIX wieku zaczął zbierać osiemnastoletni Adam Sonnenberg. Murowany kościół zbór postawił w 1894 roku. Ceglany kościół ewangelicki z wysoką wieżą ukończono w 1898 roku.
Szkoły fabryczne
Dzieci robotników uczyły się w szkołach postawionych razem z resztą osady, w większości przy ulicy Narutowicza. Najstarszą wzniesiono około 1882 roku, kolejne w 1892 i w latach 1896–1899. Wszystkie są z czerwonej, nieotynkowanej cegły, ze spiczastymi, neogotyckimi detalami. Z tego samego czasu pochodzi przedszkole przy Placu Jana Pawła II.
Szpital
Główny budynek szpitala przy Limanowskiego 30 fabryka postawiła dla swoich robotników w latach 1892–1894, razem z osobnym pawilonem dla chorych na płuca. Po pierwszej wojnie dostawiono kolejne pawilony. Budynek jest szpitalem do dziś.
Willa Zyskinda
Prawie wszystko w Żyrardowie postawiła fabryka albo jej właściciele. W 1899 roku przy ulicy 11 Listopada, blisko torów do Warszawy, stanęła drewniana willa Zyskinda, zbudowana przez kogoś spoza fabrycznego kręgu: Avroma Zyskinda, właściciela okolicznych lasów, tartaków i zakładów stolarskich.
Dom Krastynki
Około 1910 roku przy ulicy 1 Maja 25 zamożny Rosjanin Marten Krastyn postawił czteropiętrową kamienicę. W mieście fabrycznych parterów i pięter mówiono o niej jak o pierwszym drapaczu chmur Żyrardowa. W międzywojniu mieściły się w niej prywatne gimnazjum żeńskie i lokal Polskiej Partii Socjalistycznej, a w budynku w podwórzu grało kino „Terra”.
Dworzec kolejowy
Poprzedni dworzec, z czasów kolei warszawsko-wiedeńskiej, zburzono w pierwszej wojnie światowej. Obecny dworzec przy Placu Marszałka Józefa Piłsudskiego postawiono na jego miejscu na początku lat dwudziestych, już w niepodległej Polsce. Zaprojektowano go w stylu dworkowym, który brał za wzór dawny polski dwór szlachecki. Przypisuje się go Romualdowi Millerowi, który kierował wtedy wydziałem architektonicznym warszawskiej dyrekcji kolei.