Szydłowiecki zamek to jedna z najpiękniejszych wczesnorenesansowych rezydencji magnackich w Polsce. Według zachowanych dokumentów już w 1427 roku istniał w tym miejscu kamienny dwór, należący do Jakuba i Sławka Odrowążów, protoplastów rodziny Szydłowieckich. Archeolodzy znaleźli też resztki starszych, drewnianych konstrukcji, prawdopodobnie pochodzących z XIII wieku. Dla łatwiejszej obrony zamek zbudowano na sztucznej wyspie w rozlewiskach rzeczki Korzeniówki i otoczono fosą. Zamek powstawał etapami. Najstarszą część, czyli dzisiejsze północne skrzydło zamku, wybudował w połowie XV w. Stanisław Szydłowiecki. W następnym etapie powstała wieża bramna, połączona murem obwodowym z budynkiem mieszkalnym. Fragmentem tego muru jest, zachowany do dzisiaj od strony południowej mur kurtynowy.
Po śmierci Stanisława Szydłowieckiego zamek rozbudował w stylu renesansowym jego syn, Mikołaj Szydłowiecki. Dobudował dzisiejsze reprezentacyjne skrzydło wschodnie. Skrzydło zachodnie, tuż obok wieży bramnej, wybudowała prawdopodobnie Elżbieta, córka kanclerza wielkiego koronnego Krzysztofa Szydłowieckiego, która wyszła za mąż za Mikołaja „Czarnego” Radziwiłła. Pomimo że Radziwiłłowie zamieszkiwali nie w Szydłowcu, ale na Litwie, zamek szydłowiecki stale rozbudowywali i upiększali. Był okazały nie tylko z zewnątrz, wnętrza wyposażono w bogate portale z miejscowego piaskowca, polichromowane stropy kasetonowe, fryzy, piece z wielobarwnych kafli i ozdobne posadzki. Współczesny wygląd zamku pochodzi właśnie z czasów „Hrabstwa Szydłowieckiego” Radziwiłłów. Po przejęciu przez Skarb Królestwa Polskiego w 1828 roku zamek zamieszkany był jeszcze do lat 40. XX wieku. Podupadł, kiedy trafił w ręce rodziny Engelmanów, którzy urządzili w nim browar. W czasie II wojny światowej był zamieszkiwany przez polskich uchodźców z ówczesnych terenów III Rzeszy (dzisiejsze Oborniki), następnie okupanci utworzyli w nim getto dla ludności żydowskiego, którą po likwidacji getta przywieziono do obozu koncentracyjnego w Treblince.
W latach 1949–1958 przeprowadzono na terenie zamku badania archeologiczne, a w latach 60. XX wieku gruntowny remont. Szydłowiecki zamek jest przykładem zastosowania miejscowego kamienia – piaskowca szydłowieckiego. Powstały z niego nie tylko mury, lecz także wiele ozdobnych detali, jak schody, kolumny, balustrady, portale i kominki. Na uwagę zasługuje kamienny portal nad wejściem do biblioteki z herbami Radziwiłłów.
W latach 2011-2015 w ramach projektu p.n. „Odnowa zabytkowych obiektów i przestrzeni publicznej w Szydłowcu, poprawa funkcjonalności i dostępności infrastruktury kulturalnej i turystycznej dla mieszkańców Mazowsza”, przeprowadzone zostały prace remontowo-budowlane na terenie zamku i dziedzińca zamkowego. Rewitalizacją została objęta także wyspa zamkowa i Park Radziwiłłowski. Biblioteka Miejska, mająca siedzibę w zamku, przeniesiona została do nowo wybudowanego Regionalnego Centrum Biblioteczno-Multimedialnego.
W zamku ma swoją siedzibę Szydłowieckie Centrum Kultury – Zamek oraz Muzeum Ludowych Instrumentów Muzycznych.
