Det första stenhuset uppfördes omkring år 1470 av riksrådet Arvid Knutsson som försvarsborg mot danskarna. Omkring 1550 tillkom trapptornet och vissa om- och tillbyggnader skedde under 1500- och 1600-talen. Riddarsalen har välbevarad renässansinteriör och slottskapellet, som inreddes i slutet av 1600-talet, är i barockstil. På Torpa hämtade Gustav Vasa sin tredje hustru, Katarina Stenbock. Torpa, som blev den Stenbockska släktens främsta stamgods, har sedan 1400-talet aldrig sålts utan gått i arv antingen på mans- eller kvinnosidorna.
Torpa tillhör också Sveriges spökhus med fem olika manifestationer: Den gråa frun, Den inmurade flickan, Torpas vita hästar, Lille Gustav Stenbock och Greve Gustaf Otto Stenbock
57.649994, 13.279424