Początki Stowarzyszenia sięgają roku 1920, kiedy to w Krakowie powołano do życia Związek Polskich Historyków Sztuki, na którego czele stanął prof. Jerzy Mycielski z Marianem Morelowskim w roli sekretarza. Utworzono wówczas także dwa koła zamiejscowe – warszawskie pod przewodnictwem Zygmunta Batowskiego oraz lwowskie z Janem Bołoz Antoniewiczem na czele. Mimo aktywności naukowej oraz prób konsolidacji środowiska, w obliczu różnorodnych przeciwności pierwszych lat niepodległej Rzeczypospolitej działalność związku, liczącego nieco ponad pięćdziesięciu członków, po trzech latach zamarła.
Potrzeba wspólnego działania była jednak na tyle silna, że krakowscy i warszawscy historycy sztuki postanowili zorganizować ogólnopolskie zebranie w celu wyłonienia nowych władz i przedyskutowania najważniejszych potrzeb środowiska. W dniach 2-4 października 1934 r. odbyło się spotkanie, podczas którego nadano ramy organizacyjne Polskiemu Związkowi Historyków Sztuki z siedzibą w Krakowie i oddziałami w Warszawie, Lwowie oraz w Poznaniu. Przyjęto także statut związku.
Październikowy zjazd z roku 1934 stał się wydarzeniem uznawanym za moment właściwego założenia Stowarzyszenia Historyków Sztuki, na którego czele stanął wówczas prof. Tadeusz Szydłowski z wiceprezesami Stefanem Komornickim i Michałem Walickim. Program Związku z 1934 r. wyróżnił trzy zagadnienia, które można byłoby streścić w następujący sposób: nauka, ochrona zabytków oraz popularyzacja sztuki. Ówcześni organizatorzy zakreślili więc ramy działań, które mimo upływu lat i zmieniającej się rzeczywistości pozostają aktualne do dziś. Polski Związek Historyków Sztuki, liczący u progu wojny ok. 100 osób, nie mógł legalnie działać podczas okupacji hitlerowskiej. Wielu historyków sztuki zaangażowało się jednak w ruch konspiracyjny.
Pierwszy powojenny zjazd Stowarzyszenia zorganizowano 20 marca 1945 r. w Krakowie. Podczas kolejnego Walnego Zjazdu Delegatów Oddziałów 30 maja – 2 czerwca 1946 r. w Paulinum pod Jelenią Górą przyjęto nowy statut, a na prezesa wybrano prof. Stanisława Lorentza. Stowarzyszenie liczyło wówczas 262 członków.
Prace społecznikowskie związane z szeroko pojętą ochroną sztuki oraz konferencje naukowe toczyły się w pierwszych latach powojennych na tle gorących dyskusji na temat tożsamości Stowarzyszenia. Kontynuacją idei związku jako jednoczącego osoby zajmujące się kultury była decyzja podjęta podczas VI Walnego Zjazdu Delegatów w Nieborowie (22-23 IX 1950 r.). Zmieniono wówczas nazwę na Stowarzyszenie Historyków Sztuki i Kultury Materialnej. Na członków organizacji nałożono jednocześnie obowiązek działania przynajmniej w jednej z sekcji: naukowej, muzealnej lub konserwatorskiej.
Kierujący ówczesnym Związkiem zdawali sobie jednak sprawę, że wielowymiarowa aktywność powiązana z centralnym ośrodkiem władzy, choć ważna dla odradzającego się z wojennych zgliszczy kraju, unosi organizację na niebezpiecznej fali zbyt wartko toczącej się historii. Jedynie daleko idąca rozwaga wobec nacisków politycznych uchroniła Stowarzyszenie od zbytniego powiązania z władzą komunistyczną. Ostatecznie na zebraniu plenarnym Zarządu Głównego w Nieborowie 14 września 1952 r., za prezesury prof. Juliusza Starzyńskiego, ustalono nową nazwę Związku, odtąd określanego jako Stowarzyszenie Historyków Sztuki. Zadecydowano także o usunięciu z jego szeregów wszystkich, którzy nie reprezentowali historii sztuki.
Lata 70. i 80. XX w. to dobry czas Stowarzyszenia, które tworzyło nie tylko ramy naukowych działań swoich członków, ale dawało realne poczucie wolności w przestrzeni Polski Ludowej. Ważnym epizodem był udział Stowarzyszenia Historyków Sztuki w odbywającym się w Warszawie w dniach 11-13 grudnia 1981 r. Kongresie Kultury Polskiej, na którego czele stanął prof. Jan Białostocki. Spotkanie stało się okazją do jednoznacznego odrzucenia przez elity twórcze i naukowe zależności od polityki kulturalnej PZPR. Stowarzyszenie przedstawiło na Kongresie dwa ważne memoriały O stanie muzeów w Polsce oraz O stanie zabytków sztuki w Polsce, które odkryły ponurą rzeczywistość ukrywaną za kolorową fasadą partyjnej propagandy. W działania antyreżimowe wpisywała się także, otwarta w roku 1984 w kamienicy Fukierowskiej, Galeria Stowarzyszenia Historyków Sztuki. Jej funkcjonowanie wiązało się także z podtrzymaniem przez Stowarzyszenie Historyków Sztuki do 1988 r. nagrody Jana Cybisa. Zapoczątkował ją sam artysta w 1973 r., a później kontynuował Związek Polskich Artystów Plastyków. W obliczu stanu wojennego i rozwiązania przez władze reżimowe ZPAP idea nagrody upadła i wówczas z całą odpowiedzialnością przejęło ją Stowarzyszenie.
Po przemianach roku 1989 Stowarzyszenie Historyków Sztuki musiało przede wszystkim stawić czoła sprawom ekonomicznym. Po drugiej wojnie światowej jego działalność była finansowana przez Ministerstwo Kultury i Sztuki, które w 1990 r. całkowicie cofnęło dotację. Obecne funkcjonowanie stowarzyszenia zbliża go do organizacji pozarządowych, bowiem mimo korporacyjnego charakteru, wiele jego inicjatyw (Ogólnopolskie Sesje SHS – PDF) związanych jest z edukacją społeczną w zakresie sztuki oraz ochroną dziedzictwa kulturowego. Należy przy tym podkreślić, że działalność Stowarzyszenia opiera się na nieodpłatnej aktywności jego członków.
Po przemianach roku 1989 i demokratyzacji życia społecznego również w łonie Stowarzyszenia Historyków Sztuki doszło do swoistej decentralizacji. O ile wcześniej o sile związku decydował jego ogólnopolski charakter, tak obecnie ogromną rolę odgrywają oddziały Stowarzyszenia. To one dbając o rozwój naukowy swoich członków tworzą ramy dla ich różnorodnej aktywności, w tym spotkań w specjalistycznych klubach i sekcjach, udziału w wydawnictwach naukowych i popularyzatorskich, a jednocześnie co należy szczególnie podkreślić, współpracują z innymi oddziałami, lokalnymi instytucjami i administracją w zakresie ochrony zabytków i ich upowszechniania.
Obecnie Stowarzyszenie Historyków Sztuki liczy ponad 1600 członków zrzeszonych w dwunastu oddziałach.
– Anna Sylwia Czyż