Pierwotnie zameczek mieścił się na polanie Przysłop pod Baranią Górą i pełnił funkcję pałacyku myśliwskiego arcyksięcia Fryderyka Habsburga. Wzniesiono go w 1897 roku w stylu alpejskim na planie kwadratu, z drewnianymi ścianami zbudowanymi z bali jako budynek piętrowy. W obrębie pierwszego piętra znajduje się charakterystyczna galeria otaczająca budynek z czterech stron. Prawdopodobnie zaprojektował go Albin Teodor Prokop, architekt i radca budowlany przy Urzędzie Komory Cieszyńskiej.
Fryderyk Habsburg po raz pierwszy gościł na polanie w 1880 roku. Z okazji zakończenia budowy zorganizował polowanie, na którym jego żona Izabela ustrzeliła 30 głuszców. Arcyksiążę i jego małżonka tak często organizowali polowania dla arystokratów z całej Europy, że populacja ptaków występujących w Beskidach zmalała prawie do zera. W 1915 r. w pałacyku przebywał cesarz niemiecki Wilhelm II Hohenzollern wraz z feldmarszałkiem Hindenburgiem. W tym samym roku Wisłę odwiedził arcyksiążę Karol Habsburg, późniejszy cesarz austriacki. Habsburgowie zorganizowali ostatnie polowanie się w 1916 r. Arcyksiążę Fryderyk ustrzelił wtedy dwa koguty głuszca.
Po zakończeniu I wojny światowej majątek Habsburgów został znacjonalizowany i wcielony do państwa polskiego. Zameczek został niestety ograbiony i zniszczony przez miejscową ludność. Zadecydowano więc o jego generalnym remoncie i przeznaczeniu na schronisko turystyczne PTTK. Funkcję tę pełnił od 1925 do 1986 roku z przerwą w okresie drugiej wojny światowej, gdy ukrywali się w nim partyzanci. By uchronić budynek przed ruiną, zameczek został przeniesiony do centrum Wisły, blisko dworca autobusowego. Obecnie znajdują się w nim wiślański oddział PTTK, Informacja Turystyczna, wystawa "Głuszec w lasach Beskidu Śląskiego" oraz escape room "Zamek Zagadek".
Zameczek znajduje się na Szlaku Śląskiej Architektury Drewnianej, Szlaku Habsburgów i Drogi Książęcej "Via Ducalis".
