W 1241 r. zamek zaatakowali pierwsi najeźdźcy. Byli to Tatarzy, którym nie udało się jednak go zdobyć. Przyczyną był prawdopodobnie fakt, iż zbudowany był on z kamienia, w odróżnieniu od większości zamków na Węgrzech, które Tatarzy puszczali z dymem. Po roku plądrowania wojska tatarskie opuściły Węgry. „… Pomimo tego przekazujemy przełożonemu kapituły Maciejowi miejsce na Zamku Spiskim, dogodne pod budowę wieży i pałacu, które pozwala mu się wybudować, umocnić i utrzymywać w celu obrony zamku oraz korzystania ze wspomnianego kościoła. Dodajemy, iż owe miejsce oraz budynki, które wzniesie, on sam oraz jego następcy w kapitule będą dzierżyć w posiadaniu na zasadzie praw wieczystych.“ Usłyszeli Państwo urywek z dokumentu króla Beli IV z 1249 r. Jest to pierwsza konkretna wzmianka o istnieniu Zamku Spiskiego. Zamek Spiski stał wówczas na samym szczycie wzgórza zamkowego. Był w majątku króla. Mieszkał tu administrator królewski, który z ramienia monarchy zarządzał okolicznymi ziemiami. Ze wspomnianego dokumentu wynika, iż przełożony kapituły postanowił zbudować pod największym akropolem zamkowym graniastą wieżę mieszkalną o trzech kondygnacjach. Do dziś zachowały się jedynie fundamenty wraz z wąskim wejściem w stylu romańskim. Znajdujemy się właśnie w tym miejscu. Niedługo potem teren ten został obwarowany nowym murem zamkowym, dlatego nie stoimy przed zamkiem, tylko na małym romańskim przedzamczu. Prowadziła tu brama, przez którą właśnie przeszliśmy. Przełożony kapituły mieszkał w wieży do czasu ukończenia bardziej reprezentacyjnej posiadłości, dzisiejszej Spiskiej Kapituły, znajdującej się niedaleko ruin klasztoru. W późniejszych czasach wieżę wykorzystywano do magazynowania prochu strzelniczego – dlatego właśnie dziś nie możemy jej już podziwiać. Wieża wyleciała w powietrze pewnej nocy w XVI wieku. Z wydarzeniem tym związane jest podanie o zbójnickim rycerzu Szarszku.