Na szczycie 16 metrowego ostańca w XIV wieku zbudowano strażnicę. Do dzisiaj na potężnej skale zachowały się niewielkie ślady
murowanej z kamienia budowli o podstawie 10 x 14 m. Wokół niej znajdują się wykute w łagodnym zboczu fosy, miejscami osiągające szerokość 12 m (od strony północno-
zachodniej) i głębokość 5 metrów. W części północno-
wschodniej głęboka fosa łagodnie zanika. Nad fosami znajdowały się zapory, prawdopodobnie w postaci wału drewniano-ziemnego. Fosę przegradza skała, która mogła być podstawą prostokątnej baszty. Od strony wschodniej i południowej naturalną obronę stanowił stromy stok z wysokimi wychodniami skalnymi. Od strony zachodniej u podnóża skały znajdował się dziedziniec gospodarczy, przez który wiodło wejście na teren fortyfikacji. Brama wejściowa mieściła się prawdopodobnie w wale drewniano-ziemnym. Majdan gospodarczy mógł znajdować się na terenie przylegającym do fortyfikacji od strony południowo-zachodniej.
Część wieży od strony północno-wschodniej runęła razem ze skałą w okresie międzywojennym. W latach 60-tych ruina została zabezpieczona konserwatorsko. Nie przeprowadzono systematycznych badań archeologicznych.
W stosunku do pozostałych wież na Wyżynie wieża w Ryczowie wyróżnia się wielkością i dobrze zachowanymi fortyfikacjami ziemnymi.