Historia rozpoczyna się dotarciem anonimowego narratora do domu jego przyjaciela, Roderyka Ushera, od którego otrzymał list z odległej części kraju, w którym ten narzeka na chorobę i prosi o słowa pociechy. Chociaż Poe napisał tę nowelę przed powstaniem nowoczesnych nauk psychologicznych, symptomy Ushera mogą być opisywane zgodnie z tą terminologią. Chodzi tu zarówno o przeczulice (wyjątkową wrażliwość na światło, dźwięki, zapachy i zmysł smaku), hipochondrię (nadmierne zamartwianie się o istnieniu poważnej choroby) oraz ostre lęki. Zostaje powiedziane, że bliźniacza siostra Ushera, Madeline, także jest chora i zapada na katalepsje, transy przypominające śmierć. Narrator jest pod wrażeniem obrazów Ushera i próbuje go pocieszyć, czytając z nim i słuchając jego kompozycji muzycznych improwizowanych na gitarze. Usher śpiewa Nawiedzony pałac, a następnie oznajmia narratorowi, że wierzy, iż dom w którym mieszka wykazuje pewne reakcje, i że powstają one z układu obmurowania i otaczającej go roślinności.