Sembra proprio che Shirley Jackson si trovi a proprio agio nelle case infestate.
In "Abbiamo sempre vissuto nel castello" appare tutto il più classico armamentario del genere: una magione tetra e isolata, un fatto di sangue accaduto molto tempo prima e delle presenze ostili ai nuovi visitatori intrappolate in un loop di azioni abitudinarie. Ciò che differenzia questo romanzo dai classici del genere è che le presenze che abitano Blackwood House sono persone vive.
Le sorelle Constance e Mary Catherine insieme al loro zio disabile Julian vinono soli in quella grande casa da quando, sei anni prima, tutta la numerosa famiglia Blackwood è stata sterminata con il veleno durante un pranzo. La principale sospettata, Constance, era stata alla fine prosciolta da tutte le accuse e ora i tre vivono ciascuno intrappolato nella propria routine: Mary Catherine con i suoi infantili riti apotropaici, Constance tra i libri di cucina e le faccende domestiche come una perfetta casalinga anni 50 e lo Zio Julian tra le sue carte intento a scoprire cosa è accaduto veramente durante il pranzo che ha ucciso la sua famiglia, compresa sua moglie, e lo ha ridotto in sedia a rotelle. Questa routine potrebbe anche essere scambiata per quieta felicità ma è chiaro che al di sotto dell'apparenza scorre qualcosa di molto inquietante che non aspetta altro che riemergere in superfice attraverso una crepa, crepa che si presenta un giorno davanti alla porta dei Blackwood sotto forma del cugino Charles: il primo segnale che il cambiamento rischia di modificare per sempre gli equilibri tra i personaggi.
La Jackson è una maestra nello scavare nella psicopatologia del quotidiano, ogni azione intrapresa dal personaggio può apparire perfettamente normale, ma con un semplice cambio di tono, di luci e di contesto, quella stessa azione diventerà improvvisamente disturbante, il segno di una follia che non aspetta altro che dilagare.