Фильм снят по мотивам одноимённого романа Ширли Джексон (1959).
Прочитав роман Ширли Джексон «Призрак дома на холме», режиссёр Роберт Уайз предложил знакомому сценаристу Нельсону Гиддингу переработать книгу в киносценарий. Гиддингу показалось, что — по примеру нашумевшей ленты «Невинные» — все сверхъестественные происшествия в книге могут быть объяснены психическим расстройством «бездомной» героини, помешанной на идее собственного дома. Лишь разговор с Ширли Джексон убедил его в обратном.
Работа над сценарием заняла полгода. Гиддинг оставил за скобками большую часть мистики, сократил до минимума число действующих лиц и перенёс практически всё действие в «нехороший» дом. В начале фильма планировалось дать сцену эмоционального разрыва Теодоры со своей подругой, которая не оставила бы сомнений в сексуальной ориентации первой.
Согласно условиям истекающего контракта Роберт Уайз должен был снять ещё один фильм для студии MGM, которая согласилась профинансировать «ужастик» только при условии, что его бюджет не превысит 1 млн. В целях экономии на налоговых отчислениях съёмки велись на английской студии MGM. Условием предоставления налоговой льготы было участие в съёмках местных актёров. Руководители студии велели притушевать лесбийский подтекст отношений девушек и запретили актрисам в кадре касаться друг друга руками.
В поисках подходящего дома для съёмок Уайз запросил у энтузиастов паранормальных явлений список старинных особняков, где, по слухам, видели призраков. Он остановил свой выбор на Эттингтон-холле, усадьбе викторианской эпохи в графстве Уорикшир.
Актриса Джули Харрис давно интересовалась парапсихологией и без колебаний согласилась исполнить роль Элеонор. Во время съёмок фильма она находилась в депрессивном состоянии и плохо ладила с коллегами, которых винила в недостаточно серьёзном отношении к проекту. Позднее стало ясно, что взвинченное эмоциональное состояние актрисы придаёт дополнительную убедительность образу Элеонор.
В 1990 г. телемагнат Тед Тёрнер для привлечения молодёжной аудитории задумал раскрасить чёрно-белые фильмы классического Голливуда. Узнав, что «Призрак дома» входит в план по колоризации, Роберт Уайз со ссылкой на условия своего контракта смог заблокировать колоризацию ленты.