La leyenda cuenta la historia de Don Bartolo, un segoviano que vivió únicamente con su hermana; en Pasteur, a unos pasos de lo que hoy es Palacio de Gobierno.
Era conocido por llevar un vida de lujos y despilfarro. Año tras año, al celebrar su cumpleaños repetía este brindis: “la señora mi hermana, por mi ánima y por el 20 de mayo de 1701”; nadie prestaba demasiada atención ya que parecía una fecha lejana.
Cuando llegó este día (20 de mayo de 1701), ya en la oscuridad de la noche se escuchó una gran detonación y el ambiente se tiñó brevemente de color rojo. El estruendo fue escuchado por todos los vecinos, sin embargo, no fue hasta el día siguiente que decidieron llamar al alcalde y a la policía, pues nadie salía del inmueble.
Al entrar a la casa, se encontraron con una espeluznante escena, la hermana se estaba en el piso, asesinada aparentemente por él; mientras que Don Bartolo se encontraba adherido al techo de la habitación, carbonizado. Dada la circunstancia se realizó un exorcismo, una vez finalizado este, Don Bartolo cayó al piso.
Más tarde, en su guardarropa encontraron un contrato, al parecer con el diablo; en el que le daba su alma en la fecha ya mencionada, a cambio de riquezas.
La casa no fue habitada por mucho tiempo, ya que la gente contaba que se escuchaban ruidos y veían gente.