Das Gebäude des Pfarrhofes ist bereits im 15 Jahrhunderts nachweisbar. Im 17 Jahrhunderts musste es vom Stift verkauft werden. Abt Gottfried Bessl hat dieses dann 1737 zurückgekauft und nach Plänen von Baumeister Anton Pilgram als Lesehof umgestalten lassen. Seit dem Jahre 1784, der Pfarrerhebung, wird das Gebäude in seiner heutigen Form genutzt.