Eines der markantesten und ältesten Bauwerke Kirchhams ist das heutige Gasthaus Pöll. Die erste urkundliche Erwähnung geht zurück auf das Jahr 1179. Man vermutet aus Lage und Bauart, dass es ursprünglich als Schloss oder Herrschaftssitz gedient hat.
Außer einigen urkundlichen Erwähnungen aus dem 12. Jahrhundert ist über das Schicksal des Hauses bis zum 16. Jahrhundert so gut wie nichts bekannt.
Damals - im 16. Jahrhundert - war das Haus schon eine "rechtmäßige Taverne" unter der "Grundobrigkeit der Herren von Eggenberg", mit einer "alleinigen und uralten Wirtsgerechtigkeit".
Es gibt viele Überlieferungen, wonach das Haus durch Jahrhunderte eine Raubritterburg mit einem unterirdischen Gang zur "Kumpfmühle" war.