寺伝によれば、白雉2年(651)法道仙人開基。 天長4年(825)、空海が諸国修業の折に立ち寄り、カヤの木で薬師如来を刻み一堂を建立したと伝えられています。 三木城の戦いで焼失しましたが、当寺出身で豊臣秀吉の右筆を努めた大村由巳の尽力で寛文5年(1665)に再建されました。