前身は伯耆一の宮（倭文神社＝湯梨浜町宮内）の神宮寺の一つであったという伝承があるが、永正年間（1504～21）現在地に移転、庭園はその頃の造営と考えられる。開山は、定光寺３世俊鷹道青禅師の弟子端翁玄鋭禅師。開基家の宇佐美氏は地域の豪農で、寺院裏の山をはじめ広大な境内を寄進して、寺院が創健されたと伝わる。
本堂正面の扁額には独特の文字で「龍徳寺」と記されている。13世紀無学絶宗の書で、「絶宗龍（ぜっしゅうりゅう）」といわれる。
