義淵僧正創建の伝承がある。創建にまつわる確実な同時代史料は少ない。『扶桑略記』の記述などによって、創建に天皇家や義淵が係わっていたのではないかと推測された。奈良時代前期の複五弁・六弁軒丸瓦と均整葡萄唐草文軒平瓦のセットが岡寺式と呼ばれる型式である。この型式は奈良盆地南部においても、とりわけ山間部にある寺院で使用されるため、修行道場における専用型式の可能性が考えられている。伽藍の創建は七世紀末から八世紀初頭とされ、その完成は八世紀後半であろう。伽藍は丘陵の稜線上などに点在すると思われる。発掘調査では、金堂基壇の一部が確認された。基壇外装は凝灰岩でつくられた地覆石と延石である。このような壇正積基壇は、官寺とそれに準じる寺院で八世紀初頭に採用されはじめる基壇。金堂の本尊は不空羂索観音像であろう。金堂からは平城宮内裏北外郭地域で使用されていた軒平瓦と同笵のものが出土しており、720年前後に作られたものとされる。本堂の本尊は塑造の如意輪観音坐像で、高さ5m近い。この像は、国の重要文化財に指定されている。