聖ヨハネはイェルサレムから追放された後、聖母マリアとともに３７年から４２年の間この場所で暮らした。聖ヨハネはこの場所で福音を書いたといわれている。死後彼はここで埋葬され、４世紀に彼の墓の上に木製の教会が建てられたが、６世紀にはユスティニアヌス帝によって建て替えられ、現在の教会となった。
７・８世紀にはエフェスはアラブ人の包囲によって悩まされ、この教会にも外壁が取り付けられた。外壁は形を変えていったが、２０の塔を３つの門があったという。壁の石は以前キリスト教徒の迫害の際に信者がライオンなどのいけにえとなったエフェスのジムナシウムの石が使われた。