Εκκλησία της Κω, μετακομίζει….για την πανήγυρή της