В 637 г. Иерусалим, как и вся Палестина, был завоеван арабами. Патриарх Софроний, видя, что спасти город не удастся, заключил с халифом Омаром I договор. Поэтому в первые годы владычества отношение арабского халифата к христианской Церкви было достаточно лояльным. Халиф закрепил за Иерусалимской Церковью Святые Места, храмы, монастыри и жилища христиан. Мусульмане почитали Иерусалим как Святой Город и совершали туда паломничества. Почитая Христа за пророка, они с благоговением относились к местам, связанным с Его именем. Согласно мусульманским законам, имеющие религиозную свободу христианские общины со временем стали являть собой государство в государстве. Если в Византии власть открыто враждовала со всеми еретическими течениями, то в арабском халифате все немусульманские религии были совершенно равноправными, и Иерусалимская Православная Церковь существовала на одинаковых условиях с монофизитами, несторианами, иудеями и др. Последующие халифы, правившие до 683 г., соблюдали соглашение Омара и патриарха Софрония. Христиан в это время в Палестине насчитывалось около 43 тыс.
К концу VII в. отношение властей халифата к христианскому населению ухудшилось. В 694 г. против христиан вспыхнуло первое гонение. В 708–709 г.г.
80-тысячное войско арабов потерпело крупное поражение в сражении с византийцами. Между успехами Византийской империи в ходе войны и жизнью христиан в арабском мире была непосредственная связь: чем больше поражений претерпевали арабы на поле брани, тем больше притесняли христиан в халифате. В 717 и 727 г.г. арабы дважды терпели поражение от войск византийского императора Льва III, и каждый раз положение христиан в халифате ухудшалось.
В этот период в лоне христианской Церкви вспыхивает и новая ересь – иконоборчество, которая более века (726–843) терзала Православную Церковь, найдя покровителей в лице императоров. Одним из первых на защиту святых икон выступило именно иерусалимское духовенство. Иконоборческая ересь была осуждена на Иерусалимском Поместном соборе 764 г. тремя Патриархами: Иерусалимским Феодором I (735–770), Александрийским Козьмой (727–765) и Антиохийским Феодором (751–773). Окончательно иконоборческая ересь была осуждена лишь на VII Вселенском соборе.
В последние годы правления халифа Аль-Мансура (754–775) христиане халифата были обвинены в шпионаже в пользу византийского императора, и отношение к ним резко ужесточилось. Многие храмы были превращены в конюшни, были запрещены вечерние богослужения и запрещено преподавание греческого языка детям. С этого началась небывалая до сих пор аравизация христиан, которым пришлось переводить на арабский язык даже богослужебные книги. Особенно жестоко преследовались монахи.
Во время правления халифа Арун аль Рашида (786–809) Палестину поразила эпидемия чумы, опустошившая ее. Страну также терзали не утихавшие междоусобные войны, в которых больше всего страдало христианское население. Разбойничьи племена бедуинов захватили почти всю Палестину. В 786 г. были вырезаны насельники обители св. Саввы.
В последующие годы отношение к христианам изменялось в зависимости от правившего халифа, то улучшаясь, то ухудшаясь. Х – XI в.в. для подчиненных арабскому государству земель стали эпохой неописуемых волнений, в результате которых халифат пришел в упадок. Византийцы все чаще побеждали арабов, от чего положение христиан Палестины и других стран каждый раз ухудшалось. Особенно тяжелым было гонение при халифе Хакиме, продолжавшееся с 1007 по 1020 г.г., когда было разрушено множество христианских храмов.
Во второй половине XI в. в Палестине заметно возрастает значение турков сельджуков, сумевших в 1070 г. захватить Ремлин и Иерусалим. К 1096 г. в их власти находилась практически вся Палестина. Но в 1098 г. халифат отвоевал Иерусалим.
В 1099 г. Иерусалим захватили крестоносцы, основав там Иерусалимское королевство и латинский Патриархат. Преемство Иерусалимских православных Патриархов на долгое время прервалось. Все латинские патриархи враждовали с политической властью Иерусалима, с клиром, Братством святого Гроба Господня и с Антиохийским Патриархатом. Латиняне вскоре создали свое братство и изгнали православных монахов, захватив храмы и монастыри. Иерусалимские православные Патриархи по большей части проживали в Константинополе и оттуда управляли Церковью.
В 1187 г. крестоносцы потерпели поражение от правителя Египта Салах-эд-Дина, захватившего Иерусалим. Латинский патриарх покинул город, в храмы и обители вновь вернулся православный клир.
Крестоносцы еще не раз пытались завладеть Святыми Местами. Так, в 1229 г. германский король Фридрих II захватил Иерусалим, но в 1239 г. Насир Дауд отвоевал город, разрушив его стены.