Vláda Hasmonejců trvala do roku 63 př. n. l., kdy Jeruzalém dobyli Římané. Roku 37 př. n. l. byl Římem jmenován judským tetrarchou Herodes Veliký, který město rozšířil a podstatně zkrášlil – nechal přebudovat Chrám, mnohé ulice nechal vydláždit mramorem, nechal postavit pevnost Antonia. Po jeho smrti roku 4 př. n. l. Judeu spravovali římští prefekti a prokurátoři, kteří s postupem času stále necitlivěji zasahovali do záležitostí Židů a uvrhovali zemi do chaosu.
Roku 66 nakonec vypuklo protiřímské povstání – začala První židovská válka. Roku 69 Římané oblehli Jeruzalém, a když byl roku 70 téměř vyhladověn, dobyli jej. Chrám vypálili a celé město zcela srovnali se zemí. Z Chrámu zbyla jen západní zeď – Zeď nářků.
Válka o nezávislost
Podle plánu Organizace spojených národů na rozdělení Palestiny bylo předpokládáno, že Jeruzalém spolu s Betlémem bude mezinárodním územím (corpus separatum). Avšak když vypukla První arabsko-izraelská válka (Válka o nezávislost), ignorovaly obě strany tento status a snažily se získat vládu nad Jeruzalémem. Arabské jednotky zablokovaly židům cestu do Jeruzaléma a zastavily přívod vody do města. Jen ozbrojené konvoje dokázaly do města za cenu těžkých ztrát proniknout a přivézt do něj zásoby.
Když Britové 14. května 1948 odešli ze země a Izrael vyhlásil nezávislost, vstoupila do země Arabská legie a boje se rozpoutaly naplno. Arabské legie již 18. května vstoupily do města a následujícího dne se dostaly až do židovské čtvrti. Avšak 20. května izraelské jednotky získaly území zpět. Ne však nadlouho – 28. května padla židovská čtvrť opět do rukou Arabů. 1. června začínali Izraelci v Jeruzalémě prohrávat. V červenci pak byl ještě učiněn pokus dobýt zpět Staré město, avšak neuspěl.
Po konečném uzavření příměří tak Izraelcům zůstala jen západní část Jeruzaléma. V prosinci 1949 do ní přesídlil Kneset. Přesunout se musela také Hebrejská univerzita. 7. listopadu 1949 pak vyhlásil David Ben Gurion Jeruzalém hlavním městem Státu Izraele.
5. června 1967 vypukla Šestidenní válka. Jordánské vojsko ostřelovalo židovské město a dobylo budovu velitelství sil OSN. Izraelská armáda (Cahal) však odrazila jordánský útok a zahájila protiútok, ve kterém odřízla Jeruzalém od Ramalláhu. Následně se Izraelci skrz Lví bránu dostali do Starého města a ovládli celý Jeruzalém. Palestinští obyvatelé získali trvalý pobyt, ne však občanství