Desde la antigüedad, los judíos siempre han deseado que les enterraran en el Monte de los Olivos, donde, según la Biblia (Zacarías, 14:4) comenzará la resurrección cuando llegue el Mesías. Con el tiempo, este cementerio ha ido creciendo hasta extenderse por toda la ladera occidental y buena parte de la cara sur de este monte.
Las tumbas más antiguas se hallan al pie de la montaña, en el Valle de Cidrón. Una se asocia al díscolo Absalón, hijo de David, otra a Zacarías, sacerdote del Primer Templo, y una tercera tiene una inscripción que menciona a los hijos de Hezir, familia sacerdotal que vivió hace 2000 años.
Durante siglos se siguió enterrando aquí a judíos, proceso que sólo se vio interrumpido entre 1948 y 1967, cuando Jerusalén quedó dividida. Entre las muchas leyendas que rodean a esta montaña sagrada se dice que, en el Fin de los Días, gentes de todo el mundo vendrán a través de túneles para emerger aquí.
Entre los personajes célebres que están sepultados en este lugar se encuentran el rabino medieval Abdías de Bartenura, Eliezer Ben-Yehuda, padre del hebreo moderno, S.Y. Agnon, premio Nobel de Literatura israelí, y el que fue primer ministro Menachem Begin y su esposa Aliza. En el Centro de Información del Monte de los Olivos, cerca de la tumba de Absalón, los visitantes pueden obtener información sobre la ubicación de tumbas concretas.