İsrail Adalet Bakanlığı, 1948'de Geçici Hükümet'in kurulmasıyla ülkenin yargı sistemini denetlemek amacıyla faaliyete geçmiş olup, ilk bakanı Pinhas Rosen göreve yalnızca üç çalışanla başlamıştır. Bakanlığın ilk hedefi, İngiliz yönetiminden geçişte hukuki sürekliliği sağlamak ve Temmuz 1948'de Yüksek Mahkeme'yi İsrail mahkemesi olarak yeniden yapılandırarak ilk yargıç atamalarını gerçekleştirmekti. İlk yıllarda Osmanlı ve Manda dönemi yasalarının yerine İsrail yasalarını koymaya odaklanıldı; bu süreç 1980'de İngiliz hukukuyla bağın kopması ve 1984'te son Osmanlı kanunu olan Mecelle'nin kaldırılmasıyla tamamlandı. 1949'da bakanlık danışmanlık, mevzuat ve müdafilik olmak üzere üç ana bölümden oluşuyordu ve 506 çalışanı bulunuyordu; Nisan 1949'da ise savcılık ve kayıt memurluğu birimleri Kudüs'e taşındı. Tarihi boyunca diğer bakanlıklardan farklı olarak bu bakanlıkta hiçbir zaman bir bakan yardımcısı görev yapmamış olması, bakanın mutlak yetkisini vurgulayan dikkat çekici bir özelliktir.