Utworzenie Prokuratury Rejonowej w Jastrzębiu-Zdroju poprzedziło powołanie Rejonu Zamiejscowego Prokuratury Powiatowej z Wodzisławia-Śląskiego w Jastrzębiu-Zdroju, na początku lutego 1974 roku. Jego siedziba mieściła się przy ulicy Śląskiej 12. Dzisiaj pod tym adresem znajduje się Komenda Miejska Policji. Od tego momentu wszystkie sprawy znajdujące się w kompetencjach prokuratury można było załatwić na miejscu, w Jastrzębiu-Zdroju.
Już 1 listopada 1976 roku zarządzeniem Prokuratora Generalnego została utworzona przez Prokuratora Wojewódzkiego w Katowicach, Prokuratura Rejonowa w Jastrzębiu-Zdroju. Swym zasięgiem obejmowała miasto Jastrzębie-Zdrój oraz gminy, Pawłowice i Zebrzydowice.