Przez pierwsze lata urządzona była tylko jego dolna część, przyległa do wejścia i głównej alei. Po wybuchu II wojny światowej i włączeniu Gdańska do III Rzeszy, cmentarz został zaplanowany dla żołnierzy Wehrmachtu poległych na różnych frontach oraz zasłużonych osób cywilnych. Pierwszych pochówków wojennych żołnierzy niemieckich, poległych podczas oblężenia Westerplatte, dokonano we wrześniu 1939.
W 1940 zostało urządzone dojście i dojazd do cmentarza, ozdobione wzdłuż chodników wysokimi szpalerami grabów oraz zostało zbudowane centralnie położone rondo. W tym samym roku zostały zbudowane dwa parterowe, bliźniacze budynki z klinkierowej cegły, do obsługi cmentarza. W budynku po prawej zostały umieszczone sala przedpogrzebowa i kostnica. Do dalszej rozbudowy cmentarza wykorzystywano od drugiej połowy 1940 jeńców wojennych, głównie francuskich.