Zdjęcie wykonane    w 1895 roku.

Pałac Opatów (z prawej)  i Katedra w Oliwie – widok od strony południowej.

Najstarsza część budynku, tzw. Stary Pałac powstał w XV wieku, w stylu gotyckim. Świadectwem i pozostałością są wymiary oraz układ cegły (na zewnątrz pozostawiono nie otynkowane fragmenty muru) i gotyckie sklepienie krzyżowe w piwnicach. Po 1577 budynek został powiększony do dzisiejszych rozmiarów i służył opatom jeszcze do XVII wieku. W pierwszej połowie XVII wieku dobudowano do niego tzw. Nowy Pałac. Budynek otrzymał ostateczny kształt w trakcie przebudowy w latach 1754 – 1756, z fundacji ostatniego opata klasztoru oliwskiego Jacka Rybińskiego. Utrzymany jest w stylu rokoko. 1 października 1831 nastąpiła likwidacja klasztoru oliwskiego, a jego dobra zostały rozdzielone pomiędzy miasto Gdańsk i króla pruskiego. W okresie Wolnego Miasta Gdańska w pomieszczeniach pałacowych znajdowało się muzeum krajowe. W roku 1945, pod koniec wojny pałac (w międzyczasie zdegradowany do roli magazynów) został podpalony przez Niemców, w ramach czyszczenia przedpola frontu przed Armią Czerwoną.