De Silodam is onderdeel van de Zeeheldenbuurt. Dit is de oudste buurt van west Amsterdam en deze ligt tussen de oude Houthaven, het Westerkanaal en de Zoutkeetsgracht. Het is een kleine buurt en ligt tamelijk geïsoleerd, doordat hij omringd is door water. Van oudsher is het een (haven)arbeidersbuurt, dat is nog te zien aan de pakhuizen die er staan.
