Der Architekt des Woolworth Buildings, Cass Gilbert, entwarf auch das US Customs House, den ehemaligen Sitz der amerikanischen Zollbehörde. Er ließ sich dabei von dem klassizistischem Gebäude der alten Pariser Oper inspirieren.

1907 zog die amerikanische Zollbehörde in das US Customs House ein und blieb hier bis 1974. Dann zog sie in das World Trade Center. Anschließend stand das Gebäude leer. Seit 1994 befindet sich nun darin die Zweigstelle des National Museum of the American Indian.

Vor dem alten Zollamt stehen Skulpturen von Daniel Chester French. Sie symbolisieren die vier Erdteile Europa, Asien, Amerika und Afrika.