Trước khi thành lập thành phố Thượng Hải, Thượng Hải là một phần của huyện Tùng Giang (松江縣), thuộc phủ Tô Châu (蘇州府). Từ thời Nhà Tống (960-1279), Thượng Hải dần trở thành một hải cảng sẫm uất, vượt lên trên vai trò chính trị là một địa phương thuộc huyện. Ngày nay, Tùng Giang (淞江) là 1 quận thuộc thành phố Thượng Hải.

Một bức tường thành được xây dựng năm 1553 sau Công nguyên - thời điểm được xem như bắt đầu hình thành thành phố Thượng Hải. Tuy nhiên, trước thế kỷ 19, Thượng Hải không được xem là thành phố lớn của Trung Hoa. Do đó, so với phần lớn các thành phố khác của Trung Quốc, có rất ít công trình cổ tiêu biểu ở thành phố này ngày nay. Một vài địa điểm văn hóa ít ỏi có thể thấy ở Thượng Hải ngày nay rất cổ kính và tiêu biểu thời Tam Quốc do địa điểm này nằm trong trung tâm văn hóa lịch sử của Đông Ngô (222-280).

Trong thời kỳ Càn Long nhà Thanh, Thượng Hải đã trở thành một cảng khu vực quan trọng của khu vực sông Trường Giang và sông Hoàng Phố. Thành phố cũng trở thành hải cảng chính của các tỉnh Giang Tô và Triết Giang gần đấy dù trao đổi mậu dịch với nước ngoài thời kỳ này bị triều đình cấm. Một khu vực lịch sử quan trọng của thời kỳ này là Ngũ Giác Trường (五角场) (ngày nay là quận Dương Phố) - là nền tảng của trung tâm thành phố. Khoảng cuối thời Càn Long, Thập Lục Phố (ngày nay là quận Hoàng Phố) trở thành cảng lớn nhất Đông Á.