Der Panjiayuan wurde in den 1980er Jahren von einigen Kleinhändlern in einem Hutong im Stadtteil Chaoyang als Flohmarkt gegründet. 1995 bezog er seinen heutigen Standort.

In den 80er Jahren waren Beijinger in Geldnot die ersten, die am Wochenende Kunstgegenstände aus dem Familienbesitz auf dem Markt verkauften. Zu dieser Zeit war dieser Handel noch verboten und jeder war ständig auf der Hut vor der Polizei.

In der Anfangszeit war der unter offenem Himmel abgehaltene Markt nur wenige Stunden täglich geöffnet. Er wurde auch als "Geistermarkt" bezeichnet, was nichts anderes als "Schwarzmarkt" bedeutet. Der Handel mit seltenem Kunsthandwerk entwickelte sich schnell. In den 1990ern waren die engen Gassen an den Wochenenden so überfüllt, dass die Händler ihre "Stände" in einen kleinen Wald bei der Panjiayuan-Brücke verlegten.

Im Wald versteckt, breiteten die Händler ihre Antiquitäten im Schatten von Felsen aus. Viele von ihnen waren Bauern aus den Vororten von Beijing oder aus angrenzenden Provinzen, die Gegenstände verkauften, die sie in ihren Dörfern zusammengekratzt hatten.

Erst 1994 wurden Auktionen und der Handel mit Kunst legalisiert. Seitdem sind in der Stadt unzählige Kunstmärkte entstanden. Die lokalen Behörden wollten damals den Geschäften im Wald ein Ende setzen, aber hatten damit keinen Erfolg. Daher beschlossen sie, einen offiziellen Markt zu schaffen und von den Händlern Miete zu kassieren. Im Jahr 1995 eröffnete dann der Antikmarkt Panjiayuan – der erste legale Markt für Antiquitäten in Beijing.

Die Standplätze auf dem Markt sind so begehrt, dass einige Händler ihre Stände für Tagessätze weit über ihrem eigenen untervermieten und so einen guten Gewinn machen, ohne etwas verkaufen zu müssen.