1350年黄公望将此图题款送给无用上人，《富春山居图》便有了第一位主人，从此开始了它在人世间600多年的坎坷历程。此画作成之初，无用上人就“顾虑有巧取豪夺者”，不幸被他言中。明成化年间“明四家”之首的沈周藏此图时便遭遇“巧取”者，沈周请人在此图上题字，却被这人儿子藏匿。之后此《富春山居图》又出现在市上高价出售，敦厚的沈周既难于计较又无力购买，只得背临一卷以慰情思。

    后来，画作被明代大书画家董其昌收藏，董其昌晚年把《富春山居图》卖给了吴正志，清顺治年间，吴氏子弟，吴正志之孙，宜兴收藏家吴洪裕得之后更是珍爱之极。恽南田《瓯香馆画跋》中记：吴洪裕于“国变时”置其家藏于不顾，惟独随身带了《富春山居图》和《智永法师千字文真迹》逃难。

    书画界将《富春山居图》与王羲之的《兰亭集序》相提并论，是因为他们有相似的命运。唐太宗因太喜欢王羲之的字，而将《兰亭集序》陪葬；吴洪裕收藏《富春山居图》，死时也要用它陪葬，因怕后人在其死后不照办，于弥留之际，点火焚烧《富春山居图》，幸好被其侄子抢下，但已烧成两段，从此，《富春山居图》变为《无用师卷》与《剩山图》两部分。