1949年新中国成立，郑振铎先生受命赴京，主管文化部文物局事。不久，赵万里先生也在原北平图书馆更名为北京图书馆后，出任善本特藏部主任。受文物局委派，他常常亲出访书，四处网罗珍本。而为将各家私藏谋归公库，千方百计之下，竟招舆情不满，怨声颇起。其间内情，上海图书馆《历史文献》第十六辑(上海古籍出版社2012年4月)所刊柳向春先生整理的《郑振铎致徐森玉函札》六十多通中，多直言不讳：“斐云在南方购书不少，且甚佳，其努力值得钦佩。惟心太狠，手太辣，老癖气不改，最容易得罪人。把光明正大的事，弄得鬼鬼祟祟的，实在不能再叫他出来买书了。浙江方面对他很有意见。先生是能够原谅他的，否则，上海方面也会提出意见的。”虽责怪之中仍有赞赏，却也是实话实说。“老癖气”可能指赵氏平日一贯比较高调而言，民国间王佩诤先生撰《续补藏书纪事诗》(收入伦明等撰《辛亥以来藏书纪事诗(外二种)》，北京燕山出版社1999年12月)，其记陈乃乾、赵万里两位的一首中，即有“恂恂儒雅陈仲子，虎虎生气赵王孙”之喻，并于诗注中述陈氏“为人也和平中正，休休有容” ;而赵氏则“二十余年前来苏，主瞿庵师家。见其入门下马，行气如虹;头角崭新，睥睨一切”。“鬼鬼祟祟”似较形象，邓之诚先生在1950年1月29日日记中，也称赵氏“人极诡谲……今年以四千万人民券买铁琴铜剑楼之书十二箱以归公。欲买吴县潘氏滂喜斋之书，未果”(邓瑞整理《邓之诚文史札记》，凤凰出版社2012年4月)。而沈津先生《顾廷龙年谱》(上海古籍出版社2004年10月)1950年1月6日条下，引顾氏日记曰：“赵万里来……并言常熟铁琴铜剑楼书成交，计购三百种，三千万元。赠四十二种。”至于“浙江方面对他很有意见”云云，未明具体所指。今《文集》第一卷开首的编年体《赵万里先生传》(赵芳瑛、赵深编，胡拙整理)中，唯1950年及1951年12月两处，颇记赵氏受文化部委托，在同乡友人宋云彬先生陪同下，多次往访浙江海宁著名藏书楼蒋氏“西涧草堂” 、“衍芬草堂”后裔及族人，谋洽将其世代所藏，捐献国家并最终成事，而其中宋元精品，又拨归北图。不知是否与此有关?但《顾廷龙年谱》1951年12月21日条下，亦据顾氏日记，谓“瞿凤起女来，述赵万里昨夜议书价不谐，竟拍案咆哮”。则确是当年赵氏在沪上谋购铁琴铜剑楼藏书时发生的事情。

《郑振铎致徐森玉函札》后，附有徐森玉先生1952年2月19日给儿子伯郊一信，其中提到“此间谢、刘均成贪污犯。赵斐云来信，渠被检举，甚严重”。可知此时赵氏已经遇到了比“怨声”更大的麻烦。差不多同时，郑振铎先生也有致徐森玉先生一信(原信仅署二月十六日，无年份。然信中有“回京已二十多天，以全力投于三反运动，未及奉函” ，“我们想不到谢某人竟会也是一只大老虎!人其可尽信乎”诸语，而当年“三反” 、“五反”运动的时间，主要在1951年底至1952年上半年，再据上海书店出版社2009年9月版郑重先生《谢稚柳系年录(增补本)》1952年下记：“《解放日报》于是年二月十九日发表了报道，题为上海文教部门打出十只‘大老虎’……在这篇报道中的‘十只老虎’，就有一只是‘字画老虎’谢稚柳。”则郑振铎先生所说“谢某人”，应指谢稚柳先生。故此信亦当写于1952年初)，在写完后未寄出之前(二月十八日)，特地“又启” ：“又我局去岁曾向瞿氏铁琴铜剑楼购善本两批，计共两亿元。请先生代向瞿氏兄弟一询：有没有人向他们要过钱?他们给过没有?有没有给过人什么‘书’(包括赵斐云及文物处的几个人在内)?请他们据实答复(不可代为隐瞒)为荷。”再由郑氏信中说赵氏“近来精神至为不振，交代问题不少。闻曾函先生，语多悲戚”等等，则其当时处境，可想而知。不过，郑氏还是坚持认为：“他毛病很多，但确是一个人才。群众对他也还不至于压力太大，在他已经是接受不了。经过这次运动，他过去的一切身上的污垢，当可完全洗清，成为一个‘新人’了。”果然，到了七月二十一日的信(因信中提及上海图书馆将于二十二日开幕)中：“斐云问题已解决，只是记过。但他思想上仍不易搞通。昨晨谈了半天，我已切实的规劝了他一番。他的工作，最重要的是把善本书目续编编好。限他半年工夫做好这个工作，诸事不问，也不必再管买书的事。他已经答应了。”在当时的环境形势下，能如此了结，恐怕已属不易;而郑氏爱惜人才，亦可谓用心良苦。