王世贞嗜读书，故还大力购置和收藏古籍，以“至脱衣鬻之不惜”。谢肇淛《五杂俎》说：“王元美先生藏书最富，二典之外，尚有三万馀卷。其他，即墓铭、朝报、积之如山”。 王世贞所藏书多宋椠精本，历史上的秘籍版本也达三千多卷。平生所购《周易》《礼经》《毛诗》《三国志》《唐书》《汉书》《后汉书》等。
弇山园中的“九友斋”则是专门用以收藏最为精善难得之秘本《两汉书》，是王世贞不惜以一座庄园的代价从书商手中换得。王世贞称此书为“诸本之冠。桑皮纸匀洁如玉，四旁宽广，字大者如钱，有欧柳笔法，细书丝发肤致，墨色精纯”。
同时，王世贞所藏的字画甚丰。他与友人一起钻研古帖字画时，常选择在尔雅楼中进行。尔雅楼所藏甚丰，王世贞自称该楼有五蓄：“所蓄书，有宋刻本的班固《汉书》与司马迁《史记》。
此外，他还收藏有大量历代书法名迹，有魏晋钟繇的《季直表》、唐代褚遂良的《哀册》和虞世南的《汝南志》；另其名画也有不少。有唐代周昉的《听阮图》、北宋王诜的《烟江叠嶂图》；酒器，有柴氏窑的杯托；古刻，有《定武兰亭》和《太清楼》。
在众多的书画名迹当中，王世贞对赵孟頫的字画情有独钟，他收藏其字画之多，评价之高，尤为明显。赵孟頫的行书《二赞二诗》也是尔雅楼中珍贵的藏品。王世贞赞美此书“作书有全力而无先意，乃得佳耳……所谓信手拈来，头头是道，故曹溪以后境也。卞华伯以眉山赞语跋之，亦似见一天斑者。”
王世贞对古玩收藏有自己的态度。尤其是对书画的鉴赏有个人一套方法和理念。这我们可以与同时期大收藏家项元汴进行比对，可以看出两人之前收藏观念的不同。
在王世贞《弇州续稿》中，其中《徐骑省篆书千文后》题跋中提及项元汴书画鉴藏：“按，此书亦不恶，而少劲密，无徐骑省古意。跋尾皆一笔俗书，以至御笔与玺皆伪作，盖不特官称之误已也。吴中一子欲售余，不应，乃强余跋，读毕怏怏而去。后闻售之嘉兴项氏，得百金，盖割去余跋，而后欺之也。谚云：‘若无此辈，饿杀此辈。’然哉”。这则材料不加掩饰地表达了王世贞对项元汴考鉴眼力的贬讽。
这件篆书千字文，最初被王世贞鉴定为北宋初书法名家徐铉（916—991）所书，认为“其为真迹无疑”，但再考之收藏者魏杞的左仆射官职与宋代官制不符，故而又对是否为真迹心存疑虑。这件书迹由某位苏州人氏向王世贞兜售，王世贞既然存有疑虑便没有购买，卖主纠缠索跋后，却对王世贞指出其中疑点的题跋不满，于是割去其跋，以百金售予了“嘉兴项氏”，即项元汴。
王世贞的书画鉴定水平颇高，但却对项元汴的收藏很有看法。项元汴购藏了赝本，遭到王世贞不留情面的嘲讽，而当项元汴收到名家真迹，王世贞却讥讽更甚，痛陈佳作明珠暗投。他在《山谷伏波神祠诗临本》题跋中写道：山谷书刘禹锡《经伏波神祠》诗，最为奇逸，有潆洄飞舞之势。后有张安国、范致能、李贞伯、文徵仲诸跋，皆佳。初自华东沙氏售于吾馆甥叔阳，意忽疑之，持以见畀，偶囊涩不能应，得旬日留，托王君载双钩而俞仲蔚廓填之，虽不尽得其妙，比之拓石尚少一重障也。卷今为嘉兴项氏以重价购得，佳人属沙咤利矣。可怜！可怜！
