因张凤举是中国驻日本代表团第四组(文化教育组)组长，不能专司追索文物，遇到挫折后，他在工作报告中“发牢骚”说，“美国人大权独揽，且麦帅对盟国对日委员会日渐冷淡，收回古物事必须谨慎进行，希望亦不能过大。”

李济是“清损会”副主任，1946年早春他在日本奔走了一个月，参观了大白鹤美术馆，京都佳友、友成及东方文化研究所等，并与日本收藏家梅原等人谈话，总算得到了一些线索。

无奈盟军总部在追偿文物上没有动静，李济最终无功而返。就拿追讨“北京人”头盖骨一事来说吧，李济和张凤举曾向盟军总部情报教育组查询多次，但日本人坚持说头盖骨没有运到，盟军总部竟也不再追查。

李济回国后，又耽搁了半年，王世襄才把追讨文物专员这个缺补上。他到代表团报到后，被分在第四组工作。当时，中国驻日本代表团的团长是朱世明。

“清损会”既然知道美国从中作梗，自然不会让王世襄打无准备之仗。他此去日本，身怀三个“锦囊”，又或者说是三项使命:

一、南京中央图书馆在“抗战”期间，曾将一批善本书运去香港。1941年底，日军侵略香港，将这批善本书全部劫往日本，目前已在日本帝国图书馆被发现，必须安全回国。

二、各地公家及私人上报的文物损失材料，寄到“清损会”后，正在整理，以后将陆续寄往驻日代表团，须依据材料，向日方交涉，追查赔偿。

三、凡日方无法用原件偿还中国，或原件已损坏或长期查不到下落的，中国可与日本政府进一步交涉，将指定日方用同类或等价的文物作“以类赔偿”。

三个任务，都是难啃的硬骨头。难怪傅斯年对王世襄说:“你去日本工作，追寻文物应和在平津区一样，要非常非常的aggressive(敢作敢为)。”

敢作敢为，也许这才是“清损会”选中王世襄的真正原因吧。