【新智元导读】谷歌发布了1000亿文本-图像对数据集，是此前类似数据集的10倍，创下新纪录！基于新数据集，发现预训练Scaling Law，虽然对模型性能提升不明显，但对于小语种等其他指标提升明显。让ViT大佬翟晓华直呼新发现让人兴奋！

　　ViT大佬翟晓华（Xiaohua Zhai）并不这样认为，至少在多模态模型上并非如此。

　　他公布了最新的关于多模态Scaling的最新见解，而训练数据达到了1000亿的规模！

　　一句话就是，Illya所说的「Scaling Law」即将终结，不太对。

　　新研究通过实验表明，1000亿数据规模对已有基准测试提升可能非常小，但显著影响了一些「非主流」的小众探索领域。

　　让大牛翟晓华眼前一亮点是：泰卢固语（Telugu）表现显著提升，即使仅占数据集的0.036%！

　　左图显示了将数据规模从100亿扩展到1000亿训练数据，在文化多样性和多语言能力方面的提升比其他指标更加显著。

　　右图给出了数据规模影响的示例说明。最左边的两个是以为西方中心的指标，扩展数据到1000亿时，收益不大；而最右边的两个则展示了文化多样性和多语言能力的提升。

　　这让OpenAI的工程师Lucas Beyer不禁发帖质疑下列流传甚广的观点：

　　他认为这类观点都是些缥缈的「神话」，而此类论断之所以甚嚣尘上，是因为忽视了下列提醒：

　　-你一叶障目，目光短浅 -不要只盯着美国可疑的评估指标 -拓展到1000亿预训练图片，会极大促进模型的文化和语言包容性

　　2023年，还在谷歌的Lucas Beyer见到实验结果时，星空体育下载就燃起了对泰卢固语的兴趣：

　　2. 质量过滤器（例如基于CLIP的过滤器）虽然通常用于提高整体数据质量，但可能会不经意限制数据集的多样性。

　　3. 发布了史无前例的1000亿视觉-语言数据集，并实证研究了数据集的潜力。

　　在过去，模型的发展，就是「大力出奇迹」：数据规模越大，星空体育下载模型误差越小，性能越高。

　　重要的是，幂律表明，增加训练数据的量虽然会导致准确性和性能的收益逐渐递减，但依然能够带来物超所值的提升。

　　在Scaling Law信念的引领下，扩大数据集规模是视觉-语言（vision-language）的领域重点：

　　早期的数据集如Conceptual Captions，提供了数百万对图像-描述对用于预训练。

　　四位老祖沉默了，盘坐在那里，浑身雾霭缭绕，星空体育下载看不真切，犹若混沌般，模模糊糊，但那种若隐若无的威严与恐怖的气机，让天地都在颤栗。

　　03月06日,东西问丨诺维·巴苏基：如何让中印尼合作成果惠及更多民众？,

　　祭灵满身鳞甲皆是宝，化成漫天金雨，看似绚烂与美丽，但是杀伤力大的惊人，最终会演变成一股金色的狂暴。

　　03月06日,安徽2023年外贸增速长三角第一 出口汽车72.92万辆,

　　03月06日,江苏南京：全国青少年民乐好手上演视听盛宴 展现青春风采,下一步，常泰长江大桥将完成桥面护栏等钢结构附属设施施工，年底前完成桥面铺装，明年2月底前完成机电、照明、防撞等附属设施施工，4月底前完成动静载试验和交工验收检测，具备通车条件。大桥建成后将对完善区域路网布局，促进扬子江城市群协调发展，服务推进“一带一路”交汇点建设、长江经济带发展和长三角一体化发展等重大国家战略落地实施等具有重要意义。,爱游戏网页官方,新濠天地投注登录,宝盈娱乐。

　　新闻信息服务许可证音像制品出版许可证广播电视节目制作经营许可证网络视听许可证网络文化经营许可证