当前位置：首页 > 论坛 > 正文

最大CLIP！LAION发布CLIP的扩增定律

2022-12-24 08:07:38

(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。

训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。

实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。

这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。

更多内容可见论文：https://arxiv.org/abs/2212.07143

关键词：

猜你喜欢

最大CLIP！LAION发布CLIP的扩增定律

点蓝色字关注“机器学习算法工程师”设为星标，干货直达！近日，LAION等机构在Reproduciblescalinglawsforcontrastive

世界观察：侵犯注册商标专用权行为是怎样的

根据《商标法》第五十七条，具有以下行为之一的，均属侵犯注册商标专用权：（一）未经商标注册人的许可，在同一种商品上使用与其注册商标相同

基金代销需合法合规-全球速看

马春阳近年来，伴随居民财富管理需求的增长，以银行为主渠道的基金

实时焦点：“阳”了只能喝粥？营养科医生推荐美味食谱

“阳”了只能喝粥？营养科医生推荐美味食谱---昨日，武汉市第三医院营养科中级营养医师崔蔚做客极目新闻直播间，分享饮食指南，在线分享美味食

2023年初级会计考哪些科目？需要两门科目同时备考吗？-当前通讯

2023年初级会计考《经济法基础》和《初级会计实务》两门科目，初级会计实务的考试内容非常详细，而经济法基础本身属于基础学科，考试内容侧重

焦点滚动:【机器学习】集成学习代码练习（随机森林、GBDT、XGBoost、LightGBM等）

本文是中国大学慕课《机器学习》的“集成学习”章节的课后代码。课程地址：https: www icourse163 org course WZU-1464096

焦点资讯：总投资51亿元！恒河碳五碳九综合利用新材料项目落户泰达

日前，天津经开区管委会与恒河实业集团有限公司签署投资合作协议，总投资约51亿元的恒河碳五碳九综合利用新材料项目正式落地天津经开区。该项

焦点资讯：波卡周报｜31 项公投在 OpenGov 系统上提出，Bifrost 与 Astar & Shiden 开通 HRMP 通道！

加入PolkaWorld社区，共建Web3 0！PolkadotOmniBTC赢得Polkadot第34次插槽Auction。https:

沪深港通大扩容 A股或迎更多“北上”资金中金预计沪深纳入股票将增上千只带动两市日均成交金额增长三成世界即时

12月19日晚，中国证监会和香港证监会联合发布公告称，为进一步深化内地与香港股票市场交易互联互通机制(以下简称互联互通)，促进两地资本市场

世界新消息丨华培动力(603121):2022年第一次临时股东大会会议资料

上海华培动力科技（集团）股份有限公司ShanghaiSinotecCo ,Ltd 2022年第一次临时股东大会会议资料中国上海二〇二二

macOS系统漏洞被微软发现：可绕过安全审查植入恶意软件_当前关注

近日，微软发布文章，阐述了其在今年发现的一个MACOS漏洞，该漏洞可以绕过安全机制执行恶意软件python。据悉，这个被微软称为Achilles”的漏洞

中国企业代表伊利COP15大会发言

据澎湃新闻报道，当地时间12月17日上午，联合国《生物多样性公约》第十五次缔约方大会在加拿大蒙特利尔继续进行。在当天进行的高级别部长会议

淮河能源董秘回复：公司已于2019年5月31日将省内所属港口资产作价投资入股至安徽省港口运营集团有限公司

淮河能源(600575)12月19日在投资者关系平台上答复了投资者关心的问题。投资者：公司涉及港口业务吗？我看之前叫芜湖港。淮河能源董秘：投资者

河北银行纾困小微服务实体共渡难关

中国网是国务院新闻办公室领导，中国外文出版发行事业局管理的国家重点新闻网站。本网通过10个语种11个文版，24小时对外发布信息，是中国进行

建安区商务局联合大型商超帮助菜农过难关

受疫情影响，建安区农户种植的蔬菜出现滞销。为畅通销售渠道，日前，建安区商务局充分发挥部门优势，积极与区域内16家大型商超沟通联系，开展

当前视点！杜兰特17+9+7关键2罚锁胜局篮网末节太浪险翻船

杜兰特17+9+7关键2罚锁胜局篮网末节太浪险翻船,凯文杜兰特,篮网队,多伦多猛龙队,凯里·欧文,凯文-杜兰特

为什么感染者尽量不要接触冰箱？专家给出正确做法：痊愈后给冰箱断电

羊”了之后，在家要注意哪些地方？最近，一则感染者尽量不要接触冰箱的话题登上热搜，引发网友热议。为什么为什么感染者尽量不要接触冰箱呢

王国栋任民生加银基金财务负责人|今日精选

中国经济网北京12月16日讯今日，民生加银基金管理有限公司公告称，王国栋任公司财务负责人，任职日期为2022年12月15日。王国栋自1997年1月至20

本周盘点（12.12-12.16）：惠泉啤酒周涨0.36%，主力资金合计净流出1367.80万元

截至2022年12月16日收盘，惠泉啤酒（600573）报收于11 19元，较上周的11 15元上涨0 36%。本周，惠泉啤酒12月14日盘中最高价报11 49元。12月13

新动态：得润电子：12月15日获融资买入483.70万元，占当日流入资金比例8.62%

同花顺数据中心显示，得润电子12月15日获融资买入483 70万元，占当日买入金额的8 62%，当前融资余额5 91亿元，占流通市值的10 72%，超过历史50

快讯: “非物质文化遗产进校园活动”展演活动在凤翔学校顺利开展; 信阳市市文广旅局举办非物质文化遗产申报放权赋能培训会召开; 淮南市第五批市级非物质文化遗产代表性项目公布; ”陕西省非物质文化遗产研究基地“在榆林成立; 定了！在郑州举办的2022中国非遗年会延期举办; 喜讯！甘肃省古籍保护中心“古籍修复技艺”被列为省级非遗; 从“非遗进校园”到“非遗在校园”！广东发布20个优秀案例

动态: 2022-03-18江苏盐城：东台西溪天仙缘景区打造文旅融合新天地; 2022-03-18数字化时代用数字化让文化遗产火起来; 2022-02-16一图读懂新一轮“双一流”建设; 2022-02-16教育部：将委托第三方开展“双减”落实情况的独立调查

论坛