首页 > 资讯 > > 内容页

大语言模型中的涌现现象是不是伪科学?

2023-05-04 10:37:50 程序员客栈

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:


(相关资料图)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

x 广告
最近更新

大语言模型中的涌现现象是不是伪科学?

2023-05-04

远红外自发热护膝 自发热护膝危害 天天快资讯

2023-05-04

石问之:《红楼梦》中“吟成豆蔻诗犹艳”一联版本关系考 每日信息

2023-05-04

焦点热门:联合国官员呼吁苏丹冲突双方保障人道主义救援工作

2023-05-04

澄天伟业:已完成部分MOSFET IGBT等功率半导体方面的研发,并已为终端应用企业送样测试|全球新视野

2023-05-04

兴业证券:美国一季度GDP不及预期 库存是主要拖累

2023-05-04

当前播报:科技股强势助推 指数型QDII基金成大赢家

2023-05-04

巴西和中国采取行动救助阿根廷-环球看点

2023-05-04

当前快讯:一级士官? 一级士官是下士吗

2023-05-04

全球热推荐:东风风行菱智plus改装_东风风行菱智1 6l

2023-05-04

word怎么设置背景格式_word怎么设置背景

2023-05-04

股价创40个月来新低!立讯精密:就目前整体市场环境而言,相比年初时已有所改善-环球今头条

2023-05-03

立讯精密:与奇瑞汽车在Tier1项目上的合作一直处在良好状态 当前热讯

2023-05-03

降压0号说明书成分_降压0号说明书

2023-05-03

【环球报资讯】[预告]晟楠科技向不特定合格投资者公开发行股票并在北交所上市网上路演5月4日14点举行

2023-05-03

全球快报:一什么泼水节_泼水节打一字

2023-05-03

电脑怎么切换用户名_电脑怎么切换用户-今热点

2023-05-03

滑板鞋牌子排名榜_滑板鞋品牌推荐-全球热点评

2023-05-03

天天即时看!乌鲁木齐-香港直飞航线首航

2023-05-03

2023年5月3日国内现货市场铜价汇总_世界信息

2023-05-03

【世界新视野】鬼玩人第一季_关于鬼玩人第一季简述

2023-05-03

胡萝卜小米粥的功效与作用_胡萝卜小米粥-每日时讯

2023-05-03

母亲给五一返程女儿塞80斤特产是什么情况 母亲给五一返程女儿塞80斤特产具体来龙去脉是怎么样

2023-05-03

Immatics(IMTX.US)大涨30% 其TCR-T疗法第3个月确证的ORR为67% 独家

2023-05-03

五一节后投资还是投机(5月3日)-全球微动态

2023-05-03

禄丰市气象台2023年5月2日10时10分发布干旱橙色预警信号|全球微速讯

2023-05-03

dnf玛巴斯好在哪里(dnf玛巴斯) 全球时快讯

2023-05-03

环球速递!荣膺MVP!恩比德:我们庆祝了5分钟就回归正题 还有系列赛要赢

2023-05-03

嬢嬢在上海是什么意思_嬢嬢在上海是啥意思

2023-05-03

国内黄金交易平台_国内黄金期货交易平台

2023-05-03

藏于钢筋混凝土 她们的美值得被看见-环球视点

2023-05-03

长安汽车甩不掉油车尾巴

2023-05-03

2020现代军旅电视剧排行榜前十名_现代军旅电视剧排行榜

2023-05-03

焦点播报:绿豆汤怎么做能尽快开花_绿豆汤怎么做

2023-05-03

今日青铜佛像氧化面怎么修复比较好?

2023-05-02

7天访4国 G7峰会前岸田为何专程跑一趟非洲?

2023-05-02

满额返千元券赠好礼、爆品5折秒杀 京东自营线下门店五一福利不止5折

2023-05-02

社区干部“五一”躲民宿喝酒划拳,被纪委监委检查组抓现行 即时焦点

2023-05-02

宝马摩托车参展2023JCsuper成都机车潮流文化展 天天热推荐

2023-05-02

每日热门:搔扒反射实验_搔扒反射

2023-05-02

看我流泪你头也不回原唱_看我流泪你头也不回|微资讯

2023-05-02

熊猫血是什么血型_熊猫血-环球新消息

2023-05-02

锁定温网正赛!张之臻爆冷NO.13,马德里仅次李娜,球迷:熬夜值

2023-05-02

刚刚,特斯拉主力车型在华全系涨价2000元|天天快报

2023-05-02

中东部地区将遇大范围强降雨_环球观点

2023-05-02

环球热消息:尼克斯送大礼热火坐收渔利,76人再遭重创,约基奇主动让位认怂

2023-05-02

青海企业年金规模达到55亿元

2023-05-02

苏泊尔炒锅不粘锅涂层对人有危害吗_苏泊尔不粘锅涂层有毒

2023-05-02

【速看料】Xbox新UI正式公布!图标终于不挡壁纸了

2023-05-02

兴县交警大队:五一坚守岗位 全力以赴保畅通​

2023-05-02

现场混乱!多名游客在石家庄市动物园发生冲突,网友:一时间不知道看谁了

2023-05-02

当前观察:7座全尺寸SUV75万左右哪款好?购车指数选车:大家最喜欢什么车?

2023-05-02

前沿热点:因为热爱,所以不计付出——记全国五一劳动奖章获得者、长沙市芙蓉区大同小学校长朱爱朝

2023-05-02

万余地铁建设者“五一”坚守岗位

2023-05-02

补肾壮阳酒配方49味药 最强补肾壮阳酒秘方|世界讯息

2023-05-02

当前资讯!手撕牛肉的做法大全家常_手撕牛肉的做法大全

2023-05-01

“五一”假期旅游火爆,中国经济复苏正在积聚动能

2023-05-01

世界观热点:雷蒙德詹姆斯公司:维持Waste Connections(WCN.US)强烈买入评级

2023-05-01

一小区发生爆炸!目击者:玻璃碎了一地

2023-05-01

2019年单招报名时间_世界简讯

2023-05-01

微速讯:时乖运蹇名词解释_时乖运蹇是啥意思

2023-05-01

全球信息:戴维金格尔抢购邦迪一套公寓

2023-05-01

香的笔顺_语的笔顺

2023-05-01

betweenus我们之间泰剧_between us

2023-05-01

康熙容妃经典片段_康熙容妃

2023-05-01

数花瓣爱我不爱我_爱我不爱我

2023-05-01

福田g9加长版房车_福田g9-环球聚看点

2023-05-01

iOS 17大变!锁屏歌词+全新表情

2023-05-01

村委会政审证明材料 村委会政审证明范文_今日快看

2023-05-01

18部影片虎视“五一档”《灌篮高手》首周破3.8亿|思维生活+

2023-05-01

【天天快播报】4月:Chrome 份额 63.51% 排第一,Safari 份额 20.43% 位居第二

2023-05-01

天天热推荐:法甲-姆巴佩破门阿什拉夫染红 巴黎1-3洛里昂5分领跑

2023-05-01

入围名单来了!江西刚刚公布_环球速读

2023-05-01

美媒公布最近10届总冠军排名:有杜兰特的勇士占据了前二名 世界热文

2023-05-01

韩国姓氏韩语汉语对应_韩国姓氏

2023-05-01

环球消息!【Beta2.0】笔记本电脑选购指南

2023-05-01

全球观速讯丨现金流量净额计算方法_现金流量表的编制方法及相关计算公式

2023-05-01

天天即时:五一假期首日 深港口岸出入境客流再创新高

2023-04-30

四川家政“靓”相2023首届家政博览会 展示新业态、新场景、新服务、新发展

2023-04-30

天天热推荐:佛藏拾珠卷七这套书中有多少本是蓝色品质的(银鳞胸甲 蓝色品质)

2023-04-30

水煎包、白糖糕、滩羊肉……近四成游客跟着味蕾去旅行

2023-04-30

热资讯!男孩花1元买金戒指妈妈慌了 情况到底怎么样的?

2023-04-30

游戏王:号称恐龙族版本的“活死人呼声”,可复活怪兽

2023-04-30

安能摧眉折腰事权贵使我不得开心颜的颜是什么意思_安能摧眉折腰事权贵使我不得开心颜-焦点热闻

2023-04-30

汽车强行加塞的加塞是什么意思啊_汽车强行加塞的加塞是什么意思|当前热门

2023-04-30

fox mail如何设置自动回复_foxmail如何设置自动回复邮件

2023-04-30

劳动人民的手是有“泥浆”的 他在杭州街头义务修车37年-全球热点

2023-04-30

【全球播资讯】黔西南州各地抢抓农时全力保障春耕生产

2023-04-30

宁丹琳的爸爸是谁(宁丹琳父母)-全球热讯

2023-04-30

相约安徽·向春而行丨2天1晚,三条线路攻略,广德处处都精彩!_环球视点

2023-04-30

数据多“跑路”、群众少“跑腿” 医保结算有这些便民新政策→-观天下

2023-04-30

全球时讯:“五一”假期首日广东迎出游高峰 文旅融合点燃消费市场

2023-04-30

畅游山水间|天天亮点

2023-04-30

全球速讯:货币基金收益提升空间有多大

2023-04-30

下一个梅西?巴萨15岁天才创历史 8分钟险传射建功

2023-04-30

cf静步连跳(cf连跳教程)-天天时讯

2023-04-30

天天微头条丨南京银行2022年资产规模突破2万亿大关、实现归母净利润184亿元 现金分红占比30%

2023-04-30

胰腺癌晚期病人临终前三天征兆_胰腺癌晚期临死前三天是什么症状 世界视点

2023-04-30

甲醛会导致身体出现哪些状况知乎(甲醛会导致身体出现哪些状况)

2023-04-29

联合国前副秘书长:中国高铁是世界上最棒的交通方式

2023-04-29

宋葵形素铜镜|天天时讯

2023-04-29

星空深渊石头怎么获得_星空深渊原石哪里获得

2023-04-29

pao2和paco2啥区别_pao2和paco2是什么意思|全球观点

2023-04-29

平遥到王家大院一日游_平遥到王家大院

2023-04-29

生死考验见忠诚 危难时刻看担当

2023-04-29

股票涨停为什么不能卖 股票涨停板是什么意思_要闻速递

2023-04-29

全球热文:沪农商行(601825):营收逆势改善 小科科创借势而进

2023-04-29

AWE2023 | 科技助力护肤新趋势,JOVS新品亮相发力抗衰赛道 环球热点评

2023-04-29

畅游账号vip等级有效期_畅游vip等级查询

2023-04-29

高速数十辆车被扎胎 官方回应:货车掉落大量铁屑铁钉

2023-04-29

每日热闻!北方台球网论坛_台球论坛

2023-04-29

为什么故宫不能去3次_故宫晚上为什么不开放 世界速看

2023-04-29

伊织诚岭司头像 伊织诚

2023-04-29

多家风投入股,OpenAI估值达到270亿-290亿美元_热议

2023-04-29

美媒:摩根大通和PNC竞相收购第一共和银行_最新资讯

2023-04-29

寒武纪2022年营收7.29亿元,2023年一季度实现上市后首次亏损收窄_环球新消息

2023-04-29

A股投资者必看!A股Topcon概念龙头股全名单揭晓!(2023/4/29) 世界今亮点

2023-04-29

时过境迁沧海桑田是什么意思_时过境迁沧海桑田的含义|全球快资讯

2023-04-29

消火栓使用方法步骤口诀_消火栓使用方法步骤-全球聚看点

2023-04-29

这算不算梦幻联动,谷爱凌发了易烊千玺、杨颖他们仨的合照 全球今热点

2023-04-29

世茂股份2022年营业收入57.47亿元 房地产租赁收入14.47亿元

2023-04-29

元利科技:2023年第一季度净利润约6398万元_全球快看

2023-04-29

开心网地址(我的首页开心网) 天天新消息

2023-04-29

环球今亮点!贵州工业贷款增速提升至近10年来最好水平

2023-04-28

三星期待Galaxy 旗舰产品重启三星芯片,期待吗

2023-04-28

天天观天下!豫园股份一季度归母净利润3.36亿元,消费板块营收占比超八成

2023-04-28

“泉城夜八点品牌联盟”成立!线上线下、跨界互动 快看

2023-04-28

环球微动态丨2023年护士资格考试成绩查询时间及入口

2023-04-28

高音质_关于高音质简述 全球今头条

2023-04-28

科泰电源:大股东及一致行动人等拟合计减持不超3.5%股份-每日焦点

2023-04-28

全球快看点丨《复仇者联盟3》后就看它,蚁人再巨化,新女英雄登场,技能炫酷

2023-04-28

Aqara受邀出席GTIC 2023全球AIoT智能家居峰会并作主题演讲 天天聚看点

2023-04-28

当前滚动:红蜻蜓:22年营收22.51亿元 寒冬中蓄势变革

2023-04-28

劳动者画像|汽修厂里的致富故事

2023-04-28

全球快消息!东华科技签订华塑股份公辅项目EPC总承包合同

2023-04-28

免费开放!玉溪广卫王家宅马帮文化展示研究基地今日开馆

2023-04-28

佛塑科技股票行情走势(配资平台是不是对赌)

2023-04-28

将出海口搬到河南 从周口港出发通江达海|起飞吧河南

2023-04-28

一季度国内智能手机OPPO市场份额居首

2023-04-28

17的因数有哪些(16的因数有哪些)

2023-04-28

港股异动 | 第一拖拉机股份(00038)涨近4% 一季度归母净利约4.86亿元 同比增长1.06%-环球速读

2023-04-28

工信部:将抓紧制定新能源汽车动力电池回收利用管理办法

2023-04-28

焦点热议:solitaire collection可以卸载吗_solitaire collection能卸载吗[多图]

2023-04-28

全球今日报丨vivo_x27现在多少钱 手机功能介绍

2023-04-28

醉酒购彩被拒,却拿下200万元?_天天快讯

2023-04-28

天天头条:清朝官员品级一览表(清朝官员品级)

2023-04-28

什么app可以赚钱提现到微信_什么app可以赚钱-天天滚动

2023-04-28

河北工程大学电气工程及其自动化怎么样分数

2023-04-28

热门:针锋对决广播剧漫播 针锋对决广播剧

2023-04-28

调查:美国纽约市约半数有劳动适龄人口的家庭入不敷出 环球热消息

2023-04-28

观天下!劲爆超燃 全城点亮“F1摩托艇大赛”

2023-04-28

环球速递!融捷股份拟斥资超9亿元投建4万吨/年锂离子电池正极材料项目

2023-04-28

【全球报资讯】调查别人隐私算犯法么

2023-04-28

环球观焦点:9.4T超高场人体全身MRI系统全国首发

2023-04-28

34家公司担保额超过净资产,专家建议担保要量力而行 快资讯

2023-04-28

项目部宣传工作计划方案(优选7篇)

2023-04-28

华谊兄弟一季度归母净亏损1056.43万 较上年同期收窄91.99%_天天动态

2023-04-28

小学教师资格证考试题库全部_小学教师资格证考试题库 环球观天下

2023-04-28

世界视点!外贸会计考试时间_外贸会计考试

2023-04-28

热资讯!中海油服发布2023年一季报

2023-04-27

环球通讯!菜鸟与欧莱雅集团拓展合作范围 共建高质量可持续供应链

2023-04-27

V观财报|牧原股份一季度亏近12亿 五大股东持股变动_实时

2023-04-27

全球速递!三个行业人才紧缺!贵阳高新区2022年人才紧缺指数报告发布

2023-04-27

天健集团一季度收入32.29亿元 归母净利润同比下降76.3% 环球热推荐

2023-04-27

武汉地铁信号维修技师徐旺明获评湖北省劳模:24小时在线的地铁中枢神经“主刀医生”

2023-04-27

全球快看点丨2023年5月12日新股前瞻:1只申购 3只公布中签号

2023-04-27

兔宝宝:子公司德华兔宝宝投资管理有限公司与徐俊、彭秋彦共同出资设立浙江德华兔宝宝私募基金管理有限公司-每日资讯

2023-04-27

“企业有所求,金融有所应”,上海静安为科创企业提供全周期精准化金融服务

2023-04-27

环球今头条!湖南发布汛情提醒:5月1日至3日将再迎强降雨

2023-04-27

天天滚动:新华水电2023年4GW光伏组件集采中标结果公布

2023-04-27

冒险王双人疯狂版_冒险王双人小游戏 天天热文

2023-04-27

第六届数字中国建设成果展览会开幕

2023-04-27

星火成炬|热爱可抵岁月漫长

2023-04-27

微动态丨一季度全国新设民营企业203.9万户 同比增长10.7%

2023-04-27

星火成炬 | 热爱可抵岁月漫长

2023-04-27

刘若英深圳演唱会无修图颜值惨不忍睹,54岁仍捞钱恐嫁伪豪门!_每日看点

2023-04-27

石家庄市新华区冰雪轮滑协会:将冰雪运动送到更多群众身边

2023-04-27

三叶草能在室内养植吗 三叶草适合在室内养吗 世界报资讯

2023-04-27

王者荣耀出装顺序会影响暴击吗_王者荣耀出装顺序

2023-04-27

海南:“五一”假期推出多彩文旅活动 旅游产品预订火热

2023-04-27

今日播报!嗨翻“五一”,曹山潮玩生活节邀您打卡

2023-04-27

什么是专著_全球快资讯

2023-04-27

全球微资讯!依顿电子一季度净利润同比大增101.17%;超声、深南大项目有新消息

2023-04-27

晨曦航空:4月26日获融资买入261.27万元,占当日流入资金比例7.79%

2023-04-27

每日观点:铜仁职业学院就业如何有哪些技术技术去向

2023-04-27

环球微速讯:口碑好才能长期好

2023-04-27

数字峰会氛围浓 福州元宇宙沉浸式体验馆受热捧

2023-04-27

世界视讯!国防部:中国军队派海军舰艇赴苏丹接运撤离我在苏人员

2023-04-27

世界观热点:新股曼恩斯特发行申购,发行价高,股民中签会破发吗?

2023-04-27

比亚迪2022年年报:继续进行技术“颠覆性迭代”,研发费用突破百亿元_世界新视野

2023-04-27

小金刚菩提子怎么盘红_小金刚菩提子怎么盘 当前报道

2023-04-27

天天热头条丨澳丽花苑_关于澳丽花苑介绍

2023-04-27

焦点报道:环保人造蛛丝产量提高八倍

2023-04-27

【世界聚看点】澧阳街道办事处_关于澧阳街道办事处介绍

2023-04-27

NBA季后赛:太阳4比1淘汰快船,布克爆砍47分,杜兰特31分关键球奠定胜局-天天动态

2023-04-27

暗影恶魔_对于暗影恶魔简单介绍-天天最资讯

2023-04-27

众诚科技2023年第一季度营收5704.76万上年末在手订单较少

2023-04-26

视焦点讯!周鸿祎:现在担心风险为时尚早 对中国版GPT有信心

2023-04-26

AMD 锐龙7 7840U 15W APU 跑分相当于酷睿i9-12900、R9 5900X水平

2023-04-26

孙吉亭-环球短讯

2023-04-26