继微软、谷歌之后,脸书(Facebook)母公司Meta(Nasdaq:META)也加入AI军备竞赛。
当地时间2月24日,Meta官网公布了一款新的人工智能大型语言模型LLaMA,从参数规模来看,Meta提供有70亿、130亿、330亿和650亿四种参数规模的LLaMA模型,并用20种语言进行训练。
Meta首席执行官马克·扎克伯格表示,LLaMA模型旨在帮助研究人员推进工作,在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面有很大的前景。
怎么理解人工智能大型语言模型的参数?
据悉,AIGC(利用人工智能技术来生成内容)形成的学习能力在一定程度上取决于参数的规模。Open AI推出的ChatGPT是通过其AI大模型GPT-3的基础上通过指令微调后得到的,参数量达1750亿,谷歌推出的Bard使用的是轻量级LaMDA模型,相比标准版本,轻量化版本模型所需要的运算能力较小,能面向更多使用者开放,使其参与体验,有报道指出LaMDA模型参数量在1370亿。百度文心大模型参数量达到2600亿,阿里则表示,从过往实践来看,其具备支撑超万亿参数大模型研发的技术实力。
Meta此次推出的大模型实力如何呢?
Meta首席AI科学家杨立昆(Yann LeCun)表示,在一些基准测试中,LLaMA 130亿参数规模的模型性能优于OpenAI推出的GPT3,且能跑在单个GPU上;650亿参数的LLaMA模型能够和DeepMind 700亿参数的Chinchilla模型、谷歌5400亿参数的PaLM模型竞争。
法新社称,按照Meta的表述,LLaMA是一套“更小、性能更好”的模型,且不同于谷歌的LaMDA和OpenAI的GPT机密训练资料和演算,LLaMA是基于公开资料进行训练。
Meta在官网表示,在大型语言模型中,像LLaMA这样的小型基础模型是可取的,因为测试新方法、验证他人的工作和探索新用例所需的计算能力和资源要少得多。基础模型基于大量未标记的数据进行训练,这使得它们非常适合于各种任务的微调。与其他大型语言模型一样,LLaMA的工作原理是将一系列单词作为输入,并预测下一个单词以递归生成文本。
Meta称将致力于这种开源模型的研究,新模型会开源给整个AI研究社区使用,并授予大学、非政府组织和行业实验室访问权限。另外,Meta表示其还有更多研究需要做,以解决大型语言模型中的偏见、有害评论等风险。
Meta披露的2022年第四季度财报显示,该公司已连续第三个季度出现营收同比下滑,四季度营收312.54亿美元,同比下降4%。广告为Meta的支柱业务,为第四季度的总营收贡献超97%,报告期内,尽管广告展现量增长了23%,但单位广告价格下滑了22%。
截至美东时间2月24日,Meta股价跌0.96%报170.390美元/股,总市值4418亿美元。
■面向风化的甲骨实物,通过多光谱技术进行微痕提取,形成肉眼难以观察到的科学影像。刘永革说:“用计算机破译甲骨文,用知识图谱的推理,可以对缺失甲骨学语义进行补全或预测,从而实现甲骨学知识的自动发现和考古预测。
航天科技集团六院11所重型发动机副主任设计师 赵剑:没错,我们就是面向我国重大航天任务需求。航天科技集团六院西安航天发动机有限公司副总经理 刘友强:新一代液氧煤油发动机,总装的脉动线,建成的第一天开始就基本上满负荷运行了。
2月6日,工作人员在郑州宇通集团新能源厂区进行整车装配作业。对于广大消费者关心的充电设施建设问题,要求加快推进社区、停车场、加油站、高速公路服务区、客货运枢纽等的充电设施建设,并鼓励充电桩运营企业适当下调充电服务费。
大象新闻
电影院里,类型丰富的影片吸引不少观众;剧场剧院中,音乐会、歌舞剧等颇受欢迎;文化展馆中,各个展区人头攒动;景区景点里,非遗展览和体验新鲜感满满。新的一年刚刚开始,我们期待看到、听到、体验到更丰富更优质的文化产品,也期待神州大地处处焕发文化新气象,让活力满满的文化消费助力中国经济再上层楼。
近日,教育部制定了《信息技术产品国家通用语言文字使用管理规定》,以第54号教育部令颁布,管理规定将于2023年3月1日起正式施行。
近日,记者从南阳市教育局获悉,2023年南阳市汉字大赛暨河南省汉字大赛选拔赛启动,进一步强化各级各类学校国家通用语言文字教育。
每到岁末,各类年终盘点成为人们分享的焦点,这些盘点带领我们回眸过去一年的社会点滴,也唤起每个人经历过的重要时刻、酸甜苦辣。其中,“年度汉字”“年度热词”“年度流行语”等评选,有着和“高考作文题”相似的魔力。
本周,美国脸书母公司Meta因违反欧盟隐私规定,被欧盟主要隐私监管机构罚款近4亿欧元。一些专家认为,此举可能会威胁到该公司的主要收入来源。 爱尔兰数据保护委员会是Meta在欧盟的主要监管机构,该委员会表示,欧盟当局认为Meta通过服务条款向