Falcon 40B:阿联酋首个开源大型语言模型引领潮流!

唯爱网6月9日消息,亚马逊云科技近日宣布,阿布扎比技术创新研究所(TII)开源的大型语言模型Falcon 40B和Falcon 7B已于6月7日起在其机器学习中心Amazon SageMaker JumpStart中可使用。

Amazon SageMaker JumpStart是一个提供预训练模型、内置算法和解决方案模板的平台,旨在帮助用户快速进行机器学习,实现文章总结、图片生成等任务。

据唯爱小编了解,用户只需在SageMaker Studio中简单操作,即可轻松部署和使用Falcon模型,或者通过SageMaker Python SDK进行编程方式的应用。

此次发布意味着,不论是何行业、何规模的企业或开发者,都可以快速、轻松地部署Falcon 40B模型,并进行个性化定制以满足特定需求,如翻译、问答、信息总结、图像识别等应用程序。对于生成式AI行业的发展来说,这无疑具有重要意义。

Falcon 40B:阿联酋首个开源大型语言模型引领潮流

Falcon 40B:阿联酋首个开源大型语言模型引领潮流!

Falcon 40B是阿联酋的首个大型人工智能模型,由阿布扎比技术创新研究所(TII)开发并推出。该模型拥有400亿参数,在高质量token上进行了1万亿次的训练,性能超越了扎克伯格旗下的650亿参数LLaMA模型以及其他知名开源模型,成为Hugging Face开源大语言模型全球榜的领军者。

Falcon 40B不仅在性能上表现出色,而且在训练资源的利用效率上也非常高。相较于GPT-3模型,Falcon 40B只使用了75%的训练预算,却能显著超越GPT-3的性能。此外,在推理阶段的计算量仅需GPT-3的1/5。

值得一提的是,Falcon 40B采用开源Apache 2.0许可证,广泛允许免费使用(商业化开源收入超过100万美元时,需缴纳10%的授权费用),为广大AI应用开发者提供了便利。开发者可在任何地方下载、检查和部署模型权重,构建满足用户需求的定制化AI工具。

Falcon 40B:阿联酋首个开源大型语言模型引领潮流

Falcon 40B:阿联酋首个开源大型语言模型引领潮流!

根据了解,TII利用亚马逊云科技的SageMaker进行Falcon大语言模型的训练工作。SageMaker是一个托管API集合,为开发、训练、优化和托管机器学习模型提供支持,包括大型语言模型。TII使用SageMaker Training API提供的瞬态集群来训练Falcon大语言模型,最多支持48个ml.p4d.24xlarge实例(384个英伟达A100 GPU)。

目前,TII正在训练下一代Falcon大语言模型,并计划将训练扩展到3136个A100 GPU(392个ml.p4d实例)。除了Falcon,其他知名大型语言模型如Stability AI、AI21 Labs和LG AI也使用了亚马逊云科技的SageMaker来处理其大语言模型工作负载。

通过Amazon SageMaker JumpStart,开发者现在可以快速轻松地部署自己的Falcon 40B模型,并进行个性化定制,加速生成式AI应用产品的落地。

总而言之,亚马逊云科技推出的Amazon SageMaker JumpStart为开发者提供了便利,使各行业客户都能够快速应用Falcon 40B模型,并根据自身需求进行定制化开发。随着各种大型语言模型的不断涌现,生成式AI的发展前景将更加广阔。

声明:本文内容采编自互联网,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请点击举报,一经查实,本站将立刻删除。

本文链接:https://www.vivst.cc/31972.html

相关文章