一文读懂昆仑芯大模型端到端解决方案

发布时间:2023-07-31 11:19
作者:AMEYA360
来源:网络
阅读量:1209

  新一轮人工智能热潮下,国内大模型群雄逐鹿,目前已有超过80个大模型公开测试。而相关数据显示,ChatGPT自发布以来,全球访问量环比增幅持续下降,6月首次出现环比下滑9.7%。泡沫退去,如何在大模型时代保持市场竞争力?

  针对大模型场景,昆仑芯早已在产品定义上作出布局,相较第一代产品,昆仑芯2代AI芯片可大幅优化算力、互联和高性能,而在研的下一代产品则将提供更佳的性能体验。

  在近日落幕的XceedCon2023人工智能芯片生态大会上,昆仑芯大模型端到端解决方案正式发布,该解决方案随即入选2023世界人工智能大会卓越人工智能引领者奖(Super AI Leader,简称SAIL奖)TOP30榜单。

  昆仑芯副总裁王勇、昆仑芯互联网行业总经理王志鹏先后在XceedCon2023人工智能芯片生态大会、2023世界人工智能大会对昆仑芯大模型端到端解决方案进行发布与推介。本篇以下内容整理自现场实录。

  软硬协同、技术创新

  打造高性能产品矩阵

  集十余年AI加速领域研发积累,昆仑芯核心团队于2017年在Hot Chips上发布自研、面向通用人工智能计算的芯片核心架构——昆仑芯XPU。目前,已有两代昆仑芯AI芯片基于该架构实现量产和规模部署。

  昆仑芯XPU专为密集型计算而设计,相比GPU可提供更多AI加速单元,同时支持C/C++、类CUDA语法编程,兼具高性能和可编程性,适配几乎所有主流AI场景,满足不同行业的大模型训推需求。

  大模型的演进必将伴随参数量的增加,更加依赖于分布式训练与推理能力。昆仑芯2代系列产品搭载新一代核心架构XPU-R,性能相较一代提升2-3倍,在分布式场景中优势明显。

  01.

  大显存

  昆仑芯2代产品拥有32GB显存容量,在同价位产品中内存优势突出。

  02.

  高互联

  昆仑芯通过领先技术,可实现单机八卡高速互联,带宽达到200GB/s;支持Direct RDMA,可实现跨机间低延时、高速通讯。

  昆仑芯推出针对不同参数级别的大模型产品矩阵,兼具显存和算力成本优势。

  昆仑芯AI加速卡R200-8F面向百亿以内参数量级,相比同类型产品性能提升20%;

  昆仑芯AI加速器组R480-X8面向百亿至千亿参数量级,性能达到同类型产品的1.3倍以上;

  昆仑芯AI加速器组R480-X8集群针对千亿以上参数量级,可实现多机多卡分布式推理。

  昆仑芯大模型解决方案软件栈

  软件生态层面,昆仑芯提供了针对大模型场景的专用加速库、丰富的云原生插件,支持文心一言、LLaMA、Bloom、ChatGLM、GPT等行业主流大模型。

  昆仑芯XFT(XPU Fast Transformer)推理加速库,较原生框架小算子版本性能提升5倍以上。目前,XFT加速库已与百度飞桨、PyTorch等主流深度学习框架完成适配;

  昆仑芯云原生插件可帮助用户快速完成和大模型平台的适配;同时提供昆仑芯SDK,帮助用户快速完成适配和实时自定义开发。

一文读懂昆仑芯大模型端到端解决方案

  昆仑芯xHuggingface开源推理套件

  此外,昆仑芯全面拥抱开源社区,积极携手生态伙伴构建软硬一体的AI芯片生态。

  昆仑芯打造了xHuggingface开源推理套件,仅修改1-2行代码,即可快速搭建基于XPU的智能客服APP。同时,昆仑芯与飞桨PaddlePaddle的AI Studio社区紧密合作,基于xHuggingface开源推理套件向广大开发者提供更快、更强、更省的算力产品;

  昆仑芯与飞桨深入协同适配行业主流大模型,可支持超大规模分布式训练与推理。针对稠密大模型,昆仑芯支持飞桨的Sharding并行、数据并行、模型并行、流水线并行四种并行方式;针对稀疏大模型,昆仑芯与飞桨共同打造大规模参数服务器架构,实现了万亿参数的大模型训练。

  深入场景、真实历练

  打磨端到端解决方案

  昆仑芯深入了解不同应用场景下客户的真实需求,凭借软硬协同技术与高性能产品矩阵,为千行百业提供开箱即用的产品和全栈式AI服务。

  大语言模型场景

  目前,昆仑芯已与业界主流开源大模型完成适配,向客户开放开源软件库,供客户进行二次修改、微调,满足不同推理场景下的个性化定制需求。

  GPT百亿参数大模型场景:昆仑芯产品的QPS相比主流165W产品提高30%以上,同时首字时延更低。

  文心一格:目前已大规模应用昆仑芯产品,成本降低的同时,可实现2秒快速出图。

一文读懂昆仑芯大模型端到端解决方案

  针对大语言模型训练场景,昆仑芯也可提供一整套精调的训练策略。目前,昆仑芯已适配pretrain、post-pretrain、SFT、LoRA等模型,可根据客户的数据量与计算资源情况,灵活推荐不同的训练模式。

  能源行业:昆仑芯解决方案通过SFT训练模式,客户仅使用少量数据即可2天打造专属行业大模型。

  智源研究院:昆仑芯和智源研究院在大模型方面已有深入合作。昆仑芯已完成和Aquila大语言模型推理任务的适配、精度调试和性能优化,并实现大规模分布式推理上线,训练任务适配优化中;同时也适配了智源eva视觉大模型,初步验证了大规模分布式预训练能力。

  稀疏大模型推荐场景

  稀疏大模型存在训练门槛高、算力消耗大等技术挑战。对于算法和模型持续高频迭代的推荐场景,昆仑芯始终将“安全可信”、“从GPU零成本无缝迁移”作为目标,实现训练与推理系统的紧密耦合,为客户降本增效。目前,昆仑芯已与互联网头部客户完成了训练场景的端到端联合开发,并在TB级以上稀疏大模型上完成了“替换主流GPU的全量上线”。

  大模型的持续迭代加速了我国AI技术及AI产业的演进,利好政策的相继出台同时开启了我国大模型商用浪潮。面向未来,昆仑芯将始终坚持软硬协同创新,夯实AI领域综合优势,加速大模型产业落地,勇立大模型时代潮头。


(备注:文章来源于网络,信息仅供参考,不代表本网站观点,如有侵权请联系删除!)

在线留言询价

相关阅读
昆仑芯Anyinfer零代码实现昆仑芯AI加速卡模型推理
  当下,AI技术蓬勃发展,AI算法应用需求井喷。行业技术从业者在项目的不同阶段面临种种现实问题,这些问题无疑也增加了项目的复杂性和不确定性:  算法选型:  技术从业者极有可能遇到不同框架格式的算法模型;即便是同一个开源算法的实现,也可能是经过不同训练框架导出,因此模型的保存格式也会有所不同。  算法验证:  想在AI加速卡上评估算法的推理效果,就要针对不同推理框架的接口构造上百行代码的推理程序;如果效果不达预期,可能还需要更换其他框架的模型,这就需要重新构造一份不同的推理程序......  真正到了算法部署阶段,则将迎来更加严峻的挑战。  以上种种业内痛点,是否也在困扰您?看完这篇,基于昆仑芯AI加速卡的高效模型推理部署框架——昆仑芯Anyinfer,帮您一键全搞定!  一、昆仑芯Anyinfer  1. 昆仑芯Anyinfer架构图  2. 昆仑芯Anyinfer核心优势  A、强兼容性  在多个平台上支持零代码推理PaddlePaddle、PyTorch、ONNX、TensorFlow等多个主流框架格式的众多领域模型。  B、高人效  内置多款推理引擎,针对不同领域,用户无需学习特定框架编程接口,更不用编写多份推理程序,零代码验证模型在不同框架中的效果。  C、零代码  只需一行命令,即可完成模型验证评估,无需依据模型构建输入数据,也无需撰写模型转换、前后处理及推理脚本代码。  D、部署友好  支持C++与Python两套接口逻辑统一的API,用户在生产环境中部署模型更方便。  二、运行演示  1. 快速完成算法模型验证评估  一行命令,即可轻松验证模型精度、一键评估模型的推理性能等关键指标。  A、ONNX、PyTorch和TensorFlow模型在昆仑芯AI加速卡和CPU上的计算精度对比  B、PaddlePaddle模型在昆仑芯AI加速卡上的推理性能统计  2. 获取模型性能分析报告,为下一步模型优化做足准备  在初步完成算法模型的验证评估后,可利用昆仑芯Anyinfer深入研究模型中各个层面的性能,包括推理框架层面和算子执行层面等,助力进一步调优模型的推理性能。  3. 模型的基础性能调优  完成对模型的性能评估后,可以使用基础的调优方法来提高模型的推理性能。昆仑芯Anyinfer提供了一项非常便捷的功能:最佳QPS搜索。此功能将以往需要修改多个参数并多次执行的操作化繁为简,快速确定最适合项目需求的配置,提高用户体验。  4. 模型的高性能部署  完成算法模型的验证后,最关键的一步来了!昆仑芯Anyinfer可轻松应对生产环境部署这一挑战。仅需三个统一的C++接口,即可顺利将验证后的模型部署至生产环境中。  此外,昆仑芯Anyinfer还提供了方便的调试功能,例如算子的自动精度对比、模型转换等。同时,也提供了丰富的使用示例,包括多输入、多线程、多进程、多流推理等。种种行业痛点,昆仑芯Anyinfer轻松搞定。简洁而强大的解决方案,帮您把模型推理部署变得简单、高效。  目前,昆仑芯Anyinfer已在多个行业客户中投入使用,切实降低了行业客户人力成本,提高了项目交付效率,助力客户在行业竞争中取得领先优势。
2023-10-17 09:15 阅读量:1216
AI临港,从芯启航:昆仑芯临港办公区正式开业
  9月19日上午,在上海临港滴水湖AI创新港,昆仑芯临港办公区盛大开业。中国(上海)自由贸易试验区临港新片区党工委委员、专项办主任龚红兵、港城集团副总经理金玮琦、昆仑芯CEO欧阳剑、副总裁王勇、人力资源与行政负责人刘霜、公共事务部副总经理张嘉林等出席活动。  从左至右依次为:昆仑芯公共事务部副总经理张嘉林、昆仑芯副总裁王勇、昆仑芯CEO欧阳剑、中国(上海)自由贸易试验区临港新片区党工委委员、专项办主任龚红兵、港城集团副总经理金玮琦、昆仑芯人力资源与行政负责人刘霜。  人工智能作为上海战略部署重点发展的三大先导产业之一,是当前具有引领性的战略新技术和新一轮产业变革的核心驱动力。为全力推进人工智能产业发展,临港新片区重磅启动滴水湖AI创新港,集聚人工智能上下游企业,赋能产业创新发展。  作为我国人工智能芯片领军企业,昆仑芯秉承“让计算更智能”的使命,务实研发、攻坚克难,实现两代通用AI芯片量产,在互联网、工业、金融、能源、教育等多个领域达到过百家客户、数万片规模部署,成绩斐然。  2022年,昆仑芯正式落户临港新片区。昆仑芯上海公司成立,定位为昆仑芯最重要的研发基地之一,同时也是昆仑芯华东和华南区域的商业化基地。  上海汇聚了全国优秀的软硬件工程师,临港新片区也正在打造成为年轻人“创新创业首选地”。今年8月,临港新片区成立4周年,新一轮支持政策正在助力临港新片区更好地成为上海发展的“增长极”和“动力源”。高科技人才聚集、优厚的政策支持和良好的产业生态,各方面条件吸引昆仑芯深耕临港这片沃土。  开业仪式上,中国(上海)自由贸易试验区临港新片区党工委委员、专项办主任龚红兵表示:“作为国内最早入局人工智能加速的团队之一,昆仑芯近些年取得了业界广泛认可的成绩。期待临港新片区能涌现出更多这样的优秀企业,我们将持续提供政策支持和全方位的生活保障,与企业共绘蓝图、共建未来,携手推动AI产业的高质量发展。”  昆仑芯CEO欧阳剑在致辞中表示:“算力发展的黄金时代已来,凭借十余年的行业积累,务实自驱、卓越创新的昆仑芯人已做好攀登算力高峰的准备。未来,昆仑芯将与临港区政府、港城集团等伙伴紧密协同,为我国集成电路及AI事业贡献力量。”  昆仑芯副总裁王勇肩负上海公司组织建设的重要职责,他表示:“集成电路是临港新片区有影响力的高新产业。处于快速发展期的昆仑芯愿意同临港新片区一道,合作开展核心技术攻关,加强与新片区内上下游企业合作,吸引、培养更多高质量产业人才。”  AI临港,从芯启航。2022年昆仑芯正式落户临港,过去一年吸引了一大批优秀人才加入。今年年中,昆仑芯临港办公室正式落成,办公环境简约大气、周边配套完善, 8月份开始陆续有员工入驻。  昆仑芯临港办公区正式启用,昆仑芯信心满满,扬帆破浪踏足行,奋发向上勇攀登。而临港作为“年轻的城,年轻人的城”,也正在以日新月异的发展速度打动年轻人的心,吸引更多年轻人来到这里成长、成才、成功。
2023-09-20 10:34 阅读量:1396
签约!昆仑芯与国芯科技签订战略合作协议
  近日,国芯科技(股票简称“国芯科技”,证券代码688262.SH)与昆仑芯签署《战略合作框架协议》,双方将针对智能驾驶场景,展开在边缘AI计算、车规功能安全SoC等技术领域的长期合作,充分整合双方资源,实现优势互补,协同提升技术竞争力,共同开拓更加广阔的智能驾驶市场。  基于昆仑芯在Al技术栈方向的领先优势,以及国芯科技在边缘计算、车规功能安全SoC方向的技术积累,未来双方还将开展广泛的技术沟通与交流,共同探讨针对边缘Al场景的合作模式与技术分工,携手打造智能制造、智慧公路、智慧城市等边缘场景的端到端AI算力解决方案,构建稳定长期发展的合作关系。  国芯科技多年来一直重点布局汽车电子芯片,实现了技术与产品的先发优势。国芯科技目前已经布局了汽车域控和辅助驾驶等12条汽车电子芯片产品线,芯片产品已陆续进入比亚迪、奇瑞、吉利、上汽、长安、长城、一汽、东风、小鹏等众多汽车整机厂商,在20余款自主及合资品牌汽车上实现批量应用。截至2023年6月30日,已量产的汽车电子项目数(个)达到13个,新开发的汽车电子项目数(个)达到56个。国芯科技与众多汽车整机厂商、Tier1模组厂商形成了紧密的合作关系,在共同构建安全可靠的车规级芯片供应链的同时,通过共建汽车电子芯片实验室、共同定义新的汽车电子芯片产品、联合开发等多种合作方式,持续推出系列化高性能汽车电子芯片产品。  此次达成战略合作,将有助于国芯科技与昆仑芯针对汽车等边缘场景中AI应用,如边缘Al计算、L2+智能驾驶等,的市场落地和潜在机会挖掘,加速双方在AI领域的业务拓展,从而加快推进AI芯片在汽车自动驾驶等领域的应用落地。  在中国汽车产业跨入世界舞台中央的进程中,国芯科技与昆仑芯将紧密合作,协力推动自主研发,为发展支撑中国汽车产业升级的关键技术而务实创新,共同抓住这一历史性的产业变革机遇。
2023-09-14 09:17 阅读量:1834
昆仑芯漆维:多维度创新应对大模型时代的算力挑战
  近日,2023百度云智大会于北京圆满落幕。众多人工智能领域专家、行业精英、意见领袖等齐聚一堂,共同站在大模型重构未来的新起点,展望大模型创新发展之路。  作为百度四层架构的坚实算力底座,昆仑芯携两代芯片产品重磅亮相主会场及“智能计算&大模型技术论坛”展区。昆仑芯科技芯片研发总监漆维在专题论坛上进行精彩主题演讲,获得与会嘉宾及各级媒体的广泛关注。  大会期间,昆仑芯以多媒体形式展示芯片产品的领先性能优势,为嘉宾直观呈现昆仑芯产品强大性能以及赋能千行百业的落地成果。  在百度的四层架构中,昆仑芯作为强大算力底座,通过对市场需求的深刻洞察,率先布局大模型领域。同时,昆仑芯与框架、模型、应用层高效协同,通过端到端软硬逐层优化,携手打造大模型端到端解决方案,实现了百家客户、数万片规模部署。  昆仑芯科技芯片研发总监 漆维  “智能计算&大模型技术论坛”上,昆仑芯科技芯片研发总监漆维带来了“昆仑芯端到端大模型算力解决方案”主题分享。面对大模型时代计算的效率和成本问题,昆仑芯通过架构创新、产品定义创新以及软件创新,打造出基于自研核心架构XPU-R的大模型产品矩阵。针对不同参数量级的大模型场景,昆仑芯兼具显存和成本优势:  *昆仑芯AI加速卡R200-8F面向百亿以内参数量级,相比同类型产品性能提升20%;  *昆仑芯AI加速器组R480-X8面向百亿至千亿参数量级,性能达到同类型产品的1.5倍以上;  *昆仑芯AI加速器组R480-X8集群针对千亿以上参数量级,可实现多机多卡分布式推理。  “作为一款人工智能芯片,从芯片完成设计到真正走向行业落地,生态是其中非常重要的环节。”漆维在演讲中分享了昆仑芯在软件生态方面的成果。目前,昆仑芯提供了针对大模型场景的昆仑芯XFT(XPU Faster Transformer)推理加速库、丰富的云原生插件。同时,昆仑芯已全面拥抱最大的大模型开源社区HuggingFace,打造了xHuggingface开源推理套件,并携手飞桨等生态伙伴构建软硬一体的AI芯片生态。  当前,大模型的技术生态正快速发展,驱动产业实践、行业创新应用,而这离不开AI产业链各企业的加持。在圆桌论坛环节,漆维与同台专家、优秀企业家代表围绕“大模型创新发展之路”展开深入探讨。  漆维表示:“大模型技术的发展为国内AI芯片企业带来了良好的前景,但也带来了算力需求及成本的挑战。昆仑芯始终坚持开拓创新,降低AI算力成本与使用门槛,加强与AI产业链上下游企业的合作,为市场提供更优质的产品和服务。目前,已有两代昆仑芯AI芯片实现量产和规模部署,而在研的下一代产品将为大模型和AIGC等应用提供更佳的性能体验。”  AI算力正成为数字基建的新抓手,以及制约大模型技术发展的关键要素。作为AI芯片领域的领军企业,昆仑芯将继续秉承“让计算更智能”的使命,打造更高性能的芯片产品,提供更普惠的AI算力,携手生态伙伴领跑大模型产业落地。  关于昆仑芯  昆仑芯前身为百度智能芯片及架构部,于2021年4月完成独立融资,首轮估值约130亿元。核心团队在国内最早布局AI加速领域,深耕十余年,是一家在体系结构、芯片实现、软件系统和场景应用均有深厚积累的AI芯片企业。  秉承着“让计算更智能”的使命,昆仑芯专注打造拥有强大通用性、易用性和高性能的通用AI芯片。目前,昆仑芯已实现两代通用AI芯片系列产品的量产及落地应用,在互联网、智慧工业、智慧交通、智慧金融等领域均有规模部署,帮助企业加速产业智能化布局,将AI算力赋能千行百业。如需选购昆仑芯产品,欢迎咨询AMEYA360商城在线客服!
2023-09-08 09:32 阅读量:2172
  • 一周热料
  • 紧缺物料秒杀
型号 品牌 询价
CDZVT2R20B ROHM Semiconductor
TL431ACLPR Texas Instruments
MC33074DR2G onsemi
BD71847AMWV-E2 ROHM Semiconductor
RB751G-40T2R ROHM Semiconductor
型号 品牌 抢购
BU33JA2MNVX-CTL ROHM Semiconductor
STM32F429IGT6 STMicroelectronics
ESR03EZPJ151 ROHM Semiconductor
BP3621 ROHM Semiconductor
IPZ40N04S5L4R8ATMA1 Infineon Technologies
TPS63050YFFR Texas Instruments
热门标签
ROHM
Aavid
Averlogic
开发板
SUSUMU
NXP
PCB
传感器
半导体
相关百科
关于我们
AMEYA360微信服务号 AMEYA360微信服务号
AMEYA360商城(www.ameya360.com)上线于2011年,现 有超过3500家优质供应商,收录600万种产品型号数据,100 多万种元器件库存可供选购,产品覆盖MCU+存储器+电源芯 片+IGBT+MOS管+运放+射频蓝牙+传感器+电阻电容电感+ 连接器等多个领域,平台主营业务涵盖电子元器件现货销售、 BOM配单及提供产品配套资料等,为广大客户提供一站式购 销服务。