昆仑芯全面适配智源AI硬件一体化评测引擎FlagPerf

Release time：2023-08-25
author：AMEYA360
source：网络
reading：2237

　　近日，昆仑芯与北京智源人工智能研究院(以下简称“智源”)面向多种AI硬件的一体化评测引擎FlagPerf完成阶段性适配。昆仑芯是FlagPerf首批生态伙伴，双方将强强联合，共同推进AI软硬件评测体系建设，赋能大模型技术创新能力提升，加速我国AI生态繁荣发展。

昆仑芯全面适配智源AI硬件一体化评测引擎FlagPerf

　　FlagPerf是智源联合各大AI软硬件厂商建立的开源、开放、灵活、公正、客观的面向多种AI硬件的一体化评测引擎，可快速高效地对AI软硬件进行适配和评测，解决当前AI软硬件所面临的兼容性差、技术栈异构程度高、应用场景复杂多变等挑战。目前FlagPerf已经适配了涵盖CV、NLP、语音、大模型等领域的近20个经典模型，支持评测AI硬件的训练和推理能力，未来还将持续拓展支持模型数量和评测领域，包括不限于AI服务器、图计算各个场景，期望全面、立体地刻画厂商的软硬件实力，并通过不断迭代评测体系，紧跟AI产业发展浪潮。

　　作为AI加速领域的领军企业，昆仑芯持续推进软硬协同技术创新，在短时间内高效完成了十数个模型的适配和调优工作，并在FlagPerf项目中全面开源。这批模型能非常高效地完成适配并发布，充分展现了昆仑芯优秀的泛化能力和软硬件兼容性，这主要得益于100%自研的昆仑芯XACC AI编译器(XPU AI Compiler Collection)。

　　昆仑芯XACC AI编译器

　　可自动帮助用户完成开源模型到XPU设备的迁移工作，并实现全自动性能优化，将XPU硬件算法发挥到极致;

　　具有零代码侵入、零环境侵入的特点，用户无需修改模型代码，无需修改部署环境，即可将模型迁移到XPU设备;

　　已全面支持Megatron、DeepSpeed等大模型训练框架，用户可以零成本适配最流行的LLM技术与模型。

　　智源研究院是国际知名的人工智能前沿研究机构，在中国最早引领开展大模型研究，并率先倡导建设大模型开源生态。「悟道」人工智能大模型项目，连创“中国首个+世界最大”纪录，“悟道3.0”进入全面开源阶段。FlagOpen大模型技术开源体系，由智源联合多家企业、高校和科研机构共建，旨在共建共享大模型时代的“新Linux”开源开放生态。面向多种AI硬件的一体化评测引擎FlagPerf是FlagOpen的重要组成部分。

　　针对智源大模型，昆仑芯已在悟道·天鹰(Aquila)语言大模型上完成了大规模推理性能验证，在悟道·视界EVA-CLIP视觉大模型上也实现了适配。

　　此前，昆仑芯已正式加入智源FlagOpen(飞智)大模型技术开源体系，携手多家顶尖硬件企业与高校科研团队共建“北京国家新一代人工智能创新发展试验区AI开放生态实验室”，加速完善芯片软件生态建设。

　　此次昆仑芯与智源FlagPerf完成适配是双方生态共建的又一重要里程碑。智源和昆仑芯将充分发挥各自优势，共同携手产业链上下游合作伙伴，促进技术、资源、场景等多方主体的合作，助力企业更好应对大模型应用时面临的算力不足、场景不够开放等问题，进一步推动我国大模型的技术研发和应用落地。

（"Note: The information presented in this article is gathered from the internet and is provided as a reference for educational purposes. It does not signify the endorsement or standpoint of our website. If you find any content that violates copyright or intellectual property rights, please inform us for prompt removal."）

Previous：安森美：决胜汽车图像传感器网络安全赛道，为驾驶体验保驾护航

Next：昆仑芯牵手宁夏建设人工智能芯片适配基地

Online messageinquiry

reading
昆仑芯Anyinfer零代码实现昆仑芯AI加速卡模型推理
行业新闻

昆仑芯Anyinfer零代码实现昆仑芯AI加速卡模型推理

　　当下，AI技术蓬勃发展，AI算法应用需求井喷。行业技术从业者在项目的不同阶段面临种种现实问题，这些问题无疑也增加了项目的复杂性和不确定性：　　算法选型：　　技术从业者极有可能遇到不同框架格式的算法模型;即便是同一个开源算法的实现，也可能是经过不同训练框架导出，因此模型的保存格式也会有所不同。　　算法验证：　　想在AI加速卡上评估算法的推理效果，就要针对不同推理框架的接口构造上百行代码的推理程序;如果效果不达预期，可能还需要更换其他框架的模型，这就需要重新构造一份不同的推理程序......　　真正到了算法部署阶段，则将迎来更加严峻的挑战。　　以上种种业内痛点，是否也在困扰您?看完这篇，基于昆仑芯AI加速卡的高效模型推理部署框架——昆仑芯Anyinfer，帮您一键全搞定!　　一、昆仑芯Anyinfer　　1. 昆仑芯Anyinfer架构图　　2. 昆仑芯Anyinfer核心优势　　A、强兼容性　　在多个平台上支持零代码推理PaddlePaddle、PyTorch、ONNX、TensorFlow等多个主流框架格式的众多领域模型。　　B、高人效　　内置多款推理引擎，针对不同领域，用户无需学习特定框架编程接口，更不用编写多份推理程序，零代码验证模型在不同框架中的效果。　　C、零代码　　只需一行命令，即可完成模型验证评估，无需依据模型构建输入数据，也无需撰写模型转换、前后处理及推理脚本代码。　　D、部署友好　　支持C++与Python两套接口逻辑统一的API，用户在生产环境中部署模型更方便。　　二、运行演示　　1. 快速完成算法模型验证评估　　一行命令，即可轻松验证模型精度、一键评估模型的推理性能等关键指标。　　A、ONNX、PyTorch和TensorFlow模型在昆仑芯AI加速卡和CPU上的计算精度对比　　B、PaddlePaddle模型在昆仑芯AI加速卡上的推理性能统计　　2. 获取模型性能分析报告，为下一步模型优化做足准备　　在初步完成算法模型的验证评估后，可利用昆仑芯Anyinfer深入研究模型中各个层面的性能，包括推理框架层面和算子执行层面等，助力进一步调优模型的推理性能。　　3. 模型的基础性能调优　　完成对模型的性能评估后，可以使用基础的调优方法来提高模型的推理性能。昆仑芯Anyinfer提供了一项非常便捷的功能：最佳QPS搜索。此功能将以往需要修改多个参数并多次执行的操作化繁为简，快速确定最适合项目需求的配置，提高用户体验。　　4. 模型的高性能部署　　完成算法模型的验证后，最关键的一步来了!昆仑芯Anyinfer可轻松应对生产环境部署这一挑战。仅需三个统一的C++接口，即可顺利将验证后的模型部署至生产环境中。　　此外，昆仑芯Anyinfer还提供了方便的调试功能，例如算子的自动精度对比、模型转换等。同时，也提供了丰富的使用示例，包括多输入、多线程、多进程、多流推理等。种种行业痛点，昆仑芯Anyinfer轻松搞定。简洁而强大的解决方案，帮您把模型推理部署变得简单、高效。　　目前，昆仑芯Anyinfer已在多个行业客户中投入使用，切实降低了行业客户人力成本，提高了项目交付效率，助力客户在行业竞争中取得领先优势。
2023-10-17 09:15 reading：1214
AI临港，从芯启航：昆仑芯临港办公区正式开业
行业新闻

AI临港，从芯启航：昆仑芯临港办公区正式开业

　　9月19日上午，在上海临港滴水湖AI创新港，昆仑芯临港办公区盛大开业。中国（上海）自由贸易试验区临港新片区党工委委员、专项办主任龚红兵、港城集团副总经理金玮琦、昆仑芯CEO欧阳剑、副总裁王勇、人力资源与行政负责人刘霜、公共事务部副总经理张嘉林等出席活动。　　从左至右依次为：昆仑芯公共事务部副总经理张嘉林、昆仑芯副总裁王勇、昆仑芯CEO欧阳剑、中国（上海）自由贸易试验区临港新片区党工委委员、专项办主任龚红兵、港城集团副总经理金玮琦、昆仑芯人力资源与行政负责人刘霜。　　人工智能作为上海战略部署重点发展的三大先导产业之一，是当前具有引领性的战略新技术和新一轮产业变革的核心驱动力。为全力推进人工智能产业发展，临港新片区重磅启动滴水湖AI创新港，集聚人工智能上下游企业，赋能产业创新发展。　　作为我国人工智能芯片领军企业，昆仑芯秉承“让计算更智能”的使命，务实研发、攻坚克难，实现两代通用AI芯片量产，在互联网、工业、金融、能源、教育等多个领域达到过百家客户、数万片规模部署，成绩斐然。　　2022年，昆仑芯正式落户临港新片区。昆仑芯上海公司成立，定位为昆仑芯最重要的研发基地之一，同时也是昆仑芯华东和华南区域的商业化基地。　　上海汇聚了全国优秀的软硬件工程师，临港新片区也正在打造成为年轻人“创新创业首选地”。今年8月，临港新片区成立4周年，新一轮支持政策正在助力临港新片区更好地成为上海发展的“增长极”和“动力源”。高科技人才聚集、优厚的政策支持和良好的产业生态，各方面条件吸引昆仑芯深耕临港这片沃土。　　开业仪式上，中国（上海）自由贸易试验区临港新片区党工委委员、专项办主任龚红兵表示：“作为国内最早入局人工智能加速的团队之一，昆仑芯近些年取得了业界广泛认可的成绩。期待临港新片区能涌现出更多这样的优秀企业，我们将持续提供政策支持和全方位的生活保障，与企业共绘蓝图、共建未来，携手推动AI产业的高质量发展。”　　昆仑芯CEO欧阳剑在致辞中表示：“算力发展的黄金时代已来，凭借十余年的行业积累，务实自驱、卓越创新的昆仑芯人已做好攀登算力高峰的准备。未来，昆仑芯将与临港区政府、港城集团等伙伴紧密协同，为我国集成电路及AI事业贡献力量。”　　昆仑芯副总裁王勇肩负上海公司组织建设的重要职责，他表示：“集成电路是临港新片区有影响力的高新产业。处于快速发展期的昆仑芯愿意同临港新片区一道，合作开展核心技术攻关，加强与新片区内上下游企业合作，吸引、培养更多高质量产业人才。”　　AI临港，从芯启航。2022年昆仑芯正式落户临港，过去一年吸引了一大批优秀人才加入。今年年中，昆仑芯临港办公室正式落成，办公环境简约大气、周边配套完善， 8月份开始陆续有员工入驻。　　昆仑芯临港办公区正式启用，昆仑芯信心满满，扬帆破浪踏足行,奋发向上勇攀登。而临港作为“年轻的城，年轻人的城”，也正在以日新月异的发展速度打动年轻人的心，吸引更多年轻人来到这里成长、成才、成功。
2023-09-20 10:34 reading：1396
签约！昆仑芯与国芯科技签订战略合作协议
企业动态

签约！昆仑芯与国芯科技签订战略合作协议

　　近日，国芯科技(股票简称“国芯科技”，证券代码688262.SH)与昆仑芯签署《战略合作框架协议》，双方将针对智能驾驶场景，展开在边缘AI计算、车规功能安全SoC等技术领域的长期合作，充分整合双方资源，实现优势互补，协同提升技术竞争力，共同开拓更加广阔的智能驾驶市场。　　基于昆仑芯在Al技术栈方向的领先优势，以及国芯科技在边缘计算、车规功能安全SoC方向的技术积累，未来双方还将开展广泛的技术沟通与交流，共同探讨针对边缘Al场景的合作模式与技术分工，携手打造智能制造、智慧公路、智慧城市等边缘场景的端到端AI算力解决方案，构建稳定长期发展的合作关系。　　国芯科技多年来一直重点布局汽车电子芯片，实现了技术与产品的先发优势。国芯科技目前已经布局了汽车域控和辅助驾驶等12条汽车电子芯片产品线，芯片产品已陆续进入比亚迪、奇瑞、吉利、上汽、长安、长城、一汽、东风、小鹏等众多汽车整机厂商，在20余款自主及合资品牌汽车上实现批量应用。截至2023年6月30日，已量产的汽车电子项目数(个)达到13个，新开发的汽车电子项目数(个)达到56个。国芯科技与众多汽车整机厂商、Tier1模组厂商形成了紧密的合作关系，在共同构建安全可靠的车规级芯片供应链的同时，通过共建汽车电子芯片实验室、共同定义新的汽车电子芯片产品、联合开发等多种合作方式，持续推出系列化高性能汽车电子芯片产品。　　此次达成战略合作，将有助于国芯科技与昆仑芯针对汽车等边缘场景中AI应用，如边缘Al计算、L2+智能驾驶等，的市场落地和潜在机会挖掘，加速双方在AI领域的业务拓展，从而加快推进AI芯片在汽车自动驾驶等领域的应用落地。　　在中国汽车产业跨入世界舞台中央的进程中，国芯科技与昆仑芯将紧密合作，协力推动自主研发，为发展支撑中国汽车产业升级的关键技术而务实创新，共同抓住这一历史性的产业变革机遇。
2023-09-14 09:17 reading：1834
昆仑芯漆维：多维度创新应对大模型时代的算力挑战
企业动态

昆仑芯漆维：多维度创新应对大模型时代的算力挑战

　　近日，2023百度云智大会于北京圆满落幕。众多人工智能领域专家、行业精英、意见领袖等齐聚一堂，共同站在大模型重构未来的新起点，展望大模型创新发展之路。　　作为百度四层架构的坚实算力底座，昆仑芯携两代芯片产品重磅亮相主会场及“智能计算&大模型技术论坛”展区。昆仑芯科技芯片研发总监漆维在专题论坛上进行精彩主题演讲，获得与会嘉宾及各级媒体的广泛关注。　　大会期间，昆仑芯以多媒体形式展示芯片产品的领先性能优势，为嘉宾直观呈现昆仑芯产品强大性能以及赋能千行百业的落地成果。　　在百度的四层架构中，昆仑芯作为强大算力底座，通过对市场需求的深刻洞察，率先布局大模型领域。同时，昆仑芯与框架、模型、应用层高效协同，通过端到端软硬逐层优化，携手打造大模型端到端解决方案，实现了百家客户、数万片规模部署。　　昆仑芯科技芯片研发总监 漆维　　“智能计算&大模型技术论坛”上，昆仑芯科技芯片研发总监漆维带来了“昆仑芯端到端大模型算力解决方案”主题分享。面对大模型时代计算的效率和成本问题，昆仑芯通过架构创新、产品定义创新以及软件创新，打造出基于自研核心架构XPU-R的大模型产品矩阵。针对不同参数量级的大模型场景，昆仑芯兼具显存和成本优势：　　*昆仑芯AI加速卡R200-8F面向百亿以内参数量级，相比同类型产品性能提升20%;　　*昆仑芯AI加速器组R480-X8面向百亿至千亿参数量级，性能达到同类型产品的1.5倍以上;　　*昆仑芯AI加速器组R480-X8集群针对千亿以上参数量级，可实现多机多卡分布式推理。　　“作为一款人工智能芯片，从芯片完成设计到真正走向行业落地，生态是其中非常重要的环节。”漆维在演讲中分享了昆仑芯在软件生态方面的成果。目前，昆仑芯提供了针对大模型场景的昆仑芯XFT(XPU Faster Transformer)推理加速库、丰富的云原生插件。同时，昆仑芯已全面拥抱最大的大模型开源社区HuggingFace，打造了xHuggingface开源推理套件，并携手飞桨等生态伙伴构建软硬一体的AI芯片生态。　　当前，大模型的技术生态正快速发展，驱动产业实践、行业创新应用，而这离不开AI产业链各企业的加持。在圆桌论坛环节，漆维与同台专家、优秀企业家代表围绕“大模型创新发展之路”展开深入探讨。　　漆维表示：“大模型技术的发展为国内AI芯片企业带来了良好的前景，但也带来了算力需求及成本的挑战。昆仑芯始终坚持开拓创新，降低AI算力成本与使用门槛，加强与AI产业链上下游企业的合作，为市场提供更优质的产品和服务。目前，已有两代昆仑芯AI芯片实现量产和规模部署，而在研的下一代产品将为大模型和AIGC等应用提供更佳的性能体验。”　　AI算力正成为数字基建的新抓手，以及制约大模型技术发展的关键要素。作为AI芯片领域的领军企业，昆仑芯将继续秉承“让计算更智能”的使命，打造更高性能的芯片产品，提供更普惠的AI算力，携手生态伙伴领跑大模型产业落地。　　关于昆仑芯　　昆仑芯前身为百度智能芯片及架构部，于2021年4月完成独立融资，首轮估值约130亿元。核心团队在国内最早布局AI加速领域，深耕十余年，是一家在体系结构、芯片实现、软件系统和场景应用均有深厚积累的AI芯片企业。　　秉承着“让计算更智能”的使命，昆仑芯专注打造拥有强大通用性、易用性和高性能的通用AI芯片。目前，昆仑芯已实现两代通用AI芯片系列产品的量产及落地应用，在互联网、智慧工业、智慧交通、智慧金融等领域均有规模部署，帮助企业加速产业智能化布局，将AI算力赋能千行百业。如需选购昆仑芯产品，欢迎咨询AMEYA360商城在线客服！
2023-09-08 09:32 reading：2172
Popular categories
Boxes, Enclosures, Racks Cables, Wires Circuit Protection Connectors, Interconnects Development Kits Electromechanical Embedded Solutions Fans, Thermal Management Optoelectronics Others Passive Components Power Semiconductors Sensors, Transducers Test and Measurement
  • Week of hot material
  • Material in short supply seckilling
model brand Quote
MC33074DR2G onsemi
BD71847AMWV-E2 ROHM Semiconductor
CDZVT2R20B ROHM Semiconductor
TL431ACLPR Texas Instruments
RB751G-40T2R ROHM Semiconductor
model brand To snap up
IPZ40N04S5L4R8ATMA1 Infineon Technologies
ESR03EZPJ151 ROHM Semiconductor
BU33JA2MNVX-CTL ROHM Semiconductor
STM32F429IGT6 STMicroelectronics
BP3621 ROHM Semiconductor
TPS63050YFFR Texas Instruments
Hot labels
ROHM
IC
Averlogic
Intel
Samsung
IoT
AI
Sensor
Chip
Original authorized brand
More Licensed Brands>>
Information leaderboard
  • Week of ranking
  • Month ranking

About us

Qr code of ameya360 official account

Identify TWO-DIMENSIONAL code, you can pay attention to

AMEYA360 weixin Service Account AMEYA360 weixin Service Account
AMEYA360 mall (www.ameya360.com) was launched in 2011. Now there are more than 3,500 high-quality suppliers, including 6 million product model data, and more than 1 million component stocks for purchase. Products cover MCU+ memory + power chip +IGBT+MOS tube + op amp + RF Bluetooth + sensor + resistor capacitance inductor + connector and other fields. main business of platform covers spot sales of electronic components, BOM distribution and product supporting materials, providing one-stop purchasing and sales services for our customers.