开yun体育网百度基于多年累积的浑朴的AI时刻实力-开云网页版登录(官网)登录入口
今天，老成发布文心大模子4.5系列开源模子。英特尔OpenVINOTM与百度飞桨多年来一直保捏着精致的和洽。在这次文心系列模子的发布经过中开yun体育网，英特尔借助OpenVINOTM在模子发布的第零日即杀青对文心端侧模子的适配和在英特尔酷睿Ultra平台上的端侧部署。
OpenVINOTM器用套件是由诞生的开源器用套件，旨在优化和加快深度学习模子的推感性能，相沿跨平台部署并充分运用英特尔硬件资源。OpenVINOTM助力行业中庸碌的先进模子在英特尔东谈主工智能居品和治理决策中的性能，应用在AI PC、角落AI和更多东谈主工智能的使用场景当中。
从2021年运转，百度飞桨和英特尔OpenVINOTM进行深切和洽，两边进行深度适配，为诞生者提供了更灵验更方便的AI诞生器用链。经过两边适配的广宽模子，如PaddleOCR，PaddleSeg，PaddleDection等，在金融、医疗、智能智造等范围被庸碌应用，诞生者不错径直将飞桨模子用OpenVINOTM推理和部署，或通过OpenVINOTM的模子优化器转机为IR本领，进一步部署和推理。
今天，百度基于多年累积的浑朴的AI时刻实力，为业界带来了开源的文心4.5系列大模子。英特尔告示OpenVINOTM仍是对0.3B参数目的繁多模子见效适配，并在英特尔酷睿Ultra平台上见效部署且赢得了优异的推感性能。
英特尔助力百度文心大模子的初度亮相，共同为行业带来全新的东谈主工智能体验。接下来，英特尔将捏续与百度保捏精致和洽，适配更多的文心系列模子，联袂拓宽AI时刻的新范围。
快速上手指南(Get Started)
第一步，环境准备
基于以下号令不错完成模子部署任务在Python上的环境装置。
第二步，模子下载和调遣
在部署模子之前，咱们最初需要将原始的PyTorch模子调遣为OpenVINOTM的IR静态图本领，并对其进行压缩，以杀青更轻量化的部署和最好的性能施展。通过Optimum提供的号令行器用optimum-cli，咱们不错一键完成模子的本领调遣和权分量化任务：
第三步，模子部署
针对ERNIE-4.5系列的文本生成类模子，咱们不错使用Optimum-Intel进行任务部署和加快。Optimum-Intel不错通过调用OpenVINOTM runtime后端，以杀青在Intel CPU及GPU平台上的性能优化，同期由于其兼容Transformers库，因此咱们不错径直参考官方示例，将其迁徙至Optimum-Intel实施。
