IT之家 3 月 3 日消息,@Tony Mongkolsmai 发现,英特尔已经在 GitHub 上开源了其 NPU 加速库,支持 Windows 和 Linux开发人员可以按照相应文档对其软件进行优化,从而适配新一代 AI 模型,包括 TinyLlama 和 Gemma-2b-it。
![](http://ldjg88.com/zb_users/upload/2024/06/20240627070007171944280777149.webp)
根据官方描述:英特尔 NPU 加速库是一个 Python 库,旨在利用英特尔神经处理单元 (NPU) 的强大性能在兼容硬件上执行高速计算,从而提高应用的效率英特尔还表示其 NPU 加速库目前不断开发中,后续将推出各种能显著提高性能的功能,截至IT之家发稿已经实现了 8bit 量化、Float16 支持、。
torch.compile 支持等,后续还将支持 NPU / GPU 异构计算等功能。
![](http://ldjg88.com/zb_users/upload/2024/06/20240627070008171944280838917.webp)
广告38岁女领导的生活日记曝光,解密职场有多内涵,令人头皮发麻×
发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。