AI编程客栈模型的推理在CPU上完成加速和优化，竟然不输传统方案?
至少在生命科学和医疗制药方向，已经透露出这种信号。
【资料图】
例如在处理AlphaFold2这类大型模型这件事上，大众普遍的认知可能就是堆GPU来进行大规模计算。
但其实从去年开始，CPU便开始苦练内功，使端到端的通量足足提升到了原来的23.11倍。
而现如今，CPU让这个数值great again——再次提升3.02倍!
不论是像抗菌肽这种较短的氨基酸序列，还是像亨氏综合征蛋白这样超长的序列，都可以轻松hold住。
而且所有的预测任务，在不考虑最高通量、仅仅是顺序执行，8个小时就能全部搞定。
甚至国内已经有云服务提供商做了类似的优化方案:
要知道，像AlphaFold2这类任务，可以说是公认的AI for Science标杆。
从上述的种种迹象表明，CPU不再是“你以为的你以为”，而是以一种新势力进军于此，并发挥着前所未有的威力。
CPU，正在大步迈进新时代。
英特尔自己刷新自己
事实上，此次备受关注的CPU加速方案，背后不是别人，正是发明了CPU的英特尔。
2022年，英特尔以第三代至强️可扩展处理器为硬件基座，使AlphaFold2通量优化提升达23.11倍。一年后，他们在此基础上，再次实现自我刷新。
2022年，英特尔基于第三代至强️可扩展平台，针对AlphaFold2的设计特点，在预处理、模型推理、后处理三阶段实现了端到端优化。
如今，原有的五大端到端基础步骤之上，第四代至强️可扩展处理器的加入，再次给AlphaFold2带来整体推理性能的提升。
此次优化方案主要围绕预处理和模型推理两个方面，基本划分为五个步骤。
第一步:预处理阶段，借助第三代或第四代至强️可扩展处理器的多核优势及其内置AVX-512技术，实现针对性的高通量优化。
第二步到第五步模型推理阶段的优化，与2022年方案类似。
第二步，将深度学习模型迁移至面向英特尔️架构优化的PyTorch，并逐模块地从JAX/haiku完成代码迁移。
第三步，引入JIT图编译技术，将网格转化为静态图，以提高模型推理速度。
第四步，切分注意力模块和算子融合，即对注意力模块进行大张量切分的优化思路;与此同时，使用IPEX（英特尔️扩展优化框架，建议版本为IPEX-2.0.100+cpu或更高）对Einsum和Add两种算子进行融合。
第五步，借助至强️可扩展平台的计算和存储优势实施python针对性优化。比如基于NUMA架构技术，挖掘多核心优势，破解多实例运算过程中的计算和内存瓶颈。
不过除了提供更强的基础算力，第四代至强️可扩展平台还带来了诸多针对AI工作负载的优化加速技术。
具体可以拆分为四项:（详细优化方案可点击阅读原文获取）
一、TPP技术降低推理过程中的内存消耗
TPP（Tensor Processing Primitives）相当于是一种虚拟的张量指令集架构，能让英特尔️AVX-512等物理指令集予以抽象，生成经过优化的平台代码。
具体到计算执行上，TPP能实现两种优化方式:以单指令多数据方式处理数据;优化内存访问模式，提升缓存命中率来提高数值计算和访存效率。
这样一来，狭长矩阵乘法的空间复杂度从 O （n^2） 降为 O (n) ，运算内存峰值也将大幅降低，更有助于处理长序列蛋白结构预测的问题。
二、支持DDR5内存与大容量缓存带来张量吞吐提升
AlphaFold2中大量的矩阵计算过程需要内存来支撑，因此内存性能影响着整个模型运行性能。
第四代至强️ 可扩展处理器带来两种解决思路——支持DDR5内存，以及大容量末级缓存:
一方面，与上个方案DDR4内存带宽25.6GBps（3，200MHz）相比，DDR5内存带宽提升了超50%，达到38.4GBps(4，800MHz)以上 ;另一方面，末级缓存也由上一代的最高60MB提升至现在最高112.5MB，幅度87.5%。
三、内置AI加速引擎AMX
英特尔在第四代至强️可扩展处理器中创新内置了AI加速器——英特尔️AMX，类似GPU里的张量核心，加速深度学习推理过程并减少存储空间。
它支持INT8、BF16等低精度数据类型，尤其BF16数据类型在精度上的表现不逊于FP32数据类型，AlphaFold2使用AMX_BF16后，推理时间可缩短数倍之多。
四、高带宽内存HBM2e增加访存通量
每个英特尔️至强️CPU Max系列，都拥有4个基于第二代增强型高带宽内存（HBM2e）的堆栈，总容量为64GB(每个堆栈的容量为16GB)。
由于能同时访问多个DRAM芯片，它可提供高达1TB/s的带宽。而且配置更灵活，有三种不同模式与DDR5内存一起协同工作:HBM Only、HBM Flat以及HBM Cache。
综上，第四代英特尔️至强️可扩展处理器所带来的四种优化技术让AlphaFold2的端到端通量得到了再进一步提升，与第三代相比实现了高达3.02倍的多实例通量提升。
当然，除了CPU之外，英特尔在探索验证AlphaFold2优化方案、步骤和经验过程中，同样也能提供其他AI加速芯片，给产业链上的生态伙伴提供强劲支持。
甚至已经给出了行业备受认可的解决方案。
就在前段时间，英特尔联合github上知名的AI+科学计算的开源项目——Colossal-AI的团队潞晨科技，成功优化了AlphaFold2蛋白质结构预测的性能，并android将其方案开源。
基于AI专用加速芯片Habana️Gaudi️，他们成功将端到端推理速度最高提升3.86倍（相较于此前使用的方案），应用成本相较于GPU方案最多降低39%。
医药和生命科学领域，AI还有何作为?
大模型，毋庸置疑是近来科技圈最为火爆的技术之一。
它凭借自身强算法、多数据、大算力的结合所带来的泛用性，在医药和生命科学领域同样大步发展着。
这一过程，AI宛如从破解人类的自然语言，跃进到了破解生命的自然语言:
人类自然语言大模型:从26个字母，到词/句/段。
生命自然语言大模型:从21个氨基酸字母，到蛋白质/细胞/生命体。
那么具体而言，现在AI大模型可能会让医药和生命科学领域产生怎样的变革?
我们不妨以百图生科推出的，世界首个AI大模型驱动的AI生成蛋白平台AIGP（AI Generated Protein）为例来了解一番。
AIGP背后所依靠的，是一个千亿参数的跨模态生命科学大模型，通过“挖掘公开数据和独特自产数据”、“跨模态预训练和科学计算”，以及“蛋白质读写系统和细胞读写系统”，三大步骤实现对蛋白质空间及生命体的建模。
如此大模型能力之下，百图生科便具备了一系列给定Protein（抗原），设计与之以特定方式结合的Protein(抗体)的能力。
也因此参与到了一系列前沿药物的开发，包括高性能免疫调控弹头设计、难成药靶点精准设计、定表位抗体弹头设计、可溶性TCR设计等。
除此之外，百图生科也具备对给定细胞/细胞组合，发现调控细胞的有效蛋白靶点/组合，并继而快速设计调控蛋白的能力。
这就为多种疾病的靶点发现、耐药/不响应患者改善、靶点科学线索转化带来新的可能。
不过有一说一，百图生科的例子也是只是AI之于医药、生命科学领域变革的一隅。
但今年生物医学领域的著名奖项（加拿大盖尔德纳奖）史无前例地颁给了人工智能科学家、DeepMind创始人Demis Hassabis等人。
这也从侧面反映了生命科学、医药领域对于AI的认可，以及更多的期待。
关键词：
