英特尔和火山引擎把AI开发的资源门槛降了50%
作者：[db:作者]日期：2024/12/27 浏览：
天生式AI时期，练习跟托管年夜模子都市发生大批本钱开支，特殊是算力本钱。克日举行的火山引擎2024 FORCE原能源年夜会上，英特尔与火山引擎独特宣布搭载英特尔至强6机能核处置器的第四代通用盘算型实例 g4il。“g4il云实例相较于GPU实例，资本门槛直降50%。”英特尔公司市场营销团体副总裁、中国区云与行业处理计划跟数据核心贩卖部总司理梁雅莉表现，“英特尔结合火山引擎供给了预验证、优化的模块组件、集成化镜像，也实现了一键安排，优化了用户休会。”英特尔公司市场营销团体副总裁、中国区云与行业处理计划跟数据核心贩卖部总司理梁雅莉火山引擎盘算产物担任人王睿说，“对盼望应用AI实现营业连续增加取得新机会的企业用户来说，上云是处理这个成绩的最优解。”作为AI基本设备主要的供给商，英特尔跟火山引擎独特宣布的第四代通用盘算型实例 g4i无疑是AI利用开辟者幻想的抉择，也是激起AI翻新的基石。要害成绩在于，究竟能下降几多本钱？保险性怎样保障？Coze-AIPC又能带来怎么的从云到真个AI处理计划？CPU比拟GPU云实例资本门槛年夜降50%火山引擎第四代通用盘算型实例g4il是基于英特尔最新一代效劳器CPU至强6机能核。至强6机能核重要用于通用盘算、数据Web效劳、迷信盘算、AI等场景。机能比拟上一代均匀进步超越2倍，尤其是迷信盘算，有超越2.5倍的进步，对AI年夜言语模子乃至有超越3倍的机能进步。至强6机能核处置器在机能年夜幅晋升的同时还统筹了能效，比拟上代有1.5倍乃至更高。须要夸大的是，火山引擎第四代通用盘算型实例 g4i采取的定制版至强6机能核处置器。“基于至强6机能核的上风，咱们跟火山引擎深刻的配合，定制了至强6 CPU，有针对性地优化了机能、TCO，只管满意火山引擎的需要，充足施展CPU的上风。”英特尔技巧专家在火山引擎2024 FORCE原能源年夜会英特尔专场分论坛上表现。除了英特尔至强6机能核处置器GNR，火山引擎全新宣布的第四代通用盘算型实例g4il另有火山引擎自研的DPU，实现了盘算、存储跟收集机能的片面进级。比拟上一代云实例g3il，第四代实例g4il收集跟存储机能晋升了100%，IOPS跟PPS机能晋升30%以上，视频转码、Web利用、跟数据库利用方面分辨实现了17%、19%跟20%的机能晋升。对AI开辟者，云实例的高速内存也很要害。英特尔在至强6机能核处置器上新增了高速内存MRDIMM，同时新增了支撑AMX FP16指令集，更年夜的内存带宽叠加更强的矩阵运算才能，能年夜幅晋升AI推理速率。“英特尔至强6机能核处置器GNR加上MRDIMM，实测的吞吐机能比拟英特尔EMR CPU加上通用型DDR5内存晋升高达80%。”王睿指出，“对照单卡的A10跟L20 GPU测试成果，也印证了英特尔至强6的AI推理才能的上风很年夜。”得益于单机CPU核密度比拟上一代翻倍的晋升，盘算新架构在性价比上也有很年夜晋升。同时，英特尔至强处置器也为火山引擎带来了更高的数据存储效力跟牢靠性。第四代实例g4il长进一步丰盛了实例的功效，比方说新增了年夜包传输才能（Jumbo Frame），秘密盘算才能（TDX），以及支持最新云盘吞吐范例SSD。性价比经由过程云的方法能展示出更年夜上风。云最年夜的特色就是弹性，火山引擎经由过程海量表里资本共池能够满意企业在托管AI技巧、技巧智算化转型进程傍边的算力需要。一方面经由过程共池，能够把超年夜范围的资本复用带来的议价才能、本钱盈余开释给火山引擎的终端用户。另一方面，经由过程超年夜范围团体表里共池带来的议价才能，能够把本钱盈余返还给客户。“咱们的弹机能力，天天的峰值能够到达100万核，弹性效力能够实现分钟级别10万核。”王睿说，“联合团体表里潮汐复用特色，咱们对外供给了业界开创的弹性售卖方法——弹性预定实例ESI。比拟之前的按需按量来讲，本钱最多下降33%以上。” 秘密盘算保证云上年夜模子数据保险激起天生式AI的利用暴发，不只要门槛低，还须要充足稳固跟保险。“火山引擎采取了双单路翻新效劳器架构，下降了团体的爆炸半径，无力保证了产物稳固性。”王睿还先容。同时，火山引擎云存储引入了至强处置器的英特尔数据维护与紧缩减速技巧（英特尔QAT），晋升了数据紧缩跟解紧缩效力，实现优于软件LZ4算法的紧缩率跟更低时延。QAT硬件减速天生CRC32校验码，确保数据完全性，并支撑AES-XTS形式的对称加密，加强数据牢靠性。牢靠性之外，保险性也是上云的痛点。跟着年夜模子利用工业化深刻，无论是模子的练习跟调优，仍是模子推理效劳安排，都越来越多依附于更高品质、更低价值的敏感的数据信息，比方行业数据库或企业数据库。“现在，数据保险曾经成为年夜模子工业化利用过程中面对的一年夜挑衅。”英特尔技巧专家表现。RAG（检索加强天生）包括了两个技巧，一个是基于常识库、数据库的内容检索，另一个是基于年夜模子的内容天生。RAG通用援用外部常识库或许企业常识库，让年夜模子发生内容时能够晋升天生成果品质跟正确性。不外在企业安排RAG效劳时，会对信息能否被盗取有所疑虑。基于英特尔TDX构建的秘密虚构化实例，无论是RAG利用中的信息提取处置流程仍是数据库流程，仍是模子天生流程，都能够在不转变利用顺序旁边框架条件下，直接拜访秘密虚构机，实现云中的断绝跟维护，用户应用RAG安排进程保障数据保险。英特尔曾经跟火山引擎严密共同，基于英特尔至强处置器TDX技巧，推出了g3i秘密盘算实例，用户既能够享用到云盘算的便捷性、经济性，同时确保本人数据在云顶用得释怀。斟酌到秘密盘算技巧栈比拟庞杂，为了让用户能够针对本人感兴致或许是存眷的营业直接防盗云长进行本相验证，英特尔推出了开源名目CC-Zoo。“CC-Zoo自动跟云效劳商供给的基本情况停止了对接跟适配，包含火山引擎的g3i实例。”英特尔技巧专家表现，“用户能够左手从云效劳商购置秘密盘算的实例，右手去GitHub高低载CC-Zoo计划停止本相验证，确认信息不被偷取。”针对云上的AI场景，火山引擎打造了端到端保险处理计划。在秘密盘算云效劳器之上，火山引擎供给了秘密容器、密钥治理、基线治理、近程证实跟保险RAG等丰盛的保险才能跟效劳，为AI利用傍边的练习推理，前后端数据处置全场景供给保险保证。 从云到端激起天生式AI利用翻新云盘算可能供给机能强盛、门槛更低且更保险牢靠的AI处理计划，触达更多AI开辟者须要从云到真个处理计划。火山引擎2024 FORCE原能源年夜会上，扣子结合英特尔独特宣布了“Coze-AIPC”，这是一个加强版的扣子智能体开辟平台。扣子（Coze）字节推出的新一代AI 年夜模子智能体开辟平台，Coze-AIPC引入了一款运转于英特尔平台PC真个扣子App，深度整合英特尔 AI PC 强盛端侧才能与扣子云平台上风。经由过程扣子翻新的“端插件”机制，英特尔AI PC的PC操控、当地常识库、当地推理、当地天生等才能被无缝嵌入扣子年夜模子与任务流。开辟者借助Coze-AIPC平台“端插件市肆”中预制的PC端侧才能集，能敏捷开辟出适配英特尔AI PC的智能体利用，平台还将支撑开辟者创立更多特性化端插件拓展端侧才能界限。在天生式AI的时期，英特尔正凭仗涵盖算力基本设备、平台基本设备、数智基本平台在内的企业数据跟AI架构的处理计划，与包含火山引擎在内的浩繁配合搭档一同，为前沿的AI技巧研讨，以及年夜言语模子的普遍落地供给强盛的AI基本设备。英特尔也在努力于构建一个能够一键安排，优化用户休会的AI软硬件处理计划，激起更多的AI翻新。雷峰网(大众号：雷峰网)雷峰网原创文章，未经受权制止转载。概况见转载须知。
]article_adlist-->
申明：新浪网独家稿件，未经受权制止转载。 -->
相关文章
客户经理