英特尔推动PC生成式AI落地(英特尔模型语言也能运行)

文章目录 [+]

首先，英特尔介绍了他们在大语言模型方面的优化和支持。
在我们传统的认知里，运行类似 ChatGPT 这种大语言模型必须要有大显存的显卡支持。
但这场交流会却颠覆了我们的认知。
英特尔为了让 12、13代酷睿平台也能够顺利运行各种大语言模型并提供流畅的使用体验，构建了 BigDL-LLM 库。
通过这个库，可以对各种大语言模型进行优化和支持，包括一些开源的、可以在本地运行的大语言模型。
这个库甚至可以在一台搭载 16GB 内存的英特尔轻薄本的机器上运行参数量高达 16B 的大语言模型。
此外还支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多个大语言模型。

接下来，英特尔展示了他们在大语言模型应用方面的表现。
通过集成了 ChatGLM2、LLaMA2 和 StarCoder 这三个大语言模型的 Demo，他们演示了这些模型在中文和英文应用上的表现。
通过优化和量化操作，这些大语言模型在生成回答时能够以非常快的速度生成，并且不影响阅读体验。
英特尔已经发布了这套 Demo，任何搭载 12、13代酷睿的电脑都可以直接安装并体验。

我们这里选择了一台通过英特尔Evo平台认证的轻薄本：华为 MateBook 16s 来进行测试。
处理器为酷睿 i9-13900H + 32G 内存，看看在核显轻薄本上究竟能不能跑 AIGC。

（图片来自网络侵删）

英特尔大语言模型的 Demo 安装过程非常傻瓜，英特尔已经打包成了 EXE 文件，安装并导入.Bin 格式的大语言模型就可以运行了。
打开界面我们可以看到左侧可以选择聊天内容、调整模型参数和查看运算延迟，右侧则是聊天框。

笔者先尝试问了他一些人情世故方面的问题，没想到回答非常出色，响应速度也很快。
这样一个问题只花了 658.87ms 就完成了响应。

在运算过程中我们可以看到，i9-13900H 占用率达到了 100%，内存占用达到了 16G，Xe 核显也有一定占用。
看来这个运算过程确实是在本地进行的。
经过英特尔不断的优化和 13代酷睿处理器算力的提升，我们真的在轻薄本上实现了 AIGC 的落地。

在情感分析功能中，我们让大语言模型分析了一段经典散文。
可以看到虽然分析的角度比较浅显，但没有逻辑错误，还是可以自洽的。

而在这个中文翻译功能中，英特尔大语言，模型的表现就更加令我意外了，它的翻译质量相当高，速度也很快。
哪怕是有如此多专有名词的稿件，也能准确无误地翻译。

在故事创作方面，这套大语言模型也展现出了令我惊讶的逻辑能力和创造能力。
我这边让它写一篇关羽大战林黛玉，最后林黛玉取胜的故事。
但 AI 居然认识到了这两人根本不是一个时代的，最后写了一个穿越时空的戏码，虽然漏洞百出，但大体上没有问题。

生成大纲功能则是一个非常有用的功能，我们只要输入想要撰写的稿件，就能帮我们列出一套逻辑清晰的稿件大纲了。
这对于经常需要写文章的群体来说能起到很好的辅助作用。

信息提取功能对于经常需要阅读报告的群体来说很有帮助。
可以快速从长篇文章中提取核心信息。
我这边尝试让 AI 从英文文章中提取中文信息，效果却依然非常好。

最后，笔者让 AI 给出一份青岛美食建议和青岛旅游建议。
由于这个大语言模型是完全离线运行的，所以给到的信息也会比较陈旧，但单从撰写水平来看还是不错的。

除了大语言模型应用外，英特尔还展示了在 AI 文生图算法 Stable Diffusion 上的支持。
他们启用了 OpenVINO 的加速，开发了一套 AI 框架，通过一行代码的安装，就可以加速 PyTorch 模型的运行。
通过 Stable Diffusion 的 WebUI，可以在集成显卡和 Arc 独立显卡上运行 Stable Diffusion Automatic1111。
通过演示，可以看到在 Evo 轻薄本和搭载 i7-13700H 处理器的机器上，Stable Diffusion 在集成显卡上的表现效果。
96EU 版本的英特尔锐炬 Xe 显卡强大的算力，可以支持 Stable Diffusion 软件上运行 FP16 精度的模型，快速生成高质量图片。

同时，他们还展示了在搭载 i7-13700K CPU + Arc A770 独显的机器上运行 Stable Diffusion 的效果，速度非常快。

此外，英特尔还展示了基于 Arc 显卡的人物动作的三维数字重建技术。
通过 Arc 强大的算力和 OpenVINO 框架对 AI 算法的优化推理，可以实时探测和重建人物动作，并进行后期渲染。
这项技术不需要智能穿戴设备，只需连接家用摄像头，即可实现实时探测和重建人物动作，并通过数字人的形象进行动画渲染。
通过实时的骨骼点信息和 3D 重建，数字人可以展现出灵活多样的肢体动作，实现真实的三维动效。
同时，根据用户的需求，可以自定义渲染器的画风，快速打造各种元宇宙应用。

在最后的涡轮卡展示环节，英特尔展示了他们新的涡轮 GPU 卡，Arc A770 16G。
这张卡具有双槽全长全高的设计，适应各种边缘侧服务器机箱或设备机箱。
它采用涡轮风扇设计，减少对机箱内流场的干扰，更适合多卡混合计算的服务器、炼丹炉场景。

从本次分享会看来，英特尔一直着力于发展 AI 技术，特别是当下火热的 AIGC 领域，英特尔也没有缺席。
凭借 13代酷睿强劲的算力和不断的算法优化，现在即便是轻薄本也可支持大语言模型的本地运行。
而在 Arc 显卡的加持下，Stable Diffusion 文生图的支持也在不断开展。
同时，英特尔也在探索 AI 的下一代应用场景，并为企业级用户提供算力更强的解决方案。

通过这些技术的展示，英特尔向大家展示了他们在 AIGC 领域的领先地位和不断创新的能力。
他们致力于为用户提供更智能、高效的计算体验，推动人工智能技术的发展和应用。
随着技术的不断进步和完善，我们可以期待在未来看到更多来自英特尔的 AIGC 应用和解决方案。