“ Ollama 在 Windows 上推出预览版 ”
Ollama 宣布在 Windows 上推出预览版,从而使得用户可以在全新的本机 Windows 体验中提取、运行和创建大型语言模型。Windows 上的 Ollama 包括内置 GPU 加速、访问完整的模型库以及包括 OpenAI 兼容性在内的 Ollama API。
硬件加速
Ollama 使用 NVIDIA GPU 以及现代 CPU 指令集例如 AVX 和 AVX2如果可用加速运行模型。无需配置或虚拟化。
完全访问模型库
完整的 Ollama模型库可在 Windows 上运行,包括视觉模型。运行 LLaVA 1.6等视觉模型时,可以将图像拖放到ollama run中以将其添加到消息中。
Always-on Ollama API
Ollama 的 API 自动在后台运行,服务于http://localhost:11434。工具和应用程序无需任何额外设置即可连接到它。
示例
(Invoke-WebRequest -method POST -Body '{"model":"llama2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json
Windows 上的 Ollama 还支持与其他平台上相同的 OpenAI 兼容性,因此可以通过 Ollama 将为 OpenAI 构建的现有工具与本地模型结合使用。 开始使用 - 在 Windows 上下载Ollama - 双击安装程序,OllamaSetup.exe - 安装后,打开你喜欢的终端并运行ollama run llama2以运行模型 当有新版本可用时,Ollama 将提示更新。
每日一言
"<!doctype html> <html lang="Zh-cn"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <meta name="robots" content="noindex,nofollow"> <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no"/> <meta name="renderer" content="webkit"> <title>您请求的文件不存在!</title> <link type="text/css" rel="stylesheet" href="https://www.oick.cn/css/404.css" /> <link rel="shortcut icon" href="http://www.oick.cn/favicon.ico" type="image/x-icon" /> </head> <body> <div id="wrap"> <div> <img src="https://www.oick.cn/imgs/404.png" alt="404" /> </div> <div id="text"> <strong> <span></span> <a href="javascript:history.back()">返回上一页</a> </strong> </div> </div> <div class="animate below"></div> <div class="animate above"></div> </body> </html>"