为 Ollama 添加 APIKEY 鉴权的最简单的方式,防止 Ollama 直接暴露在公网被滥用

66 天前
 mili100

https://github.com/onllama/Onllama.LiteGateway

wget https://git.apad.pro/github.com/onllama/Onllama.LiteGateway/releases/latest/download/Onllama.LiteGateway.linux-x64 -O /usr/bin/Onllama.LiteGateway
wget https://git.apad.pro/raw.githubusercontent.com/onllama/Onllama.LiteGateway/refs/heads/main/onllama-litegateway@.service -O /etc/systemd/system/onllama-litegateway@.service
chmod +x /usr/bin/Onllama.LiteGateway 
systemctl enable onllama-litegateway@sk-just-for-example --now

# 请替换 'sk-just-for-example' 为你想要设置的 apikey 。
# curl http://127.0.0.1:22434

同时已支持:

1027 次点击
所在节点    Local LLM
6 条回复
gzlock
66 天前
好一个 onllama...
YsHaNg
66 天前
ollama 这样的后端不应该只放内网吗 前端暴露公网就好了
musi
65 天前
ollama 也不支持并发,为什么有暴露到公网的想法
julyclyde
65 天前
@YsHaNg 搞 AI 的和搞互联网的人群重叠度比较低。很多人没这个意识
mili100
61 天前
@gzlock 意指站在巨人的肩膀上,或者是羊驼的背上(?

@musi Ollama 从 [v0.1.33]( https://github.com/ollama/ollama/releases/tag/v0.1.33) 开始就已经支持并发和同时加载多个模型了,已经足以能够胜任一些中小规模的生产环境了
musi
60 天前
@mili100 #5 感谢告知,你不说我还不知道,倒是可以尝试一下开下并发

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1116478

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX