skip to content
AI私塾

一个实现token自由的免费开源神器freellm

AI私塾 / / 15 分钟阅读

Table of Contents

前言

当你以为自己在用AI“白嫖”算力时,有没有想过,其实是你正在“献祭”自己?

最近刷到一个抖音直播间,主播把“谁消耗的token多”当成一种荣耀,煽动大家All in Agent,比赛谁烧的token多。直播间里气氛热烈,但我心里却犯嘀咕:这位仁兄是不是做大模型中转站的?后来发现,果不其然。

无独有偶,在一个技术群里,也有群友炫耀公司鼓励大家烧token,甚至比赛谁烧得多。这就很奇怪了,他们公司既不是大模型厂商也不是中转站,图什么?后来我想通了:公司可能在把你们的对话数据变成资产。你以为AI在帮你干活,其实你也在免费训练AI。每一次对话,都是在“献祭”你自己。Meta公司就是这么干的,事出反常必有妖。

看看互联网的套路:疯狂撒钱,平台垄断,最后收割商户和用户。想想当年的打车大战,两个巨头龙争虎斗,疯狂撒钱,用户打车像不要钱一样,司机一年就能赚回买车钱。后来呢?巨头合并,司机成了被算法控制的赚钱机器。

所以,不要对任何一个平台形成依赖,永远要有一个备胎。强者联合起来欺负弱者,远比强者之间互相欺负来得容易。

言归正传,现在我们还处在AI平台竞争、用户得利的红利期。虽然免费token不可持续,但福利该拿还是要拿。今天给大家介绍一个免费的开源项目——FreeLLMAPI,它集成了市面上14家提供免费token的厂商,每月累计提供高达14亿免费token。下文将详细介绍如何安装和使用,帮你在Agent时代少花钱、多办事。

一、freellmapi的安装和使用

(一)、前置条件与环境准备

以window10操作系统为例,演示这个项目的安装和使用。首先需要配置好以下底层环境。请严格按顺序安装:

1. 安装 Node.js(推荐 v20 或以上版本)

freellmapi 基于 Node.js 运行,由于其依赖的 better-sqlite3(轻量级数据库)需要较新的 Node 运行时,建议安装 Node.js v20 长期支持版(LTS)

  • 下载:访问 Node.js 官网 下载 Windows 平台的 .msi 安装包。

  • 安装注意:在安装向导中,务必勾选 “Automatically install the necessary tools…”(自动安装必要的工具,包括 Chocolatey 和 C++ 编译工具),这能极大减少后续第三方原生库编译报错的概率。

  • 验证:打开 Windows 终端(按下 Win + R,输入 cmdpowershell),运行以下命令:

    如果能正确输出版本号(如 v22.x.x),说明环境就绪。

2. 安装 Git 客户端

用于从 GitHub 克隆项目代码。

  • 下载:访问 Git 官网 下载 Windows 安装程序并默认安装。

  • 验证:在终端运行 git --version 确认安装成功。

3. 网络环境(重要)

因为该项目需要顺畅连接 Google Gemini、Groq、OpenRouter 等海外 AI 服务商的 API 接口,你的 Windows 10 系统需要具备全局或终端(CMD/PowerShell)环境下的网络代理能力,否则在后续填写 API Key 校验或实际发起对话请求时会高概率遭遇连接超时(Timeout)或 502/504 错误。

(二)、克隆项目与安装依赖

打开你的 PowerShellCMD(建议使用管理员权限打开),依次执行以下命令:

  1. 定位到你想存放项目的目录(例如 D 盘的 Code 文件夹):

    Terminal window
    d:
    cd D:\Code
  2. 克隆代码库

    Terminal window
    git clone https://github.com/tashfeenahmed/freellmapi.git
  3. 进入项目根目录

    Terminal window
    cd freellmapi
  4. 安装依赖包

    Terminal window
    npm install
    • 注:项目使用了 better-sqlite3,它通常带有预编译的 Windows 二进制文件,因此在 Node 20+ 环境下一般无需复杂的 C++ 编译配置,直接 npm install 即可平滑完成。

(三)、细节配置(环境变量设置)

项目根目录下包含一个环境变量模板文件 .env.example。我们需要基于它创建属于我们本地的配置文件。

  1. 在 Windows 文件资源管理器中进入 freellmapi 文件夹,将 .env.example 文件复制一份,并将副本重命名为 .env

  2. 使用代码编辑器(如 Notepad++、VS Code 或自带的记事本)打开 .env 文件。

  3. 逐项配置细节解析

  • PORT

    PORT=3001
    • 细节:这是服务在本地运行的端口号。默认为 3001。如果你的电脑上 3001 端口已被其他服务占用,可在此处修改(例如改为 4000)。
  • ENCRYPTION_KEY

    ENCRYPTION_KEY=your-64-char-hex-key-here
    • 细节:这是必填项!为了安全,系统会将你输入的各个 AI 平台的 API Key 加密存储在本地的 SQLite 数据库中。这里需要一个 64 位的十六进制(Hex)密钥

    • 如何生成:保持当前的终端不关闭,在命令行输入以下命令回车:

      Terminal window
      node -e "console.log(require('crypto').randomBytes(32).toString('hex'))"

      控制台会打印出一串很长的随机 64 位字符。复制这串字符,将其替换掉 .env 文件中 your-64-char-hex-key-here

  • HOST_BIND(可选,按需取消注释):

    # HOST_BIND=0.0.0.0
    • 细节:默认情况下该参数不启用(即绑定 127.0.0.1),意味着只有运行本机的 Windows 10 能够访问该 API 代理。如果你希望局域网内的其他设备(例如你的手机或其他电脑)也能调用这个代理,可以删掉前方的 #,使其变为 HOST_BIND=0.0.0.0
  • 保存并关闭 .env 文件

(四)、启动服务与配置各个渠道

  1. 在项目根目录的终端中,运行以下命令启动开发或生产服务:

    Terminal window
    npm run dev
  2. 当看到终端提示服务成功启动后,打开浏览器,访问该项目的本地管理面板(Dashboard):

    http://localhost:3001
  3. 在 UI 界面中配置 API Key:进入管理面板的 KeysProviders 页面。你会看到一排支持的免费 AI 渠道提供商(如 Google Gemini, OpenRouter, Groq, Cerebras, Sambanova, Mistral 等)。

    • 前置准备:你需要分别去这些平台注册账号(全部都提供完全自服务的免费层,且不需要绑定海外信用卡)。

      • 例如 Google AI Studio(获取 Gemini 密钥)

      • 例如 OpenRouter(注册后创建一个不充值的免费 API Key)

      • 例如 Groq Console(获取速度极快的 Llama 3 密钥)

- **录入**:将你申请到的各平台 API Key 对应粘贴到 Web 界面中,点击保存。系统会使用你在 `.env` 中配置的 `ENCRYPTION_KEY` 加密写入本地数据库。

五、如何实际使用(调用端点)

服务启动并配置好渠道密钥后,freellmapi 将常驻在后台。它对外呈现的是一个统一的、标准的 OpenAI 兼容接口

1. 统一的端点参数:

  • API Base URL(基础地址)http://localhost:3001/v1

  • API Key(密钥):在你的管理面板中,你可以生成一个统一的主控 API Key(例如 sk-free-llm-proxy...),用这个 Key 就可以代表身后聚合的所有免费额度。

2. 使用 cURL 命令行进行快速测试:

打开一个新的终端(CMD 或 PowerShell),执行以下命令发送测试请求:

Terminal window
curl http://localhost:3001/v1/chat/completions ^
-H "Content-Type: application/json" ^
-H "Authorization: Bearer 你的统一主控Key" ^
-d "{\"model\": \"auto\", \"messages\": [{\"role\": \"user\", \"content\": \"你好,请问你是谁?\"}]}"

注:在 model 字段中输入 "auto",项目内置的路由算法会自动挑选当前免费额度最充裕、响应最快的模型为你解答;如果你想强制指定某家,也可以填入其支持的特定模型名称。

3. 接入到常用工具(以自动化或代码助手为例):

  • Cursor / VS Code 插件:在 AI 设置中,将 OpenAI 的生产 Base URL 替换为 http://localhost:3001/v1,并将 API Key 替换为你自己生成的代理 Key。

  • 前端各类 Chat UI(如 Page Assist / NextChat):同样自定义渠道为 OpenAI 类型,更改其 Endpoint 即可享受无感知的自动故障转移和千亿级 Token 的免费轮询。

二、提供免费token的厂商列表

下面是freellmapi可以接入的免费大模型厂商。

厂商 月度免费额度 额度类型 信用卡 主要免费模型 / 限制 注册入口
Mistral La Plateforme

la.plateforme.mistral.ai
~1B tokens

shared · 最大池
每月循环 无需 Mistral Large / Medium · Codestral · Devstral · Magistral

全项目最大免费额度来源
注册
Groq

console.groq.com
~30M tokens

per model
每月循环 无需 Llama 3.3 70B · Llama 4 Scout · Qwen3 32B · GPT-OSS 120B/20B

1000 RPD,推理速度极快
注册
Cerebras

cloud.cerebras.ai
~30M tokens

shared
每月循环 无需 Qwen3 235B · GPT-OSS 120B · Llama 3.1 8B

1M TPD · 30 RPM,业内最快推理
注册
Z.ai(智谱 Zhipu)

open.bigmodel.cn
~30M tokens

shared
永久免费 无需 GLM-4.5 Flash · GLM-4.7 Flash

标注 :free,无到期限制
注册
Cloudflare Workers AI

dash.cloudflare.com
~20M tokens

shared
每月循环 无需 Kimi K2.5/K2.6 · Qwen3 30B · GLM-4.7 Flash · Llama 4 Scout

10,000 Neurons/day
注册
GitHub Models

github.com/marketplace/models
~18M tokens

est.
每月循环 需 GitHub 账号 GPT-4.1 · GPT-4o

免费 Copilot 层 50 RPD
注册
OpenRouter

openrouter.ai
~6M tokens

per model
每月循环 无需 DeepSeek · Kimi · Qwen · Llama · Gemma · Nemotron · HY3 等 19 款

模型数量最多
注册
Google Gemini API

aistudio.google.com
~3M tokens

per model
每月循环 无需 Gemini 2.5 Flash · Flash-Lite · 3.1 Pro/Flash 预览版

20 RPD per model
注册
SambaNova

cloud.sambanova.ai
~3M tokens

shared
每月循环 无需 DeepSeek V3.1/V3.2 · Llama 4 Maverick · Llama 3.3 70B · Gemma 3 12B 注册
Cohere

dashboard.cohere.com
~1–2M tokens

shared
每月循环 无需 Command R+

Trial key:1000 calls/月 · 20 RPM
注册

以上厂商绝大多数都是每月循环免费额度,不是一次性的。 只有 NVIDIA NIM 是注册赠送 credits,用完即止(也是项目中唯一默认禁用的厂商)。

额度性质分三类:

  • 永久免费(不限期):Z.ai / 智谱,两款 GLM 模型标注 :free,无到期说明
  • 每月循环:其余 9 家厂商,每月重置,是主力免费来源
  • 一次性注册赠送:仅 NVIDIA NIM

免费额度的大头是 Mistral,官方页面标注约 ~1B tokens/月,远超其他厂商,占整个项目约 1.3B 总量的绝大部分。

所有 10 个活跃厂商均无需信用卡,只需注册账号拿 API key 即可,符合项目“零成本起步”的定位。限制主要体现在 RPD(每日请求数)和 RPM(每分钟请求数)上,而非绝对 token 总量。

三、常见问题

问题:在检测添加的厂商的免费token时,check显示invalid或者error。

解决办法:

需要在代码里显式注入代理,改动很小:

第一步:安装 undici(通常已内置,确认一下)

Terminal window
npm list undici

没有的话:

Terminal window
npm install undici

第二步:修改 server/src/index.ts,在最顶部加两行

import { ProxyAgent, setGlobalDispatcher } from 'undici';
setGlobalDispatcher(new ProxyAgent(process.env.HTTPS_PROXY || 'http://127.0.0.1:7890'));

加完后文件开头看起来像这样:

import { ProxyAgent, setGlobalDispatcher } from 'undici';
setGlobalDispatcher(new ProxyAgent(process.env.HTTPS_PROXY || 'http://127.0.0.1:7890'));
// 原来的代码...
import express from 'express';
...

第三步:重启服务

Terminal window
npm run dev

不出意外,重新check每个添加的免费厂商api,状态会显示health。

注意,端口 7890 是代理服务的端口,需要你根据自己使用代理的实际情况填写。当然你如果使用

海外服务器这一步可以省了,也不会出现上面的问题。

到这里就结束了,你现在拥有一个月19亿token的免费服务。

相关文章