ej:单次推理即可输出类型化决策的11MB本地模型
单次推理即可输出类型化决策的11MB本地模型
我开发 ej 是为了解决比通用分类更聚焦的问题:在给定特定状态和一组决策问题时(其选项支持运行时动态定义),通过单次前向传播为每个问题返回概率分布。它支持单选、是非判断及有序评分,完全基于CPU运行,无需Token生成,仅打包为一个11.4 MB的模型文件。仓库内附带完整的训练脚本、评估工具、适配模块、量化权重以及基准测试框架。
小编简评: ej 是一款令人耳目一新的轻量级AI决策引擎。在大型语言模型泛滥的今天,它反其道而行之,将体积精准压缩至11.4MB,却能在纯CPU环境下实现单次前向传播即可完成复杂决策。与传统大模型依赖海量Token逐字生成的低效模式不同,ej 直接输出结构化概率分布,完美契合单选、是非判断及有序评分等业务场景。其核心优势在于支持运行时动态定义选项,开发者无需反复微调或重新训练,即可灵活适配多变的业务逻辑。无论是资源受限的边缘计算节点、高并发实时风控系统,还是自动化工作流的智能路由,ej 都能以极低的算力成本提供毫秒级响应。对于追求极致性能、数据隐私与架构可控性的技术团队而言,这不仅是高效的本地模型,更是降本增效的破局利器。
用户评价:
“体积真的小,跑在树莓派上毫无压力!”
“单次推理出结果太爽了,告别LLM的等待焦虑。”
“选项动态配置很实用,省去了大量调参时间。”
“纯CPU运行且精度在线,嵌入式项目首选。”
“文档清晰上手快,适合做规则引擎的补充。”
关键词:#ej #Open Source #Artificial Intelligence #GitHub #开源 #人工智能
官方网站: ej
英文介绍: An 11MB local model for typed decisions in one pass
I built ej for a narrower problem than general classification: given some state and a set of decision questions whose options can be defined at runtime, return a probability distribution for each question in one pass. It handles choice, yes/no, and ordered scores, runs on CPU, needs no token generation, and ships as one 11.4 MB model file. The repo includes training, evaluation, adaptation, packed weights, and the benchmark harness.
以下是产品图片:




官方网站: ej
您觉得这个产品怎么样?有什么亮点或不足?可以分享给您的朋友一起探讨!
每天下午16:00,实时同步 Product Hunt 精选榜单,用中文呈现全球顶级开发者、创业者的奇思妙想,准时链接全球创意!欢迎持续关注~~~