全球最大的 AI 聊天平台 Character.AI 弄了一个开源工具,名为Prompt Poet ,能优化Prompt 提示词设计,还是低代码的那种。
Prompt Poet结合使用YAML和Jinja2,通过渲染和加载两大步骤,将输入数据处理成结构化的YAML文件,实现高效缓存和低延迟响应。
此外,用户还可以自定义编码和截断策略,提高GPU前缀缓存利用率,达到95%的缓存率。
项目同时支持在线API和本地LLM,感兴趣的小伙伴可以访问:https://research.character.ai/prompt-design-at-character-ai/?continueFlag=60a54f4640ac631341766818d0f2dab5