研发路线

KubeAGI 研发路线

支持 Prompt 在不同 LLM 下的评估，生成测试报告
RAG 评估、RAG Question Generation
- 优化问题自动生成，分析问题质量，过滤掉相似度不高的问题
- 评估指标：检索评估 - Hit Rate、MRR，回答评估 - 公正性、相关性、一致性等
- 其他评估能力
数据血缘，掌握数据的来龙去脉，比如：支持回答与原始文档关系映射
对大模型生成的 QA 对进行相似度分析，允许用户手动处理（删除、合并等）
数据集、知识库、模型服务等基于 streamlit 的 playground
模型应用支持 Get/Post API Chain，支持典型 LLM 应用开发（非工作流模式）
基于 streamlit，支持各类数据的可视化

支持低资源大模型微调，包括RLHF、SFT（Adapter、P-tuning、LoRA），提高模型质量，降低对模型服务性能要求（降低推理成本、延迟（Prompt 较长、推理较慢等情况）
模型压缩
对模型服务、Embedding 进行测试并评估（QA评估、指标采集）
Scale to zero(对接 arbiter)，cold start，让模型、应用向 Serverless 演进
支持 Agent、Cache 等更多节点类型的编排
引入更多提示词工程最佳实践
- few shots
- Chain-of-Thought（CoT）
- 思维树