AlpacaEval : 一个用于自动评估大语言模型的工具

分享到社交媒体

#AI #ChatGPT #排行榜

?AlpacaEval – 一个用于自动评估大语言模型的工具

https://tatsu-lab.github.io/alpaca_eval/

?开源地址  https://github.com/tatsu-lab/alpaca_eval

?AlpacaEval 可以测试和评估语言模型在理解和执行自然语言指令方面的能力,它是一种基于 LLM 的全自动评估基准,且更加快速、廉价和可靠

研究人员以 GPT-4 或 Claude 为自动评估器,以 GPT-3.5(Davinci-003)为基准,将目标模型与 GPT-3.5 的回复进行比较,计算获胜率

AlpacaEval : 一个用于自动评估大语言模型的工具

分享到社交媒体