【蓝萤IM】大模型时代创业给高瞻远瞩的你三个建议202347页

今天分享的是大模型系列深度研究报告：《2023大模型时代创业给高瞻远瞩的你三个建议》。（报告出品方：蓝莺）

报告共计：47页

⼤参数意味着⼤成本

私有部署⼀个可⽤⼤模型的成本之⾼昂，训练要求之⾼，并⾮⼀般企业所能承担。如果⼀件事情有更经济更低成本的解决⽅案，那这种⽅案更有可能在竞争中胜出。

胡编乱造的⼤模型⽆法解释

•有幻觉hallucination

•⽆可解释性Interpretability

•需要⼈机协同=>企业知识溯源

使⽤⼤模型服务的三种模式

模式1:纯提示词模式(PromptOnly)

直接使用提示词调用大模型API，这是最容易上手的方式。

模式2:嵌入向量模式(Embedding)

将知识预处理存入向量数据库，在提问时通过相似度查询找到关联知识，然后跟问题一起加入提示词，再调用大模型API。

模式3:精调模型模式(Fine-tune)

将知识通过Fine-tune训练存入大模型，使用时再进行Prompt调用。

错误观点⼀：上下⽂谬误

以扩展到100K上下⽂来算，如果模式⼀每次调⽤都将全部知识⽂本带上，同时模式⼆我们选择4K知识⽚段，那每次调⽤模式⼀都将是模式⼆调⽤成本的25倍。算法上的原因，即OpenAI执⾏Attention的算法复杂度是O(n^2)，这意味着，随着序列⻓度的增加，执⾏Attention计算所需的计算资源呈指数增⻓。

错误观点⼆：精调陷阱

嵌⼊向量模式没有思维链CoT能⼒，回答问题时将不能根据知识做完整推断。先说成本，以OpenAI的调⽤价格来对⽐。Embedding模式：训练时调⽤Adav2模型，费⽤是$0.0001/1Ktokens，使⽤时调⽤ChatGPT模型，费⽤是提问$0.0015/1Ktokens，回答$0.002/1KtokensFine-tune模式：训练时调⽤Davinci模型，费⽤是$0.0300/1Ktokens，使⽤时也是Davinci模型，费⽤是$0.1200/1Ktokens。20230823：训练时调⽤GPT-3.5模型，费⽤是$0.008/1Ktokens，使⽤时也是GPT-3.5模型，费⽤是$0.012/1Ktokens。后者训练成本是前者的300倍，使⽤成本是前者的接近80倍。