Skip to content

能不能基于这个Engram推出一款适合个人笔记本/台式机的Deepseek终端版本 #4

@nuaa-wwbin

Description

@nuaa-wwbin

看完这篇论文我的感觉就是:可以通过记忆的方式来减少推理计算的量。所以我想着下面2个问题:
1.是否可以通过这个engram来优化模型,减少一些层,就能减少推理计算量,从而拥有了适合个人电脑的deepseek终端版本?推理效果与现有相差不大,甚至弱一些都行。
2.是否可以进一步优化,比如,engram分为“已知”和“用户待定”来适应用户的一些特定上下文环境。

现在的deepseek版本还是不太适合终端,虽然说提供了本地部署的可能性,但是对一般用户来说,硬件基本很难符合其要求。希望deepseek的大神们推出一个适用于个人笔记本的版本。这里跪谢,也希望我的一点想法能对你们有所帮助!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions