- [2025/09] ops-transformer项目首次上线。
ops-transformer是CANN (Compute Architecture for Neural Networks)算子库中提供transformer类大模型计算的进阶算子库,包括attention类、moe类等算子,算子库架构图如下:
若您希望快速体验算子的调用和开发过程,请访问如下文档获取简易教程。
- 算子列表:介绍项目提供的全量算子信息,方便快速查询。
- 环境部署:介绍项目基础环境的搭建,包括软件包和第三方依赖的获取和安装。
- 算子调用:环境部署后,介绍如何快速调用算子,包括编译执行算子包和UT等。
- 算子开发:环境部署后,介绍如何快速开发算子,包括创建算子工程、实现Tiling和Kernel核心交付件等。
若您希望深入体验项目功能并修改算子源码,请访问如下文档获取详细教程。
- 算子调用方式:介绍不同的调用算子方式,方便快速应用于不同的AI业务场景。
- 算子调试调优:介绍常见的算子调试和调优方法,如DumpTensor、msProf等。
- 算子基本概念:介绍算子领域相关术语和概念,如非连续Tensor、量化模式等。
关键目录如下,详细目录介绍参见项目目录。
├── cmake # 项目工程编译目录
├── common # 项目公共头文件和公共源码
├── attention # attention类算子
│ ├── flash_attention_score # flash_attention_score算子所有交付件
│ │ ├── CMakeLists.txt # 算子编译配置文件
│ │ ├── docs # 算子说明文档
│ │ ├── examples # 算子使用示例
│ │ ├── op_host # 算子信息库、Tiling、InferShape相关实现目录
│ │ ├── op_kernel # 算子Kernel目录
│ │ └── README.md # 算子说明文档
│ ├── ...
│ └── CMakeLists.txt # 算子编译配置文件
├── docs # 项目文档介绍
├── examples # 端到端算子开发和调用示例
├── experimental # 用户自定义算子存放目录
├── ...
├── moe # moe类算子
├── posembedding # posembedding类算子
├── scripts # 脚本目录,包含自定义算子、Kernel构建相关配置文件
├── tests # 测试工程目录
├── CMakeLists.txt
├── README.md
├── build.sh # 项目工程编译脚本
├── install_deps.sh # 安装依赖包脚本
└── requirements.txt # 本项目需要的第三方依赖包
