全部产品
计算加速套件(TACO)
产品简介
  • 产品概述
  • 产品优势
  • 应用场景
  • 产品架构
  • 功能特性
    • TACO Train AI训练加速
    • TACO LLM 推理加速引擎
      • 主要特性
      • 支持模型
  • 使用建议
用户手册
  • TACO Train AI 训练加速引擎
    • 使用 TACO Train 部署分布式集群
      • 在 CVM 上部署 TensorFlow 分布式训练集群
      • 在裸金属服务器上部署 TensorFlow 分布式训练集群
      • 在 CVM 上部署 PyTorch 分布式训练集群
      • 在裸金属服务器上部署 PyTorch 分布式训练集群
    • 组件配置和使用
      • TCCL 使用说明
      • 配置 HARP 分布式训练环境
      • 配置容器 SSH 免密访问
      • 容器安装用户态 RDMA 驱动
  • TACO LLM 推理加速引擎
    • TACO-LLM 部署
    • TACO LLM 安装
    • TACO LLM 使用
      • 离线模式
      • 在线模式
      • 基础配置
      • Lookahead Cache
      • Auto Prefix Caching
      • 量化
      • CPU 辅助加速
      • 长序列优化
    • TACO LLM API
      • Offline API
      • Online API
      • Sampling API
    • TACO LLM 性能
租户端 计算 计算加速套件(TACO)

总览

产品简介

  • 产品概述
  • 产品优势
  • 应用场景
  • 产品架构
  • 功能特性
  • 使用建议

用户手册

  • TACO Train AI 训练加速引擎
  • TACO LLM 推理加速引擎