CANN/ge LLM-DataDist Python接口

# LLM-DataDist接口参考（Python）

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

• LLM-DataDist-interface-list

• LLMDataDist

  • LLMDataDist-constructor
  • init
  • finalize
  • link_clusters
  • unlink_clusters
  • check_link_status
  • kv_cache_manager
  • switch_role

• LLMConfig

  • LLMConfig-constructor
  • generate_options
  • device_id
  • sync_kv_timeout
  • enable_switch_role
  • ge_options
  • listen_ip_info
  • mem_utilization
  • buf_pool_cfg

• KvCacheManager

  • KvCacheManager-constructor
  • is_initialized
  • allocate_cache
  • deallocate_cache
  • remove_cache_key
  • pull_cache
  • copy_cache
  • get_cache_tensors
  • allocate_blocks_cache
  • pull_blocks
  • copy_blocks
  • swap_blocks
  • transfer_cache_async

• KvCache

  • KvCache-constructor
  • cache_id
  • cache_desc
  • per_device_tensor_addrs
  • create_cpu_cache

• LLMRole

• LLMClusterInfo

  • LLMClusterInfo-constructor
  • remote_cluster_id
  • append_local_ip_info
  • append_remote_ip_info

• Placement

• CacheDesc

• CacheKey

• CacheKeyByIdAndIndex

• BlocksCacheKey

• LayerSynchronizer

• TransferConfig

• TransferWithCacheKeyConfig

• CacheTask

  • CacheTask-constructor
  • synchronize
  • get_results

• LLMException

• LLMStatusCode

• DataType

• deprecated

  • TensorDesc

    • TensorDesc-constructor
    • dtype
    • shape

  • Tensor

    • Tensor-constructor
    • numpy

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge