numpy为什么比dolphin DB慢很多

假设同样的数据矩阵都在内存里面,那么numpy为什么比dolphin DB慢很多?理论上numpy计算跟c也差不多 

请先 登录 后评论

1 个回答

wfHuang

太阳底下没有新鲜事,单机单核的情况下,numpy 在单纯的矩阵计算上性能不一定落后于 ddb多少。
但是涉及单机多核并发处理,多机多核并发处理上,ddb的内嵌分布式计算框架,可以大大加速整个过程,充分利用计算资源。
而且因为不需要写一些 multiprocessing,ray等内容,可以让业务人员更多地将注意力放在价值的生产端。

另外想补充一下,作为数据存储-数据加工分析-结果保存的一环,numpy 确实做到了单线程工况下较为高效的计算。
不过,在读取数据、结果保存的环节,numpy可能会面临一些挑战。
用户会希望快速处理数据,同样希望数据更快地被加载到内存中,在计算完之后写入到磁盘上。
综合来讲,因为隐式的库内分析、并发读写、并发计算的特点,ddb无论是在工程使用上还是效率上,相较于偏向底层的数据分析库numpy来说,是不太具有可比性的。 

请先 登录 后评论
  • 1 关注
  • 0 收藏,319 浏览
  • hmWei 提出于 2023-12-15 13:51

相似问题