向量搜索的GPU终极加速方法,从此算力不再虚标!

创新方法应用于向量搜索GPU计算加速,效率是现有方法的2~6倍,硬件利用率超90%。

用于精确近邻计算、近似knn图构建、聚类算法(如k-means等)等。

可以提高数据挖掘、人脸识别、图片搜索等业务的处理速度。

最新的与Faiss、cublas函数的对比效果如下:

旧的比对结果解读及算法介绍在这


CPU与GPU协同加速构建近似knn图,准确率可达99%以上。用于nsg、ssg等算法构建索引图。

单主机、单张2080ti卡共同加速,可在100秒内构建出1张2千万数据量、维度128、近邻数128的近似knn图,且准确率不低于97%。单主机、4张卡共同加速,理论上可在1小时内构建出1张10亿条数据的近似knn图(单纯10亿条数据就要占238G内存,索引占用的更多,这样的机器租都贵;专门针对大数据量的调度算法还没有优化完;所以是理论值。。。。)。

编辑于 2022-10-26 11:07