旷视RPC大型商品数据集发布!

近期,我们旷视南京研究院发布了一个新零售自动结算场景下的大型商品数据集RPC(论文戳:RPC: A Large-Scale Retail Product Checkout Dataset),旨在为相关领域的基础研究提供一个演武场。

视觉自动结算任务示意

RPC数据集的特点

  • 【量大】:无论商品类别(达200)还是图像总量(达83k)均是目前该领域之最。
RPC与相关数据集在类别数和图像总量的对比
  • 【跨域】:RPC中图像数据分为「单品图 exemplar image」和「结算图 checkout image」两种形态。模型需在单品图上进行训练,但真正测试环境则为结算图。
单品图(exemplar image)
三种难度的结算图(checkout image)
  • 【真实】:在构造和采集结算图时,我们尽可能追求模拟真实购买场景,无论商品类别、商品个数、摆放角度及遮挡等等因素均接近实际零售场景。
  • 【层级】:RPC中的200类商品隶属于17个商品大类(如方便面、纸巾、饮料等),天然构成了层次的结构。
  • 【难易】:对于RPC中的结算图我们设计了三种难度:easy,medium和hard,包含的商品类别数和数量分别为:
结算图的三种难度
  • 【强弱】在监督信息层面,我们为每张RPC的结算图均提供了由弱(shopping list)到中(point)再到强(product bbox)的三种强度监督信息。
结算图的三种强度监督信息

Beyond RPC

除文章中定义的自动结算任务外,该数据集还可用于以下领域(但不限于)的科学研究:

  • Few-shot detection / recognition
  • Fine-grained detection / recognition
  • Domain transfer learning
  • Multi-category counting
  • Online learning
  • Weakly-supervised learning
  • And many more ...


BTW,目前baseline还很低,欢迎大家来刷榜!

项目和下载链接速戳

https://rpc-dataset.github.io/rpc-dataset.github.io

编辑于 2019-01-24

文章被以下专栏收录