9月17日消息，京东研究者在论文中提出了一种多模态方法来联合预测产品属性，并利用产品图像从产品的文本描述中提取值。研究者认为，产品属性和属性值是高度相关的，例如，它将更容易提取属性值的条件下，产品属性是已知的。因此，研究者针对属性与值之间的交互作用，从多个方面共同对属性预测和值提取任务建模。

此外，对于不同的产品属性和值，产品图像对我们的任务有不同的影响。因此，研究者有选择地从产品图像中提取有用的视觉信息来增强模型。研究者注解了一个包含87,194个实例的多模态产品属性值数据集，在该数据集上的实验结果表明，明确地建模属性和值之间的关系有助于建立它们之间的对应关系，选择性地利用可视化的产品信息是完成这项任务所必需的。代码和数据集将向公众发布。