Multimodal contrastive learning for spatial gene expression prediction using histology images
Published in Briefings in Bioinformatics, 2024
mclSTExp: 基于组织学图像的空间基因表达预测的多模态对比学习 PDF
空间转录组学为揭示组织中基因的空间表达模式提供了强大的工具。然而，空间转录组数据的高维性和稀疏性使得其分析具有挑战性。本文提出了一种基于多模态对比学习的方法，通过结合组织学图像和空间基因表达数据来进行基因表达预测。我们的模型利用组织学图像作为额外的模态，增强了空间基因表达预测的准确性。通过对比学习策略，模型能够自动学习到不同模态之间的深层次关联，从而提高了预测的性能。实验结果表明，所提方法在多个数据集上显著优于传统的单模态方法，展示了多模态对比学习在空间基因表达预测中的潜力。该方法为基于组织学图像的基因表达预测提供了新的思路，并为空间转录组学数据分析提供了有效的工具。
Recommended citation: Wenwen Min(一作+通信), Zhiceng Shi, Jun Zhang, Jun Wan and Changmiao Wang. Multimodal contrastive learning for spatial gene expression prediction using histology images. Briefings in Bioinformatics 2024, DOI: 10.1093/bib/bbae551 (CCF B类期刊, 中科院JCR1区, IF=9.5)