文献分享|BioGPT: 用于生物医学文本生成和挖掘的生成式预训练transformer

本文介绍了BioGPT，一种在大规模生物医学文献上预训练的生成式Transformer模型，旨在解决生物医学领域的文本生成和挖掘任务。背景方面，生物医学文本挖掘对药物发现和临床研究至关重要，而现有BERT类模型缺乏生成能力。研究目的是开发一个领域特定的生成模型，通过自然语言化标签和软提示技术提升性能。结论显示，BioGPT在关系抽取、问答和文本生成等六个任务上超越现有模型，如在PubMedQA上达到78.2%准确率，证明了其在生物医学NLP中的高效性和专业性。