; l$ g( w" ~$ ^8 d; c! t7 w 9月27日，腾讯在人工智能、生命科学跨学科应用领域的最新研究成果《scBERT as a Large-scale Pretrained Deep Language Model for Cell Type Annotation of Single-cell RNA-seq Data》（《基于大规模预训练语言模型的单细胞转录组细胞类型注释算法》），登上国际顶级学术期刊《Nature》子刊《Nature Machine Intelligence》。
, F3 o. L9 o: ?: }! X5 [, a- d$ I6 l8 K 据了解，《Nature Machine Intelligence》只关注对该领域具有重要影响的科研成果。因其严格的评审标准，每年收录论文数量平均仅60篇左右。目前该期刊在计算机科学、人工智能领域期刊中排名第一。
5 Y/ d# t' H* i0 i7 J+ P5 ? 腾讯在论文中创新性地提出关于单细胞注释的“scBERT”算法模型，受到《Nature Machine Intelligence》杂志评审高度认可，表示该成果对于单细胞转录组测序数据分析领域未来研究具有深远意义。
; ^- A( F4 A2 ?
单细胞测序技术是生命科学领域的一项革命性技术，可以细粒度地观察和刻画各个物种中组织、器官和有机体中单细胞分子图谱（细胞表达），便于更好地了解肿瘤微环境，以达到精细分析病因、精准匹配治疗方案的效果，对于“精准医疗”具有极高的应用价值。
' D. S/ ^* K! L: \# a4 ~2 y8 Y 值得注意的是，受数据样本量小、人工干预多、过度依赖marker gene（已报道的特异性基因）等因素的影响，单细胞测序细胞类型注释技术一直面临着泛化性、可解释性、稳定性均比较低的问题，现存的算法难以有更广泛的应用。
/ l; C [2 B; h
针对以上问题，论文中首次提出“基于大规模预训练语言模型的单细胞转录组细胞类型注释算法”，即“scBERT”模型，首次将“transformer”（自然语言处理算法经典计算单元）运用到单细胞转录组测序数据分析领域。
% y ~+ {7 ]2 n8 k 该模型基于BERT范式，将细胞中基因的表达信息转化成可被计算机理解、学习的“语言”，并对细胞进行精准标注。
3 M# ~2 Y O- y. h8 e4 I 为了保证全基因组内基因级别的可解释性，“scBERT”在预训练数据上没有做任何的降维或筛选处理，最大程度上保留数据本身的特性和信息。
; C7 V- |, c* k% O, q
此外，该模型复用了大规模的公开数据集，包含不同实验来源、批次和组织类型的单细胞数据，以保证模型能学习到更为“通用”的知识，精准捕获单个基因的表达信息及两两基因之间的作用关系。
5 I5 V2 T( `+ x) y& r
从结果上来看，“scBERT”模型实现了高解释性、高泛化性、高稳定性的单细胞类型注释技术。
# \; C4 O/ Z; a w3 O 截至目前，通过了9个独立数据集、超过50万个细胞、覆盖17种主要人体器官和主流测序技术组成的大规模benchmarking测试数据集上，该算法模型的优越性均得以验证。
$ J' M$ G" g. S5 q5 ]
其中，在极具挑战的外周血细胞亚型细分任务上，相较现有最优方法的70%准确度提升了7%。
! {7 X+ X6 U6 o2 L- P 在应用价值层面，该项技术能给细胞中的每个基因都印上专属“身份证”，可用于临床单细胞测序数据，并辅助医生描述准确的肿瘤微环境、检测出微量癌细胞，从而实现个性化治疗方案或者癌症早筛。
6 S/ k, p% c4 a
同时，对疾病致病机制分析、耐药性、药物靶点发现、预后分析、免疫疗法设计等领域都具有极其重要的作用。
r$ e/ ]- Q# z! y
此前，腾讯AI Lab团队科研成果曾多次入选《Nature Communications》、ACL-IJCNLP等国际权威期刊，研究方向涵盖文本理解、文本生成、智能对话、机器翻译、信息抽取、信息检索等领域。
7 L. h) W5 b2 J( r: U5 ^" ~
未来，腾讯会继续基于自身先进AI技术的积累，与下游临床、制药和生命科学基础研究领域进行密切合作，为行业贡献更多价值。
# X2 Y1 ~1 [ f3 L7 [' x% _
