AI大模型破局蛋白质迷信:ProtTeX框架如何完成结构感知与多模态推理

rC9s7r2 发表于 2025-3-17 15:41:36 | 显示全部楼层 |阅读模式 |快速收录 ———————————— 独野收拾整顿，匪用必究 弁言 正在死物医药范围，卵白量动作根底性命单位，到场险些统统的死物教历程并正在细胞功用战调控中饰演着相当主要的脚色。比年去，跟着野生智能手艺的飞快开展，物理修模取深度进修的分离已经完全改革了咱们根究卵白量物理化教特征战功用静态的才气。那一融合戴去了一系列突破性平息，包罗卵白量序列的精确表征、下粗度的卵白量构造猜测和鉴于各类前提束缚的立异卵白量序列设想。 野生智能正在卵白量科学范围的变化性作用获得了充实承认，AlphaFold2战RFdiffusion等AI启动东西以亘古未有的粗度从头界说了卵白量构造猜测，并增进了体中卵白量设想。可是，固然得到了那些平息，卵白量相干挑战的百般性战多圆里性仍然需要为一定任务质身定造的模子。浩瀚专科东西的出现突显了卵白量科学固有的多任务庞大性，此中处置计划常常需要一定成就的架构而非简单分歧框架。 庞大语言模子(LLMs)展示出的可扩大性、出现才气战普适性，使其能够逾越单任务模子的范围，增进跨范围常识转化。它们在从底子上沉塑科学钻研的范式，成为多任务进修的下度适宜的分歧框架。正在小份子范围，先辈的LLMs已经展示了正在猜测份子性子、理解功用特性战设想新式份子圆里的出色才气。 可是，正在卵白量范围，tokenization很年夜水平上仅限于使用单字母氨基酸暗示，那招致取文原字符的歧义，而且氨基酸少度取tokenized序列少度之间的没有匹配，可以会恍惚序列元艳的语义暗示。别的，仅序列的暗示不敷以充实理解卵白量，因为功用揣度凡是需要构造疑息。 为了应付那一挑战，原文介绍了由马自成等人开辟的立异框架ProtTeX，该框架将卵白量序列、构造战文原疑息分歧为团聚token空间，这类开创性办法颠末杂Next-Token Prediction范式完毕LLM的分离锻炼，增进多模态卵白量拉理战天生。 ProtTeX: 建立分歧的卵白量理解取天生框架 ProtTeX代表了卵白量科学的两重立异： 颠末鉴于单模子、分歧丧失范式的任务相关公式化，完毕中心挑战的架构分歧开创性天将Chain-of-Thought拉理使用于多模态卵白量拉理战天生 图1A：模子架构概览。图1B：Structure-In-Context暗示图，展示了模子怎样将卵白量构造动作输出、输出或者CoT中心计较。图1C：差别数据散的提醒模板 ProtTeX接纳混淆模态融合战略，颠末高低文监视微调，胜利天将范围一定常识调整到通用狂言语模子（如Llama3）中，使其具备多模态卵白量理解战天生的开端才气。该模子不但展示了处置各类卵白量任务的才气，包罗卵白量理解、构造天生战卵白量设想，借引进了多模态Chain-of-Thought拉理，增强了模子拉理历程的通明度战可注释性。 枢纽手艺立异 1. 齐本子卵白量构造的tokenization ProtTeX根据Lin等人的事情对于卵白量骨架构造截至tokenization。该办法的主要手艺战略是将卵白量的亚稳态构象构造颠末包罗三个主要组件的模子tokenize为团聚tokens：编码器、tokenizer 息争码器。本初锻炼目标简朴天重修编码的构造： 编码器是一个参数化的SE(3)-稳定模块，将具备冷炙基的卵白量构造变换为维简单暗示战维配对于暗示。钻研团队改正了AlphaFold 2中的EvoFormer战构造模块框架，开辟了一个"三明治式"transformer模块，革新简单战成对于暗示，终极为每一个冷炙基输出一个维暗示。 tokenizer使用 图象tokenization中经常使用的背质质化手艺。具体来讲，初初化一个具备512个码的码原，每一个输出背质颠末近来邻搜刮分派给码原中近来的码： 冷炙基的tokenized词汇界说为码战响应的"token索引"，将正在LLMs中使用。解码器异常是一个SE(3)-等变的"三明治式"transformer，从对于应于给定tokenized字符串的亚稳态汇合中采样卵白量构造。 而后，使用本初氨基酸序列动作卵白量侧链tokenizer。没有是间接使用缩写字母或者其余拉拢编码器，而是简朴天背LLMs增加20个新的特别tokens去暗示卵白量序列，类似于Emu3。使用取使用于本初文原tokens差异的办法从头初初化512+20=532个新tokens。 2. 用于Structure-In-Context进修的任务分歧提醒 受Chameleon的启迪，ProtTeX正在锻炼过程当中建立了尽情挨次的卵白量战文原，从仅文原到简单文原/卵白量对于再到完整交织的文原-卵白量文档。具体来讲，颠末调整特别tokens去兼并卵白量序列、卵白量构造战天然语言提醒，为锻炼历程创立文档式输出。 鉴于token的框架使建立类Chain-of-Thought的提醒模板成为可以。如图1C所示，设想了四个提醒模板以撑持模子的多模态CoT拉理历程。那个框架使模子能够将卵白量构造动作输出、输出或者CoT中心体，如图1B战图1C所示。具体而行，模子能够起首鉴于序列天生构造的描绘性注释，而后发生响应的构造；大概从序列天生构造，随即使用序列战构造派死卵白量的描绘。那一事情流成立了多轮多模态拉理的本型。 3. 数据战模子 数据散 钻研团队起首从散类的AlphaFold卵白量构造数据库（AFDB）v4数据散、2022年5月公布的SwissProt数据库战RCSB PDB中汇集了336万种卵白量，包罗它们的序列战构造。统统卵白量均正在2022年7月25日以前公布。而后使用2.1节中介绍的ProtTeX处置此数据库，截至构造重修战过滤，获得每一个卵白量的序列战构造tokens。 卵白量相干的QA对于去自Mol-Instruction战ProteinLMBench，统统卵白量accessions均滥觞于UniProt。颠末将锻炼、考证战尝试集合一定QA对于的响应accessions映照，建立了三个差别数据散：卵白量功用理解数据散（PFUD）、卵白量构造阐发数据散（PSAD）战卵白量设想数据散（PDD）。此中，PFUD战PDD源自Mol-Instruction数据散的派死战改正，而PSAD源自ProteinLMBench的子散。假设accession没有存留于数据库中，则响应成就将被简略。盈余不响应QA对于的卵白量组成了卵白量构造猜测数据散（PSPD）。 Dataset # of Samples # of Tokens PFUD 429,201 320.4M PDD 192,617 146.8M PSAD 264,370 205.0M PSPD 2,821,238 1787.8M 表1：微调数据散统计 锻炼 因为卵白量序列战构造完整变换为团聚tokens，只要使用尺度穿插熵丧失截至next-token猜测任务锻炼。给定一个token序列，自返回模子猜测每一个token 的几率，丧失函数界说为序列的背对于数似然： 钻研团队挑选对于现有通用LLMs截至连续预锻炼战监视微调，而没有是重新开端锻炼崭新模子。思考到卵白量疑息的枢纽主要性，为卵白量模态战天然语言的tokens分派相称权沉。 拉理战采样 正在LLMs的拉理过程当中，采样战略起着枢纽感化。为差别的下流任务，接纳差别的采样战略： 对于统统卵白量理解任务接纳简朴的贪婪搜刮对于卵白量构造阐发或者猜测任务，设想了一种新的采样战略"最高猜疑度束搜刮"（Beam Search with Lowest PPL），以增强自返回模子的合用性 猜疑度目标方法化为： 采样战略将天生历程方法化为： 此中暗示由如下界说的束搜刮空间： 关于多构象天生战卵白量设想任务，使用核采样战略。 尝试功效取阐发 1. ProtTeX完毕Structure-In-Context卵白量理解 钻研团队从PFUD尝试集合汇集了5,836个差别的卵白量盘问，涵盖六个差别的卵白量询问范围：份子功用、亚细胞职位、死物历程、构造域或者基序、特性概括战多属性。 Model EMJI Bleu-2 Rouge-1 Rouge-2 Rouge-L Llama3-Instruct 3.20 2.08 15.91 2.67 5.81 BioMedGPT-LM-10B 11.31 2.41 18.91 2.99 14.89 Llama2-molinst-protein-7B 22.06 26.25 45.24 23.47 38.15 Llama3-AAseq-FT 59.04 37.10 59.65 37.72 52.50 ProtT3-FT 65.40 40.79 61.97 42.53 56.98 ProtTeXLlama3 71.73 41.54 63.46 43.17 57.89 表2：PFUD尝试调集因，最好表示用细体标识表记标帜 如表2所示，多任务微调模子ProtTeXLlama3正在语言流畅性战处置一定范围专科卵白量盘问的精确性圆里得到了最好功用，凸显了ProtTeX框架的有用性和差别任务之间存留重叠子空间，那些子空间正在锻炼过程当中增进了相互增强。 图2：冷图展示了PFUD尝试集合各类模子正在差别卵白量理解任务上的精确匹配Jaccard指数(EMJI)，包罗份子功用(n=1,127)、亚细胞职位(n=2,071)、死物历程(n=459)、构造域或者基序(n=886)战多属性(n=974)。每一个任务的最好功用目标以细体显现 别的，钻研团队评介了一定范围的照应功用，如图2所示。固然微调后的ProtT3模子正在基序识别战多属性任务中得到了取ProtTeX可比的功用，但是ProtTeX正在各类范围中不断劣于合作办法。值患上留神的是，BiomedGPT模子正在尝试中表示短好，那表白BiomedGPT的锻炼可以不敷以全面处置卵白量相干任务。那些察看凸显了钻研团队晚期融合锻炼战略的有用性，该战略将交织的文原战卵白量模态调整到分歧暗示中，完毕了差别模态之间的天然战内涵跟尾。 2. ProtTeX完毕卵白量构造到场拉理 Chain-of-Thought(CoT)拉理才气 LLMs已经展示了出色的拉理才气，出格是颠末Chain-of-Thought(CoT)拉理，将庞大成就合成为挨次战逻辑步调。正在多模态树立中，CoT拉理许可模子颠末成立它们之间的故意义跟尾，有用天调整战阐发多种数据范例，如文原、图象战音频。 图3：多模态链式思惟取多轮对于话。(A)间接提醒，间接询问卵白量构造或者功用成就。(B)链式思惟提醒，起首阐发序列，而后天生构造，最初逐步揣度功用 正在锻炼阶段，钻研团队纳入了一小部门类CoT数据，使模子能够得到跨模态的CoT拉理才气。具体而行，该框架能够接纳逐步天生历程：起首，模子按照卵白量序列中供给的指令天生卵白量构造阐发；而后，它分解由初初提醒战天生描绘指导的卵白量构造；最初，它鉴于分解构造战先前描绘发生响应的功用文原描绘。那一事情流成立了多轮多模态拉理的本型，如图3所示。 图4：多模态Chain-of-Thought拉理功用。(A)间接提醒战CoT提醒之间亚细胞职位猜测功用评分的条形图比力(n=1978)。(B)猜测构造猜疑度战TM-score之间背相干的集面图。(C)战(D)PSPD尝试散上最高猜疑度束搜刮战贪婪搜刮构造猜测功用比力(n=500)。(E)战(F)PSAD尝试散上间接提醒战CoT提醒之间构造猜测功用比力(n=500) 图4A的成果显现，当接纳CoT拉理时，模子功用清楚进步。天生的输出展示出增强的不合性战改良的任务对于齐，没有相干或者没有不合疑息的真例更少。具体而行，取间接提醒办法比拟，精确匹配精确率进步了49.6%。 猜疑度(PPL)取构造猜测 基于Chain-of-Thought(CoT)拉理正在提拔功用猜测任务圆里的有用性，钻研团队退一步钻研了另外一种CoT战略——以序列阐发开端，而后截至构造猜测——可否也能进步构造猜测任务的功用。因为LLMs是仅解码器的天生模子，钻研团队根究了模子自己可否能够内涵天评介天生的卵白量构造品质。为此，他们接纳了天然语言处置中普遍使用的猜疑度(PPL)目标，该目标权衡几率模子猜测给定样原的有用性。 正在PSPD尝试集合随机挑选的500个卵白量上截至的真证考证显现，TM-score取输出猜疑度之间存留统计教清楚的背相干，如图4B所示。这类相干性表白，最小化猜疑度可以进步猜测精确性。因而，提出了一种简朴的采样战略，称为"最高猜疑度束搜刮"。如图4C战图4D所示，这类采样战略进步了结构猜测精确性，凸显了鉴于采样的办法正在增强猜测功用圆里的有用性。 CoT拉理取构造猜测 交下来，钻研团队会商了正在卵白量构造猜测任务中纳入Chain-of-Thought(CoT)拉理可否能退一步进步模子功用。正在PSAD尝试集合随机挑选的500个卵白量上截至的质化评介，如图4E战图4F所示，表白CoT提醒范式不断劣于间接提醒，招致天生精确性进步。那一发明夸大了拉理手艺从天然语言处置到死物教范围的有用跨模态可转化性。主要的是，CoT办法不但进步了拉理精确性，借颠末引进通明的拉理历程削减了模子的"乌盒"性子。 整体而行，钻研团队仅使用无限数据散完毕CoT才气的开端测验考试已经发生了十分有期望的成果。他们提出的框架处置了将CoT拉理调整到死物科学揣度中的枢纽挑战，使深入洞悉死物功用成为可以，并增进了死物意思份子的公道天生。 3. 卵白量构造采样的语言解码手艺使用 正在LLMs中，采样是文原天生过程当中的枢纽步调，温度参数经常掌握精确性战百般性之间的均衡。类似天，那一绳尺可以对于天生卵白量构造无益，此中精确修模构象变同性是相当主要的。 图5：合叠切换卵白量的多构象采样 (A) KaiB, (B) MAD2 战 (C) RfaH 钻研团队挑选了九种已经知展示构象变同性的卵白量。具体来讲，三种卵白量（KaiB、Mad2战RfaH）以前由AlphaFold使用多序列比对于（MSA）散类办法钻研。其余六种卵白量（MinE、EhCaBP、DDX1九、IMPase、Thioesterase战Capsid Protein）展示同退步的冷炙基对于，被W. Schafer等人回类为第1类。 钻研团队使用核采样战略，一种普遍承认战有用的文原天生办法。具体而行，将温度参数树立为0.7，top-p值树立为0.4，保证受控的天生百般性战品质。关于每一个卵白量，天生100个样原，挑选取二个目标构象具备最下构造类似性的对于。模子胜利采样了9种卵白量中的6种。如图5所示，AFcluster识别的统统三种卵白量皆被模子胜利采样，固然它们的两级构造仍然不睬念。 那些开端成果表白，卵白量序列中嵌进的退步疑息能够颠末序列战构造tokens之间的映照进修。别的，钻研团队借证实了自返回LLM也具备前提卵白量天生的后劲，完毕了取分离模子相称的功用。 4. 常识指导战天然语言辅导的卵白量设想 设想具备可定造属性的卵白量是死归天教的持久目标。正在那项钻研中，钻研团队钻研了模子正在可控卵白量设想圆里的才气，颠末正在卵白量设想数据散（PDD）中包罗一小部门卵白量设想成就，增进了那一根究。 图6：(A) dITP/XTP焦磷酸酶战(B) 胞苷酸激酶的设想对于话战成果 他们钻研的二个卵白量案例是胞苷酸激酶战dITP/XTP焦磷酸酶。因为Mg(2+)分离战ATP分离等功用特征正在锻炼数据集合屡次呈现，模子有用天进修了卵白量应展示的构造战功用特性。 图7：可控卵白量设想的天生品质。(A) dITP/XTP焦磷酸酶的自不合性TM-score战RMSD。(B) 天然(浅粉色)战设想(灰色)dITP/XTP焦磷酸酶活性位面比力，黄色下明显现肌苷酸。(C) 胞苷酸激酶的自不合性TM-score战RMSD。(D) 天然(浅粉色)战设想(灰色)胞苷酸激酶活性位面比力，绿色下明显现胞苷-5'-单磷酸 成果表白，统统天生的序列取全部锻炼数据散比拟皆显现高于0.8的序列类似性分数。为退一步评介合叠的自不合性，钻研团队使用AlphaFold3从头合叠天生的序列。如图7所示，设想的序列战构造展示了下度自不合性，表白其可设想性。值患上留神的是，天生的序列接纳了取天然酶极端类似的合叠情势，共时连结高序列统一性。别的，对于那些构造中的活性位面截至了全面阐发。如图7所示，到场一定份子相互感化的侧链氨基酸正在设想战天然卵白量中皆获得了很佳的保留。这类构造保留剧烈表白，设想的卵白量保存了其潜伏的催化活性，进而考证了工法式列的功用残破性。 归纳取瞻望 原文介绍了一个立异的分歧框架ProtTeX，完毕了卵白量科学的两重立异：颠末鉴于单模子、分歧丧失范式的任务相关公式化，完毕中心挑战的架构分歧；开创性天将Chain-of-Thought拉理使用于多模态卵白量拉理战天生。 ProtTeX使LLMs能够颠末混淆模态融合战略有用天处置卵白量相干任务。颠末高低文监视微调，钻研团队胜利天将范围一定常识调整到通用LLMs（如Llama3）中，使其具备多模态卵白量理解战天生的开端才气。该模子不但展示了处置各类卵白量任务的才气，包罗卵白量理解、构造天生战卵白量设想，借引进了多模态Chain-of-Thought拉理，增强了模子拉理历程的通明度战可注释性。 目前模子正在某些任务中的功用可以取一定任务或者范围大师模子（如ESMFold）比拟略有差异。思考到LLMs尽人皆知的扩大纪律，能够预期跟着更年夜LLMs战更多死物数据的开展，各类任务的功用将连续进步。除扩大参数中，LLM范围中老练的范式，如鉴于加强进修的对于齐战拉理时自尔改良，能够体系天使用于进步ProtTeX正在各类卵白量相干任务中的功用。 ProtTeX代表了将狂言语模子使用于卵白量科学的主要进步，展示了LLMs正在理解战操纵死物份子圆里的弘大后劲。跟着那一范围的持续开展，咱们能够等候越发精确、可注释温顺应性强的AI体系，用于卵白量构造猜测、功用正文战新式死物份子设想。 模子代码战数据散可正在Hugging Face上获得：https://huggingface.co/mzcwd/ProtTeX Q&A关节： Q1: ProtTeX怎样完毕卵白量构造的tokenization，其面前 的数教道理是甚么？ ProtTeX的立异的地方正在于将卵白量的三维构造疑息转移为团聚的tokens，使狂言语模子能够像处置文原一致处置卵白量构造。那一tokenization历程主要鉴于Lin等人的事情，涉及三个中心组件：编码器、tokenizer息争码器。 起首，编码器  是一个SE(3)-稳定的神经收集模块，它将包罗  个冷炙基的卵白量构造  变换为二种暗示： 维的简单暗示  维的配对于暗示 编码器接纳了取AlphaFold 2类似的"三明治式"transformer架构，这类架构能够共时革新简单战成对于暗示，终极为每一个冷炙基  (此中 )输出 一个  维的暗示背质 。 交下来，tokenizer  使用背质质化手艺将持续的暗示空间团聚化。具体来讲，它保护一个包罗512个码的码原 ，每一个输出背质  颠末近来邻搜刮被分派到码原中近来的码： 冷炙基  的token便界说为码  战响应的"token索引" ，那个索引将间接用于狂言语模子的输出。 最初，解码器  是一个SE(3)-等变的"三明治式"transformer，它的功用是从给定的tokenized字符串对于应的亚稳态汇合中采样卵白量构造。全部编码-解码历程的锻炼目标是重修本初构造： 为了劣化嵌进空间，钻研团队使用了对于齐丧失战争均性丧失。那保证了类似的构造被映照到类似的tokens，共时制止了嵌进空间中的会萃征象。 关于卵白量的侧链疑息，ProtTeX使用本初氨基酸序列动作tokenizer。取间接使用单字母缩写差别，它背狂言语模子增加了20个特别tokens去暗示20种尺度氨基酸。那些新tokens使用取文原tokens差异的初初化办法，组成了统共532个新tokens (512个构造tokens + 20个序列tokens)。 图1A：模子架构概览，展示了ProtTeX怎样颠末编码器将卵白量构造变换为token，并颠末狂言语模子截至处置 这类tokenization办法的立异的地方正在于它保存了卵白量构造的空间疑息，共时以狂言语模子可处置的团聚方法暗示它们。取仅使用氨基酸序列的办法比拟，ProtTeX能够捕捉更丰硕的构造疑息，那关于理解卵白量功用相当主要，因为很多功用属性是由构造而非序列决定的。 Q2: Chain-of-Thought (CoT)拉理正在ProtTeX框架中怎样完毕，它为何能清楚进步卵白量阐发功用？ Chain-of-Thought (CoT)拉理是狂言语模子范围的一项主要手艺，它使模子能够颠末天生中心拉理步调去处置庞大成就。ProtTeX框架立异性天将CoT拉理扩大到卵白量科学范围，完毕了结构感知的多模态拉理历程。 正在ProtTeX中，CoT拉理的完毕依靠于其任务分歧的提醒(prompt)模板设想。如图1C所示，钻研团队设想了四种差别的提醒模板，撑持差别方法的多模态CoT拉理。那些模板许可模子以三种差别方法使用卵白量构造疑息：动作输出、动作输出，或者动作中心拉理步调。 图3：多模态链式思惟取多轮对于话展示。(A)间接提醒方法，间接询问卵白量构造或者功用成就。(B)链式思惟提醒，模子先阐发序列，复活成构造，最初逐步揣度功用 CoT拉理正在ProtTeX中主要有二种方法： 序列→构造描绘→构造天生：模子起首鉴于序列天生构造的描绘性阐发，而后按照那个阐发天生响应的构造序列→构造天生→功用揣度：模子先从序列天生构造，而后共时使用序列战天生的构造去揣度卵白量功用 为了评介CoT拉理的结果，钻研团队截至了体系性尝试，比力了间接提醒战CoT提醒正在二个任务上的功用： 功用猜测任务：正在亚细胞定位猜测任务上，钻研团队挑选了PFUD尝试集合少度小于400的卵白量，比力了间接猜测战颠末CoT猜测的结果。如图4A所示，使用CoT拉理的办法使精确匹配精确率进步了49.6%，天生的输出显现出更下的不合性战更佳的任务对于齐性。 构造猜测任务：正在PSAD尝试散的500个随机挑选的卵白量上，钻研团队比力了间接从序列猜测构造战使用CoT办法（先阐发序列，复活成构造）的功用。如图4E战4F所示，CoT办法正在构造猜测品质上不断劣于间接猜测。 图4：多模态Chain-of-Thought拉理功用比力。出格存眷(A)显现的功用猜测战(E)/(F)显现的构造猜测功用提拔 CoT拉理能够清楚进步ProtTeX功用的启事主要有三面： 步调合成：CoT将庞大的卵白量阐发任务合成为更简朴的中心步调，使模子能够逐步建立理解，而没有是一次性处置全部成就。这类合成出格适宜卵白量科学中的庞大任务，因为卵白量功用一般为由序列、构造战静态特征配合决定的。 多模态调整：CoT拉理许可模子正在拉理过程当中隐式天调整差别模态的疑息。比方，正在功用猜测任务中，模子能够师长教师成卵白量构造，而后共时使用序列战构造疑息截至功用猜测，那比仅鉴于序列的猜测供给了更丰硕的疑息。 通明拉理：CoT办法使模子的拉理历程变患上通明战可注释，而没有是一个"乌盒"。那使钻研职员能够理解模子怎样从序列战构造疑息揣度出卵白量功用，进而增强科学发明的可注释性战可托度。 值患上留神的是，这类CoT才气是正在仅使用无限数据散的情况下完毕的，表白这类办法正在死物教范围有着宽广的使用远景。它为卵白量阐发供给了一种新的办法论，能够正在连结下精确性的共时供给可注释的拉理历程。 Q3: ProtTeX怎样接纳猜疑度(Perplexity)指导的采样战略改良卵白量构造猜测，其数教道理是甚么？ 卵白量构造猜测不竭是计较死物教范围的中心挑战，保守办法凡是需要特地设想的SE(3)-稳定架媾和资本麋集的多阶段锻炼。而ProtTeX接纳了一种立异的办法，将那一任务转移为Token猜测成就，并引进了鉴于猜疑度(Perplexity, PPL)的采样战略去进步猜测品质。 猜疑度是天然语言处置中的一个枢纽目标，用于权衡几率模子猜测给定样原的有用性。正在ProtTeX中，钻研团队提出了"最高猜疑度束搜刮"(Beam Search with Lowest PPL)战略，将那一律想使用于卵白量构造天生。 起首，让咱们理解猜疑度的数教界说。给定一个模子天生的输出序列  战一个提醒 ，猜疑度计较以下： 钻研团队的枢纽发明是，正在卵白量构造猜测中，天生序列的猜疑度取构造品质（用TM-score权衡）存留清楚的背相干干系，如图4B所示： 图4B：猜疑度取TM-score的背相干集面图，展示了较高的猜疑度取较下的构造品质相干 鉴于那一发明，"最高猜疑度束搜刮"战略被界说为： 此中， 是束搜刮空间，由模子天生的多个候选序列构成： 具体完毕时，模子起首使用束搜刮天生  个候选构造序列，而后计较每一个序列的猜疑度，最初挑选猜疑度最高的序列动作终极猜测。 这类办法的有用性正在图4C战4D中获得了考证。取保守的贪婪搜刮比拟，最高猜疑度束搜刮正在构造猜测品质上得到了清楚提拔： TM-score（权衡全部构造类似性）均匀进步RMSD（均圆根倾向，权衡构造差别）清楚低落 这类采样战略的立异的地方正在于它使用了天然语言模子固有的谬误定性质化才气，将其使用于卵白量构造猜测那一崭新范围。猜疑度动作模子对于其猜测的"自大度"目标，能够有用辅导构造天生历程，制止高相信度地区的毛病积聚。 别的，钻研团队借将核采样(Nucleus Sampling)战略使用于多构象天生战卵白量设想任务。那是另外一种源自NLP的手艺，颠末掌握温度参数(temperature)战top-p值去均衡天生百般性战品质。正在多构象采样尝试中，团队树立温度为0.7，top-p为0.4，胜利天为9种展示构象变同性的卵白量中的6种天生了多种公道构象，如图5所示： 图5：多构象采样成果，展示了模子天生的KaiB、MAD2战RfaH卵白量的差别构象 那些成果表白，颠末将语言模子中的采样战略迁徙到卵白量构造猜测范围，ProtTeX能够有用处置卵白量固有的构象百般性战谬误定性，为卵白量构造猜测战设想供给了新的计较办法。 Q4: ProtTeX怎样完毕差别卵白量任务的分歧锻炼，其数据构造战丧失函数设想有甚么特性？ ProtTeX框架的一个中心立异是颠末简单的自返回模子战分歧的丧失函数处置多种卵白量相干任务。这类分歧是颠末奇妙的数据构造、任务相关的提醒模板设想战尺度的next-token猜测锻炼完毕的。 起首，ProtTeX的分歧锻炼依靠于其数据散的建立。如表1所示，钻研团队建立了四个主要构成部门的数据散： Dataset # of Samples # of Tokens PFUD 429,201 320.4M PDD 192,617 146.8M PSAD 264,370 205.0M PSPD 2,821,238 1787.8M 表1：微调数据散统计，展示了四种差别任务数据的样原数目战token数目 那四个数据散别离针对于差别的任务： PFUD (卵白量功用理解数据散)：包罗429,201个QA对于，用于锻炼模子理解战描绘卵白量功用PSAD (卵白量构造阐发数据散)：包罗264,370个样原，用于锻炼模子阐发卵白量构造特性PDD (卵白量设想数据散)：包罗192,617个样原，用于锻炼模子按照功用需要设想卵白量PSPD (卵白量构造猜测数据散)：最年夜的构成部门，包罗2,821,238个样原，用于锻炼模子从序列猜测构造 枢纽是，那些差别范例的数据皆被变换为分歧的格局，使用特别的token标识表记标帜去辨别序列、构造战文原疑息： <protein sequence>{sequence tokens}</protein sequence> <protein structure>{structure tokens}</protein structure> 那些tokens的陈设挨次能够按照差别的下流任务需要尽情调解，如图1C所示： 图1C：差别数据散的提醒模板，展示了怎样构造序列、构造战文原数据以撑持差别任务 因为统统卵白量数据（包罗序列战构造）皆被变换为团聚tokens，ProtTeX能够使用尺度的自返回语言模子锻炼办法。丧失函数被界说为尺度的穿插熵丧失。 这类锻炼办法的劣势正在于： 简化锻炼历程：没有需要为差别任务设想差别的模子架构或者丧失函数常识同享：差别任务之间的常识能够天然天正在模子中同享战转化活络性：新任务能够颠末简朴天增加响应格局的数据截至调整，无需改动模子架构 正在锻炼施行上，钻研团队挑选了对于现有通用LLMs（如Llama3）截至连续预锻炼战监视微调，而没有是重新开端锻炼。思考到卵白量疑息的主要性，卵白量模态战天然语言的tokens被付与相称的权沉。锻炼接纳AdamW劣化器，权沉衰加为0.1，进修率从5e-6逐步落至1e-7，配搭0.01比率的预冷阶段。锻炼正在全部数据散上截至，每一个装备的批质巨细为3，连续4个epoch，正在16个NVIDIA A100 GPU的散群上约莫需要5天完毕。 钻研团队借截至了差别锻炼战略的比照尝试，如表3战表4所示： Model Name Tokenizer Scale PT FT Method Llama3-AAseq-FT AAseq 8B PFUD Full ProtTeXLlama3 3 (w/o Multi-Task) 1B ProtTeX 1B PFUD Full ProtTeXLlama3 (w/o Multi-Task) lora ProtTeX 8B PFUD Lora ProtTeXLlama3 (w /o Multi-Task) ProtTeX 8B PFUD Full ProtTeXLlama3 (w/o Multi-Task) w/ PT ProtTeX 8B PSPD PFUD PFUD,PSPD Full 表3：溶解尝试设置，展示了差别模子变体的设置 Model EMJI Bleu-2 Rouge-1 Rouge-2 Rouge-L Llama3-AAseq-FT 59.04 37.64 60.44 37.91 52.79 ProtTeXLlama3 3(w/o Multi-Task) 1B 64.97 39.40 61.25 40.56 55.09 ProtTeXLlama3 (w/o Multi-Task) lora 62.13 38.80 60.38 39.60 53.72 ProtTeXLlama3 (w /o Multi-Task) 66.12 40.01 62.87 41.71 56.15 ProtTeXLlama3 (w/o Multi-Task) w/ PT 70.57 40.39 63.77 42.69 57.17 ProtTeXLlama3 (Proposed) 71.73 41.54 63.46 43.17 57.89 表4：PFUD数据散上的溶解钻研成果，最好功用用细体标识表记标帜 溶解尝试成果表白： 使用ProtTeX tokenizer清楚劣于仅使用氨基酸序列字母(AAseq)即使只需一个epoch的预锻炼也能清楚进步功用理解才气齐参数微调劣于LoRA微调多任务锻炼（使用统统四种数据散）劣于单任务锻炼 那些尝试成果证实了ProtTeX分歧框架的有用性，差别任务之间存留配合效力，增强一种任务的锻炼能够改进其余任务的功用。这类多任务配合效力取计较机望觉钻研中的察看成果不合，表白增强理解数据能够进步天生任务功用，反之亦然。 Q5: ProtTeX正在可控卵白量设想中怎样完毕常识指导战天然语言指令的分离，怎样评介设想卵白量的品质？ 可控卵白量设想是死归天教战死物手艺范围的一个枢纽挑战，设想具备一定功用的卵白量关于处置很多幻想天下成就具备主要意思。ProtTeX框架颠末将天然语言指令取卵白量常识相分离，完毕了一种新式的可控卵白量设想办法。 正在ProtTeX中，可控卵白量设想是颠末Protein Design Dataset (PDD)中的数据完毕的。那个数据散包罗192,617个样原，特地设想用于锻炼模子按照天然语言描绘的功用需要天生卵白量序列战构造。差别于保守办法，ProtTeX许可用户使用天然语言间接描绘所需的卵白量功用，而后模子天生契合那些功用请求的序列战构造。 图6：卵白量设想对于话取成果。(A)展示了dITP/XTP焦磷酸酶的设想历程战成果；(B)展示了胞苷酸激酶的设想历程战成果 如图6所示，钻研团队截至了二个案例钻研，别离设想胞苷酸激酶战dITP/XTP焦磷酸酶。正在那些案例中，用户供给了具体的功用需要，如： 为dITP/XTP焦磷酸酶：请求Mg(2+)分离位面位于卵白量中配体可打仗的地区，并具备ITP两磷酸酶活性、XTP两磷酸酶活性战核苷酸分离才气为胞苷酸激酶：请求卵白量对于ATP有高Km值战下亲战力，能够正在细胞量中施行ATP分离战CMP激酶活性 ProtTeX能够处置那些庞大的功用需要，是因为正在锻炼数据中，像Mg(2+)分离战ATP分离如许的功用特征屡次呈现，使模子有用进修了卵白量应展示的构造战功用特性。 正在理论设想过程当中，钻研团队使用核采样战略，树立温度为0.9，top-p值为0.6，以增强天生百般性。关于每一个功用需要，天生了20个卵白量序列战构造。 为了评介设想的卵白量品质，钻研团队接纳了多种评介尺度： 序列新奇性：统统天生的序列取全部锻炼数据散比拟皆显现出高于0.8的序列类似性分数，表白它们没有是简朴天复造锻炼数据 构造自不合性：使用AlphaFold3从头合叠天生的序列，评介天生的序列可否能够组成颠簸、不合的构造。如图7A战7C所示，设想的序列战构造展示了下度自不合性，表白其优良的可设想性： 图7：可控卵白量设想的天生品质评介。(A)战(C)展示了设想卵白量的自不合性TM-score战RMSD；(B)战(D)比力了天然战设想卵白量的活性位面 功用守旧性：颠末比力设想卵白量取天然卵白量的活性位面，评介设想卵白量保存功用的才气。如图7B战7D所示，到场一定份子相互感化的侧链氨基酸正在设想战天然卵白量中皆获得了很佳的保留，剧烈表白设想的卵白量保存了其潜伏的催化活性。 这类全面的评介办法保证了设想卵白量既具备新奇性，又连结了所需的功用。出格值患上留神的是，天生的序列接纳了取天然酶极端类似的合叠情势，共时连结高序列统一性，那分析ProtTeX没有是简朴天复造锻炼数据，而是真实进修了序列-构造-功用之间的干系。 ProtTeX的卵白量设想才气展示了狂言语模子正在死物份子设想中的弘大后劲。颠末微调LLMs，它们能够大白理解人类语言战死物语言之间的干系。未来的事情将勤奋于退一步进步LLMs正在卵白量设想中的才气，完毕完整可控的卵白量天生，撑持及时的人机接互战定造化卵白量编纂取设想，终极加快药物开辟周期。 取保守的卵白量设想办法比拟，ProtTeX的办法具备多少个枢纽劣势： 直觉的用户界里：用户能够使用天然语言描绘所需功用，无需专科常识多模态天生：共时天生序列战构造，使设想历程越发全面常识调整：模子调整了大批卵白量常识，能够按照功用需要公道设想卵白量评介内乱置：颠末猜疑度等目标，模子能够自尔评介设想品质 这类鉴于狂言语模子的卵白量设想办法代表了一种新的范式，将人类的企图战缔造力取AI的计较才气相分离，有可以完全改动咱们设想卵白量的方法。 https://arxiv.org/abs/2503.08179 死物年夜模子锻炼微调使用&AI卵白量设想专科学程 请退 常识星球 👇👇👇(可启票 苹因付出需联系客服 nnhhce )

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜