2017年,Google揭晓了一篇论文《Attention is All You Need》,提出了Transformer架构。
那篇论文的题目很霸气鼓鼓,它的实质也确实配患上上这类霸气鼓鼓——Transformer完全改动了天然语言处置(NLP)的格式,并终极成为险些统统现代年夜模子的根底。 Transformer的中心立异:留神力体制(Attention)。
保守的序列模子处置句子是线性的,从右到左一个词汇一个词汇处置,只可"瞅到"四周的词汇。而留神力体制让模子共时存眷全部句子中的统统词汇,并按照高低文静态决定每一个词汇的主要性。
举个例子:“苹因公司公布了老手机,它的价钱很贵。”
“它"那个词汇指代的是甚么?保守模子很简单弄混。但是留神力体制能让模子正在处置"它"的时候,把留神力集合到距离较近的"脚机"上,而没有是便远的"苹因公司”,进而准确理解指代干系。
为何现在的AI这样强?
Google Gemini 3:2025年11月公布即登顶LMArena,分析才气排名环球第一,多模态才气尤其凸起OpenAI GPT-5系列:上线历程多少经曲折,但是正在创意写做战多模态上仍有劣势Anthropic Claude 4.x系列:从4.0迭代到4.6,正在编程战Agent范围成立统制级劣势,SWE-Bench(硬件工程评测)分数一骑尽尘
RAG(检索增强天生):给年夜模子"中挂"常识库。用户提问时,体系先从常识库检索相干实质,再把实质+成就共同收给年夜模子,让它鉴于实在文档答复。那是处置幻觉战常识停止日期成就的最主要伎俩。
企业场景举例:把公司内部的产物脚册、FAQ、规定轨制上传到常识库,AI客服就可以精确答复产物相干成就,而没有是"假造"谜底。 Fine-tuning(微调):用一定范围的数据对于根底模子截至分外锻炼,让它正在专科场景(调理、法令、金融)表示更佳,语调微风格也能够调解。 Function Calling(函数挪用):让年夜模子能够构造化天挪用内部API,是智能体东西挪用才气的手艺根底。年夜模子鉴别"需要查气候",便会输出一个标准的函数挪用恳求,而没有是一段天然语言。 LangChain / LlamaIndex:智能体开辟框架,启拆了东西挪用、影象办理、多Agent合作等才气,年夜幅低落了建立AI使用的开辟门坎。
第四层:产物使用层
到了那一层,即是各人天天使用的各种AI产物:
对于话帮忙:ChatGPT、Claude、Kimi、豆包、文心一行……编程东西:Cursor、GitHub Copilot、Windsurf……搜刮增强:Perplexity、Google AI Overview……实质天生:Midjourney(图片)、Sora(望频)、ElevenLabs(语音)……企业使用:各止业的笔直AI SaaS产物……