AI导航

自监督学习是什么?大模型不用标注也能学会的训练方法

AI百科
2 min read
2 次阅读

自监督学习是一种不用人工标注、直接从原始数据本身找规律的训练方法。做法是把数据的一部分藏起来,让模型去猜被藏的内容,再拿真实部分当答案纠错。语言模型遮住词再预测下一个词,就是这种思路。它之所以重要,是因为网上有取之不尽的文本、图片和视频,却没有那么多人工标注,靠它,模型才能先大规模学,再用到具体任务上。

自监督学习靠什么给自己出题

自监督学习的关键,是把“答案”藏进数据里,而不是等人来写。最常见的出题方式有两种。第一种是预测式:遮住文本里的词让模型按上下文填空,或只给前半句让模型逐词预测后半句,今天主流语言模型的预训练大多走这条路,猜词让模型学会语法、搭配和一部分常识。第二种是对比式:把同一张图片裁剪、变色后当成一对,让模型认出它们来自同一来源、推开不相关的样本,由此学会区分形状与物体。两种方式都不需要人工给标签,监督信号来自数据自身的结构,误差可以直接算出,模型靠一次次纠错调整参数。

自监督学习和监督学习、无监督学习有什么不同

三者的差别不在“有没有学习”,而在答案从哪来。监督学习由人先给答案,模型学的是输入到标签的映射,比如拿标好正负面的评论教模型做情感判断;它准,但标注贵、规模受限。自监督学习的答案由数据自己提供,模型学的是通用的表示和规律,学完能迁移到很多任务。无监督学习没有明确答案和预测目标,主要任务是发现数据结构,比如把用户分组、把相似文档聚到一起。自监督常被划进无监督的大类,但它有明确的预测目标和可计算的误差,更像自己给自己出题。分清这点,就不会把“不用标注”等同于“没有目标”。

自监督学习的三个常见误解

第一个误解,是以为它不需要数据和算力。事实正相反:它吃海量未标注数据,仍要消耗大量算力,数据质量差,模型就会学到偏见和错误的关联。第二个误解,是以为预训练完就什么都会。预训练学到的是通用表示和语言规律,要稳定完成具体任务,往往还要经过监督微调或对齐,模型也不知道训练截止后的事。第三个误解,是把它说成完全自主的学习。训练目标、数据选择和评估方式都是人定的,模型只是在人划定的题目里自己找答案。

判断一个任务适不适合用自监督学习,看两点就够了:有没有大量未标注的同类数据,以及目标是不是先学通用能力再迁移。语言、图像、语音预训练都符合。反过来,标签明确、少量样本就能解决的任务,直接做监督学习更省事;需要精确事实和实时信息的场景,预训练也给不了保证,还得靠检索或人工核对。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 弱鸡AI AI视频 低价AI视频生成聚合平台,seedance2.0,seedance2.5,minimax h3,wan,muse等视频生成模型,支持在线创作与 API 接入。 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。