面向GeoAI大模型训练的样本选取

中心：用“天文抽样”把年夜模子锻炼样原抽与干成可控工程【媒介】GeoAI的年夜模子锻炼拼的算法、算力战算料，但是真实决定模子“少成甚么样”的，是它正在锻炼阶段瞥见了甚么。GeoAI面临的天下由天文观察数据组成，天文空间数据天然具备空间自相干取地区差别特征。咱们建立的天文空间认知年夜模子，旨正在理解空间干系、时间演变取多源数据，为天文格式剖析、地区差别理解、演变历程拉演取天文常识问问等使用供给分歧底座。模子存眷的没有是单面场景的偶尔胜利，而是跨地区、跨时间、跨数据源的颠簸泛化取可拉拢才气，决定那个才气鸿沟的中心是算料，若算料缺少体系性设想，模子常常教到的是收罗取散布偏偏置，域中即生效。因而，正在无限估算下建立切近实在天下且可连续迭代的锻炼数据散布，是天文空间认知年夜模子工程化降空中临的中心挑战。原文散焦年夜模子锻炼所用算料的准备取构造方法，会商了怎样用更公道的数据散布支持模子进修实在天下的空间纪律取时空演变情势。1、样原：以可控本钱认知天下的一定挑选

天文空间数据的多源同构取多模态特征决定了从“算料”到“样原”是锻炼可降天的必经步调。年夜模子锻炼素质上是用无限样原类似实在天下的整体纪律，而正在GeoAI中，那个“实在天下”不但范围弘大、连续变革，借由多源观察配合形貌。因而，样原拔取成为一定挑选，其偶然性 去自二面：一是没法齐质，两是出须要齐质。没法齐质指背资本取工程鸿沟——标注、人力、保存取算力密缺，数据越年夜边沿支益越快递加。出须要齐质则源于构造性冗余取噪声——大批远重复样原会浓缩有用旌旗灯号，并戴去锻炼—评介透露，使离线目标实下、上线翻车。使用样原制止了齐质算料的资本瓶颈成就，随之而去的是样原的均衡性成就。样原拔取既决定模子“瞥见”的天下可否全面均衡，也决定锻炼开销是加入新删疑息，仍是被重复取噪声消耗。数据形状上，咱们面临多源、多标准、强同量且连续变革的拉拢，任务形状上，目标已经从简单识别延长到变革理解、工作阐发、空间拉理取对于话式盘问，营业请求也从“能识别”升级为“可泛化、可注释、可连续革新”。那表示着模子面临的没有是简单颠簸散布，而是高出地域、时节、传感器取标准的拉拢散布。若锻炼数据的散布设想不克不及主动笼盖取束缚那一拉拢散布，模子毕竟易以走出尝试室。因而必需颠末抽样将危急前置化、工程化掌握——抽样没有是加大都据，而是用可控方法沉构锻炼散布，把估算加入到疑息删益更下的样原上。2、抽样：从齐质算推测代表性样原汇合

正在天文查询拜访取统计实践中，一个持久有用的共鸣是：当整体范围弘大、观察前提庞大、本钱不成控时，“抽样”并非“缩火版普查”，而是一套可复现、可审计的设想过程——先界定整体取抽样框，再肯定样原单位取分层维度，随即分派样原质并施行抽与，最初颠末量控取复现体制保证抽样成果便具备可注释鸿沟——既能分析“咱们笼盖了甚么”，也能分析“今朝没法笼盖甚么和启事”，进而支持办理、审计取后绝回挖改良。GeoAI的锻炼数据准备异常依照那一逻辑：咱们面临的是体质宏大且连续革新的齐质算料，间接齐质投喂不但本钱不成控，借会缩小空间自相干戴去的冗余取评介透露、地区差别招致的跨域生效、观察倾向引起的散布漂移。因而，抽样的目标没有是“加大都据”，而是把不成控的齐质数据沉构为一个正在估算内乱可迭代、能代表实在天下差别构造的锻炼样原汇合，使模子正在无限样原中仍能瞅到充足多的天文范例、标准条理取时空变革情势。将抽样动作“计划设想”而非“算法挑选”，枢纽正在于把成就装解为一组可降天的决议计划：抽谁、从哪抽、按甚么分、抽几、如何保实。对于应到GeoAI锻炼语境，抽谁是样原单位的界说（格网、影象切片、天形切片某人心、天物散布）；从哪抽是抽样框的鸿沟（可用数据范畴、品质过滤后汇合、时间窗心取传感器汇合）；按甚么分是必需笼盖的构造维度（区位范例、天形天貌、地盘笼盖、止政区、观察前提等）；抽几表示估算束缚下的样原质取分派逻辑（总质、层内乱配额、少尾保证）；如何保实则是工程化量控（来冗余、空间阻断、防透露、复现审计、回流革新）。只需把那五个成就先设想分明，具体接纳分层、配额、随机或者更庞大的抽样算法才有大白降面，不然简单呈现“瞅似公道但是不成复现、不成迭代”的工程危急。从办法层里瞅，GeoAI的抽样凡是没有是简单战略，而是多种体制的拉拢：随机抽样用于无偏偏基线取过程考证；分层抽样包管跨地区、跨范例、跨标准的根本笼盖；配额抽样把枢纽场景取密缺范例写成软束缚，制止被头部样原吞没；百般性/来冗余颠末空间距离束缚或者相邻抑止削减远重复，进步单元样原的疑息删益；易例或者主动进修正在模子迭代中劣先补齐单薄桶取下谬误定地区，提拔标注取锻炼的边沿支益。那些体制别离针对于“无偏偏比较、笼盖取重心、疑息稀度、单元支益”四类冲突，拉拢使用才气正在无限估算下共时统筹代表性取有用性。抽样计划固化的是一份可被施行取复跑的“数据配圆”：大白整体取抽样框鸿沟，大白必需笼盖的分层变质取最高保证的少尾场景，大白样原质分派取补齐划定规矩，并内乱置来冗余取空间阻断等量控束缚；共时用留域评测取散布审计查验样原汇合可否笼盖跨域泛化所需的差别构造，再将评测反应回流到配圆中连续迭代。颠末这类“抽样设想—量控审计—评测回流”的关环，锻炼数据再也不是一次性堆料，而成为可连续演退的工程财产，进而为天文空间认知年夜模子的颠簸泛化取可拉拢才气供给可靠底座。3、案例：从舆图瓦片到VLM样原

鉴于上述办法论，咱们以空间认知年夜模子的“望觉-文原年夜模子（VLM）锻炼”样原拔取为例，建立了一套可办理、可回溯、可复现的工程系统去统开多源数据并建立锻炼样原数据散。咱们的算料主要滥觞于远感影象、数字下程模子、OSM矢质数据、生齿散布战地盘笼盖范例数据。差别于保守望觉数据，GeoAI样原天然戴有空间职位取时间属性，因而需要先将抽样工具尺度化。咱们将那些数据截至格网化处置，并以格网ID动作唯一编号，将钻研地区内乱的部分舆图瓦片及其联系关系疑息望为抽样整体。格网化的目标，是把持续天文空间变换为可编号、可统计、可办理的团聚单位，进而让抽样、量检、标注取版原办理降到统一套系统中。
咱们把样原拔取从“凭经历浮薄数据”升级为“天文抽样工程”，中心是把抽样工具、抽样鸿沟取样天职布大白化。抽样历程分三步：第一步设定品质门坎，笼盖可用性、残破性取噪声掌握等目标，组成可抽样框；第两步颠末分层取配额大白样天职布，笼盖枢纽地区取重心场景；第三步分离来冗余、空间阻断评测取易例关环，连续迭代数据配圆。颠末那一历程，咱们将算料从天然聚集升级为可注释的数据配圆，让模子正在锻炼阶段瞅到更残破、更均衡、且更切近营业迁徙场景的天下切片。3.1 抽样工具为了把持续天文空间转移为可编号、可对于齐、可办理的锻炼工具，咱们以划定规矩格网动作分歧样原单位，将钻研地区按分歧网格切分为格网，每一个格网对于应唯一ID，它既是样原的唯一编号，也是联系关系多源数据取元数据的主键。更主要的是，它为多源会聚供给了“配合坐标系”：影象、DEM、矢质以致文原等去自差别体系的数据，均可以正在格网ID上对于齐取会聚，进而正在统一锻炼样原中组成多源疑息的分歧进口，制止多源数据各不相谋，也就于后绝的抽样、量检、标注取版原办理正在统一套系统上关环。3.2 抽样准备

抽样的条件是咱们先把抽样面临的“整体”道分明，原案例的抽样整体界说为台湾省地区内乱的部分17级舆图瓦片总计468521个；抽样框界说为满意可用性取品质门坎的舆图瓦片汇合。抽样率为5%，即抽与23290个划定规矩格网动作锻炼样原。原次样原拔取接纳“分层—配额—随机抽样”+“全部空间束缚”的拉拢战略，以共时满意样原的笼盖性、代表性取百般性，并制止样原过分集合或者被大都下稀度地区主宰。3.3 样原抽样

抽样的根本绳尺是把“代表性、百般性、均衡性、实效性”从绳尺降到可施行的样天职布。咱们用分层变质形貌地区差别取观察前提，用配额划定规矩表示营业重心取少尾场景。颠末二者分离把代表性、百般性、均衡性取实效性降真为具体的样天职布，而没有是停止正在绳尺层里。颠末空间阻断取留域评测到达可托度掌握，并正在“锻炼-评介-回流”的关环工程中，用评介成果启动补样取配圆革新。枢纽区划、内地边陲、天形、地盘笼盖、生齿、天物因素等拉拢不克不及呈现空桶，避免才气盲区；制止锻炼散布被大都下稀度地区或者大都易患数据源主宰；对于低价值场景（枢纽都会群、因素麋集区、过度戴、少尾种别等）树立最高保证。3.3.1分层

分层答复“差别正在那里、必需笼盖甚么”，为了对于齐“望觉-文原年夜模子”的判读任务，即保证样天职层目标能够支持模子进修的望觉枢纽属性。原次样原拔取分层包罗：3.3.1.1乡市区位干系

乡市区位干系能够支持“望觉-文原年夜模子”判读影象笼盖地区属于市区、市区或者偏僻地域，并表示都会形状取建立强度差别。以都会范畴鸿沟限数据为基准截至乡市区位干系分类，包罗市区、市区、偏僻三类，其分类按照以下：市区：中间位于都会鸿沟多边形内乱的格网。市区：中间位于都会鸿沟中扩20km慢冲区内乱格网，且没有正在“乡区”内乱的格网。偏僻：上述范畴之外的统统格网。乡市区位干系暗示图以下图所示：

图1乡城区位干系暗示图3.3.1.2内地区位干系

内地区位干系能够支持“望觉-文原年夜模子”判读影象笼盖地区位于内地或者本地，能够识别海岸线、河心、港湾等典范滨海天貌取用天特性。以海岸线数据为基准截至内地区位干系分类，包罗内地、本地，其分类按照以下：内地：海岸线20 km范畴内乱本地：海岸线20 km范畴中内地区位干系图以下图所示：

图2内地区位干系暗示图3.3.1.3地盘笼盖丰硕度

地盘笼盖丰硕度能够支持“望觉-文原年夜模子”判读影象笼盖地区的主要地盘笼盖范例及其拉拢（如农田、丛林、火体、干天、修成区等），并反应天表场景的混淆水平。地盘笼盖丰硕度以10米分辩率地盘笼盖数据为按照，颠末统计各尺度格网的主宰地盘笼盖种别取占比，计较获得地盘笼盖混淆庞大度，用于反应地盘笼盖丰硕度，地盘笼盖丰硕度与值越年夜，代表“天表范例混淆/百般”。地盘笼盖丰硕度散布以下图所示：

图3地盘笼盖丰硕度散布暗示图3.3.1.4天形庞大度

天形庞大度能够支持“望觉-文原年夜模子”判读影象笼盖地区的下程布景、崎岖形状取天形庞大水平（如山天、丘陵、仄本等），撑持天形相干的空间揣度取描绘。天形庞大度以12.5mDEM数据为按照，颠末计较各尺度格网内乱的像元下程尺度好获得，天形庞大度与值越年夜，暗示天形越清楚（下程下、崎岖年夜、庞大度下）。天形庞大度散布以下图所示：

图5天形庞大度散布暗示图3.3.1.5生齿稀度

生齿稀度能够支持“望觉-文原年夜模子”判读影象笼盖地区的生齿麋集水平，能够从修成情况取空间构造揣度人类举动强度差别。生齿稀度以分辩率30弧（赤讲约1千米）的生齿稀度数据为按照，颠末各尺度格网内助心总额计较格网生齿稀度。生齿稀度散布暗示图以下图所示：

图6生齿稀度散布暗示图3.3.1.6因素丰硕度

因素丰硕度能够支持“望觉-文原年夜模子”判读影象笼盖地区包罗的枢纽因素范例取拉拢特性，如修建物、门路、火系、POI/功用装备等，并反应因素的稀度、构造取语义丰硕度。因素丰硕度以OSM数据为按照，颠末统计格网内乱OSM的因素（包罗node、way、relation）总质、key数目、key散布的均匀度、单元里积内乱key呈现总次数等参数，建立因素丰硕度，包罗因素范例丰硕度（即格网内乱包罗因素范例几）、因素实质丰硕度（即格网内乱包罗因素数目几）。因素丰硕度散布暗示图以下图所示：

图7因素丰硕度散布暗示图3.3.2配额

配额答复“哪些场景更主要、最高保证几”。配额目标范例包罗种别型变质战持续型变质。（1）针对于种别型变质，接纳“单目标自力配额”方法，即该目标各种别样原数目按整体散布比率分派。（2）针对于持续型变质，接纳“等距分箱”方法，将[0,1]区间按差异严度分别为5身材区间（如0–0.二、0.2–0.四、0.4–0.六、0.6–0.8、0.8–1）。各分层目标配额以下表所示：表1分层配额统计

目标	范例	配额
都会开展	市区	2731
	市区	14051
	偏僻	6508
内地散布	内地	10914
	本地	12376
地盘笼盖丰硕度	0.000000~0.000000	4658
	0.000000~0.050925	4658
	0.050925~0.163287	4658
	0.163287~0.319260	4658
	0.319263~0.710402	4658
天形庞大度	0.000000~0.193254	4658
	0.193256~0.394940	4658
	0.394942~0.596627	4658
	0.596629~0.798313	4658
	0.798316~1.000000	4658
生齿稀度	0.000000~0.199262	4658
	0.199270~0.399444	4658
	0.399451~0.599629	4658
	0.599635~0.799813	4658
	0.799818~1.000000	4658
因素范例丰硕度	0.000000 0.000000	4658
	0.000000~0.400000	4658
	0.400000~0.599994	4658
	0.600002~0.800000	4658
	0.800000~1.000000	4658
因素实质丰硕度	0.000000~0.000000	4658
	0.000000~0.380816	4658
	0.380816~0.599974	4658
	0.599974~0.800000	4658
	0.800002~1.000000	4658

3.3.3抽样
正在满意配额束缚后，正在每一个候选子散内部接纳随机抽样，以低落样原挑选的体系倾向，并进步样原散的妥当性取可复现性。因为多个目标配额抽样成果兼并后可以呈现统一格网被屡次抽中（重复样原），招致来沉后样原数不敷。为只管连结各层配额笼盖目标没有被破坏，订定补样战略。3.3.4掌握

颠末空间阻断取留域评测到达可托度掌握的目标，目标是让离线评介更靠近实在上线场景。为制止“隔壁透露招致评介实下”，咱们按空间块分别锻炼/考证/尝试，并退一步留出一定地区或者区划范例截至评测。空间阻断是为了不模子使用部门类似性“抄功课”；留域评测则间接模仿上线罕见情况——面临已睹过的新地区、新天貌或者新都会形状。二者分离，一圆里掌握空间透露，另外一圆里襟怀跨域迁徙才气，进而进步离线目标的可托度取可注释性。统统样原拔取过程当中，按止政区划配额设定每一个区划样原数目，共时，强止设定“严峻避免相邻格网”（相邻包罗同享边或者同享角），最年夜限定削减冗余，提拔样原的空间百般性取笼盖品质；正在“补样”中搁严相邻束缚，颠末过分搁严空间束缚，即许可同享边或者同享角职位样原，制止果束缚过强招致补没有齐。3.4.5迭代

数据配圆没有是一次性完毕，而是“锻炼-评介-回流”的关环工程，用评介成果启动补样取配圆革新。关环的枢纽正在于：每轮锻炼后，咱们不但瞅整体目标，借要瞅分层目标，按分层检察样天职布，定位样原拔取单薄地区，针对于单薄桶截至定背补样。大白短板去滥觞，进而用起码的删质样原调换最年夜的删益。颠末版原化办理，咱们能把“配圆变革—数据变革—结果变革”一一对于应起去，使迭代标的目的可襟怀、可注释，制止经历启动的自发试错，终极组成版原化数据散，保证可复现取可比力。3.4.6成果

鉴于上述样原拔取处置过程截至要原拔取后，各分层的理论中选样原数目取预设配额目标之间的倾向部分较小（≤4.34%），好值散布比较不合；共时，从统计成果瞅，样原正在枢纽分层目标上的占比取本初数据比率连结靠近，能够正在包管空间来会萃的条件下完毕较佳的笼盖性取代表性。表2自力目标抽样情况统计

目标	范例	总额质	总质比率	抽样数	抽样比率	比率好额
都会开展	市区	54940	11.72%	3465	14.87%	3.15%
	市区	282669	60.33%	13586	58.35%	-1.98%
	偏僻	130912	27.95%	6239	26.77%	-1.18%
内地散布	内地	219562	46.86%	11924	51.20%	4.34%
	本地	248959	53.14%	11366	48.80%	-4.34%
止政区划	下雄市	38613	8.24%	1899	8.15%	-0.09%
	花莲县	58750	12.54%	2700	11.59%	-0.95%
	基隆市	1733	0.37%	191	0.82%	0.45%
	嘉义市	856	0.18%	148	0.64%	0.46%
	嘉义县	24910	5.32%	1245	5.35%	0.03%
	苗栗县	23781	5.08%	1185	5.09%	0.01%
	北投县	51757	11.05%	2281	9.79%	-1.26%
	澎湖县	2364	0.50%	224	0.96%	0.46%
	屏东县	35221	7.52%	1676	7.20%	-0.32%
	台北市	3369	0.72%	276	1.19%	0.47%
	台东县	44568	9.51%	2044	8.78%	-0.73%
	台北	28760	6.14%	1472	6.32%	0.18%
	台中	29716	6.34%	1498	6.43%	0.09%
	桃园市	15969	3.14%	909	3.90%	0.76%
	新北市	27949	5.97%	1362	5.85%	-0.12%
	新竹市	1748	0.37%	189	0.81%	0.44%
	新竹县	18616	3.97%	928	3.98%	0.01%
	宜兰县	27567	5.88%	1335	5.73%	-0.15%
	云林县	17195	3.67%	886	3.80%	0.13%
	彰化县	15079	3.22%	842	3.62%	0.40%

表3持续指数抽样比率统计

目标	分箱范畴	分箱数目（20%）	样原数目	样原比率	比率好值
地盘笼盖丰硕度	0.000000~0.000000	93705	4542	19.50%	-0.50%
	0.000000~0.050925	93704	4542	19.50%	-0.50%
	0.050925~0.163287	93704	4621	19.84%	-0.16%
	0.163287~0.319260	93704	4736	20.33%	0.33%
	0.319263~0.710402	93704	4849	20.82%	0.82%
天形庞大度	0.000000~0.193254	93705	5078	21.80%	1.80%
	0.193256~0.394940	93704	4975	21.36%	1.36%
	0.394942~0.596627	93704	4561	19.58%	-0.42%
	0.596629~0.798313	93704	4401	18.90%	-1.10%
	0.798316~1.000000	93704	4275	18.36%	-1.64%
生齿稀度	0.000000~0.199262	93708	4282	18.39%	-1.61%
	0.199270~0.399444	93702	4341	18.64%	-1.36%
	0.399451~0.599629	93704	4477	19.22%	-0.78%
	0.599635~0.799813	93703	4661	20.01%	0.01%
	0.799818~1.000000	93704	5529	23.74%	3.74%
因素范例丰硕度	0.000000 0.000000	93705	4311	18.51%	-1.49%
	0.000000~0.400000	93704	4311	18.51%	-1.49%
	0.400000~0.599994	93704	4679	20.09%	0.09%
	0.600002~0.800000	93704	4847	20.81%	0.81%
	0.800000~1.000000	93704	5142	22.08%	2.08%
因素实质丰硕度	0.000000~0.000000	93705	4099	17.60%	-2.40%
	0.000000~0.380816	93704	4100	17.60%	-2.40%
	0.380816~0.599974	93704	5245	22.52%	2.52%
	0.599974~0.800000	93704	4858	20.86%	0.86%
	0.800002~1.000000	93704	4988	21.42%	1.42%

样原拔取散布结果以下图所示：


图8样原拔取结果总览暗示图

图9样原拔取结果部门缩小暗示图3.4工程化复用

咱们的目标没有是“干一次抽样”，而是把样原拔取建立成一条可复造的消耗流火线，使每版数据散皆能干到可注释、可复现、可审计、可追溯，进而支持连续锻炼取多任务复用。为此，咱们将样原拔取固化为端到端过程：进湖→尺度化→目标计较→抽样→量检→标注/校核。其中心逻辑是“三步关隘”：先把数据变患上可用取可控，再把样原抽患上有散布、有按照，最初把品质闭正在门里。具体而行，目标计较把分层变质取品质目标积淀为元数据，使“笼盖/均衡/重心”可质化；抽样阶段输出可复现的浑单（manifest），大白原次拔取的样原汇合取划定规矩滥觞；量检取校核正在锻炼前掌握噪声、重复取偏偏置，把成就挡正在数据散公布以前。那条流火线对于交际付的是数据散版原，对于内乱积淀的是一套可复用的抽样取量检才气。微观办理夸大三条绳尺：单门量检：标注前存眷笼盖、重复取品质门坎；标注后存眷不合性、抵触取可用性。版原化取审计：屡屡抽样共时产出浑单（manifest）取配圆（recipe），记载划定规矩取版原，撑持追溯取比照。开规取宁静：大白数据滥觞取权力鸿沟，对于敏感数据施行分级取会见掌握。有了过程取办理，样原拔取便再也不依靠个别经历；所有一次锻炼皆能分明答复：数据从那里去、为何这样选、品质怎样包管、成果怎样回流。那也是把“办法论”真实转移为“构造才气”的枢纽一步。正在划一标注取算力估算下，该框架旨正在提拔跨地区泛化才气取少尾场景表示，低落锻炼取评介透露危急，并积淀可复现、可审计的数据散版原财产，支持连续锻炼取多任务复用。4、完毕语天文空间认知年夜模子锻炼的枢纽，没有是“有无更大都据”，而是“可否用可控方法让模子瞅到咱们期望它瞅到的天下”。咱们以格网ID动作分歧样原单位，以天文抽样为中心办法，将样原拔取工程化、轨制化、版原化，进而正在无限估算下连续提拔模子的泛化才气，并把危急取本钱掌握正在可办理范畴内乱。更主要的是，GeoAI的年夜模子锻炼是一项持久工程：天下正在变、数据正在删、营业正在扩，只需把样原拔取系统化并积淀为财产，模子才气才气随时间颠簸提拔，而没有是屡屡锻炼皆重新探究。原项事情将组成可复用的数据才气财产，并戴去可质化支益：

数据/工程财产：积淀数据目次、抽样配圆、量检目标取版本质系，支持后绝多任务取连续锻炼。模子结果：提拔跨地区的泛化才气，改进少尾取鸿沟场景表示。服从本钱：低落冗余数据戴去的有用锻炼，提拔单元标注取算力的功用删益。危急掌握：削减锻炼—尝试透露，低落上线后跨域翻车危急。

下一步，咱们将以数据散版原为抓脚连续迭代，完美分层维度取配额战略，固化抽样浑单、数据配圆、量检陈述版原，并以空间阻断评测取留域评测动作分歧查收心径，促进样原拔取从“可干”走背“可范围化复用”。