#pretraining-data

經FineWeb品質過濾後，2026年8月網路token有31.1%由AI撰寫。800個模型的研究顯示其價值會翻轉符號，而Chinchilla無法描述這種變化。