AI时代社会科学研究方法创新与模型：“过度拟合” 问题探索

摘要

大数据和机器学习的有效结合推动人工智能获得重大突破，同时也为社会科学开展量化研究方法创新带来新的发展契机。传统理论假设和统计知识驱动的量化研究对模型的过度拟合问题关注不够，导致研究结论的一般化能力受限，更使社会科学研究成果的社会预测功能为人所诟病。而基于交叉验证和正则化方法的机器学习建模方法可能有效解决过度拟合问题，为开展社会预测研究提供方法支撑。本文首先讨论了过度拟合问题的发生根源和内在机制，继而对模型过度拟合问题的机器学习纾解方法进行了介绍，最后分析了机器学习建模方法的不足和限制性因素。将新的机器学习方法运用于社会科学研究，这是机遇而非威胁，研究者需要保持客观态度，努力确保自己有能力根据实际需要将经典方法和新方法的组合应用于具体研究之中。