用大型语言模型（LLM）自动进行数据标注文章参考：https://medium.com/cyabra/automatic-data-labeling-an-advanced-llm-powered-approach-e2a6b941c409本文介绍了一种基于大型语言模型（LLM）的自动数据标注方法，该方法通过结合主动学习和弱监督技术，以及提示工程优化，实现了高效、准确的文本数据标注，特别是在情感分析领域。
摘要文章由 Elad Vromen 撰写，他是 Cyabra 的 NLP/LLM 数据分析师。文章首先指出，尽管数据标注对于机器学习至关重要，但其耗时且成本高昂，容易受到人为因素的影响。为了解决这些问题，作者提出了一种基于 LLM 的自动标注系统，该系统在情感分析任务中得到了验证，但其方法可以推广到其他自然语言处理（NLP）任务。系统的核心在于结合了主动学习和弱监督方法，以及对 LLM 性能的优化。主动学习通过选择最具信息量的数据点进行标注，减少了对人工标注的依赖，同时提高了模型性能。弱监督则利用高层次的、可能噪声较大或不精确的信息源来创建标注数据集。系统采用了多种策略来提高标注质量，包括多个提示的使用、基于提示的标注结果的一致性机制，以及针对不同一致性水平的启发式规则。在实际操作中，系统通过多个精心设计的提示对数据进行标注，并根据不同的一致性水平将数据分为高、低、部分一致性群组。每个群组都有相应的处理流程，以确保标注的准确性。例如，完全一致的记录被认为是最可靠的，而部分一致的记录则通过二分类提示进一步细化。该系统在实践中取得了显著的成果。大约 75% 的数据可以通过自动标注获得高置信度的标签，剩余的 25% 通过人工标注确保最复杂的情况得到专业人士的关注。通过多种质量验证手段，系统标注的准确率超过了 90%。此外，基于自动标注数据训练的变换器模型在多类情感任务中取得了超过 70% 的 F1 分数。系统的成本效益也得到了体现，大约每 10,000 条记录只需 35-40 美元，可以自动标注约 7,500 条记录。
观点
