本研究解决了韩语大语言模型（LLMs）评估方法缺乏标准化框架的问题，导致结果不一致和可比性有限。论文提出了HRET Haerae评估工具包，这是一个专门为韩语LLMs量身定制的开源自我演化评估框架，整合了多种评估方法，并通过模块化架构和自动化管道实现持续演变，为韩语自然语言处理研究提供了可靠的基础。

朝鲜APT组织ScarCruft近期利用名为KoSpy的Android间谍软件，主要针对韩语和英语用户。该软件伪装成实用应用，通过Google Play分发，收集短信、通话记录和位置信息。KoSpy与APT37和APT43有关联，显示出针对韩国用户的网络间谍活动。

KMMLU是一个新的韩语基准，包含35,030个专家级多项选择题，涵盖人文学科到STEM学科。LLMs在KMMLU上的准确率较低，需要改进。该基准已在Hugging Face Hub上公开，并整合到EleutherAI的语言模型评估工具中。

该论文介绍了 Open Ko-LLM 排行榜和 Ko-H5 基准作为在韩语中评估大型语言模型 (LLMs) 的重要工具。该工具在韩国 LLM 社区中被广泛接受，并通过引入私有测试集进行数据泄漏分析，证明了私有测试集的好处。此外，论文提出了超越基准测试的需求，并希望通过 Open Ko-LLM 排行榜为扩大 LLM 评估，促进更多的语言多样性树立先例。

本论文研究了基于预训练语言模型的语用能力，特别关注话语连接词。通过填空测试发现，模型在自然发生数据下能预测连接词，但对孤立高级语用线索的灵敏度较低，也没有人类时间偏好。研究结果显示，目前主流预训练模型无法具备实质性的语用能力。

本文研究了主语、宾语和动词三者组成的三元组中的词序交换距离最小化原则，并引入了词序旋转的概念。结果显示，在韩语、马拉雅拉姆语和僧伽罗语这三种灵活顺序的语言中，存在交换距离最小化的证据，尤其在韩语和马拉雅拉姆语中更为突出。

本文研究了主语、宾语和动词三者组成的三元组中的词序交换距离最小化原则，并引入了词序旋转的概念。结果显示，在韩语、马拉雅拉姆语和僧伽罗语这三种灵活顺序的语言中，存在交换距离最小化的证据，尤其在马拉雅拉姆语中表现更为突出。

K-Act2Emo是一个韩国常识知识图谱，包含1,900个间接情绪表达及其可推测的情绪。该模型专注于情绪上下文，并通过实验证明在训练情绪推理模型方面的有效性。K-Act2Emo在性能上优于其他韩国大语言模型，与GPT-4 Turbo相媲美。

研究人员提出了新的韩语基准KMMLU，包含35,030个专家级多项选择题，涵盖人文学科到STEM学科。测试26个LLM模型，最好的公开模型在KMMLU上准确率为50.54％，低于人类平均表现62.6％。研究人员呼吁改进韩语LLMs，并将KMMLU整合到EleutherAI的语言模型评估工具中。

该论文介绍了自注释 Reddit 语料库（SARC），为讽刺研究和讽刺检测系统提供数据。作者对每个陈述进行了注释，并提供了用户、主题和对话上下文。通过构建基准测试和评估基线方法，对该语料库进行了准确度评估。

该文介绍了一种考虑词素的子词切分方法，用于解决韩语中字节对编码（BPE）的挑战。该方法在预训练语言模型中平衡了语言准确性和计算效率，并在评估中表现良好，提高了句法任务的结果。

本文介绍了一种名为KoBigBird-large的大规模韩语BigBird模型，采用作者提出的TAPER编码，能够在韩语语言理解方面实现领先水平并处理长序列。实验证明，该模型在韩语语言理解基准测试中表现出类似的领先水平，并在长序列上的文档分类和问题回答任务中展现了更好的性能。