文章主要内容总结本文提出了首个用于评估大型语言模型（LLMs）生成跨编程语言（CPL）互操作代码能力的基准——CrossPL。该基准围绕进程间通信（IPC）构建，包含1982个任务，覆盖6种主流编程语言（Java、Python、JavaScript等）和7种典型IPC技术（HTTP、TCP、gRPC等）。为构建CrossPL，作者通过以下步骤实现：分析19169个多语言GitHub仓库，使用156个手工设计的有限状态机（FSMs）识别真实世界中的IPC模式；开发基于LLM的自动化管道，用于提取CPL代码片段、生成任务指令并验证功能正确性；对20个代表性LLMs（包括14个通用模型和6个代码专用模型）进行评估，采用FSM-based验证方法。评估结果显示，即使表现最佳的模型在CPL场景下也存在明显不足，且在不同编程语言和IPC技术上的性能差异显著。研究揭示了现有LLMs在跨语言代码生成中的局限性，强调了针对性优化的必要性。创新点首个专注于CPL互操作代码的基准：CrossPL是首个系统性评估LLMs生成跨编程语言IPC代码能力的基准，填补了现有研究空白。基于FSM的接口表征：基于官方IPC技术规范设计156个FSMs，精确捕捉不同IPC场景的状态转换逻辑，为代码检测和验证提供结构化工具。自动化基准构建流程：开发基于LLM的自动工作流，实现代码片段提取、任务指令生成和验
文章主要内容总结本文提出了首个用于评估大型语言模型（LLMs）生成跨编程语言（CPL）互操作代码能力的基准——CrossPL。该基准围绕进程间通信（IPC）构建，包含1982个任务，覆盖6种主流编程语言（Java、Python、JavaScript等）和7种典型IPC技术（HTTP、TCP、gRPC等）。为构建CrossPL，作者通过以下步骤实现：分析19169个多语言GitHub仓库，使用156个手工设计的有限状态机（FSMs）识别真实世界中的IPC模式；开发基于LLM的自动化管道，用于提取CPL代码片段、生成任务指令并验证功能正确性；对20个代表性LLMs（包括14个通用模型和6个代码专用模型）进行评估，采用FSM-based验证方法。评估结果显示，即使表现最佳的模型在CPL场景下也存在明显不足，且在不同编程语言和IPC技术上的性能差异显著。研究揭示了现有LLMs在跨语言代码生成中的局限性，强调了针对性优化的必要性。创新点首个专注于CPL互操作代码的基准：CrossPL是首个系统性评估LLMs生成跨编程语言IPC代码能力的基准，填补了现有研究空白。基于FSM的接口表征：基于官方IPC技术规范设计156个FSMs，精确捕捉不同IPC场景的状态转换逻辑，为代码检测和验证提供结构化工具。自动化基准构建流程：开发基于LLM的自动工作流，实现代码片段提取、任务指令生成和验