九游·体育(NineGameSports)官方网站-数智体育价值引领者

ACL2024OceanGPT:面向海洋科学任务的大型语言模型初探人人可部署体验-九游·体育科技集团
i1pcban.jpg i1pcban.jpg

新闻九游

ACL2024OceanGPT:面向海洋科学任务的大型语言模型初探人人可部署体验

2024-09-01 

分享到

  始智AI wisemodel.cn社区将打造成huggingface之外最活跃的中立开放的AI开源社区。欢迎《》以及《》。wisemodel社区上升级了体验空间,,并。

  浙江大学NLP团队在去年发布了OceanGPT并初步探索了其在海洋科学问答、内容生成和水九游体育科技下具身智能能力,该工作近期被自然语言处理顶级会议ACL2024(CCF-A类会议)录用为主会论文。近期也对OceanGPT进行了进一步的优化和升级,并将其中的部分能力以开源形式进行了更新发布,OceanGPT系列模型和数据集已经全部发布在

  开源社区,在wisemodel社区无需任何代码即可创建在线体验服务,欢迎感兴趣的朋友前往尝试。

ACL2024OceanGPT:面向海洋科学任务的大型语言模型初探人人可部署体验(图1)

  海洋覆盖了约 71% 的地球表面,它在全球的气候调节、天气模式、生物多样性以及人类的经济发展都扮演着至关重要的角色。海洋科学的研究关注于海洋的自然特性、其变化规律以及与海洋资源开发和利用相关的理论、方法与应用。因此,本文提出了为海洋领域打造的大型语言模型OceanGPT,它能够处理面向海洋科学的问答等生成任务。另外本文还尝试验证大模型模拟操控水下机器人的潜力,初步探索了大模型驱动的水下具身智能的可能实现方法。

ACL2024OceanGPT:面向海洋科学任务的大型语言模型初探人人可部署体验(图2)

  数据质量是训练海洋领域大模型的关键。为训练OceanGPT,研究团队收集了海洋科学语料,其包含多个子领域。由于每个子领域和主题都有独特的特征和模式,研究团队提出了一种名为 DoInstruct的领域指令生成框架,采用多智能体协作的方式来生成海洋科学的指令微调训练数据。这种方式即可以确保数据的专业性和准确性,也能够实现高效并行的数据生成性能。DoInstruct框架利用智能体(如 GPT-3.5-turbo)作为每个海洋主题的专家,主要包含三大类角色:

  演化式的数据合成智能体: 具体来说,智能体主要采取两种协同式的策略,一是补充拓展种子样本的背景知识,二是对种子数据包含的知识点进行细化分析增强和改进;

ACL2024OceanGPT:面向海洋科学任务的大型语言模型初探人人可部署体验(图3)

ACL2024OceanGPT:面向海洋科学任务的大型语言模型初探人人可部署体验(图4)

  从实验结果可以看到,本文研究的模型在绝大多数任务上优于基线语言模型。与此作为对比,现有的开源大型语言模型并不能够很好地处理一些需要专业知识的海洋任务。另外研究团队设计的多智能体数据生成框架能够有效地在海洋领域的各个子领域充当专家,这表明OceanGPT在各种海洋领域是更好的专家模型。

ACL2024OceanGPT:面向海洋科学任务的大型语言模型初探人人可部署体验(图5)

  研究团队进一步在微调过程融合了一些符号化的机器人控制指令和代码,然后在模拟器中初步验证OceanGPT对于海底机器人控制(比如轨迹规划)的能力,可以为大模型驱动的水下具身智能的实现提供参考。

  在前述工作基础之上,近期研究团队对OceanGPT进行了多方面的升级,包括:

  1. 对模型基座(基于Qwen和MiniCPM)进行了更新优化并开源发布OceanGPT-14B/7B/2B三个模型,其中2B模型可支持端侧或边缘侧硬件设备部署,以便更好适配海洋环境下端侧或边缘侧的低计算能力设备。

  3. 对海洋指令数据集进行了扩展,覆盖更为广泛海洋领域知识,并基于部分指令数据集开源了海洋指令数据集OceanInstruct(20K)

  4. 新训练OceanGPT-V多模态版本(提供在线演示,即将开源),支持多模态海洋数据(声呐、科学图片等)处理能力。

  如给定中文问题“请生成一份东海海域海底管缆的建设方案”,可以发现OceanGPT具备较好的海洋科学知识问题的回答能力。首先,从生成内容的丰富度而言,OceanGPT从“项目概述”、“建设目标”、“线路规划”、“技术路线”、“环境影响评估与保护”等八个点来阐述问题,比GPT4的逻辑性相对较好,丰富度也更高。其次从细粒度的知识点来说,OceanGPT的回答内容覆盖了相对更多的层次。比如说在问题中提到了“中国东海”,OceanGPT能够结合东海本身的背景来进行分析回答,比如联系到“东海大陆架”、“舟山群岛”以及“日本海盆”等知识概念。与此作为对比,GPT4的生成结果相对模糊,没有结合问题的场景做具体分析。总的来说,OceanGPT具备相对较好的海洋科学知识理解与生成能力。

ACL2024OceanGPT:面向海洋科学任务的大型语言模型初探人人可部署体验(图6)

  为验证OceanGPT英文生成能力,给定英文输入“请描述东海海域的海底地形地貌特征”。可以看出OceanGPT的描述覆盖了更多的地形地貌类型,如大陆坡、海沟、浅海平原、环礁和珊瑚岛、洋中脊等。而GPT4的描述则相对简单,仅提及了浅海区和深海区。从深度和专业性的角度来看,OceanGPT不仅描述了地形,还提供了具体的深度信息和相关地质特征,如日本海沟的深度和琉球海脊的地质成因,使得描述更加专业和科学。最后,OceanGPT清晰地划分了东海的不同地貌区域,并逐一进行详细描述,使得读者更容易理解东海海域的地形地貌特征。相比之下,GPT4的描述较为笼统且没有区域划分。通过以上对比分析可以看出,OceanGPT生成的描述在细节、全面性、专业性和区域划分上相对较好,能够提供更为准确和深入的海底地形地貌信息。

  本文作者:毕祯(浙江大学)、张宁豫(浙江大学)、薛逸达(浙江大学)、欧翌昕(浙江大学)、冀大雄(浙江大学)、郑国轴(浙江大学)、陈华钧(浙江大学)

  开源社区建设需要长期坚持和投入,更需要广大用户的积极参与、贡献和维护,欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果,包括模型、数据集和代码等发布到社区,共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信,申请加入wisemodel社群,持续关注wisemodel.cn开源社区动态。

  始智AI wisemodel社区自2023年9月上线以来,逐渐成为影响力日益扩大的中立开放的AI开源社区,为了加快公司发展,我们长期需要技术、运营等人才加盟,技术侧重在AI infra、后端开发,熟悉K8S、模型训练和推理等技术, 以及熟悉开发者生态运营的成员,欢迎感兴趣的朋友加盟,可以通过添加wisemodel微信,或者将简历投递到邮箱:

  欢迎投稿分享人工智能领域相关的优秀研究成果,鼓励高校实验室、大企业研究团队、个人等,在wisemodel平台上分享各类优质内容,可以是AI领域最新论文解读、最新开源成果介绍,也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到,也可以扫码添加wisemodel微信。

  始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立,旨在打造和建设中立开放的AI开源创新社区,将打造成“HuggingFace”之外最活跃的AI开源社区,汇聚主要AI开源模型、数据集和代码等,欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者,以及政府部门、学会协会、联盟、基金会等,还有投资机构、科技媒体等,共同参与建设AI开源创新生态。