概述 (Overview)
GdiSDK是什么?
GdiSDK (Geo Data Intelligence Software Development Kit) 是一个面向 GDIM平台 二次开发,以及岩土工程、土壤与地下水、资源与矿产等相关领域数据处理和智能分析应用的 Python 开发包。
它基于工作流编程框架,提供了丰富的分析模块和灵活的数据结构,帮助工程师和研究人员用「搭积木」的方式构建数据处理流程,而不是从零开始写大量样板代码,从而更快地把专业经验落地为可复用的应用。
设计理念
GdiSDK的设计基于以下核心理念:
标准化:核心数据结构基于 Pandas 和 Pydantic,确保数据在不同模块、不同项目之间都能保持统一、可验证和可追踪。
模块化:采用模块化设计,不同功能拆分为独立模块,方便组合、替换和维护,让「拼装」应用变得简单。
易用性:提供简洁直观的 API 和丰富的文档示例,支持工作流式编程,帮助工程师在不牺牲专业性的前提下降低编程门槛。
可扩展性:通过插件和自定义模块机制,允许用户按需扩展自己的算法和工具,把已有经验无缝集成到 GdiSDK 生态中。
核心架构
GdiSDK采用四层架构设计:
数据层 (DataClass)
提供标准化的数据结构定义,用来描述在地学与环境领域中常见的各类数据对象,让后续处理模块有「统一的语言」可以对话。主要包括:
gdimData: 和GDIM平台相关的数据结构
geoProfiles: 和钻孔柱状图、地质剖面等地质数据相关的数据结构
geoStructures: 和桩基、浅基础、挡墙等岩土工程结构相关的数据结构
logs: 和日志数据相关的数据结构
tables: 和表格数据处理相关的数据结构
results: 和分析结果数据相关的数据结构
terminologies: 和术语、标准定义相关的数据结构
处理层 (Modules)
提供丰富的数据处理和分析模块,是 GdiSDK 的「工具箱」,涵盖从数据读写、清洗转换,到专业计算和可视化的各个环节:
readers: 数据读取模块集合
writers: 数据输出模块集合
converters: 数据转换模块集合
dataClean: 数据清洗模块集合
filters: 数据过滤模块集合
mergers: 数据合并模块集合
operators: 其他数据操作模块集合
statistics: 统计分析模块集合
gisOperators: GIS数据操作模块集合
plotters: 数据可视化模块集合
llmAI: 大模型AI模块集合
widgets: 自定义控件模块集合
geoSurvey: 地质勘察专用模块集合
pileFoundation: 桩基计算专用模块集合
shallowFoundation: 浅基础计算专用模块集合
foundationPit: 基坑分析专用模块集合
应用层 (Pipeline)
提供工作流应用框架,是将各类模块串联成业务流程的「大脑」,负责组织、调度和运行数据处理任务:
pipeline: 核心工作流引擎
pipeData: 工作流数据结构
namespace: 命名空间管理
portTypes: 模块端口类型定义
runner: 多工作流运行控制器
交互层 (GDIM)
结合 GDI-Server,提供基于 GDIM平台 的 pipeline 交互能力,使本地开发的工作流可以方便地在 GDIM 平台上部署、运行和管理。
应用场景
GdiSDK作为一个强大的科学数据处理和GDIM平台二次开发Python包,为不同层次的用户提供了灵活的应用场景。无论你是需要通用数据分析能力的企业用户,还是专注于特定领域的专业工程师,GdiSDK都能满足你的开发需求。
通用应用场景
基于 GDIM 数据智能平台的通用数据分析
GdiSDK 提供了强大的通用数据处理能力,适用于各行各业的数据分析和数据产品开发需求,你可以基于统一的数据平台搭建自己的「数据中台」和「分析应用」:
企业数据集成:连接多种数据源,实现异构数据的统一管理和集中处理。
智能数据分析:利用内置的统计分析和机器学习能力,完成数据探索、建模和结果分析。
自动化报告生成:基于模板自动生成 Word / PDF 等格式的专业报告,减少重复排版工作。
交互式数据可视化:创建动态图表和仪表板,支持实时数据展示和交互分析。
业务流程自动化:构建可重复的数据处理工作流,让日常分析任务一键执行。
API 服务开发:快速封装数据处理逻辑为 API,支持与其他系统集成。
质量控制系统:建立数据质量监控和异常检测机制,保障数据可靠性。
专业应用场景
地质勘察与工程地质
针对地质勘察和工程地质领域的专业需求,GdiSDK 提供了一整套从数据处理到成果输出的能力:
钻孔数据标准化: 统一不同来源的钻孔数据格式,建立标准化数据库
勘察图纸智能生成: 基于钻孔数据自动生成钻孔柱状图和地质剖面图
勘察评价计算: 基于勘察数据和试验数据进行黄土湿陷性判别、液化判断、桩基承载力计算等勘察评价分析
勘察报告生成: 基于平台内的数据和分析结果,自动生成勘察报告
基础工程设计
为基础工程设计提供专业的计算和分析工具,帮助工程师从复杂的计算细节中解放出来,更专注于方案本身:
地基承载力计算: 根据地质条件和工程要求进行地基承载力分析
桩基设计分析: 桩基承载力计算、沉降分析和优化设计
边坡稳定性评价: 边坡安全系数计算和稳定性分析
基坑支护设计: 基坑稳定性分析和支护结构设计计算
地基处理方案: 地基处理效果预测和方案比选
土壤与地下水环境
专门针对土壤和地下水领域的环境监测与治理,支持从监测数据管理到风险评估和治理方案设计的全流程:
土壤污染调查: 土壤采样数据管理、污染物浓度分析和污染范围圈定
地下水监测: 地下水水位、水质动态监测数据分析和趋势预测
土壤修复方案: 土壤修复技术评价和修复效果监测
地下水治理: 地下水污染治理方案设计和效果评估
环境风险评估: 场地环境风险评估和健康风险分析
环境监测报告: 自动生成符合环保标准的监测报告
工程数据管理
提供完整的工程数据生命周期管理解决方案,帮助工程项目实现「数据从产生到归档」的全过程管理:
多源数据集成: 整合来自不同仪器、不同格式的工程数据
数据质量控制: 建立数据验证规则,确保数据的准确性和完整性
智能报告生成: 基于数据自动生成各类工程报告和技术文档
项目数据可视化: 创建项目仪表板,实时展示工程进度和关键指标
标准化流程: 建立标准化的数据处理和分析流程,确保结果一致性
技术特性
现代化技术栈
GdiSDK 构建在主流的 Python 科学计算和工程实践生态之上,既方便集成,也方便维护和扩展:
Python 3.11:基于现代 Python 版本,享受更好的性能和语言特性。
Type Hints:完整的类型注解支持,提升 IDE 智能提示和代码可维护性。
Pandas:用于高效的表格数据处理和分析。
SciPy:提供丰富的科学计算工具箱。
Pydantic:用于数据验证和模型定义,保证数据结构的可靠性。
开发友好
完整文档:提供从入门到进阶的使用指南和 API 参考,降低学习成本。
丰富示例:覆盖典型业务场景的示例代码,帮助你快速上手实际项目。
单元测试:配套的测试用例和日志机制,保障功能稳定性。
持续集成:支持自动化构建与测试,方便在团队和生产环境中持续演进。
获取支持
如果你在使用GdiSDK过程中遇到问题,可以通过以下方式获取支持:
文档:优先查阅用户指南和 API 参考,了解概念、接口和使用方法。
示例:参考官方提供的学习案例和示例脚本,快速对照自己的需求进行改造。
社区:参与社区讨论和交流,分享经验、提出问题或建议。
技术支持:如遇到疑难问题或产品相关需求,可以联系技术支持团队获取一对一协助。