带有标签“数据处理”的 Skills

polars - 基于 Apache Arrow 的高性能内存 DataFrame 库
polars dataframe etl python
★ 0 · 更新于 2026-09-22
提供使用 Polars 进行数据操作、惰性查询优化、文件读写及 Pandas 迁移模式的能力。
⚙ 查询与操作表格数据 ⚙ 执行分组聚合 ⚙ 应用窗口函数
python-executor - 在安全的沙箱环境中执行 Python 代码
python 沙箱代码执行网页抓取
★ 0 · 更新于 2026-09-16
通过 inference.sh 在沙箱环境中执行 Python 代码，内置用于数据处理、网页抓取与媒体处理的第三方库。
⚙ 执行 Python 代码 ⚙ 抓取网页数据 ⚙ 处理与可视化数据
polars - 使用 Polars 进行高效的表格数据处理与分析。
polars dataframe python 数据处理
★ 6 · 更新于 2026-09-09
Polars 是一个内存 DataFrame 库，提供基于表达式的数据转换、惰性查询优化以及多格式文件读写能力。
⚙ 过滤与转换 DataFrame ⚙ 执行惰性查询管道 ⚙ 分组与聚合表格数据
polars - Polars 高性能 DataFrame 数据处理库
DataFrame 数据处理 ETL pandas替代
★ 18 · 更新于 2026-06-30
基于 Apache Arrow 的快速内存 DataFrame 库，支持惰性求值与并行执行，适用于 1-100GB 数据集的高效处理。
⚙ 读取 CSV/Parquet/JSON 数据文件 ⚙ 写入多种格式数据文件 ⚙ 过滤 DataFrame 行
astrophysics-data-guide - 使用 Astropy 处理天体物理数据
天文学天体物理数据处理 FITS
★ 4,344 · 更新于 2026-06-30
处理 FITS 文件、坐标、光度测量、光谱和巡天数据
⚙ 读取 FITS 文件 ⚙ 检查 FITS 结构 ⚙ 读取 FITS 图像
databricks-connect - Databricks Connect PySpark开发指南
databricks pyspark 大数据数据处理
★ 0 · 更新于 2026-03-09
使用Databricks Connect编写代码和调试连接问题的指南
⚙ 创建DatabricksSession ⚙ 从表中读取数据 ⚙ 写入数据到表
architecture-paradigm-pipeline - 数据转换工作流的管道架构模式
架构管道管道过滤器 ETL
★ 18 · 更新于 2026-02-18
使用管道和过滤器范式设计数据管道或转换工作流
⚙ 设计管道架构 ⚙ 实现过滤器 ⚙ 使用管道连接
jq-yq - 使用jq和yq进行JSON和YAML数据处理
数据处理 json yaml 命令行
★ 3 · 更新于 2026-02-17
使用jq和yq命令行工具处理和转换JSON与YAML数据
⚙ 处理JSON数据 ⚙ 处理YAML数据 ⚙ 转换YAML为JSON
jq-yq - 使用 jq 和 yq 进行命令行 JSON 和 YAML 数据处理
json yaml 命令行数据处理
★ 18 · 更新于 2026-02-17
使用 jq 和 yq 命令行工具处理 JSON 和 YAML 数据
⚙ 解析 JSON ⚙ 转换 YAML ⚙ 提取 JSON 字段
jq-yq - 使用jq和yq命令行工具处理JSON和YAML数据
json yaml 数据处理命令行
★ 602 · 更新于 2026-02-17
使用jq和yq命令行工具处理和操作JSON及YAML数据
⚙ 解析JSON数据 ⚙ 转换YAML数据 ⚙ 从JSON中提取字段
dfdl_ref - DataFusion 和 DeltaLake 操作参考手册
数据处理查询引擎存储层操作
★ 0 · 更新于 2026-02-13
为 DataFusion 查询引擎和 DeltaLake 存储层集成提供操作指导
⚙ 读取参考文件 ⚙ grep 代码模式 ⚙ glob 文件路径
yq - 高效YAML字段提取工具，精准获取目标数据
yaml 查询提取数据处理
★ 20 · 更新于 2026-02-12
从YAML文件中提取特定字段，无需读取完整文件内容
⚙ 查询YAML文件 ⚙ 提取字段 ⚙ 过滤数据
yq - 高效YAML字段提取工具
yaml 提取查询数据处理
★ 18 · 更新于 2026-02-12
使用查询表达式从YAML文件中提取特定字段，无需读取整个文件。
⚙ 从YAML提取字段 ⚙ 查询嵌套结构 ⚙ 过滤YAML数据
write-script-duckdb - DuckDB查询脚本编写器，用于数据操作
DuckDB SQL 数据处理数据库
★ 6 · 更新于 2026-02-12
编写DuckDB查询，用于数据操作和集成
⚙ 编写DuckDB查询 ⚙ 集成Ducklake操作 ⚙ 连接外部数据库
jq - jq命令行JSON数据处理工具
JSON 命令行数据处理过滤
★ 602 · 更新于 2026-02-12
在命令行中通过过滤、转换和操作处理JSON数据
⚙ 过滤JSON字段 ⚙ 转换JSON结构 ⚙ 操作JSON数据
csv - CSV文件处理与分析
csv 数据处理 bash 文件管理
★ 0 · 更新于 2026-02-12
使用bash命令行工具处理和分析CSV数据
⚙ 获取CSV统计数据 ⚙ 过滤CSV行 ⚙ 选择CSV列
deduplication - 事件去重与权威源选择的技能
数据处理去重多源聚合
★ 18 · 更新于 2026-02-11
通过权威选择、信誉评分和哈希分组对多源数据进行事件去重
⚙ 生成去重键 ⚙ 评分源信誉 ⚙ 选择权威版本
deduplication - 事件去重与权威版本选择
数据处理去重聚合权威选择
★ 211 · 更新于 2026-02-11
从多个来源去重事件，选择权威版本并评分
⚙ 按ID去重事件 ⚙ 按内容去重文章 ⚙ 生成去重键
deduplication - 具有规范选择和声誉评分的事件去重
数据处理去重聚合多源
★ 602 · 更新于 2026-02-11
使用基于ID和内容的去重方法，从多个来源中删除重复事件，并进行规范选择
⚙ 生成去重键 ⚙ 计算声誉分数 ⚙ 分组相似内容
csv - 使用bash工具处理CSV数据
数据处理 csv bash 实用工具
★ 0 · 更新于 2026-02-11
使用awk、cut、sort和grep等标准bash工具处理CSV文件
⚙ 分析CSV统计数据 ⚙ 筛选CSV行 ⚙ 选择CSV列

Scroll to load more