Apache Arrow 3.0.0 发布,内存数据交换格式

双子孤狼 2021-01-28 11:13:50 ⋅ 30 阅读

Apache Arrow 3.0.0 发布了,该版本包含 2.0.0 发布以来修复的 678 个问题。Apache Arrow 是 Apache 基金会的顶级项目之一,目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。它包含一组规范的内存中的平面和分层数据表示,以及多种语言绑定以进行结构操作。 它还提供低架构流式传输和批量消息传递,零拷贝进程间通信(IPC)和矢量化的内存分析库。

部分更新内容

  • [Python] 将 Combine_chunks 方法添加到 ChunkedArray
  • [Rust] [Parquet] 修复 ArrowReader 在某些时间戳类型上失败的问题
  • [R] 修复文件不存在时,read_feather 会在 R 中导致段错误的问题
  • [Rust] 不再需要缓冲区的内存对齐
  • [R] 修复 Arrow 不会释放未使用的内存的问题
  • [Python] 支持 MapType 和 StructType 以增强 PySpark 集成
  • [Rust] 添加对十进制数据类型的支持
  • [C++][Parquet] 实现 parquet::FileMetaData::Equals
  • [Python] 从支持列表中删除 Python 3.5
  • [Python] 在 PyArrow 中公开 GetRecordBatchReader API
  • [R] 为算术内核添加绑定
  • [Rust] 将其他数组类型移动到其自己的模块中

详细内容请查看更新公告


全部评论: 0

    我有话说:

    「尝鲜」SpringBoot 快速整合Swagger 3.0

    第一步:Maven引入Swagger3.0 starter依赖 Maven项目中引入springfox-boot-starter依赖: <dependency> <

    Apache Beam 2.25.0 发布,大数据流处理与批处理编程范式

    Apache Beam 2.25.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体

    Apache Camel 3.6.0 发布,集成项目工具

    简介 Apache Camel 作为集成项目的利器,针对应用集成场景的抽象出了一套消息交互模型,通过组件的方式进行第三方系统的接入,目前 Apache Camel 已经提供了 300 多种

    Apache Tomcat 8.5.59、9.0.39和10.0.0-M9发布

    Apache Tomcat 8.5.59, 9.0.39 和 10.0.0-M9 已发布。 8.5.x 已取代 8.0.x,并增加了从 Tomcat 9.0.x 中吸收的新功能。与 8.5.58

    Apache IoTDB 0.11.2 发布,物联网时序数据库

    Apache IoTDB 0.11.2 现已发布Apache IoTDB 是一个集成数据专为时间序列数据设计的管理引擎。它为用户提供以下服务:数据收集、存储和分析。由于其轻巧的结构,高

    Apache HBase 2.3.2 发布,分布式存储系统

    Apache HBase 2.3.2 已经发布。HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBase 技术可在廉价 PC

    Apache Superset 1.0 发布

    Apache 软件基金会近日宣布 Apache Superset 晋升为 ASF 顶级项目。与此同时,Apache Superset 也迎来了重大里程碑 1.0 版本

    Apache Beam 2.28.0 发布,大数据流处理与批处理编程范式

    Apache Beam 2.28.0发布,Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体

    Apache HBase 最新发布2.0.4 ,分布式数据库

    HBase 2.0.4 主要修复了 2.0.3 和 2.1.1 版本中 HBASE-21551 Bug。此外还包括 31 项 Bug 修复。

    ElasticJob 3.0.0-beta 发布,丰富的报警机制集成

    本周Apache ShardingSphere团队很高兴的向大家宣布: ElasticJob-3.0.0-beta 和 ElasticJob UI-3.0.0-beta 的新版本正式发布

    OkHttps v3.0.0 发布,对 OkHttp3 轻量封装的框架

    OkHttps v3.0.0 已经发布,此版本更新内容包括: 1、项目分割,分离出 data 项目单独维护(JSON、XML 等结构化数据的统一抽象 API):https://gitee.com

    Apache Pulsar Go Client 0.3.0 版本发布

    Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台。 Pulsar Go Client 是分布式消息流平台 Apache Pulsar 的 Go 语言

    Redisson 3.15.0 发布,官方推荐的 Redis 客户端

    Redisson 3.15.0发布,这是一个 Java 编写的 Redis 客户端,具备驻内存数据网格(In-Memory Data Grid)功能,并获得了 Redis 的官方推荐

    分库分表工具:Apache ShardingSphere 5.0.0-alpha 发布

    Apache ShardingSphere 5.0.0 发布了 alpha 版本,自上个版本 4.1.1 发布以来,Apache ShardingSphere 一直在修复社区反馈的问题、加强功能和

    Angular 11.0.0-rc.2 发布,Web 前端框架

    Angular 11.0.0-rc.2 现已发布,具体更新内容如下: Bug 修复 common:从r-> Y更改 week-numbering year 格式 compiler

    SQLiteStudio 3.3.0 发布,时隔三年的更新

    在经过近 3 年的时间之后,SQLiteStudio 3.3.0 版本现已发布。SQLiteStudio 是一个跨平台的 SQLite 数据库的管理工具,采用 Tcl 语言开发

    curl 7.75.0 发布,占用内存更低

    curl 7.75.0发布。此版本没有包含安全修复,主要是添加了部分新特性,其中包括: 为命令行工具添加--create-file-mode参数,在协议中,curl 需要告诉远程

    MongoDB系列---数据类型/插入文档(三)

    第一部分 BJSON 与 JSON MongoDB的文档与JavaScript中的对象很相似,JavaScript中的数据交互格式是JSON格式. JSON的数据格式: 1. null;2. 布尔

    Vant 3.0 正式发布:全面拥抱 Vue 3

    历经八个月时长的开发,Vant 3.0 现已正式发布。官方表示,在本次迭代中,其主要工作是基于 Vue 3 重构整个代码仓库和周边生态,并发布 Vant 3.0、Vant Cli 3.0