Apache Arrow 3.0.0 发布,内存数据交换格式

双子孤狼 2021-01-28 11:13:50 ⋅ 767 阅读

Apache Arrow 3.0.0 发布了,该版本包含 2.0.0 发布以来修复的 678 个问题。Apache Arrow 是 Apache 基金会的顶级项目之一,目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。它包含一组规范的内存中的平面和分层数据表示,以及多种语言绑定以进行结构操作。 它还提供低架构流式传输和批量消息传递,零拷贝进程间通信(IPC)和矢量化的内存分析库。

部分更新内容

  • [Python] 将 Combine_chunks 方法添加到 ChunkedArray
  • [Rust] [Parquet] 修复 ArrowReader 在某些时间戳类型上失败的问题
  • [R] 修复文件不存在时,read_feather 会在 R 中导致段错误的问题
  • [Rust] 不再需要缓冲区的内存对齐
  • [R] 修复 Arrow 不会释放未使用的内存的问题
  • [Python] 支持 MapType 和 StructType 以增强 PySpark 集成
  • [Rust] 添加对十进制数据类型的支持
  • [C++][Parquet] 实现 parquet::FileMetaData::Equals
  • [Python] 从支持列表中删除 Python 3.5
  • [Python] 在 PyArrow 中公开 GetRecordBatchReader API
  • [R] 为算术内核添加绑定
  • [Rust] 将其他数组类型移动到其自己的模块中

详细内容请查看更新公告


全部评论: 0

    我有话说:

    「尝鲜」SpringBoot 快速整合Swagger 3.0

    第一步:Maven引入Swagger3.0 starter依赖 Maven项目中引入springfox-boot-starter依赖: <dependency> <

    Apache Beam 2.25.0 发布,大数据流处理与批处理编程范式

    Apache Beam 2.25.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体

    Apache Camel 3.6.0 发布,集成项目工具

    简介 Apache Camel 作为集成项目的利器,针对应用集成场景的抽象出了一套消息交互模型,通过组件的方式进行第三方系统的接入,目前 Apache Camel 已经提供了 300 多种

    Apache Tomcat 8.5.59、9.0.39和10.0.0-M9发布

    Apache Tomcat 8.5.59, 9.0.39 和 10.0.0-M9 已发布。 8.5.x 已取代 8.0.x,并增加了从 Tomcat 9.0.x 中吸收的新功能。与 8.5.58

    Apache IoTDB 0.11.2 发布,物联网时序数据库

    Apache IoTDB 0.11.2 现已发布Apache IoTDB 是一个集成数据专为时间序列数据设计的管理引擎。它为用户提供以下服务:数据收集、存储和分析。由于其轻巧的结构,高

    Apache Wicket 9.3.0 发布,Java Web 开发框架

    Apache Wicket 9.3.0 现已发布。Wicket 是一个 Java 语言的 Web 开发框架,与 Struts、WebWork、Tapestry 相类似,其特点在于对

    Apache HBase 2.3.2 发布,分布式存储系统

    Apache HBase 2.3.2 已经发布。HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBase 技术可在廉价 PC

    Apache HBase 最新发布2.0.4 ,分布式数据库

    HBase 2.0.4 主要修复了 2.0.3 和 2.1.1 版本中 HBASE-21551 Bug。此外还包括 31 项 Bug 修复。

    Apache Beam 2.28.0 发布,大数据流处理与批处理编程范式

    Apache Beam 2.28.0发布,Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体

    Apache Superset 1.0 发布

    Apache 软件基金会近日宣布 Apache Superset 晋升为 ASF 顶级项目。与此同时,Apache Superset 也迎来了重大里程碑 1.0 版本

    ElasticJob 3.0.0-beta 发布,丰富的报警机制集成

    本周Apache ShardingSphere团队很高兴的向大家宣布: ElasticJob-3.0.0-beta 和 ElasticJob UI-3.0.0-beta 的新版本正式发布

    OkHttps v3.0.0 发布,对 OkHttp3 轻量封装的框架

    OkHttps v3.0.0 已经发布,此版本更新内容包括: 1、项目分割,分离出 data 项目单独维护(JSON、XML 等结构化数据的统一抽象 API):https://gitee.com

    Apache Pulsar Go Client 0.3.0 版本发布

    Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台。 Pulsar Go Client 是分布式消息流平台 Apache Pulsar 的 Go 语言

    Redisson 3.15.0 发布,官方推荐的 Redis 客户端

    Redisson 3.15.0发布,这是一个 Java 编写的 Redis 客户端,具备驻内存数据网格(In-Memory Data Grid)功能,并获得了 Redis 的官方推荐

    curl 7.75.0 发布,占用内存更低

    curl 7.75.0发布。此版本没有包含安全修复,主要是添加了部分新特性,其中包括: 为命令行工具添加--create-file-mode参数,在协议中,curl 需要告诉远程

    Angular 11.0.0-rc.2 发布,Web 前端框架

    Angular 11.0.0-rc.2 现已发布,具体更新内容如下: Bug 修复 common:从r-> Y更改 week-numbering year 格式 compiler

    分库分表工具:Apache ShardingSphere 5.0.0-alpha 发布

    Apache ShardingSphere 5.0.0 发布了 alpha 版本,自上个版本 4.1.1 发布以来,Apache ShardingSphere 一直在修复社区反馈的问题、加强功能和

    SQLiteStudio 3.3.0 发布,时隔三年的更新

    在经过近 3 年的时间之后,SQLiteStudio 3.3.0 版本现已发布。SQLiteStudio 是一个跨平台的 SQLite 数据库的管理工具,采用 Tcl 语言开发

    Apache ZooKeeper 3.7.0 发布,分布式服务框架

    Apache ZooKeeper 是 Apache 软件基金会的一个软件项目,它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper 曾经是 Hadoop 的一个子项目