Snowflake 外部表的最新增强功能:您需要了解的内容

自从我们发布了关于如何使用 MinIO 扩展 Snowflake 实现的上一篇博文之后,Snowflake 对外部表的支持有了重大更新。外部表允许 Snowflake 用户将对象存储中的数据(如 MinIO)视为 Snowflake 中的只读表,而无需迁移。Snowflake 对其外部表功能的持续增强,清楚地表明了这一功能的日益普及。鉴于组织连接并利用数据的重要性,无论数据是在本地、公共云还是边缘,这一点都是有道理的。
这些增强使得 Snowflake 中的外部表性能更高,旨在简化数据管理并增强安全性。这篇博文旨在概述一些可以帮助您构建自己的外部表功能的关键增强功能。
用于 Parquet 文件的矢量化扫描器
最显著的改进之一是引入了用于 Parquet 文件的矢量化扫描器。与之前的非矢量化扫描器相比,这项新功能将扫描性能提高了 8 倍,将查询性能提高了 2 倍。通过充分利用 Parquet 的列式格式,此扫描器显着提高了处理存储在对象存储中的大型数据集的效率。这意味着更快的数据检索和处理,使您的分析任务在 Snowflake 中更加流畅、更高效。
简化的掩码策略
安全和数据保护对每个数据基础设施至关重要。认识到这一点,Snowflake 在简化敏感数据管理方面取得了进展。管理员现在可以直接将掩码策略与外部表中的虚拟列相关联。以前,这需要创建视图来掩盖敏感列,增加了在外部表中管理敏感信息的复杂性。此更新简化了数据治理,确保敏感信息受到保护,而无需额外的配置。
Iceberg 表的安全数据共享
Snowflake 现在支持使用共享对Iceberg 表进行安全数据共享。这允许用户直接共享 Iceberg 表,而无需首先创建安全视图。此增强功能不仅简化了共享过程,而且确保了数据共享安全且符合组织策略。对于希望利用对象存储中的 Iceberg 表来构建协作环境的组织来说,这是一个重大进步。这可能是许多人开始使用 Iceberg 和 MinIO 以及 Snowflake 构建其开放表格式数据湖所需的推动力量。
混合表
Snowflake 中引入的混合表结合了事务数据库和分析数据库的优点。这项新功能提供了更多处理和集成数据的灵活性,这对于外部表来说尤其有用。混合表允许更动态、更灵活的数据管理,支持更广泛的用例,并改善整体数据策略。
检查更新
这些更新使 Snowflake 的外部表更加强大,也更易于使用,从而帮助组织更有效、更安全地管理数据。无论您是处理大型数据集、敏感信息还是复杂的数据共享需求,这些新功能都提供了增强您的数据策略所需的工具。
有关这些更新和其他更新的更多详细信息,请查看 Snowflake 的官方文档和发布说明。通过及时了解这些更新,您可以确保您在 Snowflake 中使用外部表始终处于优化和安全状态,从而充分利用此强大的数据平台提供的功能,并利用您的数据,无论它在哪里。如果您有任何问题,请通过hello@min.io或我们的Slack 频道与我们联系。