Databricks Unity Catalog は、レイクハウスにおけるデータと AI のための業界初の統合ガバナンスソリューションです。Unity Catalog は、クラウドの種類やプラットフォームを問わず、構造化データ、非構造化データ、ML モデル、ノートブック、ダッシュボード、ファイルなどのさまざまなデータやデータアセットのシームレスな管理を可能にします。データサイエンティスト、アナリスト、エンジニアは、Unity Catalog を利用することで、信頼性の高いデータと AI アセットをセキュアに検索/アクセス/コラボレーションできるようになり、AI を活用して生産効率を向上させ、レイクハウス環境の潜在能力を最大限に引き出すことができます。統合ガバナンスのアプローチにより、シンプルな手法による規制コンプライアンスの確保とデータ・AI イニシアチブの加速を同時に行うことができます。
「Unity Catalog により、IAM ポリシーやその他のデータ制御プラットフォームの複雑さが排除され、アクセス許可管理が効率化されるため、ビジネスユースケースにとって重要なことに集中で きています。」
Block ソフトウェアエンジニア Joseph Kesting 氏

仕組み

データと AI の可視性を統合
あらゆるクラウド上の構造化データ、非構造化データ、ML モデル、ノートブック、ダッシュボード、任意のファイルを発見し、分類します。MySQL、PostgreSQL、Amazon Redshift、Snowflake、Azure SQL、Azure Synapse、GoogleのBigQuery など、さまざまなプラットフォームからのデータを 1か所に集約、マッピング、クエリできます。データ探索のための単一アクセスポイントにより、データおよび AI イニシアチブを加速します。自然言語を使用してデータと AI から安全に検索、理解、インサイトを抽出し、生産効率を向上させます。

データと AI の単一許可モデル
データと AI 資産に対するアクセスポリシーを定義し、これらのポリシーをあらゆるクラウドまたはデータプラットフォーム上で一貫して適用および監査す るための統合インターフェースにより、アクセス管理を簡素化します。オープンなインターフェースを使用して、他のコンピューティングプラットフォームからデータに安全にアクセスできます。行や列のきめ細かな制御でセキュリティを強化し、シームレスに拡張できるローコード属性ベースのアクセスポリシーで効率的にアクセスを管理します。

AI を活用した監視と観測可能性
AI のパワーを活用し、モニタリングの自動化、エラーの診断、データと ML モデルの品質維持を実現します。個人を特定できる情報(PII)データを自動的に検出し、モデルのドリフトを追跡し、データおよびAIパイプライン内の問題を効果的に解決して、正確性と完全性を維持するプロアクティブなアラートのメリットを享受できます。自動化された列レベルのデータリネージにより、デバッグ、根本原因分析、影響評価を効率化します。請求、監査、リネージなどのための組み込みシステムテーブルを活用した運用インテリジェンスにより、データおよび AI に対する包括的なレイクハウスの観察可能性を得ることができます。

オープンなデータ共有
Unity Catalog にネイティブに統合されたオープンソースのDelta Sharing により、クラウド、リージョン、プラットフォーム間でデータや AI アセットを容易に共有できます。独自のフォーマットや複雑な ETL プロセス、コストのかかるデータの複製に依存することなく、新たな収益源を開拓し、ビジネス価値を推進するために、場所を問わず誰とでもセキュアにコラボレーションできます。
統合
Unity Catalog を現行のデータカタログ、データストレージシステム、ガバナンスソリューションと連携し、高価な移行コストをかけずに現行の環境で将来性のあるガバナンスモデルを構築できます。