SAS 9.4 がサポートしているHadoopのディストリビューションについて



SAS 9.4 M6

最小サポートバージョンのHadoopディストリビューションとKerberosに関する詳細を、以下のとおり表にまとめました。
特に注意書きがない限り:


SASプロダクト、
オファリング、
および、テクノロジー
Cloudera CDH
5.5
Cloudera CDH
6.0
Hortonworks HDP
2.4
Hortonworks HDP
3.0
MapR Distribution
5.2
MapR Distribution
6.0
Amazon
Web Services EMR
5.13
Microsoft
Azure HDInsight
3.6
Base SAS: Hadoop Access MethodのためのFILENAMEステートメント [7]
Base SAS: HADOOPプロシジャ
Base SAS: SQOOP プロシジャ サポートして
いません
✔[7] サポートして
いません
サポートして
いません
SAS Scalable Performance Data Engine サポートして
いません
サポートして
いません
SAS Scalable Performance Data Engine SerDe サポートして
いません
サポートして
いません
SAS Scalable Performance Data Server サポートして
いません
サポートして
いません
SAS/ACCESS Interface to Hadoop [7]
SAS In-Database Code Accelerator for Hadoop サポートして
いません
SAS Scoring Accelerator for Hadoop サポートして
いません
サポートして
いません
DATA Step Processing in Hadoop サポートして
いません
SAS Grid Manager for Hadoop [2] [2] [2] [2] [3] [3] サポートして
いません
サポートして
いません
SAS High-Performance Analytics Environment サポートして
いません
サポートして
いません
SAS LASR Analytic Server [1] サポートして
いません
サポートして
いません
サポートして
いません
SAS Data Loader for Hadoop [6] ✔[5] ✔[8] サポートしていません ✔[4] ✔[9] サポートして
いません
サポートして
いません

その他のHadoopプロダクト


SAS/ACCESS Interface to Impala
必須DBMSプロダクト:

脚注:
[1] 加えて、 Apache Hadoop 0.23、 2.4.0、 および 2.7.1 以降のバージョンがHDFS上のSASHDATへのアクセスのためのSAS LASRと共有の場所に配置されるHadoopクラスタとしてサポートされています。
[2] ジョブの送信のためのREST APIが含まれます。これによりよりよいパフォーマンスが得られます。
[3] Oozieとのコーディネーターの実行頻度(の設定)において、cron構文のサポートが含まれます。 この機能は、定期的に実行するフローをスケジュールするために必要です。
[4] x64 Linux版の SASサーバーのみサポートされています。
[5] Spark は、CDH 5.7 以降のリリースでサポートされています。
[6] Spark 1.6.x のみサポートしています。
[7] SQOOPプロシジャは、Hortonworks社が提供するパッチを必要とします。HDP 3.0 patch 3.0.0.14-4、またはHDP 3.1 patch 3.1.0.29-2を使用してください。パッチの適用手順は、Hortonworks社のサイトを参照してください。
[8] Cloudera 6.2以降のリリース
[9] Sparkは、サポートされていません。


Hadoopセキュリティ

サポートしているHadoopのセキュリティ設定に関する詳細は、以下の通りです。

SASプロダクト、オファリング、
および、テクノロジー
Kerberos [2] Kerberos via REST API [2] Sentry Knox Ranger HDFS Encryption
Base SAS: Hadoop Access MethodのためのFILENAMEステートメント 利用できません 利用できません
Base SAS: HADOOPプロシジャ サポートして
いません
利用できません 利用できません
Base SAS: SQOOP プロシジャ サポートして
いません
SAS Scalable Performance Data Engine サポートして
いません
サポートして
いません
SAS Scalable Performance Data Engine SerDe サポートして
いません
サポートして
いません
SAS Scalable Performance Data Server サポートして
いません
サポートして
いません
SAS/ACCESS Interface to Hadoop
SAS/ACCESS Interface to HAWQ サポートして
いません
利用できません 利用できません サポートして
いません
サポートして
いません
SAS/ACCESS Interface to Impala 利用できません 利用できません
SAS In-Database Code Accelerator for Hadoop サポートして
いません
SAS Scoring Accelerator for Hadoop サポートして
いません
DATA Step Processing in Hadoop サポートして
いません
サポートして
いません
サポートして
いません
SAS Grid Manager for Hadoop サポートして
いません
サポートして
いません
サポートして
いません
サポートして
いません
SAS High-Performance Analytics Environment サポートして
いません
SAS LASR Analytic Server サポートして
いません
サポートして
いません
サポートして
いません
サポートして
いません
サポートして
いません
SAS Data Loader for Hadoop [1] [1] [3] サポートして
いません
サポートして
いません


脚注:
[1] Kerberos は、MapRではサポートされません。
[2] KerberosはWindowsホストからMapRに接続している場合はサポートされません。
[3] Sentry は、 CDH 5.11 以降のリリースでサポートされています。


Hadoop High Availability

SASは、HDFS HA および Hive HAをClouderaおよびHortonworksディストリビューションでサポートしています。

SASプロダクト、オファリング、および、テクノロジー HDFS HA HIVE HA
Base SAS: Hadoop Access MethodのためのFILENAMEステートメント 利用できません
Base SAS: HADOOPプロシジャ 利用できません
Base SAS: SQOOP プロシジャ
SAS Scalable Performance Data Engine 利用できません
SAS Scalable Performance Data Engine SerDe
SAS Scalable Performance Data Server 利用できません
SAS/ACCESS Interface to Hadoop
SAS/ACCESS Interface to Impala 利用できません
SAS In-Database Code Accelerator for Hadoop
SAS Scoring Accelerator for Hadoop
DATA Step Processing in Hadoop
SAS Grid Manager for Hadoop 利用できません
SAS High-Performance Analytics Environment
SAS LASR Analytic Server 利用できません
SAS Data Loader for Hadoop


SAS 9.4 M5

最小サポートバージョンのHadoopディストリビューションとKerberosに関する詳細を、以下のとおり表にまとめました。

注意


SASプロダクト、オファリング、
および、テクノロジー
Cloudera CDH Hortonworks HDP MapR Distribution Pivotal HD IBM BigInsights
Base SAS: Hadoop Access MethodのためのFILENAMEステートメント 5.5、6.0 [10] 2.4、3.0 [7] ;[10] 5.2  3.0  4.2 
Base SAS: HADOOPプロシジャ 5.5、6.0 [10] 2.4、3.0 [7]  [10] 5.2  3.0  4.2   
Base SAS: SQOOP プロシジャ 5.5  2.4、3.0 [7] [9] [10] 5.2  サポートしていません サポートしていません
SAS Scalable Performance Data Engine 5.5、6.0 [10] 2.4、3.0 [7] [10] 5.2  3.0  4.2 
SAS Scalable Performance Data Engine SerDe 5.5、6.0 [10] 2.4、3.0 [7] [10] 5.2  3.0  4.2 
SAS Scalable Performance Data Server 5.5、6.0 [10] 2.4、3.0 [7] [10] 5.2  サポートしていません サポートしていません
SAS/ACCESS Interface to Hadoop 5.5、6.0 [10]  2.4、3.0 [7] [10] 5.2  3.0  4.2 
SAS In-Database Code Accelerator for Hadoop 5.5、6.0 [10] 2.4  [7] 5.2  3.0   [2] 4.2 
SAS Scoring Accelerator for Hadoop 5.5、6.0[10] 2.4  [7] 5.2  3.0   [2] 4.2 
DATA Step Processing in Hadoop 5.5、6.0 [10] 2.4  [7] 5.2  3.0   [2] 4.2 
SAS Grid Manager for Hadoop 5.2、6.0 [3] [10] 2.4、3.0 [3] [10] 4.0  [4]  サポートしていません サポートしていません
SAS High-Performance Analytics Environment 5.5、6.0[10] 2.4 [7] 5.2  3.0  [2] 4.2 
SAS LASR Analytic Server[1] 4.7.0、6.0[10] 1.3.2、3.0[7] [10] 4.0  2.1   [2] 3.0
SAS Data Loader for Hadoop[8] 5.5[6] 2.4 [7] 5.2  [5] 3.0  [2] 4.2 

その他のHadoopプロダクト


SAS/ACCESS Interface to HAWQ
必須DBMSプロダクト:
SAS/ACCESS Interface to Impala
必須DBMSプロダクト:

脚注:
[1] 加えて、 Apache Hadoop 0.23、 2.4.0、 および 2.7.1 以降のバージョンがHDFS上のSASHDATへのアクセスのためのSAS LASRと共有の場所に配置されるHadoopクラスタとしてサポートされています。
[2] 区切りのあるテキストファイル(CSVファイルなど)のみが、ここで表示されているHadooバージョンとSASソフトウェア間のデータ変換でサポートされています。
[3] ジョブの送信のためのREST APIが含まれます。これによりよりよいパフォーマンスが得られます。
[4] 推奨されています。Oozieとのコーディネーターの実行頻度(の設定)において、cron構文のサポートが含まれます。この機能は、定期的に実行するフローをスケジュールするために必要です。
[5] x64 Linux版の SASサーバーのみサポートされています。
[6] Spark は、CDH 5.7 以降のリリースでサポートされています。
[7] HDP 2.6.3以降のリリースに接続する場合は、SAS Note 61703 に概要が記載されているインストール手順に従うことが必須です。
[8] Spark 1.6.x のみサポートされています。
[9] KerberosでPROC SQOOPをサポートするには、HDP 3 ディストリビューションにパッチを適用する必要があります。 そのパッチ(HDP-3.0.0.14-4)に関する詳細は、ご利用のHadoopベンダーにお問い合わせください。
[10] CDH 6 および、 HDP 3のサポートにはホットフィックスが必須です。詳細は、テクニカルサポートにお問い合わせください。

Hadoopセキュリティ

サポートしているHadoopのセキュリティ設定に関する詳細は、以下の通りです。

SASプロダクト、オファリング、
および、テクノロジー
Kerberos [3] Kerberos via REST API [3] Sentry Knox Ranger HDFS Encryption
Base SAS: Hadoop Access MethodのためのFILENAMEステートメント 利用できません 利用できません
Base SAS: HADOOPプロシジャ サポートして
いません
利用できません 利用できません
Base SAS: SQOOP プロシジャ サポートして
いません
SAS Scalable Performance Data Engine サポートして
いません
サポートして
いません
SAS Scalable Performance Data Engine SerDe サポートして
いません
サポートして
いません
SAS Scalable Performance Data Server サポートして
いません
サポートして
いません
SAS/ACCESS Interface to Hadoop
SAS/ACCESS Interface to HAWQ サポートして
いません
利用できません 利用できません サポートして
いません
サポートして
いません
SAS/ACCESS Interface to Impala 利用できません 利用できません
SAS In-Database Code Accelerator for Hadoop サポートして
いません
SAS Scoring Accelerator for Hadoop サポートして
いません
DATA Step Processing in Hadoop サポートして
いません
サポートして
いません
サポートして
いません
SAS Grid Manager for Hadoop サポートして
いません
サポートして
いません
サポートして
いません
サポートして
いません
SAS High-Performance Analytics Environment サポートして
いません
SAS LASR Analytic Server [1]

サポートして
いません
サポートして
いません
サポートして
いません
サポートして
いません
サポートして
いません
SAS Data Loader for Hadoop [2] [2] [4] サポートして
いません
サポートして
いません


脚注:
[1] Kerberosは、IBM BigInsightsではサポートされません。
[2] Kerberosは、MapRではサポートされません。
[3] Kerberosは、WindowsホストからMapRに接続している場合はサポートされません。
[4] Sentryは、 CDH 5.11 以降のリリースでサポートされています。


Hadoop High Availability

SASは、HDFS HA および Hive HAをClouderaおよびHortonworksディストリビューションでサポートしています。

SASプロダクト、オファリング、および、テクノロジー HDFS HA HIVE HA
Base SAS: Hadoop Access MethodのためのFILENAMEステートメント 利用できません
Base SAS: HADOOPプロシジャ 利用できません
Base SAS: SQOOP プロシジャ
SAS Scalable Performance Data Engine 利用できません
SAS Scalable Performance Data Engine SerDe
SAS Scalable Performance Data Server 利用できません
SAS/ACCESS Interface to Hadoop
SAS/ACCESS Interface to Impala 利用できません
SAS In-Database Code Accelerator for Hadoop
SAS Scoring Accelerator for Hadoop
DATA Step Processing in Hadoop
SAS Grid Manager for Hadoop 利用できません
SAS High-Performance Analytics Environment
SAS LASR Analytic Server 利用できません
SAS Data Loader for Hadoop


SAS 9.4M4

最小サポートバージョンのHadoopディストリビューションとKerberosに関する詳細を、以下のとおり表にまとめました。

注意


SASプロダクト、オファリング、
および、テクノロジー
Cloudera CDH Hortonworks HDP MapR Distribution Pivotal HD IBM BigInsights 注意
Base SAS: Hadoop Access MethodのためのFILENAMEステートメント 5.8 以降 2.5 以降[8] 5.2 以降 3.0 以降 4.2 以降  
Base SAS: HADOOPプロシジャ 5.8 以降 2.5 以降[8] 5.2 以降 3.0 以降 4.2 以降  
Base SAS: SQOOP プロシジャ[1] 5.8 以降 2.5 以降[8] 5.2 以降 サポートして
いません
サポートして
いません
 
SAS Scalable Performance Data Engine [2] 5.8 以降 2.5 以降[8] 5.2 以降 3.0 以降 4.2 以降  
SAS Scalable Performance Data Engine SerDe 5.8 以降 2.5 以降[8] 5.2 以降 3.0 以降 4.2 以降  
SAS Scalable Performance Data Server 5.8 以降 2.5 以降[8] 5.2 以降 サポートして
いません
サポートして
いません
KerberosはWindowsホストからMapRに接続している場合はサポートされません。
SAS/ACCESS Interface to Hadoop 5.8 以降 2.5 以降[8] 5.2 以降 3.0 以降 4.2 以降 HiveのためのIn-Database Proceduresのサポートを含みます。
SAS/ACCESS Interface to HAWQ 利用できません サポートして
いません[8]
利用できません 3.0 以降 [1] 利用できません HAWQの最小サポートバージョンは、1.3です。
SAS/ACCESS Interface to Impala 5.8 以降 利用できません[8] 5.2 以降 利用できません 利用できません  
SAS In-Database Code Accelerator for Hadoop[2] 5.8 以降 2.5 以降 5.2 以降 3.0 以降 [3] 4.2 以降
SAS Scoring Accelerator for Hadoop [2] 5.8 以降 2.5 以降[8] 5.2 以降 3.0 以降 [3] 4.2 以降
DATA Step Processing in Hadoop 5.8 以降 2.5 以降[8] 5.2 以降 3.0 以降 [3] 4.2 以降  
SAS Grid Manager for Hadoop [2] 5.8 以降 [4] 2.5 以降 [4] [9] 5.2 以降 [5] サポートして
いません
サポートして
いません
 
SAS High-Performance Analytics Environment[2] 5.8 以降 2.5 以降[8] 5.2 以降 3.0 以降 [3] 4.2 以降  
SAS LASR Analytic Server 4.7.0以降 1.3.2以降[8] 4.0 以降 2.1 以降 [3] 3.0 以降 [1] 加えて、Apache Hadoop 0.23、 2.4.0、および 2.7.1 以降のバージョンがHDFS上のSASHDATへのアクセスのためのSAS LASRと共有の場所に配置されるHadoopクラスタとしてサポートされています。
SAS Data Loader for Hadoop[2] 5.8 以降 2.5 以降[8] 5.2 以降 [1] [6] 3.0 以降 [3] 4.2 以降 Oozieがご利用のHadoopクラスタで利用可能であることが必須です。

脚注:

[1] Kerberos はサポートされません。
[2] Kerberosで保護されたHadoopクラスタへの接続は、環境変数SAS_HADOOP_RESTFUL が「1」に設定されている場合、サポートされません。
[3] 区切りのあるテキストファイル(CSVファイルなど)のみが、ここで表示されているHadooバージョンとSASソフトウェア間のデータ変換でサポートされています。
[4] ジョブの送信のためのREST APIが含まれます。これによりよりよいパフォーマンスが得られます。
[5] 推奨されています。 Oozieとのコーディネーターの実行頻度(の設定)において、cron構文のサポートが含まれます。 この機能は、定期的に実行するフローをスケジュールするために必要です。
[6] x64 Linux版の SASサーバーのみサポートされています。
[7] KerberosはWindowsホストから接続している場合はサポートされません。
[8] HDP 2.6.3以降のリリースに接続する場合は、SAS Note 61703 に概要が記載されているインストール手順に従うことが必須です。
[9] HDP 2.6.3 以降は、サポートされていません。



SAS 9.4M3

最小サポートバージョンのHadoopディストリビューションとKerberosに関する詳細を、以下のとおり表にまとめました。

注意


SASプロダクト、オファリング、
および、テクノロジー
Cloudera CDH [1] Hortonworks HDP [1] MapR Distribution [1] Pivotal HD [1] IBM BigInsights [2] 注意
Base SAS: Hadoop Access MethodのためのFILENAMEステートメント 4.7.0以降 1.3.2以降 [11] 3.1 以降 1.1.1以降 2.1 以降 [3]  
Base SAS: HADOOPプロシジャ 4.7.0以降 1.3.2以降 [11] 3.1 以降 1.1.1以降 2.1 以降 [3]  
Base SAS: SQOOP プロシジャ[2] 5.2.0 以降 2.2 以降 [11] 4.0.2以降 サポートして
いません
サポートして
いません
Oozie 4.1.0以降がよりよい結果を得るために必須です。
SAS Scalable Performance Data Engine 4.7.0以降 2.0 以降 [11] 4.0 以降 2.1 以降 3.0 以降  
SAS Scalable Performance Data Engine SerDe [8] 5.2.0 以降 2.2 以降 [11] 4.0 以降 サポートして
いません
サポートして
いません
 
SAS Scalable Performance Data Server 5.7.0 以降 2.4 以降 [11] 5.1 以降 サポートして
いません
サポートして
いません
 
SAS/ACCESS Interface to Hadoop 4.7.0以降 1.3.2以降 [11] 3.1 以降 1.1.1以降 2.1 以降 [3] HiveのためのIn-Database Proceduresのサポートを含みます。
SAS/ACCESS Interface to HAWQ 利用できません 利用できません [8] [11] 利用できません 2.1 以降 [2] 利用できません HAWQの最小サポートバージョンは、1.2.1です。
SAS/ACCESS Interface to Impala 5.0.0 以降 利用できません [8] [11] 4.0 以降 [5] [6] 利用できません 利用できません 2.0 Impala Server と2.5.22 Impala ODBCドライバがVARCHARデータタイプのサポートには、必須です。

In-Database Procedures for Impalaに対するサポートは限定的です。 [7]
SAS In-Database Code Accelerator for Hadoop 5.0.0 以降 [8] 2.0 以降 [8] 4.0 以降 [8] 2.1 以降 [4] 3.0 以降 [3]  
SAS Scoring Accelerator for Hadoop 4.7.0 以降 [8] 1.3.2 以降 [8] [11] 4.0 以降 [8] 2.1 以降 [4] 3.0 以降 [3]  
DATA Step Processing in Hadoop 4.7.0以降 1.3.2以降 [11] 4.0.2以降 2.1 以降 [4] 3.0 以降 [3]  
SAS Grid Manager for Hadoop 5.2 以降
5.4 以降[9]
2.1 以降 [12]
2.2 以降[9] [12]
4.0 以降
4.1 以降[10]
サポートして
いません
サポートして
いません
 
SAS High-Performance Analytics Environment 4.7.0以降 1.3.2以降 [11] 4.0 以降 2.1 以降 [4] 3.0 以降 [3]  
SAS LASR Analytic Server 4.7.0以降 1.3.2以降 [11] 4.0 以降 2.1 以降 [4] 3.0 以降 [3]  
SAS Data Loader for Hadoop サポートしているHadoopディストリビューションとすべてのシステム必要条件は、SAS Data Loader for Hadoopドキュメンテーションページ(英語)より、ご参照いただけます。

脚注:

[1] Kerberos がサポートされています:MIT Kerberos 5 バージョン 1.9以降。 Kerberosで保護されたHadoopクラスタへの接続は、環境変数 SAS_HADOOP_RESTFUL が「1」に設定されている場合、サポートされません。
[2] Kerberos はサポートされません。
[3] IBM BigInsights 4.2より前のバージョンでは区切りのあるテキストファイル(CSVファイルなど)のみが、ここで表示されているHadoopバージョンとSASソフトウェア間のデータ変換でサポートされています。
[4] 区切りのあるテキストファイル(CSVファイルなど)のみが、ここで表示されているHadoopバージョンとSASソフトウェア間のデータ変換でサポートされています。
[5] VARCHAR データタイプはサポートされません。
[6] PROC DS2 および、 PROC FEDSQLはサポートされません。
[7] Cloudera CDH 5.2 のみサポートしています。また、 2.0 Impalaサーバーと 2.5.22 Impala ODBC ドライバも必要です。
[8] ORCなどの拡張ファイルタイプのサポートには、Hive 0.13 が必須です。
[9] ジョブの送信のためのREST APIが含まれます。これによりよりよいパフォーマンスが得られます。
[10] 推奨されています。 Oozieとのコーディネーターの実行頻度(の設定)において、cron構文のサポートが含まれます。 この機能は、定期的に実行するフローをスケジュールするために必要です。
[11]  HDP 2.6.3以降のリリースに接続する場合は、SAS Note 61703 に概要が記載されているインストール手順に従うことが必須です。
[12]  HDP 2.6.3 以降は、サポートされていません。


SASにおけるその他のリリースのHadoopディストリビューションのサポートについて

SASは、各SASプロダクトリリースでサポートされる特定のHadoopディストリビューションについて文書化しています。 また、SASプロダクトリリースでサポートしている各ディストリビューションの最小のリリースバージョンについても文書化しています。 これらは、SASがテストで使用し関連付けられたSASプロダクトリリースで検証された特定のディストリビューションのバージョンを示すものです。 サポートされている各Hadoopディストリビューションリリースは、「ドット」バージョンでテストされ、関連付けられたSASプロダクトで検証されたものとして記載されます。

特記事項がない限り、文書化されたメジャーリリースのマイナーリリースのみをサポートします。

もし、お客様が記載されたHadoopのバージョンよりも新しいものを使用すると決定された場合、関連するSASプロダクトのインストールドキュメントに記載されているものとは異なる設定手順が必要になる可能性があるということにご注意ください。 異なる設定手順には次のようなものが含まれると思われますが、これだけとは限りません。

Hadoopと連携するSASプロダクトの中には、固定されたプロダクトアーキテクチャと配置設定、デザインでお客様に提供されているものもあります。 このようなデザインのプロダクトは、それ以外のHadoopリリースバージョンで利用するための変更は認められていません。

SASはお客様がサポートしているリリースと実際にご利用になる別のリリースの相違点を解消するための適切なスキルをお持ちであると考えています。 別のリリースの使用を決定することにより、お客様はそのリリース固有の相違点に対応するための適切な投資が必要になることをご了承ください。

問題があるシナリオを再現する試みは、SASで公式にサポートされているHadoopのバージョンリリースを使用して行われます。

SASでその問題が再現されない場合、サポートされているHadoopバージョンリリースを使用した問題の再現を含む、問題特定のための更なる調査をお客様ご自身で行っていただく必要があります。

SASソフトウェアとともに提供されるApache Hadoopソフトウェアのサポートについて

SASソフトウェアのなかには、Hadoopディストリビューションが前提条件となっているものがあります。 SAS 9.4 TS1M4 以前では、お客様の利便性を考慮し、Apache Hadoop ソフトウェアは、License Information for Third-Party Software Distributed with SAS® Softwareのページに記載されているSASソフトウェアと共に提供されていました。

SASは、SASと共に出荷されているApache HadoopとSASソフトウェアの統合に関するサポートを提供します。しかし、Apache Hadoopのインストールや、その他の管理と運用に関するサポートは提供いたしません。 本番環境では、より充実したサポートがあるサードパーティの提供するHadoopを探す必要があります。 これにより、本番環境のHadoopで必要な支援を専門のHadoopベンダーより受けることができるようになります。