CreateHadoopDataSource
创建hadoop数据源配置
服务地址：
华东1 金融云
输入参数
只看必填
RegionId地域ID
DataSourceName服务名称
DataSourceDescription服务描述
DataSourceType开通Hadoop外部表类型
HadoopCreateType外部服务类型：
HadoopHostsAddressHadoop集群源节点在/etc/ho...
HadoopCoreConfHadoop core-site.xm...
HDFSConfHadoop hdfs-site.xm...
HiveConfHadoop hive-site.xm...
YarnConfHadoop yarn-site.xm...
DBInstanceId实例ID
MapReduceConfHadoop mapred-site....
EmrInstanceIdHadoopCreateType=Emr时
插件下载了解更多
VS Code 插件
安装插件之前，确保已安装 VS Code安装插件之前，确保已安装 VS Code
Alibaba Cloud Developer ToolkitbetaAlibaba Cloud OpenAPI
Alibaba Cloud Developer Toolkit is a collection of extensions that can help access Alibaba Cloud services in Visual Studio Code.
安 装
JetBrains 插件
安装插件之前，确保已安装 JetBrains IDE安装插件之前，确保已安装 JetBrains IDE
Alibaba Cloud Developer ToolkitbetaAlibaba Cloud OpenAPI
The Alibaba Cloud Developer Toolkit for JetBrains makes it easier to access Alibaba Cloud services.
安 装

请求参数

字段名称字段详情
RegionIdstring

地域 ID。展开详情

示例值:cn-hangzhou参考取值来源:
    DescribeRegions
DataSourceNamestring

服务名称。

示例值:hdfs_pxf参考取值来源:
    ListStreamingDataSources
    CreateRemoteADBDataSource
    DescribeStreamingDataSource
    ModifyRemoteADBDataSource
DataSourceDescriptionstring

服务描述。

示例值:pxf for hdfs data source
DataSourceTypestring

开通 Hadoop 外部表类型，取值展开详情

示例值:HDFS参考取值来源:
    DescribeHadoopDataSource
    ListExternalDataSources
    CreateStreamingDataSource
HadoopCreateTypestring

外部服务类型：展开详情

示例值:emr参考取值来源:
    DescribeHadoopDataSource
HadoopHostsAddressstring

Hadoop 集群源节点在/etc/hosts 文件中的地址和 hostname。

示例值:192.168.220.128 master-1-1.c-xxx.cn-shanghai.emr.aliyuncs.com 192.168.220.129 core-1-1.c-xxx.cn-shanghai.emr.aliyuncs.com 192.168.220.130 core-1-2.c-xxx.cn-shanghai.emr.aliyuncs.com参考取值来源:
    DescribeHadoopDataSource
HadoopCoreConfstring

Hadoop core-site.xml 文件内容字符串。

示例值:<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:52:39.527 --> <configuration> <property> <name>hadoop.http.authentication.kerberos.keytab</name> <value>/etc/emr/hadoop-conf/http.keytab</value> </property> <property> <name>fs.oss.idle.timeout.millisecond</name> <value>30000</value> </property> <property> <name>fs.oss.download.thread.concurrency</name> <value>32</value> </property> </configuration>参考取值来源:
    DescribeHadoopDataSource
HDFSConfstring

Hadoop hdfs-site.xml 文件内容字符串。在选择开通 HDFS 外表时，该字段必填。

示例值:<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:52:43.945 --> <configuration> <property> <name>dfs.datanode.cache.revocation.timeout.ms</name> <value>900000</value> </property> <property> <name>dfs.namenode.resource.check.interval</name> <value>5000</value> </property> </configuration>
HiveConfstring

Hadoop hive-site.xml 文件内容字符串。在选择开通 HIVE 外表时，该字段必填。

示例值:<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:52:50.646 --> <configuration> <property> <name>hive.exec.reducers.bytes.per.reducer</name> <value>256000000</value> </property> <property> <name>hive.stats.column.autogather</name> <value>false</value> </property> </configuration>
YarnConfstring

Hadoop yarn-site.xml 文件内容字符串。在选择开通 HDFS 外表时，该字段必填。

示例值:<?xml version="1.0" ?> <!-- Created at 2023-08-15 13:53:29.021 --> <configuration> <property> <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user</name> <value>hadoop</value> </property> <property> <name>yarn.scheduler.fair.dynamic.max.assign</name> <value>true</value> </property> </configuration>
DBInstanceIdstring

实例 ID。

示例值:gp-xxxxxxx参考取值来源:
    UpgradeDBInstance
    CreateDBInstance
    UpdateDBInstancePlan
    DescribeDBInstances
    PauseInstance
    ModifyDBInstancePayType
    ResumeInstance
    UploadDocumentAsync
    DownloadDiagnosisRecords
    UnloadSampleData
MapReduceConfstring

Hadoop mapred-site.xml 文件内容字符串。在选择开通 HDFS 外表时，该字段必填。

示例值:xxxxxx
EmrInstanceIdstring

HadoopCreateType=Emr 时，此字段值为 emr 实例 id。

示例值:c-1234567

返回参数

字段名称字段详情
DataSourceIdinteger<int32>

数据源 ID。

示例值:123
RequestIdstring

请求 ID。

示例值:2C125605-266F-41CA-8AC5-3A643D4F42C5
变更历史
暂无变更历史