【ETL工具】Datax-ETL-SqlServerToHDFS

🦄 个人主页——🎐个人主页 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ，每天进步一点点！加油！🪁🍁🪁🍁🪁🍁🪁🍁

目录

🦄 个人主页——🎐个人主页 🎐✨🍁

一、DataX概览

1.1 DataX 简介

1.2 DataX框架

1.3 功能限制

1.4 Support Data Channels

二、配置样例

2.1 环境信息

2.2 SQLServer数据同步到HDFS

2.2 参数说明

一、DataX概览

1.1 DataX 简介

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

1.2 DataX框架

DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。

角色

作用

Reader（采集模块）

负责采集数据源的数据，将数据发送给 Framework。

Writer（写入模块）

负责不断向 Framework 中取数据，并将数据写入到目的端。

Framework（中间商）

负责连接 Reader 和 Writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。


HdfsWriter 提供向 HDFS 文件系统指定路径中写入 TEXTFILE 文件和 ORCFile 文件，文件内容可与 Hive 表关联。

1.3 功能限制

  • 目前 HdfsWriter 仅支持 textfile 和 orcfile 两种格式的文件，且文件内容存放的必须是一张逻辑意义上的二维表;
  • 由于 HDFS 是文件系统，不存在 schema 的概念，因此不支持对部分列写入;
  • 目前仅支持与以下 Hive 数据类型：
    数值型：TINYINT,SMALLINT,INT,BIGINT,FLOAT,DOUBLE

字符串类型：STRING,VARCHAR,CHAR

布尔类型：BOOLEAN

时间类型：DATE,TIMESTAMP

目前不支持：decimal、binary、arrays、maps、structs、union类型;

  • 对于 Hive 分区表目前仅支持一次写入单个分区;
  • 对于 textfile 需用户保证写入 hdfs 文件的分隔符与在 Hive 上创建表时的分隔符一致,从而实现写入 hdfs 数据与 Hive 表字段关联;

HdfsWriter 实现过程是：

首先根据用户指定的path，创建一个hdfs文件系统上不存在的临时目录，创建规则：path_随机； 然后将读取的文件写入这个临时目录； 全部写入后再将这个临时目录下的文件移动到用户指定目录（在创建文件时保证文件名不重复）; 最后删除临时目录。 如果在中间过程发生网络中断等情况造成无法与hdfs建立连接，需要用户手动删除已经写入的文件和临时目录。

1.4 Support Data Channels

DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图，详情请点击：DataX数据源参考指南

类型

数据源

Reader(读)

Writer(写)

文档

RDBMS 关系型数据库

MySQL

√

√

读

、写

Oracle

√

√

读

、写

OceanBase

√

√

读

、写

SQLServer

√

√

读

、写

PostgreSQL

√

√

读

、写

DRDS

√

√

读

、写

Kingbase

√

√

读

、写

通用RDBMS(支持所有关系型数据库)

√

√

读

、写

阿里云数仓数据存储

ODPS

√

√

读

、写

ADB

√

写

ADS

√

写

OSS

√

√

读

、写

OCS

√

写

Hologres

√

写

AnalyticDB For PostgreSQL

√

写

阿里云中间件

datahub

√

√

读 、写

SLS

√

√

读 、写

图数据库

阿里云 GDB

√

√

读

、写

Neo4j

√

写

NoSQL数据存储

OTS

√

√

读

、写

Hbase0.94

√

√

读

、写

Hbase1.1

√

√

读

、写

Phoenix4.x

√

√

读

、写

Phoenix5.x

√

√

读

、写

MongoDB

√

√

读

、写

Cassandra

√

√

读

、写

数仓数据存储

StarRocks

√

√

读 、写

ApacheDoris

√

写

ClickHouse

√

√

读

、写

Databend

√

写

Hive

√

√

读

、写

kudu

√

写

selectdb

√

写

无结构化数据存储

TxtFile

√

√

读

、写

FTP

√

√

读

、写

HDFS

√

√

读

、写

Elasticsearch

√

写

时间序列数据库

OpenTSDB

√

读

TSDB

√

√

读

、写

TDengine

√

√

读

、写

二、配置样例

2.1 环境信息

集群HDP版本信息如下：

2.2 SQLServer数据同步到HDFS

site_traffic_inout.json 配置文件

[winner_hdp@hdp104 yd]$ cat site_traffic_inout.json 
{"job": {"content": [{"reader": {"name": "sqlserverreader","parameter": {"username": "$IPVA_WSHOP_USER","password": "$IPVA_WSHOP_PASSWD","connection": [{"jdbcUrl": ["$IPVA_URL"],"querySql": ["SELECT StoreID,StoreName,SiteKey,SiteName from IPVA_WConfig.dbo.View_Site_Traffic_InOut;"]}]}},"writer": {"name": "hdfswriter","parameter": {"column": [{"name":"StoreID"   , "type":"string"},{"name":"StoreName" , "type":"string"},{"name":"SiteKey"  , "type":"string"},{"name":"SiteName", "type":"string"}],"path": "/winner/hadoop/winipva/wshop/tmp/",    "defaultFS":"hdfs://winner","encoding": "UTF-8","fieldDelimiter": ",","hadoopConfig":{"dfs.nameservices": "winner","dfs.ha.namenodes.winner": "nn1,nn2","dfs.namenode.rpc-address.winner.nn1": "hdp103:8020","dfs.namenode.rpc-address.winner.nn2": "hdp104:8020","dfs.client.failover.proxy.provider.winner": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"},"haveKerberos": true,"kerberosKeytabFilePath": "/etc/security/keytabs/winner_hdp.keytab","kerberosPrincipal": "winner_hdp@WINNER.COM","fileType": "text","fileName": "000000","writeMode": "nonConflict",}}}],"setting": {"speed": {"channel": "5"},"errorLimit": {"record": 0}}}
}

运行脚本

# !/bin/bash
#
#                                                                                                                                                                                                                                                         
# 脚本功能: sqlServer 数据同步到 HDFS                                                                                         
# 作    者: kangll                                                                                            
# 创建时间: 2022-10-27                                                                                        
# 修改内容: 无                                                                                                                                                                                                                                                                                     
# 调度周期:                                                                                                   
# 脚本参数: 无                                                                                                
#                                                                                                             
set -x
set -e
## datatime
date=`date  +%Y%m%d`## json config file path
json_src=/hadoop/datadir/windeploy/script/ETL/datax_json/
## datax path
data_py=/hadoop/software/datax/bin/datax.py
##  ipva Wshop_config database connection
IPVA_USER=sa
IPVA_PASSWD='123456'
IPVA_URL="jdbc:sqlserver://192.168.2.103:1433;DatabaseName=IPVA_WConfig"###
Site_ReID_InOut_Func() {## 执行数据同步python $data_py  ${json_src}site_reid_inout.json -p "-DIPVA_USER=${IPVA_USER} -DIPVA_PASSWD=${IPVA_PASSWD} -DIPVA_URL=${IPVA_URL}  -Ddate=${date}"
}
######################## main ###############################
main(){Site_ReID_InOut_Func 
}
#############################################################  
###   
main

同步成功

2.3 参数说明

  • defaultFS

描述：Hadoop hdfs文件系统namenode节点地址。格式：hdfs://ip:端口；例如：hdfs://127.0.0.1:9000 必选：是 默认值：无

  • fileType

描述：文件的类型，目前只支持用户配置为"text"或"orc"。 text表示textfile文件格式 orc表示orcfile文件格式 必选：是 默认值：无

  • fileName

描述：HdfsWriter写入时的文件名，实际执行时会在该文件名后添加随机的后缀作为每个线程写入实际文件名。 必选：是 默认值：无

  • column
描述：写入数据的字段，不支持对部分列写入。为与hive中表关联，需要指定表中所有字段名和字段类型，其中：
name指定字段名，type指定字段类型。 用户可以指定Column字段信息，配置如下："column":[{"name": "userName","type": "string"},{"name": "age","type": "long"}]必选：是 默认值：无

  • writeMode

描述：hdfswriter写入前数据清理处理模式： append，写入前不做任何处理，DataX hdfswriter直接使用filename写入，并保证文件名不冲突。 nonConflict，如果目录下有fileName前缀的文件，直接报错。 必选：是 默认值：无

  • fieldDelimiter

描述：hdfswriter写入时的字段分隔符,需要用户保证与创建的Hive表的字段分隔符一致，否则无法在Hive表中查到数据 必选：是 默认值：无

  • compress

描述：hdfs文件压缩类型，默认不填写意味着没有压缩。其中： text类型文件支持压缩类型有gzip、bzip2; orc类型文件支持的压缩类型有NONE、SNAPPY（需要用户安装SnappyCodec）。 必选：否 默认值：无压缩

  • hadoopConfig
描述：hadoopConfig里可以配置与Hadoop相关的一些高级参数，比如HA的配置。"hadoopConfig":{"dfs.nameservices": "testDfs","dfs.ha.namenodes.testDfs": "namenode1,namenode2","dfs.namenode.rpc-address.aliDfs.namenode1": "","dfs.namenode.rpc-address.aliDfs.namenode2": "","dfs.client.failover.proxy.provider.testDfs": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"}
  • encoding

描述：写文件的编码配置。 必选：否 默认值：utf-8，慎重修改

  • haveKerberos

描述：是否有Kerberos认证，默认false 例如如果用户配置true，则配置项kerberosKeytabFilePath，kerberosPrincipal为必填。 必选：haveKerberos 为true必选 默认值：false

  • kerberosKeytabFilePath

描述：Kerberos认证 keytab文件路径，绝对路径 必选：否 默认值：无

  • kerberosPrincipal

描述：Kerberos认证Principal名，如xxxx/hadoopclient@xxx.xxx 必选：haveKerberos 为true必选 默认值：无

"haveKerberos": true,
"kerberosKeytabFilePath": "/etc/security/keytabs/winner_hdp.keytab",
"kerberosPrincipal": "winner_hdp@WINNER.COM",


 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.tpcf.cn/news/121136.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

读高性能MySQL（第4版）笔记21_读后总结与感想兼导读

读高性能MySQL（第4版）笔记21_读后总结与感想兼导读

1. 基本信息 高性能MySQL：经过大规模运维验证的策略（第4版） High Performance MySQL, Fourth Edition [美] Silvia Botros(西尔维亚博特罗斯)；Jeremy Tinley(杰里米廷利) 电子工业出版社,2022年10月出版 1.1. 读薄率 书籍总字…
阅读更多...
HarmonyOS DevEso环境搭建

HarmonyOS DevEso环境搭建

DevEco Studio 3.1配套支持HarmonyOS 3.1版本及以上的应用及服务开发，提供了代码智能编辑、低代码开发、双向预览等功能，以及轻量构建工具DevEco Hvigor 、本地模拟器，持续提升应用及服务开发效率。 1.下载 官方网站： HUAWEI De…
阅读更多...
Python深度学习实战-基于tensorflow原生代码搭建BP神经网络实现分类任务（附源码和实现效果）

Python深度学习实战-基于tensorflow原生代码搭建BP神经网络实现分类任务（附源码和实现效果）

实现功能 前面两篇文章分别介绍了两种搭建神经网络模型的方法，一种是基于tensorflow的keras框架，另一种是继承父类自定义class类，本篇文章将编写原生代码搭建BP神经网络。 实现代码 import tensorflow as tf from sklearn.datasets import…
阅读更多...
Transit path

Transit path

一、什么是Transit path "Transit" 路径通常指的是网络上的一种数据传输路线或路径，该路线用于在计算机网络中传递数据包。这个术语通常在网络和通信领域中使用，用于描述数据从一个地方传输到另一个地方的路线或路径。 在计算机网络中&#…
阅读更多...
使用spring boot的程序主线程中异步访问外部接口

使用spring boot的程序主线程中异步访问外部接口

如题。之所以要采用异步方式，是因为外部接口不可控，无法预测。如果对方不在线，因而无法访问，只有靠超时抛出异常，容易造成堵塞。 比如下面的代码，有2个定时器，其中刷新设备数据每2秒1次&#x…
阅读更多...
有了InheritableThreadLocal为啥还需要TransmittableThreadLocal？

有了InheritableThreadLocal为啥还需要TransmittableThreadLocal？

有了InheritableThreadLocal为啥还需要TransmittableThreadLocal？ 典型回答 InheritableThreadLocal是用于主子线程之间参数传递的，但是，这种方式有一个问题，那就是必须要是在主线程中手动创建的子线程才可以，而现在池…
阅读更多...
ssh连接远程服务器，并在终端安装anaconda

ssh连接远程服务器，并在终端安装anaconda

官网下载安装：anaconda2023.09版本（官网地址：https://www.anaconda.com/download#downloads） wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh使用阿里云镜像下载安装，官网下载太慢。阿…
阅读更多...
2698 求一个整数的惩罚数 （子集和，DFS）

2698 求一个整数的惩罚数 （子集和，DFS）

class Solution { public:bool dfs(int target, string s, int index, int sum) {// 只有整个字符串都被分割，求和，和看结果是不是等于targetif(index s.size()) {return sum target;}int num 0; // 在现在的子集中去依次加入余下的元素// 1 2 9 6// …
阅读更多...
支付宝证书到期更新完整过程

支付宝证书到期更新完整过程

如果用户收到 支付宝公钥证书 到期通知后，可以根据如下指引更新证书 确认上传成功后就会生成新的证书，把新的证书替换到生产环境就可以了
阅读更多...
浏览器事件循环 （event loop）

浏览器事件循环 （event loop）

进程与线程 进程 进程的概念 进程是操作系统中的一个程序或者一个程序的一次执行过程，是一个动态的概念，是程序在执行过程中分配和管理资源的基本单位，是操作系统结构的基础。 简单的来说，就是一个程序运行开辟的一块内存空间&a…
阅读更多...
RocketMQ事务消息 超时重发还是原来的消息吗？

RocketMQ事务消息 超时重发还是原来的消息吗？

以下面的一个demo例子来分析一下，探索RocketMQ事务消息原理。 public static final String PRODUCER_GROUP "tran-test";public static final String DEFAULT_NAMESRVADDR "127.0.0.1:9876";public static final String TOPIC "Test&qu…
阅读更多...
【CSS】CSS 属性计算过程

【CSS】CSS 属性计算过程

1. 概述 我们所书写的任何一个 HTML 元素&#xff0c;实际上都有完整的一整套 CSS 样式。如果没有修改某样式&#xff0c;大概率可能使用默认值。 例如&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"&…
阅读更多...
3台Centos7快速部署Kafka集群

3台Centos7快速部署Kafka集群

首先&#xff0c;我要说&#xff0c;Kafka 是强依赖于 ZooKeeper 的&#xff0c;所以在设置 Kafka 集群之前&#xff0c;我们首先需要设置一个 ZooKeeper 集群。 部署ZooKeeper需要安装jdk yum install java-1.8.0-openjdk 安装完以后 下面是详细的步骤&#xff1a; 1. 安装和…
阅读更多...
iOS_Crash 四：的捕获和防护

iOS_Crash 四：的捕获和防护

文章目录 1.Crash 捕获1.2.NSException1.2.C异常1.3.Mach异常1.4.Unix 信号 2.Crash 防护2.1.方法未实现2.2.KVC 导致 crash2.3.KVO 导致 crash2.4.集合类导致 crash2.5.其他需要注意场景&#xff1a; 1.Crash 捕获 根据 Crash 的不同来源&#xff0c;分为以下三类&#xff1a…
阅读更多...
NReco.LambdaParser使用案例

NReco.LambdaParser使用案例

使用案例集合&#xff1a; private async void RuleEngine_Click(object sender, EventArgs e){#region 获取变量string expression this.Rule.Text.Trim();string pattern "\$(.*?)\$";MatchCollection matches Regex.Matches(expression, pattern);foreach (Ma…
阅读更多...
day38（VueJS）概念 开发模式 框架的特点 启动步骤 指令 以及 小案例

day38（VueJS）概念 开发模式 框架的特点 启动步骤 指令 以及 小案例

概念 概念&#xff1a;Vue 是一套使用 Javascript 构建用户界面的渐进式框架。 Vue 框架涉及的内容有&#xff1a;Vue.js 开发概述、环境搭建、 Vue 指令、组件化应用构建、组件通信、组件嵌套、自定义指令、 自定义过滤器、组件属性、组件的路由、路由跳转。 注意&#xff1a…
阅读更多...
unity 基于UGUI的无限动态滚动列表

unity 基于UGUI的无限动态滚动列表

基于UGUI的动态滚动列表&#xff0c;主要支持以下功能&#xff1a; 继承自UGUI的SrollRect&#xff0c;支持ScrollRect的所有功能&#xff1b; 使用对象池来管理列表元素&#xff0c;以实现列表元素的复用&#xff1b; 支持一行多个元素或一列多个元素&#xff1b; 可使用不…
阅读更多...
ubuntu 22.04 jammy 手动安装 python 3.6

ubuntu 22.04 jammy 手动安装 python 3.6

1 准备编译器 sudo apt-get install -y make build-essential libssl-dev zlib1g-dev \ libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev \ libncursesw5-dev xz-utils tk-dev libffi-dev liblzma-dev \ libgdbm-dev libnss3-dev libedit-dev libc…
阅读更多...
vue3 项目搭建教程整理

vue3 项目搭建教程整理

这里写目录标题 一、node二、npm三、搭建项目四、安装插件 一、node 查node版本&#xff1a;node –v　管理nodejs的版本 二、npm 查npm版本&#xff1a; npm –v1、安装指定版本&#xff08;6.14是具体的版本号&#xff09; npm install npm6.14 -g2、安装最新版本 npm ins…
阅读更多...
【MyBatis Plus】深入探索 MyBatis Plus 的条件构造器，自定义 SQL语句，Service 接口的实现

【MyBatis Plus】深入探索 MyBatis Plus 的条件构造器，自定义 SQL语句，Service 接口的实现

文章目录 前言一、条件构造器1.1 什么是条件构造器1.2 QueryWrapper1.3 UpdateWrapper1.4 LambdaWrapper 二、自定义 SQL 语句2.1 自定义 SQL 的基本用法2.2 自定义 SQL 实现多表查询 三、Service 接口3.1 对 Service 接口的认识3.2 实现 Service 接口3.3 实现增删改查功能3.4 …
阅读更多...
最新文章

Copyright @ 2022~2023