文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

datastage获取csv文件,并插入数据库

2024-04-02 19:55

关注

datastage操作流程

文档创建人: 月夜枫

日期:20180112

版本:V1.0

1、处理文件

本次项目的源文件来源于10.126.124.39服务器,39服务器并未开启ftp功能,但是开启了目录共享功能.

1.1、使用bat批处理脚本先将源数据拷贝到本地服务器10.126.124.14中
1.2、同时将多个文件进行合并,方便后续datastage调用,提高效率,否则需要多次运行datastage中job

datastage获取csv文件,并插入数据库

2、创建job,准备全局job参数

创建job,对job进行参数配置,主要包含:链接服务器参数,链接数据库参数,在数据转换过程中需要的系统参数

datastage获取csv文件,并插入数据库

3、创建ftp源组件

3.1、在job界面,palette栏,获取一个process相关组件Ftp,设置 properties参数

datastage获取csv文件,并插入数据库

注:connect参数是源文件所在服务器的ftp的登陆账号密码,需要网络管理员设置。

3.2、Format参数设置

datastage获取csv文件,并插入数据库

3.3、column参数设置,选择自己创建的table difination,自动引入,在4.1有具体创建步骤

datastage获取csv文件,并插入数据库

3.4、配置好参数,检查配置问题。

在3.1图中,有一个view data,若配置成功,则可以通过在此可以读取到数据。

注:若出现中文乱码,在下面进行更改字符集

点击下面按键更改


datastage获取csv文件,并插入数据库

选择NLS,更改字符集

 datastage获取csv文件,并插入数据库

4、创建Nettza数据库目标组件

4.1、需要创建一个nettza数据库对应的table difinition组件,保存在对应的目录底下,后续使用。

创建步骤:在主页面

import-à table difinition-à Start Connector Import Wizard -à Nettza Connector

-à录入账号密码地址等相关信息 -à选择需要的表,或已经创建的表

4.2、创建数据库目标组件

在job界面,palette栏,获取一个database选择nettza connector,配置相关参数

datastage获取csv文件,并插入数据库

配置column参数和3.3方式一样,再此不重复讲解。

 

5、创建transformer转换规则

创建transformer,在job界面,palette栏,获取两个link箭头按照数据扭转方向进行连接三个组件。

设置transformer的参数

1、需要点击下图按钮1进行组件column的1对1关联

2、若需要对目标表的数据进行处理选择下图2的地方进行选择,可以更改数据类型,对目标数据进行转换等操作

datastage获取csv文件,并插入数据库

 

6、测试

保存文件,编译,运行,录入参数进行运行,根据日志进行测试,排查bug

datastage获取csv文件,并插入数据库

7、制作windows定时任务

1、进入定时任务管理器

开始,控制面板,系统和安全,管理工具,任务计划,打开之后

界面如下

右键“任务计划程序”,创建任务,录入任务名称和描述

最后需要录入管理员账户密码

datastage获取csv文件,并插入数据库


2、更改定时任务

双击点开任务的属性,注意更改属性为不管是否登陆与否都要运行,并使用最高权限运行。

datastage获取csv文件,并插入数据库

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     807人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     351人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     314人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     433人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     221人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-数据库
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯