linux下安装datastage

到文件安装到的目录下面去找相应的驱动，下面配置文件相同

DataStageV8.5配置连接oracle操作手册

DataStageV8.5配置连接oracle 操作手册 编制：长安铃木信息系统课 王川 2012-5-7

目录 1概述 (4) 1.1编写目的 (4) 1.2系统配置 (4) 1.3事前准备 (4) 2开始安装客户端 (4) 3配置DATASTAGE 环境 (6) 4配置测试 (7)

文档版本记录 版本编号变更内容变更人日期

DataStageV8.5配置连接oracle 操作手册 1概述 1.1 编写目的 DataStage V8.5 在安装后默认支持DB2 数据库，为了实现抽取ORACLE 数据库，需要配置服务器端。 1.2 系统配置 DataStage V8.5 Suse linux server sp1 1.3 事前准备 1、安装XFTP：传递文件。 2、开启SSH服务：终端控制。 3、Oracle官网下载11g client。 https://www.sodocs.net/doc/4811844026.html,/technetwork/database/enterprise-edition/downloads/112010-linuxsoft- 085393.html 2开始安装客户端 1、FTP上传linux_11gR2_client.zip ，并解压至TMP目录。 2、创建组和权限。 groupadd oinstall groupadd dba useradd –g oinstall –G dba –m oracle passwd oracle mkdir –p /home/oracle/ chown -R oracle:oinstall /home/oracle/ 3、修改环境配置文件。 /etc/sysctl.conf 加上如下内容 fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.shmall = 2097152 kernel.shmmax = 536870912 kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 net.ipv4.ip_local_port_range = 9000 65500 net.core.rmem_default = 262144 net.core.rmem_max = 4194304 net.core.wmem_default = 262144 net.core.wmem_max = 1048586 net.ipv4.tcp_wmem = 262144 262144 262144 net.ipv4.tcp_rmem = 4194304 4194304 4194304

Datastage 安装后启动was失败

按照安装教程安装虚拟机版的datastage 8.7后，使用命令启动was失败 [plain]view plain copy https://www.sodocs.net/doc/4811844026.html,srvr:~ # /opt/IBM/WebSphere/AppServer/bin/startServer.sh server1 2.ADMU0116I: Tool information is being logged in file 3. /opt/IBM/WebSphere/AppServer/profiles/InfoSphere/logs/server1/sta rtServer.log 4.ADMU0128I: Starting tool with the InfoSphere profile 5.ADMU3100I: Reading configuration for server: server1 6.ADMU3200I: Server launched. Waiting for initialization status. 7.ADMU3011E: Server launched but failed initialization. startServer.log, 8. SystemOut.log(or job log in zOS) and other log files under 9. /opt/IBM/WebSphere/AppServer/profiles/InfoSphere/logs/server1 sho uld 10. contain failure information. 按照提示查看报错日志： [html]view plain copy https://www.sodocs.net/doc/4811844026.html,srvr:/opt/IBM/WebSphere/AppServer/profiles/InfoSphere/logs/server1 # tai l -100 SystemErr.log 2. at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 3. at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorI mpl.java:60) 4. at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodA ccessorImpl.java:37) 5. at https://www.sodocs.net/doc/4811844026.html,ng.reflect.Method.invoke(Method.java:611) 6. at https://www.sodocs.net/doc/4811844026.html,uncher.Main.invokeFramework(Main.java:340) 7. at https://www.sodocs.net/doc/4811844026.html,uncher.Main.basicRun(Main.java:282) 8. at https://www.sodocs.net/doc/4811844026.html,uncher.Main.run(Main.java:981) 9. at https://www.sodocs.net/doc/4811844026.html,unchEclipse(WSPreLauncher .java:340) 10. at com.ibm.wsspi.bootstrap.WSPreLauncher.main(WSPreLauncher.java:110 ) 11.Caused by: https://www.sodocs.net/doc/4811844026.html,.ascential.xmeta.repository.core.CoreRepositoryException: Error initializ ing persistence manager module 13. at com.ascential.xmeta.repository.core.impl.DefaultSandbox.(De faultSandbox.java:70) 14. at https://www.sodocs.net/doc/4811844026.html,ng.J9VMInternals.newInstanceImpl(Native Method)

centos中GIT服务器搭建及使用密钥连接

GIT服务器搭建方法,及windows下使用SSH密钥进行GIT连接 一桶咖啡20131030 1.安装CENTOS6 2.关闭SELinux #vi /etc/selinux/config 3.安装GIT #yum install git 4.创建GIT裸版本库 $cd ~ $git init --bare my.git 5.建立密钥 注意一定要在服务器端生成密钥对，因为TortoiseGit中使用的PUTTYGEN 生成的密钥格式和CENTOS中的OPENSSH使用的密钥格式不同。 在服务器上如下操作： $ cd ~ $ ssh-keygen -t rsa $ chmod 700 ~/.ssh $ cat id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 600 ~/.ssh/authorized_keys 6.使用ROOT配置SSH参数 #vi /etc/ssh/sshd_config 开启： RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys 7.重新启动服务器

8.客户端安装win版GIT和TortoiseGit 下载地址： https://www.sodocs.net/doc/4811844026.html,/p/msysgit/downloads/list?q=full+installer+official+git https://www.sodocs.net/doc/4811844026.html,/p/tortoisegit/wiki/Download?tm=2 9.将服务器上~/.ssh/id_rsa私钥文件复制到客户端。 10.从开始菜单TortoiseGit项中找到Puttygen，点击启动该程序。 11.用Puttygen程序LOAD你下载到本地的私钥文件，后会出现格式转化的 提示。

DataStage-V11.3部署手册

DataStageV11.3 安装手册 修订记录

一、基础安装环境检查 1.操作系统Redhat Linux6需要的安装补丁包 glibc-2.12-1.107.el6.x86_64 libXp-1.0.0-15.1.el6.x86_64 libXau-1.0.5-1.el6.x86_64 libXext-1.1-3.el6.x86_64 libX11-1.3-2.el6.x86_64 libxcb-1.5-1.el6.x86_64 libXmu-1.0.5-1.el6.x86_64 nss-softokn-freebl-3.14.3-9.el6.x86_64 pam-1.1.1-4.el6_0.1.x86_64 libaio-0.3.107-10.el6.x86_64 libstdc++-4.4.7-3.el6.x86_64 compat-libstdc++-33-3.2.3-69.el6.x86_64 libgcc-4.4.7-3.el6.x86_64 2.检查操作方法 rpm –qa | grep glibc 3.授权文件配置 将授权文件解压至安装文件is-suite文件夹下

二、创建oracle数据库 1.将DataStage初始化Oracle数据库脚本上传至数据库 服务器 2.依次执行数据库初始化脚本 ./create_xmeta_db.sh sys Oracle123 orcldb dsadmin dsadmin'!'123 DATASTAGE /oracle/app/oracle/oradata/orcldb ./create_xmeta_db.sh sys Oracle123 orcldb wsadmin wsadmin'!'123 DATASTAGE1 /oracle/app/oracle/oradata/orcldb

Git+使用教程

Git 中文教程 介绍 Git --- The stupid content tracker, 傻瓜内容跟踪器。Linus 是这样给我们介绍 Git 的。 Git 是用于 Linux 内核开发的版本控制工具。与常用的版本控制工具 CVS, Subversion 等不同，它采用了分布式版本库的方式，不必服务器端软件支持，使源代码的发布和交流极其方便。 Git 的速度很快，这对于诸如Linux kernel 这样的大项目来说自然很重要。 Git 最为出色的是它的合并跟踪（merge tracing）能力。 实际上内核开发团队决定开始开发和使用 Git 来作为内核开发的版本控制系统的时候，世界开源社群的反对声音不少，最大的理由是 Git 太艰涩难懂，从 Git 的内部工作机制来说，的确是这样。但是随着开发的深入，Git 的正常使用都由一些友好的脚本命令来执行，使 Git 变得非常好用，即使是用来管理我们自己的开发项目，Git 都是一个友好，有力的工具。现在，越来越多的著名项目采用 Git 来管理项目开发，例如：wine, U-boot 等，详情看https://www.sodocs.net/doc/4811844026.html,/git 作为开源自由原教旨主义项目，Git 没有对版本库的浏览和修改做任何的权限限制。它只适用于 Linux / Unix 平台，没有 Windows 版本，目前也没有这样的开发计划。 本文将以 Git 官方文档Tutorial，core-tutorial和Everyday GIT作为蓝本翻译整理，但是暂时去掉了对 Git 内部工作机制的阐述，力求简明扼要，并加入了作者使用 Git 的过程中的一些心得体会，注意事项，以及更多的例子。建议你最好通过你所使用的 Unix / Linux 发行版的安装包来安装 Git, 你可以在线浏览本文，也可以通过下面的命令来得到本文最新的版本库，并且通过后面的学习用 Git 作为工具参加到本文的创作中来。 $ git-clone https://www.sodocs.net/doc/4811844026.html,/git/gittutorcn.git 创建一个版本库：git-init-db 创建一个 Git 版本库是很容易的，只要用命令git-init-db就可以了。现在我们来为本文的写作创建一个版本库： $ mkdir gittutorcn $ cd gittutorcn $ git-init-db git 将会作出以下的回应 defaulting to local storage area 这样，一个空的版本库就创建好了，并在当前目录中创建一个叫 .git 的子目录。你可以用 ls -a 查看一下，并请注意其中的三项内容： ● 一个叫 HEAD 的文件，我们现在来查看一下它的内容：

如何安装Linux内核源代码

如何获取Linux内核源代码 下载Linux内核当然要去官方网站了，网站提供了两种文件下载，一种是完整的Linux 内核，另一种是内核增量补丁，它们都是tar归档压缩包。除非你有特别的原因需要使用旧版本的Linux内核，否则你应该总是升级到最新版本。 使用Git 由Linus领头的内核开发队伍从几年前就开始使用Git版本控制系统管理Linux内核了（参考阅读：什么是Git？），而Git项目本身也是由Linus创建的，它和传统的CVS不一样，Git是分布式的，因此它的用法和工作流程很多开发人员可能会感到很陌生，但我强烈建议使用Git下载和管理Linux内核源代码。 你可以使用下面的Git命令获取Linus内核代码树的最新“推送”版本： $ git clone git://https://www.sodocs.net/doc/4811844026.html,/pub/scm/linux/kernel/git/torvalds/linux-2.6.git 然后使用下面的命令将你的代码树与Linus的代码树最新状态同步： $ git pull 安装内核源代码 内核包有GNU zip（gzip）和bzip2格式。Bzip2是默认和首选格式，因为它的压缩比通常比gzip更好，bzip2格式的Linux内核包一般采用linux-x.y.z.tar.bz2形式的文件名，这里的x.y.z是内核源代码的具体版本号，下载到源代码包后，解压和抽取就很简单了，如果你下载的是bzip2包，运行： $ tar xvjf linux-x.y.z.tar.bz2 如果你下载的是gzip包，则运行： $ tar xvzf linux-x.y.z.tar.gz 无论执行上面哪一个命令，最后都会将源代码解压和抽取到linux-x.y.z目录下，如果你使用Git下载和管理内核源代码，你不需要下载tar包，只需要运行git clone命令，它就会自动下载和解压。 内核源代码通常都会安装到/usr/src/linux下，但在开发的时候最好不要使用这个源代码树，因为针对你的C库编译的内核版本通常也链接到这里的。 应用补丁

etl教程

ETL本质 做数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中，ETL上升到了一定的理论高度，和原来小打小闹的工具使用不同了。究竟什么不同，从名字上就可以看到，人家已经将倒数据的过程分成3个步骤，E、T、L分别代表抽取、转换和装载。 其实ETL过程就是数据流动的过程，从不同的数据源流向不同的目标数据。但在数据仓库中，ETL 有几个特点，一是数据同步，它不是一次性倒完数据就拉到，它是经常性的活动，按照固定周期运行的，甚至现在还有人提出了实时ETL的概念。二是数据量，一般都是巨大的，值得你将数据流动的过程拆分成E、T和L。 现在有很多成熟的工具提供ETL功能，例如datastage、powermart等，且不说他们的好坏。从应用角度来说，ETL的过程其实不是非常复杂，这些工具给数据仓库工程带来和很大的便利性，特别是开发的便利和维护的便利。但另一方面，开发人员容易迷失在这些工具中。举个例子，VB是一种非常简单的语言并且也是非常易用的编程工具，上手特别快，但是真正VB的高手有多少？微软设计的产品通常有个原则是“将使用者当作傻瓜”，在这个原则下，微软的东西确实非常好用，但是对于开发者，如果你自己也将自己当作傻瓜，那就真的傻了。ETL工具也是一样，这些工具为我们提供图形化界面，让我们将主要的精力放在规则上，以期提高开发效率。从使用效果来说，确实使用这些工具能够非常快速地构建一个job来处理某个数据，不过从整体来看，并不见得他的整体效率会高多少。问题主要不是出在工具上，而是在设计、开发人员上。他们迷失在工具中，没有去探求ETL的本质。 可以说这些工具应用了这么长时间，在这么多项目、环境中应用，它必然有它成功之处，它必定体现了ETL的本质。如果我们不透过表面这些工具的简单使用去看它背后蕴涵的思想，最终我们作出来的东西也就是一个个独立的job，将他们整合起来仍然有巨大的工作量。大家都知道“理论与实践相结合”，如果在一个领域有所超越，必须要在理论水平上达到一定的高度 探求ETL本质之一 ETL的过程就是数据流动的过程，从不同异构数据源流向统一的目标数据。其间，数据的抽取、清洗、转换和装载形成串行或并行的过程。ETL的核心还是在于T这个过程，也就是转换，而抽取和装载一般可以作为转换的输入和输出，或者，它们作为一个单独的部件，其复杂度没有转换部件高。和OLTP系统中不同，那里充满这单条记录的insert、update和select等操作，ETL过程一般都是批量操作，例如它的装载多采用批量装载工具，一般都是DBMS系统自身附带的工具，例如Oracle SQLLoader和DB2的autoloader 等。 ETL本身有一些特点，在一些工具中都有体现，下面以datastage和powermart举例来说。 1、静态的ETL单元和动态的ETL单元实例；一次转换指明了某种格式的数据如何格式化成另一种格式的数据，对于数据源的物理形式在设计时可以不用指定，它可以在运行时，当这个ETL单元创建一个实例时才指定。对于静态和动态的ETL单元，Datastage没有严格区分，它的一个Job就是实现这个功能，在早期版本，一个Job同时不能运行两次，所以一个Job相当于一个实例，在后期版本，它支持multiple instances，而且还不是默认选项。Powermart中将这两个概念加以区分，静态的叫做Mapping，动态运行时叫做Session。 2、ETL元数据；元数据是描述数据的数据，他的含义非常广泛，这里仅指ETL的元数据。主要包括每次转换前后的数据结构和转换的规则。ETL元数据还包括形式参数的管理，形式参数的ETL单元定义的参数，相对还有实参，它是运行时指定的参数，实参不在元数据管理范围之内。

linux下git安装使用

目的：git在linux上的安装配置包括设置不同用户的权限。 以下软件将被安装 Git Gitosis user1可以对于test仓库有读写权限，user2对于test仓库只有可读权限。 1. 增加yum repository 在CentOS中，在不增加repository情況下是找不到Git的套件的，所以需要增加一個repository。 rpm -Uvh https://www.sodocs.net/doc/4811844026.html,/gist/centos/5/RPM/epel-release-5-3.noarch.rpm 2. 安裝Git, git-web以及gitosis yum -y install git gitweb gitosis 3. 配置Git账号 useradd git # 使用"git"作為管理Git的用戶 passwd git # 更改"git"密码 4. 配置Gitosis su - git # 使用"git"操作 cd ~ # Gitosis需要设置name和email才能进行commit动作 git config --global https://www.sodocs.net/doc/4811844026.html, "用戶显示的名称" git config --global user.email "用戶邮件地址" ssh-keygen -t rsa # "git"用户作为Git服务器的管员, #用它來生成public key 5. 初始化Gitosis su – git gitosis-init < ~/.ssh/id_rsa.pub #Gitosis管理一个特殊的Git 仓库。你只需要在这个特殊仓库内做好相应的设定，然后推送到服务器上，Gitosis 就会随之改变运行策略. #这样该公钥的拥有者就能修改用于配置Gitosis 的那个特殊Git 仓库了。接下来，需要手工对该仓库中的post-update脚本加上可执行权限： chmod 755 /home/git/repositories/gitosis-admin.git/hooks/post-update 6配置git服务选项，取出"gitosis-admin" repository su - git cd ~

【BI安装】Datastage_V8.1.0_for_Rhel5.4_64bit安装文档

Information Server8.1.0安装文档 目录 Information Server8.1.0安装文档 (1) 备注说明： (1) 安装前系统要求： (2) 1)WAS安装包需求： (2) 2)Infomation Server安装包需求： (3) 3)Linux内核参数最低需求 (3) 4)HP-UX内核参数最底要求 (4) 5)产品和必须安装这些产品的层。 (4) 安装步骤： (5) 一、系统环境： (5) 二、修改内核参数，安装必要必定包： (6) 三、安装WAS和两个升级补丁包 (6) 1)安装WAS (6) 2)将WAS升级到6.0.2.0版本 (10) 3)将WAS升级到6.0.2.7版本 (12) 四、安装Information Server (18) 参数配置： (29) 1.配置dsenv文件 (29) 2.配置ODBC参数 (30) 3.配置DS编译器变量 (32) 4.配置dsadm用户的.bash_profile文件 (32) IIS服务启动和停止： (32) 1.服务停止 (32) 3.服务启动 (33) 备注说明： 1.要在Linux?和UNIX?上复用现有的DB2安装，必须使用DB2故障监视组件（需要 在/etc/inittab文件中输入故障监视器（db2fmcd）的路径）。 db2fmcd命令必须指向实际的可执行文件位置，例如： fmc:234:respawn:/u1/IBM/db2/V9/bin/db2fmcd#DB2Fault Monitor Coordinator 2.需要的C++编译器和运行时库：

对于64位HP-UX11i v2on Intel Itaium 6.16acc:HP C/aC++B3910B A.06.14 32位和64位Red Hat Enterprise Linux5Advanced Platform GCC 4.1.2 对于HP-UX11.x和10.x，用下面的命令确定版本: what/opt/CC/bin/CC 3.WAS官网安装文档： https://www.sodocs.net/doc/4811844026.html,/infocenter/wasinfo/v6r0/index.jsp InfoServ文档： https://www.sodocs.net/doc/4811844026.html,/infocenter/iisinfsv/v8r1/index.jsp?topic=/com.ibm.swg.im.iis. productization.iisinfsv.relinfo.doc/topics/iisihrinfo_infsv_rnote_v81ga.html 各种指南：https://www.sodocs.net/doc/4811844026.html,/support/docview.wss?rs=14&uid=swg27013660 DB2官方文档： https://www.sodocs.net/doc/4811844026.html,/infocenter/db2luw/v9r5/index.jsp?topic=/com.ibm.db2.luw.qb.se rver.doc/doc/t0006477.html 结构拓扑图： 安装前系统要求： 1)WAS安装包需求： compat-libstdc++-33-3.2.3-61

Linux操作系统的安装配置(吐血之作)

Linux操作系统的安装配置 文档记录： RedHat操作系统的安装 1.放入REDHAT ENTERPRISE LINUX 5.0安装光盘，并 设置为光盘启动。 启动成功后，如图1。输入linux text（采用文本模式）确认回车。

建议：REDHAT ENTERPRISE LINUX 5.0支持新服务器驱动，如：HP380G6 2.选择在准备安装之前是否检测光驱 一般选择SKIP跳过，开始安装，如图2：

3.选择安装过程的语言 选择English (在linux中使用Tab,切换光标的位置,使用空格键选中选项)回车，如图3： 4.选择键盘 选择US（美国键盘）回车，如图4：

5.选择安装LINUX服务代码 序列号为：2515dd4e215225dd 安装与不安装的区别： 红帽企业版的服务代码，不仅仅是升级，还包含很多售后服务和技术支持，如图5： 6.选择分区方法 选择Create custom layout,如图6：

7.分区 使用F2新建一个分区,出现图7： Mount Point ：Bstarsrv1 挂接点，像/root、/bin、/etc、/usr、/home等等。 Filesystem Type：文件格式，例如windows中的fat32格式,windows 2000中的ntfs格式。Bstarsrv1中现在最常用的是

ext3、swap等。Swap是交换分区格式。 Fixed Size：自定义空间大小。 Fill all available space：使用所有可用空间 Force to be a primary partition：强制使用主分区 Check for a bad block ：检测坏块 一般只需要将系统分为3个分区，同样的方法建立以下分区。/boot 启动目录100M swap 数据交换分区内存的2倍 / 根目录Fill all available space 建立数据交换分区时，不用输入挂接点，直接在File system 中，使用上下键选择swap格式，大小为内存的2倍。如图8： （根据实际调整仅供参考）下图是在8G的硬盘分区示意图9：

datastage常用组件使用方法：

常用组件使用方法： 1. Sequential file 功能特点：适用于一般顺序文件（定长或不定长），可识别文本文件或IBM大机ebcdic文件。 使用要点： 按照命名规范命名 点住文件，双击鼠标，在general说明此文件内容，格式，存储目录等。 2. Annotation 功能特点： 一般用于注释，可利用其背景颜色在job中分颜色区别不同功能块 3. Change Capture Stage 功能特点： Change Capture Stage有两个输入，分别标记为before link 及after link。输出的数据表示before link 和after link的区别，我们称作change set。Change Capture Stage可以和Change Apply Stage配合使用来计算after set。 使用要点： key及value的说明：key值是比较的关键值，value是当key值相同是作进一步比较用的。 change mode选项说明： All keys，Explicit Values 需要指定value，其余字段为key Explicit Keys&Values key及value都需要指定

Explicit Keys，All Values 需要指定key，其余的字段为value 输出策略说明： Drop Output For Copy False：保留before及afte link中key值相同的行 True：删除before及afte link中key值相同的行 Drop Output For Delete False：保留before link中有但是after link中没有的key值所在的行 True：删除before link中有但是afte link中没有的key值所在的行 Drop Output For Edit False：保留key值相同,value不同的行 True：删除key值相同,value不同的行 Drop Output For Insert False：保留before link中没有但afte link中有的key值所在的行 True：删除before link中没有但afte link中有的key值所在的行 4. Copy Stage 功能说明： Copy Stage可以有一个输入，多个输出。他可以在输出时改变字段的顺序，但是不能改变字段类型。 注意： 当只有一个输入及一个输出时最好将Force设置为True，这样可以在Designer里看到运行结束，否

DataStage8.7安装文档

DataStage 8.7安装文档 官方参考： https://www.sodocs.net/doc/4811844026.html,/infocenter/iisinfsv/v8r7/index.jsp?topic=%2Fcom.ibm.swg.im.iis.producti zation.iisinfsv.install.doc%2Ftopics%2Fwsisinst_topinstall.html 1.安装前配置 操作系统：Redhat Enterprise Linux 6.2 64位 注：由于是在Linux下安装DataStage，最好熟悉基本的linux命令的使用。 1、需要安装以下rpm包，32位和64位都需要。 glibc-2.12-1.47 libXp-1.0.0-15.1 libXau-1.0.5-1 libXext-1.1-3 libX11-1.3-2 libxcb-1.5-1 nss-softokn-freebl-3.12.9-11 libXmu-1.0.5-1 libXtst-1.0.99.2-3 libXft-2.1.13-4.1 freetype-2.3.11-6 fontconfig-2.8.0-3 libgcc-4.4.6-3 libstdc++-4.4.6-3. compat-libstdc++-33-3.2.3-69 2、关闭防火墙 关闭：service iptables stop 查看状态：service iptables status 3、禁用selinux 编辑/etc/selinux/config文件，修改SELINUX=disabled，修改后需要重启操作系统。 查看状态：sestatus 4、创建用户 groupadd -g 502 daspgrp groupadd -g 503 db2fgrp groupadd -g 504 db2igrp groupadd -g 505 dstgrp useradd -d /home/dasusr1 -m -g 502 -u 701 dasusr1 useradd -d /home/db2fenc1 -m -g 503 -u 702 db2fenc1 useradd -d /home/db2inst1 -m -g 504 -u 703 db2inst1 useradd -d /home/dsadm -m -g 505 -u 704 dsadm

datastage入门教程

简介 DataStage 使用了Client-Server 架构，服务器端存储所有的项目和元数据，客户端DataStage Designer 为整个ETL 过程提供了一个图形化的开发环境，用所见即所得的方式设计数据的抽取清洗转换整合和加载的过程。Datastage 的可运行单元是Datastage Job ，用户在Designer 中对Datastage Job 的进行设计和开发。 Datastage 中的Job 分为Server Job, Parallel Job 和Mainframe Job ，其中 Mainframe Job 专供大型机上用，常用到的Job 为Server Job 和Parallel Job 。 本文将介绍如何使用Server Job 和Parallel Job 进行ETL 开发。 Server Job 一个Job 就是一个Datastage 的可运行单元。Server Job 是最简单常用的Job 类型，它使用拖拽的方式将基本的设计单元-Stage 拖拽到工作区中，并通过连线的方式代表数据的流向。通过Server Job，可以实现以下功能。 1.定义数据如何抽取 2.定义数据流程 3.定义数据的集合 4.定义数据的转换 5.定义数据的约束条件 6.定义数据的聚载 7.定义数据的写入 Parallel Job Server Job 简单而强大，适合快速开发ETL 流程。Parallel Job 与Server Job 的不同点在于其提供了并行机制，在支持多节点的情况下可以迅速提高数据处理效率。Parallel Job 中包含更多的Stage 并用于不同的需求，每种Stage 使用上的限制也往往大于Server Job。 Sequence Job Sequence Job 用于Job 之间的协同控制，使用图形化的方式来将多个Job 汇集在一起，并指定了Job 之间的执行顺序，逻辑关系和出错处理等。 数据源的连接 DataStage 能够直接连接非常多的数据源，应用范围非常大，可连接的数据源包括： ?文本文件 ?XML 文件

GIT使用操作指南

GIT使用说明GIT使用说明

说明 本文档只是日常工作中一些使用步骤的简单归纳，旨在帮助大家快速用上GIT，如 有疏漏，请大家发邮件yuxiao.qiao@https://www.sodocs.net/doc/4811844026.html,，会及时进行改进，谢谢。文档简介 1.安装支持中文文件名的Git 命令行软件包MsysGit。 2.在MsysGit 中生成用来访问Git 版本控制库的公钥数据。 3.安装Git 图形界面客户端软件TortoiseGit。 4.配置TortoiseGit。 5.在服务器中新建版本库。 6.TortoiseGit使用简介。

目录 1.安装MSYSGIT (3) 2.生成SSH 密钥 (7) 2.1.Linux系统 (7) 2.2.Windows操作系统 (8) 2.3.添加ssh文件 (9) 3.安装TORTOISEGIT (11) 4.配置TORTOISEGIT (12) 5.新建版本库 (14) 6.TORTOISEGIT使用 (15) 6.1.Clone版本库 (16) 6.2.设置参数 (17) 6.3.新增文件 (18) 6.4.修改文件 (23) 6.5.删除文件 (28)

GIT 使用指南1.安装MsysGit 1.下载安装程序，下载地址： https://www.sodocs.net/doc/4811844026.html,/files/Git-1.8.1.2-preview20130201.exe 2.双击安装软件，进入安装页面，单击“next”，在以下页面中设置软件安装路 径。 3.配置命令行快捷方式，在安装中会出现设置如何与Windows 的文件浏览器结 合的界面，设置成“可在目录上点右键直接进入该目录的Git 命令行”，如 下图所示：

datastage入门培训

一、工具入门 DataStage是一个ETL的工具，就是对数据的抽取，转换，加载。个人通俗的理解就是一个对数据进行处理，提取的工具，这里面的数据大部分是以数据库中表的格式存在着的，所以如果要使用这个工具，首先必须对关系数据库的一些基本概念要有所了解，比如最基本的字段，键，记录等概念。 DataStage是通过设计job来实现ETL的功能的。 Job的设计跟普通的IDE设计一样，通过拖拽控件，并填加脚本来完成。这里的控件称为stage，每一个不同的stage都有不同的数据处理的功能，将各个stage通过一定的方式组合起来，设计成job，对job进行编译，运行，就能够实现对数据抽取转换加载。 1,安装datastage,看学习指导，先对该工具有个大概的认识,大概知道administrator,design,director,manager的区别。 了解datastage工具的主要用途：简单的说就是把一批数据input进来，经过各种各样的转化，清洗，然后在output出去,整个就是ETL 的过程。 对4个工具我们最常做的操作有： Administrator：1、对Project的管理，主要是建立和删除project; 2、对Licensing的管理，主要是更换Licensing。 design：datastage的核心，所有的开发都在design里面完成，在这里可以编辑你的job,使用各种stage控件。 director：1、查看日志，当运行job结束时，无论job成功或者失败，我们都可以在director 里面查看日志，里面能反映我们job运行的状态，经常job出错我们都是先查看日志，然后分析原因，再到design里面修改。 2、director的另外一个很有用的功能是logout job,当服务器或者网络出问题时，正在编辑的job很有可能被锁定，这时你就算把design关了再重新登陆还是无法打开job,会提示job has been used, 这就需要到director里面把job logout，然后就可以使用了。manage：manage的最主要的功能是可以对design里面的资源进行导入导出，当我们要把开发的job从一台机器转移到另外一台机器时，就需要用到。 二、开始学习使用design,做一些简单的job,接触几个常用的stage。 做练习1的1-2至4-2的练习，练习中用到的Oracle组件全部用sequence file 代替， 1-2练习中会教你导入练习所要用到的表的结构，练习中要用到的数据文件放在数据及表定义目录下。（表定义可以通过manage工具导入，但是数据文件必须自己手工导入，所以开发前请先将数据及表定义目录下面的所有.txt的数据文件导到你所使用的datastage的开发环境上，导数据文件的方法可以使用ftp工具） 要设计job的关键，就在于能够熟悉每个不同的stage并且能够灵活运用。在文档和指导中有对每个控件的使用方法作了图文并茂的说明，但是教材语言的一个缺点就是太过形式化，所以有些概念不能够很好的理解。比如lookup这个stage我在看教材的时候就没有太了解。所以，我就结合自己，用自己的语言对一些比较常用的stage说一下自己的理解和一些需要注意的地方。 几个常用stage的经验总结： Sequential File Stage：这个控件实际上是指代主机上面的一个文件，在它的属性中可以选定文件的路径，目录。一般这些文件都是以类似数据库表的格式存在的。使用这个控

Git版本控制的安装使用指南

1. 概述 Git是基于Linux内核开发的分布式版本控制／软件配置管理软件，与CVS、Subversion 等集中式版本控制软件不同，Git采用分布式管理，不需要服务器端软件即可运行。Git速度很快，并且具有很出色的合并追踪能力。很多有名的软件开发都使用Git来进行版本控制，其中有Linux内核、https://www.sodocs.net/doc/4811844026.html,服务器和OLPC内核开发等。 作为开源软件的代表，Git不对版本库的浏览和修改作任何的权限限制，因此只能采用其他工具实现权限管理，如gitosis、gitolite、CodeBeamer MR。 原本Git的使用只限于Linux/Unix，由于Cygwin、msysgit、TortoiseGit等GUI工具的出现，在Windows平台的使用逐渐成熟。 2. Git安装 2.1 安装Git 安装Git作为客户端，运行客户端可通过Git Bash（Git的命令行）或Git GUI操作。Windows下使用Git-1.7.8-preview20111206.exe，安装要点如下：

上述图片所示选项，似乎也不确定，网上帖子安装教程各种选项都有。安装完后，点击桌面Git Bash启动，执行命令pwd查看默认进入的文件目录，执行下面命令：mkdir .ssh （注意文件名前有.），即在默认目录下建立.ssh文件夹。修改环境变量，桌面右击我的电脑， 在属性中选择高级选项，左击环境变量，在系统变量中选择新建或编辑

下面列出一些问题的解决方法： a. Git Bash中ls不能显示中文目录（可直接打开编辑）：在 git/etc/git-completion.bash中增加一行： alias ls='ls --show-control-chars --color=auto'，注意引号为中文单引号，重启Git Bash b. Git commit不能提交中文注释：修改git/etc/inputrc中对应的行： set output-meta on set convert-meta off c. git log无法显示中文注释，在git/etc/profile中增加一行： export LESSCHARSET=iso8859 安装完后，需要在Git Bash中注册本人信息： git config --global https://www.sodocs.net/doc/4811844026.html, Your Name git config --global user.email your@email.address 在服务端，即Ubuntu，安装Git： sudo apt-get install git-core git-doc 3. Gitolite安装

DataStage安装和配置手册

DataStage 安装和配置手册 1安装环境检查 ●安装用户 在本项目中，约定以administrator用户安装DataStage V8.1 ●系统平台需求（Windows） Windows Server 2003 Service Pack 2、 ●IBM InfoSphere Information Server console需求 系统必须安装Microsoft .NET Framework 1.1 Service Pack 1 注意:系统必须从Microsoft .NET Framework 1.1 升级到Microsoft .NET Framework 1.1 Service Pack 1 ●IBM InfoSphere Information Server Web console 需求 Microsoft Internet Explorer 6 Service Pack 2 Microsoft Internet Explorer 7 Mozilla Firefox 2 ●Engine tier software requirements(Windows) InfoSphere QualityStage and InfoSphere DataStage需要C++ SDK 编译器：Microsoft Visual C++ .NET 2003 Microsoft Visual Studio 2005 Professional Edition C++ Microsoft Visual Studio .NET 2005 Express? Edition C++ ●硬件需求 Memroy需求 DataStage Client至少需要2G 内存 DataStage Server 至少需要4G 内存 Disk 需求： 1.3 GB for WebSphere Application Server 500 MB for DB2 1.4 GB for the InfoSphere Information Server components 2.5 GB for the metadata repository database