准备您的PC
如果您使用的是 Windows PC,在安装过程中可能需要额外的软件。建议在安装 Trafodion 之前,预先安装可能需要的软件。
安装 PC 软件:
- putty和 puttygen (下载地址 PuTTy网站)
- VNC客户端 (下载地址 http://www.realvnc.com )
- Firefox或Chrome 浏览器
- SFTP 客户端(从PC向服务器传输文件): WinSCP 或 FileZilla
准备您的集群环境
在安装 Trafodion 之前, 查看以下章节来了解配置需求,准备进行安装:
集群配置需求
以下配置已经过测试,适用于Trafodion的安装:
硬件平台 | x86-64 |
操作系统 |
|
用户ID | 具有无密码 sudo 访问权限的用户ID。 参阅 获取sudo权限和无密码SSH访问。 |
集群规模 | 一个集群包含1到N个节点,节点数目前尚无最高限制。推荐的最低配置是两个节点,单节点集群应该也可以运行。 |
磁盘空间 | 至少20 GB。 参阅 检查磁盘空间(仅Cloudera)。 |
内存 | 至少1 GB * 每个集群配置的连接服务器(MXOSRVR进程)的数量。 |
检查磁盘空间(仅Cloudera)
Cloudera的数据库至少需要20 GB的磁盘空间,默认的安装路径是“/var/lib/cloudera-scm-server-db”。启动一个putty会话,或在将要安装Cloudera的集群中的节点上启动VNC终端窗口来检查/var的可用空间。执行以下命令,需要root或sudo访问权限。
确保/var至少有20 GB的可用空间。
cd "/var" df -hP
如果/var没有足够的可用空间,可行的解决方案是给Cloudera数据库提供到另外一个磁盘驱动的软链接。查找拥有足够空间的磁盘驱动。
cd <new drive> (e.g. cd /DATA) mkdir cloudera-scm-server-db chmod 777 cloudera-scm-server-db cd /var/lib ln -s <new drive>/cloudera-scm-server-db .
如果/var是集群根文件系统的子目录,那么Cloudera数据库应该有足够的可用空间。
如果Cloudera已经安装并且日志目录显示红色,那就表示Cloudera的安装使用了/var/lib并且/var文件系统没有足够空间。在这种情况下,可以使用一个非正式的脚本来移动目录。解压安装脚本installer tar.gz,在installer/tools目录下,运行clouderaMoveDB.sh脚本显示帮助信息。
获取sudo权限和无密码SSH访问
Trafodion 安装需要具有以下属性的用户ID:
- sudo权限
- 无密码SSH访问集群中所有节点
您可能需要向集群的管理团队申请此类型的访问权限。
下面的示例演示如何设置用户ID来实现“无密码SSH访问”。
echo -e 'y\n' | ssh-keygen -t rsa -N "" -f $HOME/.ssh/id_rsa cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys echo localhost $(cat /etc/ssh/ssh_host_rsa_key.pub) >> $HOME/.ssh/known_hosts echo "NoHostAuthenticationForLocalhost=yes" >> $HOME/.ssh/config chmod 600 $HOME/.ssh/config
运行这些命令之后,需要复制公钥文件$HOME/.ssh/id_rsa.pub
的内容,追加到其他节点的$HOME/.ssh/authorized_keys
文件。 还需要复制头节点的私钥文件$HOME/.ssh/id_rsa
到其他节点的$HOME/.ssh
目录,并且设置私人权限(chmod 700)。
禁用requiretty
禁用requiretty使sudo命令可以从安装脚本内部运行。
为了确保requiretty不被使用,在/etc/sudoers文件里注释掉“Defaults requiretty”。
配置LDAP身份存储库
如果您计划开启Trafodion身份验证,则需要有可用来进行身份验证的LDAP身份存储库。Trafodion 安装程序会提示设置身份验证配置文件指向LDAP服务器(或服务器),在Trafodion系统中开启安全功能(即身份验证和授权)。如果想手动设置身份验证配置文件并开启安全功能,请参阅 开启安全功能.
安装支持的Hadoop发行版
Trafodion 1.1版本兼容以下发行版:
发行版 | 版本 | HBase版本 | 安装 | 附加信息 |
---|---|---|---|---|
Cloudera Distribution Including Apache Hadoop (CDH) | CDH 5.3 (或 5.2) | 0.98.6 | 安装CDH 5.3,参阅 CDH 5.3.x Installation and Upgrade Guide。 安装CDH之前,请参见下面的说明并检阅 必备的Hadoop服务和设置。 说明:
| 必备的Hadoop服务和设置 |
Hortonworks Data Platform (HDP) | HDP 2.2 | 0.98.4 | 安装HDP 2.2,参阅 Ambari 1.7.0 Install Guide首次安装或 Ambari 1.7.0 Upgrade Guide升级到HDP 2.2。 安装HDP之前,请参阅 必备的Hadoop服务和设置。 说明: 如果安装Trafodion 1.0版本,支持的版本是HDP 2.1和HBase 0.98.0。 | 必备的Hadoop服务和设置 |
必备的Hadoop服务和设置
重要提示:安装Hadoop发行版之前,请查看列表中的必备的Hadoop服务和设置:
- HDFS
- MapReduce
- ZooKeeper
- HBase
- Hive
- Nagios (Hortonworks)
- Ganglia (Hortonworks)
- Embedded Databases (Cloudera)
请确保在安装过程中选择这些服务和设置。
重要提示:Trafodion不支持在不属于 Trafodion 集群的节点上运行的Hadoop 服务(例如,Cloudera或 Hortonworks)。在Trafodion的安装过程中必须指定Hadoop节点属于Trafodion集群节点的一部分(使用--nodes参数)。Trafodion安装程序需要在安装Hadoop发行版(Cloudera或Hortonworks)同一个节点上运行。
用户ID和密码
下表列出了在安装过程中会使用到的用户ID和密码。
说明: 在物理集群上,将会用到两个用户ID:您的用户ID和trafodion。
登录 | 用户ID | 密码 | 说明 |
---|---|---|---|
Cloudera Manager Web GUI登录 | admin (缺省) | admin (缺省) | 安装Cloudera之后,会提示登录Cloudera Manager Web GUI。使用缺省用户ID和密码(admin,admin)。如果先前已经安装了Cloudera,请使用先前设置的用户ID和密码。 |
Ambari Web GUI登录 | admin (缺省) | admin (缺省) | 下载和设置Ambari资料库后,会提示登录Ambari Web GUI。使用缺省用户ID和密码(admin,admin)。如果先前已经安装了Ambari,请使用先前设置的用户ID和密码。 |
具有sudo权限的用户ID | <sudo-username> | <password> | 安装步骤中会提示使用“sudo”或“sudo userid”。请使用具有sudo和无密码ssh访问集群所有节点的用户ID。 |
Trafodion登录 | trafodion | traf123 (缺省) | 该用户ID由Trafodion安装程序在安装Trafodion时自动创建。请勿手动创建该用户ID。 |
VNC服务器登录 | trafodion | traf123 (缺省) | 安装Trafodion后,会提示登录端口1的VNC服务器,使用trafodion 用户ID和密码。 |
安装Trafodion
说明: 如果要升级到Trafodion的更新版本,请在继续之前参阅升级Trafodion。
以下说明包含一个脚本:
命令 | 用户ID | 说明 |
---|---|---|
trafodion_install | <sudo-username> | 安装必要的RPM包,创建trafodion 用户ID并设置无密码ssh访问,复制Trafodion文件到整个集群,生成启动文件并启动Trafodion,包括数据库连接服务(DCS)(ODBC / JDBC服务)等等。 |
重要提示: 此Trafodion命令应在集群的头节点运行,请勿在不属于Trafodion集群的机器上运行。Trafodion必须安装在所有运行HBase RegionServer的节点(即安装了支持的Hadoop发行版的节点)。例如,如果Cloudera或Hortonworks安装在节点n001,n002和n003上,则Trafodion必须安装在这些相同的节点上(--nodes “n001 n002 n003”)。
- Trafodion安装包下载地址:downloads.trafodion.org。
说明: Trafodion 安装程序只适用从 downloads.trafodion.org 下载的 Trafodion 安装包,并不适用于从 GitHub 资料库 的Trafodion 源代码生成的包。 若要了解更多关于贡献开源社区的过程,请参阅 贡献开源社区 中的说明。
- 如果要升级到较新版本的 Trafodion,复制之前版本的安装文件到$HOME/trafodion_downloads之外。例如:
mkdir $HOME/trafodion_downloads_v1.0 cp –r $HOME/trafodion_downloads/* $HOME/trafodion_downloads_v1.0 rm –rf $HOME/trafodion_downloads/*
- 创建trafodion_downloads目录如果不存在,并放置已下载的 trafodion-1.1.<n>.tar.gz 和 installer-1.1.<n>_v<num>.tar.gz 文件:
mkdir $HOME/trafodion_downloads mv <your-download-path>/trafodion-1.1.<n>.tar.gz $HOME/trafodion_downloads mv <your-download-path>/installer-1.1.<n>_v<num>.tar.gz $HOME/trafodion_downloads cd $HOME/trafodion_downloads
- 解压下载的安装程序文件:
tar -xzf installer-1.1.<n>_v<num>.tar.gz
- 切换到安装程序目录:
cd installer
- 运行trafodion_install脚本。不需要提供参数,脚本会提示所有需要输入的信息。
./trafodion_install
说明:trafodion_install脚本会自动调用Trafodion Scanner来检查集群属性,这些属性通常会导致 Trafodion 安装的问题,运行时的性能问题等等。scanner还收集各种系统信息以供将来参考,如帮助进行问题排除。如果发现任何配置错误,则安装将中止。需解决此类问题并重新运行trafodion_install脚本。请参阅 Trafodion Scanner页面的详细信息。
- 提示时输入“accept”接受许可协议。
- 根据提示输入所需的信息。
说明: 如果选择安装后不启动Trafodion(即,提示Start Trafodion after install (Y/N)时输入N),您将需要在安装完成后手动启动和初始化Trafodion。参阅 步骤11。
- 等待trafodion_install完成。成功完成后会显示如下消息:
***INFO: Installation completed successfully.
- 一旦trafodion_install成功完成并且没有提示错误,Trafodion系统应启动并运行。使用端口1启动新的 VNC 会话,以trafodion用户和密码登录,如果没有修改,缺省是traf123。
- 如果选择安装后不启动Trafodion,如下所示来启动和初始化Trafodion:
cds sqstart [trafodion@n001 ~]$ sqlci Trafodion Conversational Interface 1.1.0 (c) Copyright 2015 Hewlett-Packard Development Company, LP. >>initialize trafodion;
- 使用Trafodion会话接口(sqlci)进行快速的完整性检查。创建一个包含几条记录的表,例如:
[trafodion@n001 ~]$ sqlci Trafodion Conversational Interface 1.1.0 (c) Copyright 2015 Hewlett-Packard Development Company, LP. >>create table test1 (f1 int, f2 int); --- SQL operation complete. >>insert into test1 values(1,1); --- 1 row(s) inserted. >>insert into test1 values(2,2); --- 1 row(s) inserted. >>select * from test1; F1 F2 ----------- ----------- 1 1 2 2 --- 2 row(s) selected. >>get tables; Tables in Schema TRAFODION.SEABASE ================================== TEST1 --- SQL operation complete. >>exit;
这些SQL命令应都运行成功。
- 在客户端工作站下载并安装 Trafodion JDBC 或 ODBC 驱动程序,以便客户端应用程序能连接到Trafodion。参阅 Trafodion客户端安装指南(pdf,1.12 MB)。该指南介绍了如何安装 JDBC 和 ODBC 驱动程序、 如何连接到 Trafodion,以及如何运行样例程序来测试连接。
说明:
- 安装过程中或之后的问题排除,参阅 问题排除.
- Trafodion安装完成后,参阅 系统配置 指导如何配置Trafodion环境,以获得最佳性能。
- 如果在安装过程中没有启用安全性,要限制注册用户才能访问,参阅 开启安全功能。
- 安装成功后,Trafodion应该已经启动并可以使用。如果需要停止和重启Trafodion,如安装一个新的版本,请参阅 启动和停止 Trafodion。
- 如果想将数据从另一个关系型数据库管理系统 (RDBMS) 迁移到 Trafodion,请参阅 数据加载。
升级Trafodion
若有想要升级的 Trafodion 旧版本,请执行以下步骤:
- 将 Trafodion 系统脱机。参阅 停止 Trafodion。
- 若有想要保留的重要数据,使用 Trafodion 备份/还原程序备份元数据和用户对象。参阅 备份与还原。
- 安装最新的 Trafodion 软件。参阅 安装Trafodion。 trafodion_install脚本会自动检测以前版本的Trafodion并执行升级操作,包括初始化Trafodion,升级元数据,并重新启动所有进程。
- 若安装过程中出现错误,从备份的对象还原数据并重复前面的步骤。
说明: 若在安装环境之外进行升级,需要重新启动服务和进程,例如 sqlci、 DCS 服务和 qms 服务。如果不重启这些服务和进程,系统将无法正常工作。