搭建基于ubuntu平台的嵌入式开发环境

搭建基于ubuntu平台的嵌入式开发环境

2011年07月03日星期日 16:17

重装了Linux系统，因此需要重新搭建基于Ubuntu的TQ2440开发环境，特做此文档，记录之.

本文档参考了大量的网络上的文档，并融合了笔者的经验，欢迎转载.转载时，请附上如下地址

https://www.sodocs.net/doc/f01387071.html,/andio/blog/item/96901308c436cbc863d986ac.html?timeStamp=130 9850280031

一 Windows下安装Ubuntu10.04(ubuntu11.04)

方法一：USB安装（推荐）

参考文档：https://www.sodocs.net/doc/f01387071.html,/download/ubuntu/download

此方法对(win7或winxp)安装ununtu 10.04 或者ubuntu11.04都适用，不存在引导菜单丢失的情况

笔者利用此方法搭建的平台为

system os ：ubuntu11.04+win7双系统

gcc version: 4.5.2 (Sourcery G++ Lite 2011.03-41)

linux kernel：2.6.38.8

1. 从https://www.sodocs.net/doc/f01387071.html,/download/ubuntu/download下载10.04 LTS版本，并准备1GU盘

2.从https://www.sodocs.net/doc/f01387071.html,/universal-usb-installer-easy-as-1-2-3/下载Universal USB Installer

3. 运行Universal USB Installer选择ubuntu版本和ISO文件路径

step1->step2-step3->step4

step2和step1ubuntu的版本要对应

step3,不格式化U盘也是可行的，只要U盘存在足够的空间，制作好启动盘后

U盘里面的数据不会丢失，被保存在某一个文件夹下而已

最后阶段进度条会有一段时间的停顿，"..,please be patient",请耐心等待

详情见https://www.sodocs.net/doc/f01387071.html,/download/ubuntu/download点击2 Burn your CD or create a USB drive 中的usb和showme how才可以看到

4. 做好usb启动后，重启计算机，按F12,在bios选择usb启动即可进入安装程序.

选择

install ubuntu to harddisk即可安装ubuntu到硬盘

选择

run ubuntu on usb driver即可在usb上运行ubuntu

方法二: 硬盘安装

参考文档：https://www.sodocs.net/doc/f01387071.html,/questi发on/158112328.html

如下方法，笔者在xp下安装成功，类似的win7下采用bcdeasy之类的都没安装成功提示信息为

cant‘t open /dev/sr0

这个意味着没找到光驱文件

1 、下载最新版本的 Grub4DOS

下载地址：https://www.sodocs.net/doc/f01387071.html,/grub4dos/

下载并解压缩后，将目录中的 grldr , grldr.mbr ， grub.exe 三个文件复制到 C 盘根目录下

2 、在下载好的 ubuntu 10.04 系统 iso 文件中 ( 下载地址为：

https://www.sodocs.net/doc/f01387071.html,/getubuntu/downloadmirrors/#bt ) ，

https://www.sodocs.net/doc/f01387071.html,/ubuntu-releases/10.04/

casper 文件夹目录下，找到 vmlinuz 、 initrd.lz （注意： ubuntu10.04 文件名为initrd.lz ）解压，并复制到 C 盘根目录下（无需解压整个 casper 文件夹，整个casper 文件夹很大），并把ubuntu 10.0的ISO文件也复制到C盘根目录下.

3 、 C 盘根目录下建立 menu.lst 文件，内容为：

title Install Ubuntu 10.04

root (hd0,0)

kernel (hd0,0)/vmlinuz boot=casper iso-scan/filename=/ubuntu-10.04-desktop-

i386.iso ro quiet splash locale=zh_CN.UTF-8

initrd (hd0,0)/initrd.lz

4 、接着，在我的电脑–> 工具–> 文件夹选项–> 的查看标签下去掉“隐藏受保护的操作系统文件”之前的勾，并勾选“显示所有文件和文件夹”。取消 C 盘根目录下的 boot.ini 文件的“只读”属性，然后用记事本打开 boot.ini 文件，做如下更改： timeout=0 改成 timeout=

5 或者更大的数字，在 boot.ini 文件内容末尾加上一行C:\grldr="GRUB". 如果找不到 boot.ini 的话。看如下操作，

复制xp 系统里的boot.ini 到C 盘根目录，在最后一行加上c:\grldr.mbr="grub" （注意是grldr.mbr ）如果身边没有xp 系统那我就吧boot.ini 的代码贴出来供大家使用

了，代码如下：

[boot loader]

timeout=30

default=multi(0)disk(0)rdisk(0)partition(1)\WINDOWS

[operating systems]

multi(0)disk(0)rdisk(0)partition(1)\WINDOWS="Microsoft Windows XP Professional" /noexecute=optin /fastdetect

c:\grldr.mbr="grub"

（附： boot.ini 文件路径 c:\boot.ini ）

重新启动

选择grub

选择install ubuntu10.04

进入ubuntu10.04安装界面

注意：点击桌面上的安装ubuntu10.04之前，先打开终端，输入：sudo umount -l

/isodevice

然后在点击桌面上的安装ubuntu10.04

接着和光盘安装是一样的。

修复启动菜单如下：

https://www.sodocs.net/doc/f01387071.html,/s/blog_64837a410100pikq.html

二安装交叉编译环境

参考文档: https://www.sodocs.net/doc/f01387071.html,/andio/blog/item/173fa21c6cd9249286d6b6ba.html

2.1、获取支持EABI功能的交叉编译器

进入下例子下载地址

https://www.sodocs.net/doc/f01387071.html,/sgpp/lite/arm/portal/subscription?@template=lite

你将看到如下表格中，Download Sourcery G++ Lite Edition for ARM,在此需要说明的是，由于该网址内容处于不短更新中，因此可能看到的具体界面会有所不同.

选择GNU/LINUX项目下的All versions,你将看到如下显示

选择一个需要安装的版本，本文中我们将以选择Sourcery G++ Lite2009q1-161.为例，说明获得交叉编译器的过程。实际应用时候，建议选用最新版本的编译工具.如Sourcery G++ Lite2010.09-51.

点击Sourcery G++ Lite2009q1-161,进入如下界面

选择IA32 GNU/Linux TAR,并下载之.这是一个已经编译好了的交叉编译工具.下载完成后，你将得到arm-2009q1-161-arm-none-eabi-i686-pc-linux-gnu.tar.bz2文件.

2.2、安装交叉编译器

2.2.1.运行如下命令解压缩

tar -jxvf arm-2009q1-161-arm-none-eabi-i686-pc-linux-gnu.tar.bz2 -C /opt/

执行完该命令后，/opt/下将会产生arm-2009q1文件夹，里面存放的即是交叉编译器编译器。注意，如果你想把编译器安装在usr目录下，你必须将/usr/替换/opt/.

2.2 .2运行如下命令，完成对编译器链接的制作,

1制作arm-linux-gcc脚本

#gedit arm-linux-gcc

在其中添加如下内容

#!/bin/sh

arm-none-linux-gnueabi-gcc -march=armv4t $*

保存后

#chmod +x arm-linux-gcc

2.运行如下命令制作链接

注意，由于版本不同，如下命令可能不同

root@ubuntu:~/Desktop# cd /opt/arm-2009q1/bin/

ln -sarm-none-linux-gnueabi-xxx arm-linux-xxx

其中XXX是需要制作链接的某个东西，如下

#!/bin/bash

#filename:mklink

#cmd: chmod +x mklink

#./mklinkln -s arm-none-linux-gnueabi-addr2line arm-linux-addr2line ln -s arm-none-linux-gnueabi-gdbtui arm-linux-gdbtui

ln -s arm-none-linux-gnueabi-ar arm-linux-ar

ln -s arm-none-linux-gnueabi-as arm-linux-as

ln -s arm-none-linux-gnueabi-ld arm-linux-ld

ln -s arm-none-linux-gnueabi-c++ arm-linux-c++

ln -s arm-none-linux-gnueabi-nm arm-linux-nm

ln -s arm-none-linux-gnueabi-c++filt arm-linux-c++filt

ln -s arm-none-linux-gnueabi-objcopy arm-linux-objcopy

ln -s arm-none-linux-gnueabi-cpp arm-linux-cpp

ln -s arm-none-linux-gnueabi-objdump arm-linux-objdump

ln -s arm-none-linux-gnueabi-elfedit arm-linux-elfedit

ln -s arm-none-linux-gnueabi-ranlib arm-linux-ranlib

ln -s arm-none-linux-gnueabi-g++ arm-linux-g++

ln -s arm-none-linux-gnueabi-readelf arm-linux-readelf

ln -s arm-none-linux-gnueabi-size arm-linux-size

ln -s arm-none-linux-gnueabi-sprite arm-linux-sprite

ln -s arm-none-linux-gnueabi-gcov arm-linux-gcov

ln -s arm-none-linux-gnueabi-strings arm-linux-strings

ln -s arm-none-linux-gnueabi-gdb arm-linux-gdb

ln -s arm-none-linux-gnueabi-strip arm-linux-strip

ln -s arm-none-linux-gnueabi-gcc-4.5.2 arm-linux-gcc-4.5.2

2.3、配置环境变量

你可以使用如下的方法配置环境变量

root@ubuntu:~/Desktop# export PATH=/opt/arm-2009q1/bin/:$PATH

root@ubuntu:~/Desktop# gedit /root/.bashrc

或者

root@ubuntu:~/Desktop# gedit /etc/profile

在打开的.bashrc文件末尾，添加export PATH=/opt/arm-2009q1/bin/:$PATH

如上为Ubuntu系统，对于debian,你可以使用如下命令

linux-server:/home/huwl# export PATH=/opt/arm-2009q1/bin:$PATH

linux-server:/home/huwl# vi /root/.bashrc

在打开的.bashrc文件的适当位置添加export PATH=/opt/arm-2009q1/bin:$PATH

三安装kermit

参考文档：

https://www.sodocs.net/doc/f01387071.html,/zengzhaonong/blog/item/b40b58106e26deffc3ce79dc.html kermit是一个比minicom优秀的串口端口工具而已，安装如下

#apt-get install ckermit

然后修改kermit配置文件

#gedit /etc/kermit/kermrc

添加如下绿色所示代码

; This is /etc/kermit/kermrc

; It is executed on startup if ~/.kermrc is not found.

; See "man kermit" and https://www.sodocs.net/doc/f01387071.html,/ for details on ; configuring this file, and /etc/kermit/kermrc.full

; for an example of a complex configuration file

; If you want to run additional user-specific customisations in

; addition to this file, place them in ~/.mykermrc

; Execute user's personal customization file (named in environment var ; CKERMOD or ~/.mykermrc)

;

if def \$(CKERMOD) assign _myinit \$(CKERMOD)

if not def _myinit assign _myinit \v(home).mykermrc

xif exist \m(_myinit) { ; If it exists,

echo Executing \m(_myinit)... ; print message,

take \m(_myinit) ; and TAKE the file.

}

set line /dev/ttyS0 # 此时连接的为com1口

set speed 115200

set carrier-watch off

set handshake none

set flow-control none

robust

set file type bin

set file name lit

set rec pack 1000

set send pack 1000

set window 5

四安装linux下的dnw软件

参考文档:https://www.sodocs.net/doc/f01387071.html,/dsfire/blog/item/55fe051ffaae07fde0fe0bc5.html

下载地址如下

https://www.sodocs.net/doc/f01387071.html,/f/16831854.html

或者

https://www.sodocs.net/doc/f01387071.html,/u3/94212/showart_2230915.html

对于地址1，由于已经做好了Makefile只需要进入俩个子目录，分别make即可

#tar -jxvf dnw.tar.gz -C ./

然后分别在驱动文件夹和应用程序文件夹下make即可，该应用程序文件夹下生成的用程序叫down和dnw本质上是一样的

只是名称不同而已

对于地址二，由于ubuntu上 rar没有安装，必须先安装之，然后解压缩，

#apt-get install rar

#rar x 100509160504.rar

然后分别Make

接下来就是添加自启动了

假设dnw_linux安装路径为/opt/dnw_linux

则运行如下命令

#cp /opt/dnw_linux/dnw/down /usr/bin/down

#gedit /etc/profile

在段落最后添加如下代码

insmod /opt/dnw_linux/secbulk/secbulk.ko

保存之，这个代码的作用是为了让TQ2440的USB下载驱动自动加载

五添加右键终端

参考文档:https://www.sodocs.net/doc/f01387071.html,/Hiram908416047/article/details/5818599

第一种方法：

安装一个包，即可在右键里面添加一个“打开终端”的菜单。

sudo apt-get install nautilus-open-terminal

注意，有些计算机重启后才能发现右键终端。

第二种方法：

进入主目录的.gnome2/nautilus-scripts目录。新建一个文件，文件名任意（这个文件名会显示在右键菜单里，最好是通俗易懂的，比如“打开终端”或“open-terminal”），文件内容如下。

引用

#!/bin/bash

#

# This script opens a gnome-terminal in the directory you select.

#

# Distributed under the terms of GNU GPL version 2 or later

#

# Install in ~/.gnome2/nautilus-scripts or ~/Nautilus/scripts

# You need to be running Nautilus 1.0.3+ to use scripts.

# When a directory is selected, go there. Otherwise go to current

# directory. If more than one directory is selected, show error.

if [ -n "$NAUTILUS_SCRIPT_SELECTED_FILE_PATHS" ]; then

set $NAUTILUS_SCRIPT_SELECTED_FILE_PATHS

if [ $# -eq 1 ]; then

destination="$1"

# Go to file''s directory if it''s a file

if [ ! -d "$destination" ]; then

destination="`dirname "$destination"`"

fi

else

zenity --error --title="Error - Open terminal here" /

--text="You can only select one directory."

exit 1

fi

else

destination="`echo "$NAUTILUS_SCRIPT_CURRENT_URI" | sed ''s/^file://////''`" fi

# It''s only possible to go to local directories

if [ -n "`echo "$destination" | grep ''^[a-zA-Z0-9]/+:''`" ]; then

zenity --error --title="Error - Open terminal here" /

--text="Only local directories can be used."

exit 1

fi

cd "$destination"

exec x-terminal-emulator

添加完后，把此文件加上可执行的权限。

chmod +x 文件

六配置驱动编程开发环境

参考文档:https://www.sodocs.net/doc/f01387071.html,/andio/blog/item/1b3d367fcf94240729388ad2.html

在宿主机上安装开发工具和下载linux源码（要求版本号和目标机上的linux内核版本一致）。开发工具主要有gcc、gdb、make等，这些工具在 redhat或fc中默认就安装了，在debian或Ubuntu中可以通过下面这个命令安装：

apt-get install build-essential

linux源码可以通过以下几种途径获得：

* 直接去https://www.sodocs.net/doc/f01387071.html,下载

* 通过包管理工具下载源码，在debian和Ubuntu中可以通过下面这个命令下载，

apt-get install linux-source-(版本号) ，下载后的文件在/usr/src目录中，解压到该目录即可

将源码解压到/usr/src/目录后，进入linux-source-(版本号)目录中执行下面几个命令：

make oldconfig

make prepare

make scripts

apt-get install libncurses5-dev

编写测试程序hello.c

//hello.c

#include "linux/init.h"

#include "linux/module.h"

static int hello_init(void)

{

printk(KERN_ALERT "%s->Hello World!\n",__FUNCTION__); return 0;

}

static void hello_exit(void)

{

printk(KERN_ALERT "%s->Hello World\n",__FUNCTION__); }

module_init(hello_init);

module_exit(hello_exit);

MODULE_LICENSE("GPL");

MODULE_AUTHOR("keytounix");

#Makefile如下

obj-m := hello.o

KDIR = /usr/src/linux-headers-2.6.32-21-generic

all:

$(MAKE) -C $(KDIR) M=$(PWD)

.PHONY:

clean

clean:

rm -f *.mod.c *.mod.o *.ko *.o *.tmp_versions

#insmod hello.ko

#dmesg

#rmmod hello.ko

#dmesg

可以得到如下类似的信息

[ 6959.802362] hello_init->Hello World!

[ 7003.178160] hello_exit->Hello World

七搭建NFS服务器

参考文档：https://www.sodocs.net/doc/f01387071.html,/article/8/2010/2010080935876.html 该文档基于root权限

在使用前请使用如下命令

$su

然后俩次输入root的密码切换到#状态

step1.

apt-get install nfs-kernel-server nfs-common portmap

step2.

gedit /etc/default/portmap

添加 #OPTIONS="127.0.0.1" ，即注销这个

dpkg-reconfigure portmap

然后做如下选择

确定->否

step4.

gedit/etc/exports

在末尾添加如下字段

/home/rootfs *(rw,sync)

/home/rootfs是Ubuntu nfs服务器的共享目录,需要你自己设定,*表示任何 IP 都可以共享这个目录,你可以改为受限的 IP,rw

这个代码的意思时说所有的ip都能通过nfs服务器访问/home/rootfs文件夹，并且对该文件夹具有读写和默认的权限

然后运行如下指令更新之

exportfs -r

step5.

重启nfs服务

/etc/init.d/portmap start

/etc/init.d/nfs-kernel-server restart

step6.

测试之

showmount -e

Export list for workspace:

/opt/rootfs *

测试的ip是172.18.25.9

#mount 127.0.0.1:/home/rootfs/ /mnt/

#ls

总用量 12

drwxr-xr-x 33 4294967294 4294967294 4096 2011-07-05 20:56 busybox-1.18.5 -rw-r--r-- 1 4294967294 4294967294 452 2011-03-08 00:02 gnome-

terminal.desktop

drwxr-xr-x 2 4294967294 4294967294 4096 2011-07-05 21:05 rzsz

#umount /mnt/

#mount 172.18.25.9:/home/rootfs/ /mnt/

结果是一样的

原文网址: https://www.sodocs.net/doc/f01387071.html,/andio/blog/item/96901308c436cbc863d986ac.html

Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书

Cloudera大数据平台环境搭建（CDH5.13.1版）

目录

基础环境 软件环境 本文将介绍Centos7.4离线安装CDH和ClouderaManager过程，软件版本如下： 配置规划 本次安装共5台服务器，服务器配置及用途如下： 所需要的软件资源 1)JDK环境： JDK版本：51 jdk-8u151-linux-x64.rpm 下载地址： 2)CM包： CM版本：5.13.1 下载地址： 3)CDH包 CDH版本：5.13.1， ； .sha1； manifest.json 下载地址： 4)JDBC连接jar包： jar包版本：5.1.43， mysql-connector-java-5.1.43.jar 下载地址： 修改机器名（所有节点） 这种方式，在Centos7中可以永久性改变主机名称。

内容都改为： 设置防火墙（所有节点） 注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。 防火墙常用命令： 便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。 配置免密码登录SSH 将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题） 一路回车，生成无密码的密钥对。 把公钥拷贝至node169服务器上?： 登录到node169服务器上： 然后在node169服务器上，把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，如果没有可以新建）：

在node168节点出现下面表示成功登录node169节点： 以同样的方式将公钥拷贝至其他节点服务器上。 关闭SELINUX（所有节点） 关闭linuxSELINUX安全内核 （在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常） 修改Linux内核参数（所有节点） 为避免安装过程中出现的异常问题，首先调整Linux内核参数。 1)设置swappiness，控制换出运行时内存的相对权重，Cloudera建议将swappiness设置为 10： 自CentOS6版本开始引入了TransparentHugePages(THP)，从CentOS7版本开始，该特性默认就会启用。尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。 表示已禁用：

嵌入式Linux开发环境搭建

第一章Ubuntu 8.10的安装和网络配置 1.安装虚拟机软件Vmware 6.0.2 虚拟机安装版本Vmware 6.0.2的版本 在winxp操作系统下用鼠标双击VMware-workstation-6.0.2-59824图标，开始安装虚拟机Vmware,如下图所示： 双击VMware-workstation-6.0.2-59824图标，出现vmware的安装界面，所有的选项都采用默认值，用鼠标点【下一步】，然后出现安装进度条，系统开始安装vmware,等待安装完成后，出现如下安装完成界面： 用鼠标点【Finish】，虚拟机安装完成。系统提示重新启动计算机，选择【是】重新启动计算机，电脑重新启动后，虚拟机安装完成。 2.新建虚拟机 打开Vmware虚拟机软件，选【File】->【New】->【Virtual Machine】,弹出新建虚拟机向导对话框，注意以下几个重要的选项，其他都采用默认选项即可。 选择操作系统和版本，如下图所示：

选择虚拟机名称和存放的路径，如下图所示： 设置虚拟机硬盘大小为20G ,如下图所示：

点击【完成】按钮，这样我们就新建了一个虚拟机，下面我们设置一下虚拟机的内存，步骤如下： 点击虚拟机Vmware的【VM】->【settings】时菜单，弹出虚拟机设置对话框，设置虚拟机使用的内存为512M或1024M，如下图所示：

点击【OK】按钮，这样我们就新建了一个虚拟机，该虚拟机的硬盘为20G, 内存为512M .接着我们就可以在该虚拟机上安装ubuntu操作系统了。 注: 键盘和鼠标控制权在虚拟机和Windows系统之间的切换是通过组合键【Ctrl】+【Alt】来实现的。 3 安装Linux操作系统ubuntu Ubuntu安装版本ubuntu 8.10 点击vmware软件工具栏上的【绿色箭头】启动虚拟机，如下图所示：

实验三 搭建嵌入式系统开发环境

实验三搭建嵌入式系统开发环境 一、实验目的： 1.掌握嵌入式开发环境的配置； 2.掌握开发工具链的安装与配置； 3.掌握嵌入式系统内核和根文件系统的烧写的过程。 二、实验内容： 1)安装配置嵌入式开发环境； 2)安装与配置工具链； 3)内核和根文件系统的烧写 三、实验设备及工具： 硬件：UP-NETARM2410-S嵌入式实验仪、PC机pentumn500以上、硬盘40G以上、内存大于256M。 软件：PC机操作系统Red Hat Enterprise Linux 4、MINICOM 、AMRLINUX开发环境。 四、实验步骤： 1.共享windows下内核文件至linux环境下,并将文件复制至个人开发目录中 2.进入目录，输入make menuconfig,对内核进行裁剪配置 3.编译内核之前输入make clean清理编译环境 4.输入make dep 编译相关依赖文件 5.输入make zImage 输出最终编译后的镜像文件 6.将镜像文件共享至windows环境下 7.在windows打开超级终端，进入vivi，将镜像文件烧录至实验箱开发板中 五、实验总结： 通过本次实验，熟悉了Linux 开发环境，学会了如何进行linux内核的烧写。在实验

过程中了解到Linux内核模块的组成结构，通过本次实验，初步了解嵌入式开发的基本过程。 实验四嵌入式驱动程序设计 一、实验目的： 1.学习在LINUX 下进行驱动设计的原理 2.掌握使用模块方式进行驱动开发调试的过程 二、实验内容： 在PC 机上编写简单的虚拟硬件驱动程序并进调试，实验驱动的各个接口函数的实现,分析并理解驱动与应用程序的交互过程。 三、实验设备及工具： 硬件：UP-NETARM2410-S嵌入式实验仪、PC机pentumn500以上、硬盘40G以上、内存大于256M。 软件：PC机操作系统Red Hat Enterprise Linux 4、MINICOM 、AMRLINUX开发环境。 四、预备知识： 1.有 C 语言基础。 2.掌握在Linux 下常用编辑器的使用。 3.掌握Makefile 的编写和使用。 4.掌握Linux 下的程序编译与交叉编译过程。 5.有驱动开发的基本知识。 五、实验步骤： 1.进入/arm2410cl/exp/drivers/01_demo，使用vi 编辑器或其他编辑器阅读理解源代码 2.使用makefile编译驱动模块与测试程序，编译器采用armv4l-unknown-linux-gcc 3.将编译后的驱动模块demo.o和测试程序test_demo挂载到实验箱上 4.插入驱动模块demo.o 执行命令insmod demo.o 5.查看驱动是否插入成功，执行命令lsmod demo.o 6.运行测试程序，查看执行结果

嵌入式开发环境搭建步骤

嵌入式开发，通常都是在Linux环境下编译Uboot、Linux和android代码。编译uboot/Linux可以选择任何的Linux发行版，如redhat，suse，ubuntu，fedora，debian等，只要你配置好ARM交叉工具编译工具就可以了。 编译android，搭建环境最容易的就是ubuntu。google的官方网站上，也有搭建编译android的简单介绍，可以搜索下，网络上有相当多这方面的说明。 考虑到我们学习嵌入式的平台是Fast Models，以及自动的Realview EB模型硬件平台。而ARM官方推荐是在Redhat Enterprise(4,5,6)下安装Fast Models。所以，我们采用Redhat Enterprise 6作为开发环境。我们可以直接在电脑上安排RHEL6，也可以先安装vmware，然后在vmware中创建一个虚拟机，在虚拟机上安装RHEL6。在这里，小编是采用后者方式。 搭建Redhat Enterprise 6开发环境，建议做以下配置： 1）设置静态IP。在之前使用vmware的经历，发现如何网站采用dhcp方式，那么rhel6的IP地址有可能会发现改变。而我们需要网络IP最好是固定的，所以需要设置静态IP。RHEL6的静态IP的设置方法，可以搜索到。 2）开启ssh,samba服务 ARM嵌入式开发，基本上都是在命令（shell）方式下进行的，不需要图形界面。所以，在windows上运行vmware，vmware上虚拟机再运行rdel6的情况下，为了不增加windows系统的负荷，可以把vmware放在后台运行，使用ssh服务登陆到rdel6就可 以进行嵌入式开发了。 小编在开发嵌入式时，通常都是使用sourceinsight阅读、修改代码，然后在shell运 行命令进行编译。所以，开通samba服务，然后使用windows已安装的sourceinsight 工具，阅读放在rdel6上的Linux/uboot代码。 在Redhat发行版下，有关服务器的开启或关闭，可以在root用户下，使用setup命 令进入配置选项的“System Services”菜单下进行设置。 samba服务在菜单选项为：“smb”；ssh服务在菜单选项为：“sshd” 需要注意的是：windows下，要使用ssh服务/samba服务登陆vmware虚拟机上的rhel6，必须把rhel6上的防火墙关掉。setup命令--->Firewall Configuration--->去掉Enable。

嵌入式软件开发流程图

嵌入式软件开发流程 一、嵌入式软件开发流程 1.1 嵌入式系统开发概述 由嵌入式系统本身的特性所影响，嵌入式系统开发与通用系统的开发有很大的区别。嵌入式系统的开发主要分为系统总体开发、嵌入式硬件开发和嵌入式软件开发3大部分，其总体流程图如图1.1所示。 图1.1 嵌入式系统开发流程图 在系统总体开发中，由于嵌入式系统与硬件依赖非常紧密，往往某些需求只能通过特定的硬件才能实现，因此需要进行处理器选型，以更好地满足产品的需求。另外，对于有些硬件和软件都可以实现的功能，就需要在成本和性能上做出抉择。往往通过硬件实现会增加产品的成本，但能大大提高产品的性能和可靠性。 再次，开发环境的选择对于嵌入式系统的开发也有很大的影响。这里的开发环境包括嵌入式操作系统的选择以及开发工具的选择等。比如，对开发成本和进度限制较大的产品可以选择嵌入式Linux，对实时性要求非常高的产品可以选择Vxworks等。

1.2 嵌入式软件开发概述 嵌入式软件开发总体流程为图4.15中“软件设计实现”部分所示，它同通用计算机软件开发一样，分为需求分析、软件概要设计、软件详细设计、软件实现和软件测试。其中嵌入式软件需求分析与硬件的需求分析合二为一，故没有分开画出。 由于在嵌入式软件开发的工具非常多，为了更好地帮助读者选择开发工具，下面首先对嵌入式软件开发过程中所使用的工具做一简单归纳。 嵌入式软件的开发工具根据不同的开发过程而划分，比如在需求分析阶段，可以选择IBM的Rational Rose等软件，而在程序开发阶段可以采用CodeWarrior（下面要介绍的ADS 的一个工具）等，在调试阶段所用的Multi-ICE等。同时，不同的嵌入式操作系统往往会有配套的开发工具，比如Vxworks有集成开发环境Tornado，WindowsCE的集成开发环境WindowsCE Platform等。此外，不同的处理器可能还有对应的开发工具，比如ARM的常用集成开发工具ADS、IAR和RealView等。在这里，大多数软件都有比较高的使用费用，但也可以大大加快产品的开发进度，用户可以根据需求自行选择。图4.16是嵌入式开发的不同阶段的常用软件。 图1.2 嵌入式开发不同阶段的常用软件 嵌入式系统的软件开发与通常软件开发的区别主要在于软件实现部分，其中又可以分为编译和调试两部分，下面分别对这两部分进行讲解。 1．交叉编译 嵌入式软件开发所采用的编译为交叉编译。所谓交叉编译就是在一个平台上生成可以在另一个平台上执行的代码。在第3章中已经提到，编译的最主要的工作就在将程序转化成运行该程序的CPU所能识别的机器代码，由于不同的体系结构有不同的指令系统。因此，不同的CPU需要有相应的编译器，而交叉编译就如同翻译一样，把相同的程序代码翻译成不同CPU的对应可执行二进制文件。要注意的是，编译器本身也是程序，也要在与之对应的某一个CPU平台上运行。嵌入式系统交叉编译环境如图4.17所示。

实验1(嵌入式开发环境实验)

实验1：嵌入式Linux开发环境 一、实验目的 熟悉Linux开发环境，学会基于S3C2410的Linux开发环境的配置和使用。使用Linux的armv4l-unknown-linux-gcc编译，使用基于NFS方式的下载调试，了解嵌入式开发的基本过程。 二、实验内容 1、在linux系统下，利用C语言来编写应用程序，并进行交叉编译，生成可在目标实验台上运行的目标文件。 2、建立宿主机与目标实验台仿真终端连接，为目标实验台建立Linux系统终端窗口。 3、建立宿主机与目标实验台的共享连接，以便下载和运行最终可执行文件。 三、预备知识 C语言的基础知识、程序调试的基础知识和方法，Linux的基本操作。 四、实验设备及工具（包括软件调试工具） 硬件：UP-NETARM2410-S嵌入式实验平台、PC机Pentium 500以上, 硬盘10G以上。 软件：PC机操作系统REDHAT LINUX 9.0＋MINICOM＋ARM-LINUX开发环境 五、主要实验步骤： 1、打开PC宿主机电源，选择进入Linux系统。在PC宿主机的/arm2410s/exp/Basic目录中创建用户个人工作目录，例如“cao”。 2、单击鼠标右键选择“新建终端”，建立宿主机Linux命令终端窗口，在[root@localhost root]#命令提示符下进入个人工作目录“cao”中。 即：[root@localhost root]#cd /arm2410s/exp/basic/cao 3、利用“vi”编辑hello应用程序，并保存为hello.c文件。 即：#cd /arm2401s/exp/Basic/cao #vi hello.c 进入vi编辑窗口，编辑hello.c文件…… 4、利用“gcc –o”命令对hello.c文件进行编译，生成可在PC宿主机上执行的目标文件hello.pc。 即：#gcc –o hello.pc hello.c, 为了验证结果正确性，可在PC宿主机上执行hello.pc文件。 即：#./hello.pc 5、为了在实验台上下载运行hello文件，需要对hello源文件进行交叉编译，以便生成能够在实验台上运行的目标文件。利用“armv4l-unknown–Linux-gcc –o命令”进行交叉编译，生存目标文件hello.o。 即：# armv4l-unknown-Linux-gcc -o hello.o hello.c (注意：这里的“armv4l-unknown–Linux-gcc –o”交叉编译命令输入方法是使用键盘输

大数据学习环境搭建系列(二)虚拟机软件Vmware的安装

虚拟机软件Vmware的安装 1、概述 在进行分布式架构的学习前，首先需进行基础环境准备。众所周知，在单机运算能力无法满足处理海量数据的运算能力时，人们普遍开始考虑使用分布式运算来代替单机运算，这也成为了大数据分析和小数据分析最显著的区别之一，即使用的工具不同。当前大数据行业标准是使用Hadoop及其生态组件来执行分布式处理，这也是我们后续文章的主要内容。 分布式集群的主要目的在于连接多台的物理机，以达到整合运算能力线性增长的效果，在学习过程中，我们仍然可以在单台物理机上模拟搭建和运行分布式集群。通常来说，单台物理机上模拟分布式集群有两种方法，其一是利用Hadoop进行分进程的分布式模拟，即一般意义上的伪分布式，通常用于实验和测试；其二则是利用虚拟化软件，将一台物理机分为三台虚拟物理机，然后搭建分布式集群。其中后者与实际工作情景无异，只不过在物理机本身运算能力上有所差别，企业多用服务器级物理机，而在学习过程中个人电脑性能可能稍差。后续文章将针对两种分布式集群搭建方法进行教学，同时也将更加侧重分布式集群的搭建。

注：这里推荐个人计算机配置：硬盘空间大于100G、内存大于等于8G、CPU大于两核。 尽管Apache Hadoop可适用于Windows、Linux和Mac OS操作系统，但就其稳定性而言，我们首推Linux系统或Mac OS系统，而二者相比选择Linux系统适用面更为广泛，因此后续文章我们将在Linux系统中安装Hadoop。由于个人用户普遍使用Windows或Mac OS系统，我们需要在当前操作系统中虚拟一个Linux系统，因此，虚拟化工具就是我们需要掌握和使用的第一个软件。除此之外，由于将要多个虚拟机的统一管理和多个终端的操作，因此我们还需要掌握一些终端管理软件和文件传输软件的基本操作方法。这些软件将在后续使用过程中进行详细介绍。 2、虚拟机软件 2.1虚拟机软件简介 就目前而言，VMware Workstation是使用最为广泛、功能最为强大的虚拟机软件，主要用于IT开发和系统管理等商业环境，而开源虚拟软件Oracle VM VirtualBox，则在所有免费虚拟机软件中表现较为突出，成为大多数教学、实验等非商业环境中的首选。后续文章主要将采用VMware Workstation作为虚拟机软件安装虚拟机，而关于Virtual Box的下载和安装方法，也会在后续文章中单独介绍已满足各位同学的不同需求。今天我们介绍VMware Workstation的安装使用方法。 2.2VMware Workstation下载安装 1）VMware WorkStation下载 2）VMware WorkStation安装 双击安装文件，开始安装，在安全警告窗口点击“运行”

嵌入式系统开发环境实验

嵌入式系统开发环境实验 一实验目的与要求 1．熟悉Linux系统环境。 2．了解实验板的结构组成。 3．了解嵌入式系统开发的基本知识。 4. 熟悉嵌入式Linux交叉编译环境的建立过程，并通过一个HelloWorld程序的编写、编译、下载运行及调试过程，了解嵌入式开发的基本方法和流程。 二实验设备与软件环境 1.硬件：SemitARM9200开发板，PC机PIII800MHz，256MB以上，串口线（公母）1条，网线1条，7.5V 电源1个。 2.软件：RedHat 9.0以上Linux操作系统. 三实验原理 1．宿主机开发环境 绝大多数的Linux软件开发都是以Native方式进行的，即本机（Host）开发、调试，本机运行的方式。这种方式通常不适合于嵌入式系统的软件开发，因为嵌入式系统没有足够的资源在本机（即板子上系统）运行开发工具和调试工具。通常的嵌入式系统的软件开发采用一种交叉编译调试的方式，交叉编译调试环境建立在宿主机（即一台PC机）上，对应的开发板叫做目标板。如下图所示。 开发时使用宿主机上的交叉编译、汇编及链接工具形成可执行的二进制代码，（这种可执行代码不能在宿主机上执行，而只能在目标板上执行）然后把可执行文件下载到目标机上运行。一般调试的方法包括串口调试和以太网口调试。对于本实验板，目前可采用串口调试，操作系统经过修改可以实现以太网口调试。宿主机和目标板的处理器一般都不相同，宿主机为Intel或AMD处理器，而目标板如本实验板的处理器为ATMEL AT91RM9200 。GNU编译器提供这样的功能，在编译时可以选择开发所需的宿主机和目标机从而建立开发环境。所以在进行嵌入式开发前第一步的工作就是要安装一台装有指定操作系统的PC机作宿主开发机，宿主机上的操作系统一般要求安装Linux，但Linux由多个发行版本，在此，我们推荐使用Redhat 9.0作为本实验板的宿主机PC操作系统（https://www.sodocs.net/doc/f01387071.html,可以下载）。然后要在宿主机上建立交叉编译调试的开发环境。环境的建立需要许多的软件模块协同工作，这将是一个比较繁杂的工作，但现在只要安装我们提供的光盘，开发软件包及GNU编译工具已完全自动完成了。 当开发环境安装完毕后，会在根目录下生成两个目录：工作目录/home/arm和交叉编译环境目录/usr/local/arm。

大数据环境软件

大数据环境软件 操作系统 CentOS 7 #zip unzip 命令安装 yum install zip unzip #netstat 等命令网络工具包安装 yum install net-tools 软件安装包 -rw-r--r--. 1 root root 20985335 4月30 10:14 apache-storm-0.9.3.tar.gz -rw-r--r--. 1 root root 153512879 5月26 16:15 jdk-7u79-linux-x64.tar.gz drwxr-xr-x. 10 root root 4096 7月10 11:55 jzmq -rw-r--r--. 1 root root 71503892 4月17 10:06 kafka_2.10-0.8.2.1.zip -rw-r--r--. 1 root root 1358190 5月27 11:26 redis-3.0.1.tar.gz -rw-r--r--. 1 root root 1877380 5月12 2011 zeromq-2.1.7.tar.gz -rw-r--r--. 1 root root 17699306 7月10 02:50 zookeeper-3.4.6.tar.gz JAVA vi /etc/profile 在文件末尾增加如下配置内容 #set java environment JAVA_HOME=/usr/local/jdk1.7.0_79/ CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH 配置生效 source /etc/profile 验证配置结果 [root@localhost local]# java -version java version "1.7.0_79"

Cloudera大数据平台环境搭建傻瓜式说明书

Cloudera大数据平台环境搭建 （版）

目 录 Cloudera 大数据平台环境搭建错误! 未定义书签。 版）错误! 未定义书 签。 1. 基础环 境. 错误! 未定义书签。 软件环境错误!未定义书签。 2. 3. 配置规划...... 所需要的软件资源 错误!未定义书签。 错误!未定义书签。 修改机器名（所有节点） 设置防火墙（所有节点） 配置免密码登录 SSH.. 关闭SELINUX（所有节点）…… 修改 Linux 内核参数（所有节 点） 其他安装与配置（所有节点） . 配置NTP服务................. 安装 oracle （所有节点） Mysql 安装（主节点） 安装CM 传包，解包 创建数据库 创建用户 制作本地YUM源 拷贝 修改 启动 访问 安装CDH 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误! 未定义书 签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 jar 包................. cloudera-scm-agent 配置 CM Server 和 Agent ..... 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 CM. 错误!未定义书签。 错误! 未定义书 签。 登录后界面错误!未定义书签。 选择CM版本错误!未定义书签。 指定主机错误!未定义书签。 选择CDH版本错误!未定义书签。 出现“主机运行状态不良”错误 检查主机正确性................... 错误!未定义书签。 错误!未定义书签。 选择安装的服务错误!未定义书签。 角色分配 . 数据库设置 错误!未定义书签。 错误!未定义书签。 测试连接报错：错误!未定义书签。 群集设置错误!未定义书签。

使用Ambari快速部署Hadoop大数据环境

作者:杨鑫奇 前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文 着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能. 作为新手,我讲讲我自己的学习经历,刚刚开始学习的时候,当然最简单的 Google 下Hadoop ,然后下载相关的包,在自己的虚拟机(CentOS 6.3) 上安装一个单机的Hadoop版本用来做测试,写几个测试类,然后做下CRUD测试之类的,跑跑Map/Reduce的测试,当然这个时候对于Hadoop还不是很了解,不断的看别人的文章,了解下整体的架构,自己所做的就是修改conf下的几个配置文件,让Hadoop能够正常的跑起来,这个时候几种在修改配置上,这个阶段之后,又用到了HBase,这个Hadoop生态圈的另外一个产品,当然还是修改配置,然后 start-all.sh , start-hbase.sh 把服务起起来,然后就是修改自己的程序,做测试,随着用Hbase 学了下 Zookeeper 和Hive等, 接着过了这个操作阶段了之后,开始研究Hadoop2.0看了董的博客的相关文章,还有CSDN上很多大牛的文章了之后, 算是对Hadoop的生态圈整体有一些了解,介于自己在公司所承担的开发所涉及到相关的技术仅仅就这些.但是作为一个 爱好探索的人,是否想多了解下呢,它的性能怎么样? 它是具体如何运作的? 看大公司的那些PPT,人家(淘宝等大公司)动不动就是几十个,几百个,乃至几千个节点,人家是如何管理的,性能是怎么样的?看着PPT里面的那些性能测试的曲线,你是否也能够详细的了解,并且对自己的项目进行性能调优呢? 我貌似找到答案了,那就是 Ambari , 由HortonWorks开发的一个Hadoop相关的项目,具体可以上官方去了解. 了解Hadoop生态圈 现在我们经常看到的一些关键字有: HDFS,MapReduce,HBase,Hive,ZooKeeper,Pig,Sqoop,Oozie,Ganglia,Nagios,CDH3,CDH4,Flume,Scri be,Fluented,HttpFS等等,其实应该还有更多,Hadoop生态圈现在发展算是相当繁荣了,而在这些繁 荣的背后又是谁在推动的呢? 读过Hadoop历史的朋友可能知道,Hadoop最早是始于Yahoo,但是现在主要是由 HortonWorks 和 Cloudera 这2家公司在维护者,大部分的commiter 都属于这2家公司,所以现在市面上看到的主要有2个版本,CDH系列,和社区版, 我最早用的是社区版本,后来换到CDH3,现在又换回社区版,因为有Ambari.当然,用什么和不用什么,只要自己的技术到家,还是都能修改的跑的正常的.这里就不多说了. 讲了这么多废话了,开始讲 Ambari安装吧. 开始部署 首先了解下Ambari, 项目地址在:https://www.sodocs.net/doc/f01387071.html,/ambari/

大数据学习环境搭建系列(一)大数据集群平台介绍

大数据集群平台介绍 掌握搭建大数据集群的方法是学习大数据技术的人需要具备的基础技能，因此我会通过接下来的三十余篇文章介绍大数据平台的搭建方法。在本文中我将向小伙伴们介绍一下搭建大数据集群需要哪些知识以及我们接下来搭建的大数据集群平台架构，让大家对平台有个总体的认识并普及一些概念。 首先我们接触的是虚拟机，及在虚拟机中安装Linux操作系统

集群搭建完成后我们总共会有四个虚拟机，其中伪分布集群有一台虚拟机，虚拟机名称为single_node。分布式集群有三个虚拟机名称分别为master、slave1、slave2。各个虚拟机的IP配置及安装软件（含软件运行的模块）如下表所示。 注：hostname:每个节点的主机名称 IP:每个节点的IP地址 NN:NameNode DN:DataNode NM:NodeManager RM:ResourceManager SNN:SecondaryNameNode / ：表示不安装 分布式集群的架构如下图所示

slave1 192.168.***.12 slave2 192.168.***.13 Master 192.168.***.11 1、硬件 节点：我们后面会经常提到节点，分布式环境中一个服务器就是一个节点，在我们搭建的集群中服务器指的是通过VMware软件虚拟出来的虚拟机。 操作系统：服务器上运行的操作系统基本上都是Linux操作系统，当然虚拟机中安装的也是Linux系统。 网络：集群中的多个节点之间协同工作需要不断交换数据及状态、命令等信息，因此需要互通的网络环境。我们的集群是通过虚拟机软件虚拟出来的，网络也是由虚拟机软件虚拟出的虚拟网卡来实现数据交换的。 2、软件 集群中的软件主要有hadoop、spark、hive、hbase、zookeeper这几个。Hadoop 虽然大数据集群平台根据具体业务需求不同配置组成不同，但大部分集群都会以hadoop集群为基础。例如大数据仓库Hive及分布式数据库Hbase的存储都会用到hadoop 集群的分布式文件系统HDFS，计算部分默认使用Hadoop原生的MapReduce计算框架。分布式计算框架spark可以使用hadoop内置的通用资源管理模块yarn来提供统一的资源管理和调度。

大数据平台kerberos安装部署文档

大数据平台－ｋerｂｅrｏs安装部署文档

————————————————————————————————作者: ————————————————————————————————日期: ?

1.环境准备 1.1.操作系统 本次安装部署要求在操作系统为ＣeｎtOS release 6.5（Fiｎal）的版本下进行部署，所以在安装部署ｋerｂeroｓ之前请先确保操作系统为以上版本,并且集群 中各机器已做时钟同步。 本次安装部署以csdm-hadｏoｐ-０4作为主kｄc服务器,以ｃsdm-hadoop-0５作为从kdc服务器，以csｄm-hadoｏp-０3作为客户端。一般不建议在服务器上再 安装其他应用程序，比如hａdoop。但为了节省资源本次安装在这三台机器均已安 装hadoop相关软件。 1.2.创建操作用户 创建操作系统hdfs、yarn、mａpred用户，并使其归属于ｈadoｏp用户组: adduｓeｒｈdfs -gＨａdoop adｄｕseｒyarn －g Hａdoｏp adduｓer mａpｒeｄ-ｇＨaｄoop 1.3.配置hosts文件 为各台机器修改/etｃ/ｈoｓts文件，将真实iｐ与主机名对应配置，服务端与 客户端均需配置，形如：(不能存在12７.0．０.1的配置，否则ｈadｏop进行ｋ ｅrbｅros验证时将会出错) 1.4.关闭防火墙 执行以下命令关闭防火墙： sｅrｖice ipｔaｂlｅs stop 出现以下界面表示关闭成功 1.5.注册服务与端口的对应 在/etc/seｒviｃe文件最后增加以下信息,以便后续使用： ?kｒb5_ｐｒoｐ75４/tｃp # Kerbeｒoｓ slave prｏｐagaｔion 2.安装配置Kerｂeros 2.1.安装rｐm包 ?以rｏot用户登录并创建目录存放安装包： mkｄir /ｖar/keｒberos

大数据技术实验一平台搭建

《大数据技术原理与应用》实验报告一 题目：安装Hadoop 姓名：高聪江班级：大数据1533 学号：2015005677 日期：2017.11.01 实验环境： 笔记本电脑一台 Archlinux虚拟机3台 Hadoop 2-7-10 Java 1-8-0 实验内容与完成情况： 下载相关软件已完成 安装虚拟机已完成 配置环境变量已完成 安装Hadoop 已完成 出现的问题： 01 虚拟机运行软件选择 02 虚拟机选择 03 虚拟机的分盘出现问题 04 虚拟机命令不被识别 05 Hadoop版本选择 06 Hadoop无法正常启动 07 结束安装后活节点数是0 解决方案（列出遇到的问题和解决办法，列出没有解决的问题）： 01 虚拟机运行软件选择使用了VirtualBox 02 虚拟机选择使用了Archlinux 03 虚拟机的分盘出现问题再分了一次，成功解决 04 虚拟机命令不被识别系统的环境变量出现问题，修改配置文件解决 05 Hadoop版本选择选择了2-7-10这一比较广泛的版本Hadoop 06 Hadoop无法正常启动由于格式化节点的时候没有先把生成文件都删除 07 结束安装后活节点数是0 这个问题原因一直没有找到，重装解决的 报告正文 1.实验内容与步骤 本实验主要内容和步骤如下： 1.1.实验内容

Hadoop集群搭建（由于伪分布比较简单，所以实验报告描述集群搭建），WorldCount实例测试。 1.2.实验步骤 1>下载相关软件。主要是Java，VirtualBox，Hadoop安装包，虚拟机的镜像 文件。 2>安装ArchLinux虚拟机（由于此发行版本比较洁净，系统体积小，运 行比较流畅） 安装结果如图： 3>进行Hadoop集群安装 >>启用网络并安装SSH和JDK >>配置SSH免密登录

大数据环境集群环境搭建

大数据环境搭建 1、CentOS 6.5 2、JDK 1.8 3、Hadoop 2.6 4、Hive 1.1.0 5、ZooKeeper-3.4.9 6、kafka_2.11- 7、Spark 2.1.1 8、flume-ng-1.6.0 CentOS 6.5防火墙和DNS配置 1、关闭防火墙 2、配置yum JDK 1.7安装 1、将jdk-8u131-linux- 2、安装JDK：把压缩包放到/usr/java/目录下

3、配置jdk相关的环境变量 5、rm -f /etc/udev/rules.d/70-persistent-net.rules 安装第二台和第三台服务器 1、安装上述步骤，再安装两台一模一样环境的服务器，因为后面hadoop和spark都是要搭建集群的。 2、集群的最小环境就是三台。因为后面要搭建ZooKeeper、kafka等集群。 3、另外两台机器的hostname分别设置为spark2和spark3即可，ip分别为 4、在安装的时候，另外两台服务器的centos镜像文件必须重新拷贝一份，放在新的目录里，使用各自自己的镜像文件。 5、服务器的硬盘文件也必须重新选择一个新的目录，以更好的区分。 6、安装好之后，记得要在三台机器的/etc/hosts文件中，配置全三台机器的ip地址到hostname 的映射，而不能只配置本机，这个很重要！ 7、在windows的hosts文件中也要配置全三台机器的ip地址到hostname的映射。 配置集群ssh免密码登录 1、首先在三台机器上配置对本机的ssh免密码登录

生成本机的公钥，过程中不断敲回车即可，ssh-keygen命令默认会将公钥放在/root/.ssh目录下 ssh-keygen -t rsa 将公钥复制为authorized_keys文件，此时使用ssh连接本机就不需要输入密码了 cd /root/.ssh cp id_rsa.pub authorized_keys 2、接着配置三台机器互相之间的ssh免密码登录 使用ssh-copy-id -i spark命令将本机的公钥拷贝到指定机器的authorized_keys文件中（方便好用） Hadoop 安装hadoop包 1、使用hadoop-，使用W in SCP上传到CentOS的/usr/local目录下。 2、将hadoop包进行解压缩：tar -zxvf hadoop- 3、对hadoop目录进行重命名：mv hadoop-2.4.1 hadoop 4、配置hadoop相关环境变量

蒙草搭建农业大数据平台资料

一、 蒙草集团依托20余年的生态科研实践，运用互联网、云计算、物联网等技术，结合实地监测，整理收集指定区域水、土、气、人、草、畜等生态系统相关数据，建立指标分析模型，从而精准指导生态修复实践，科学指导产业发展决策，优化引导农牧民生产生活，成为生态产业、农林牧产业等移动版的“GPS”+“科技110”。作为“生态+农业”大数据的一项实践，五原县农业大数据平台是蒙草依据当地农业生态现状和农业生产实际需求，搭建的以农业大数据为核心的生态公众服务平台。 大数据指导农业生产 五原县农业大数据平台使当地的农业生态实现了农业技术服务“一网覆盖”，农业资源数据“一键获取”，有效监控农畜产品的产量和质量。同时，大数据平台的遥感数据也提供该县农作物种类的空间分布、作物长势的变化以及不同程度的盐碱地分布的各类信息，为该县因地制宜规划农业生产提供依据。 大数据平台中的物联监测，可提供农作物生长环境、生长需求以及不同气候温度条件下病虫害发生情况的信息，提示农业部门及农民及早预防治疗，保证农作物健康生长，并通过精准施肥灌溉，减少水肥浪费，保护生态环境，促进农业可持续发展。 平台可监测家畜疫病的防治。防疫员可通过“智慧农业”APP快速地将牲畜图片、视频、农户和防疫员确认签字情况等防疫信息实时上报，并汇总到大数据平台。平台可对疫苗进行追溯，并做出该地区防疫热区图。2018年2月14日，五原县养羊农户赵瑞花在平台留言，家里的羊腿疼，走路一瘸一拐，不吃草，情况不止出现过一次，且附近几个村子都有类似情况发生。专家王强胜看到提问后回复了有效的治疗措施。平台通过为农户提供与专家沟通的渠道，为农户及时解决问题。 此外，农业信息员也将防灾减灾、土地流转与疫病防控等相关信息发布在农业综合信息平台上。平台信息结合科技服务直通车的

大数据平台部署方案完整版

大数据平台部署方案 完整版

目录 1.环境配置 (6) 主机地址 (6) 查看服务器硬件环境信息 (6) 查看操作系统版本和内核 (6) 关闭防火墙和SELinex (7) 所有主机时间同步 (7) 安装JDK (8) Maven安装 (8) 配置主机名 (10) 配置hosts映射 (10) 新建hadoop用户 (10) 配置SSH免密码登录 (11) 2.安装Zookeeper (12) 修改配置文件 (12) 设置myid (14) 启动Zookeeper集群 (14) 基本命令 (15) 3.安装Hadoop (15) NameNode(NN) HA实现方式 (15) ResourceManager(RM) HA实现方式 (16) Hadoop安装包下载 (16) 修改配置文件 (18) 配置Hadoop主目录 (18) 修改hadoo-env.sh (18) 修改core-site.xml (19)

修改hdfs-site.xml (20) 修改mapred-site.xml (23) 修改yarn-site.xml (24) 修改slaves (27) 将配置好的hadoop安装包分发到其它节点 (27) 添加hadoop临时文件目录 (28) 启动Zookeeper集群 (28) 启动journalnode (28) 格式化HDFS (28) 在Master1上格式化ZK (29) 启动HDFS (29) 启动YARN (30) 通过web页面查看集群是否已经正常启动 (30) 4.安装HBase (32) 下载HBase安装包 (32) HBase安装 (34) 解压缩安装包 (34) 修改hbase-env.sh (35) 修改hbase-site.xml (35) 修改regionservers (36) 添加backup-masters (36) 拷贝hbase到其他节点 (36) 启动HBase (37) 5.安装Hive (38) 安装MySQL (38) 修改hive配置文件 (39) Hive HWI 安装及配置 (40) 6.Mahout安装 (40) 下载Mahout源码 (40) Mahout0.12.0编译 (41) Mahout0.12.0安装部署 (41)

hadoop大数据平台分布式集群环境搭建安装规划

hadoop大数据平台分布式集群环境搭建安装规划Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情，因为你可能花费了很久的时间在搭建运行环境，最终却不知道什么原因无法创建成功。但对新手来说，运行环境搭建不成功的概率还蛮高的。 在之前的分享文章中给hadoop新手入门推荐的大快搜索DKHadoop发行版，在运行环境安装方面的确要比其他的发行版hadoop要简单的多，毕竟DKHadoop是对底层重新集成封装的，对与研究hadoop尤其是入门级新手来说是非常友好的一个发行版！关于DKHadoop的安装留在后面再给大家分享，本篇就跟大家聊一聊关于【hadoop分布式集群环境搭建规划】。 1、分布式机器架构图：

其中机器1主节点，机器2从节点，机器3、机器4等都是计算节点。当主节点宕机后从节点代替主节点工作，正常状态是从节点和计算节点一样工作。这种架构设计保证数据完整性。 首先我们保证每台计算节点上分别有一个DataNode节点和NodeManager节点。因为都是计算节点，真正干活的。在数量上我们要保证。那么NameNode和ResourceManager是两个非常重要的管理者，我们客户端的请求，第一时间与NameNode 和ResourceManager打交道。NameNode负责管理HDFS文件系统的元数据，客户端不管是读文件还是写文件，都要首先找到NameNode获取文件的元数据，再进行文件的操作。ResourceManager也是如此，它负责管理集群中的资源和任务调度，你也可以把它视为“大数据操作系统”。客户端能否提交应用并运行，就看你的ResourceManager是否正常。2、达到多大规模的数据，才值得用大数据的方式来处理？ 第一，从数据量角度，但是并无确定的答案，一般定性角度来说，你觉得这个数据量单机处理不了，比如内存限制，时间过久等，就用集群，但是要降低时间，你的处理逻辑必须能分布式处理，定量就是一般数据或者未来的数据量会达到PB级别（可能GB）或以上就要用分布式，当然前提也是你的处理逻辑可以进行分布式。 第二，从算法角度，或者处理逻辑的时间复杂度来说，比如虽然你的数据记录不是很多，但是你的算法或者处理逻辑的时间复杂度是n的平方，甚至更高，同时你的算法可以进行分布式设计，那么就考虑用分布式，比如你的记录虽然只有1w, 但是时间复杂度确是n的平方，那么你想想单机要多久，要是你的算法可以进行分布式处理，那么就考虑用分布式。 3、制约大数据处理能力的几个问题 a、网络带宽 网络是联接计算机的纽带，这个纽带当然越宽越好，这样可以在计算机资源许可的情况