蓝波湾
liubin2010 · 共 137 篇文章
CentOS 6.5安装图形界面
计划从新安装一个 CentOS 6.5版本,从网上下一个一个CentOS 6.5 DVD版,一路NEXT狂奔之后,发现没有界面,折腾半天,晚上找资料,动手实践,终于整出界面,先记录下整个过程,和大家分享一下。 Win7安装64位CentOS 6.4双系统详细图文教程 http://www.linuxidc.com/Linux/2014-04/100032.htm CentOS6相对于CentOS5的安装有了不少的进步,有不少默认的选项可以选择,如: Desktop :基本的桌面系统,包括常用的桌面软件,如文档查看工具。 Minimal Desktop :基本的桌面系统,包含的软件更少。 Mi…
2016-06-11 07:08 · centos 6.x · 评论(0)
查看Centos系统信息命令
inux命令行具有强大的功能,我们安装vps后,首先应该知道系统信息,查看这些信息,你会发现Linux命令很简单,你可以按照下面的命令练习。 linux系统信息 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname # 查看计算机名 # lspci -tv # 列出所有PCI设备 # lsusb -tv # 列出所有USB设备 # lsmod # 列出加载的内核模块 # env # 查看环境变量 # arch 显示机器的处理器架构(1) #…
2016-06-11 07:07 · centos 6.x · 评论(0)
堆内存和栈内存详解
堆:顺序随意 栈:先进后出 堆和栈的区别 一、预备知识—程序的内存分配 一个由c/C++编译的程序占用的内存分为以下几个部分 1、栈区(stack)— 由编译器自动分配释放 ,存放函数的参数值,局部变量的值等。其操作方式类似于数据结构中的栈 2、堆区(heap) — 一般由程序员分配释放, 若程序员不释放,程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事,分配方式倒是类似于链表,呵呵。 3、全局区(静态区)(static)—,全局变量和静态变量的存储是放在一块的,初始化的全局变量和静态变量在一块区域, 未初始化的全局变量和未初始化的静态变量在相邻的另一块区域。 - 程序结束后有系统…
2016-01-07 15:23 · C 程序设计基础现代方法 · 评论(0)
OpenMP共享内存并行编程详解
http://www.cnblogs.com/liangliangh/p/3565234.html 实验平台:win7, VS2010 1. 介绍 平行计算机可以简单分为共享内存和分布式内存,共享内存就是多个核心共享一个内存,目前的PC就是这类(不管是只有一个多核CPU还是可以插多个CPU, 它们都有多个核心和一个内存),一般的大型计算机结合分布式内存和共享内存结构,即每个计算节点内是共享内存,节点间是分布式内存。想要在这些并行计算机 上获得较好的性能,进行并行编程是必要条件。目前流行的并行程序设计方法是,分布式内存结构上使用MPI,共享内存结构上使用Pthreads或 OpenMP。我们这…
2015-12-26 20:23 · openmp · 评论(0)
spark应用程序的运行架构
几个基本概念: (1)job:包含多个task组成的并行计算,往往由action催生。 (2)stage:job的调度单位。 (3)task:被送到某个executor上的工作单元。 (4)taskSet:一组关联的,相互之间没有shuffle依赖关系的任务组成的任务集。 一个应用程序由一个driver program和多个job构成。一个job由多个stage组成。一个stage由多个没有shuffle关系的task组成。 spark应用程序的运行架构: (1)简单的说: 由driver向集群申请资源,集群分配资源,启动executor。driver将spark应用程序的代码和文件传送给e…
2015-08-21 12:12 · Spark · 评论(0)
集群地址列表
集群状态信息 :http://localhost:50070/ 作业信息 :http://localhost:8088/cluster
2015-05-14 20:53 · Ubuntu10.04 · Spark · 评论(0)
VirtualBox虚拟机网络设置(四种方式)
VirtualBox的提供了四种网络接入模式,它们分别是: 1、NAT 网络地址转换模式(NAT,Network Address Translation) 2、Bridged Adapter 桥接模式 3、Internal 内部网络模式 4、Host-only Adapter 主机模式 第一种 NAT模式 解释: NAT模式是最简单的实现虚拟机上网的方式,你可以这样理解:Vhost访问网络的所有数据都是由主机提供的,vhost并不真实存在于网络中,主机与网络中的任何机器都不能查看和访问到Vhost的存在。 虚拟机与主机关系: 只能单向访问,虚拟机可以通过网络访问到主机,主机无法通过网络访问到…
2015-04-17 16:55 · Spark · 评论(0)
配置Hadoop分布式集群环境
1.查看master IP地址 master@master-VirtualBox:~$ ifconfig eth0 Link encap:Ethernet HWaddr 08:00:27:14:8a:71 inet addr:10.0.2.15 Bcast:10.0.2.255 Mask:255.255.255.0 master@master-VirtualBox:~$ sudo gedit /etc/hostname Master master@master-VirtualBox:~$ hostname master-VirtualBox 重新启动 master@master-Virtua…
2015-04-17 16:54 · Spark · 评论(0)
Slave2
1.mount slave1@slave1-VirtualBox:~$ sudo mkdir /mnt/shared [sudo] password for slave1: mkdir: cannot create directory ‘/mnt/shared’: File exists slave1@slave1-VirtualBox:~$ sudo mount -t vboxsf slave1 /mnt/shared/ slave1@slave1-VirtualBox:~$ ls /mnt/shared/ 2.jdk sudo mkdir /usr/local/jvm sudo cp /…
2015-04-17 14:46 · Spark · 评论(0)
Slave1
1.mount slave1@slave1-VirtualBox:~$ sudo mkdir /mnt/shared [sudo] password for slave1: mkdir: cannot create directory ‘/mnt/shared’: File exists slave1@slave1-VirtualBox:~$ sudo mount -t vboxsf slave1 /mnt/shared/ slave1@slave1-VirtualBox:~$ ls /mnt/shared/ 2.jdk sudo mkdir /usr/local/jvm sudo cp /…
2015-04-17 08:28 · Spark · 评论(0)
常见错误
1.jps没有datanode进程 ************************************************************/ 2015-04-16 16:14:49,728 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: registered UNIX signal handlers for [TERM, HUP, INT] 2015-04-16 16:14:51,568 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid df…
2015-04-16 18:18 · Spark · 评论(0)
vmware 与 联网
详见附件需要注意一下几点 1.手动配置DNS VMware中选择编辑-virtual network editor-nat-nat setting-DNS setting (自己主机的DSN)
2015-04-14 14:11 · Spark · 评论(0)
ubuntu 14.04 x64 下完美安装搜狗拼音输入法
1:到搜狗官网下载搜狗拼音输入法,选择你系统对应的软件包,我系统是64位的,所以我选择了amd64的 http://pinyin.sogou.com/linux/?r=pinyin 2:用gdebi这个软件安装,它能够安装所有依赖关系,如果你没有安装gdebi,请先安装该软件; sudo apt-get install gdebi 我用的是这种方法,其它的方法我没试过,所以不知道行不行 sudo gdebi sogou_pinyin_linux_1.0.0.0014_amd64.deb 3:注销下系统、选择右上角inputmethod在复选框去掉对号,选择sougoupinyin,确定即可
2015-04-13 16:30 · Spark · 评论(0)