0
点赞
收藏
分享

微信扫一扫

hadoop 备忘


window cmd yong c:\windows\system32

 

远登linux使用putty和winscp !!

 

1.

hadoop 添加 jar 包

在代码中

DistributedCache.addFileToClassPath(new Path("\\user\\dirk2\\input\\ojdbc6-11.2.0.1.0.jar"), conf);

//无须重启

在hdfs中

hadoop fs -put object6-11.2.0.1.0.jar /lib

//需要重启才生效

 

http://genius-bai.iteye.com/blog/642785

 

 

pig:

1.

一篇pig开发的文章:2012/11

http://www.slideshare.net/SwissHUG/practical-pig-and-pig-unit-michael-noll-july-2012

2.

生成pigunit.jar的方法,

在pig的resource目录下

运行ant jar pigunit-jar

根目录上就生成了pig.jar,pigunit.jar

 

linux:

显示当前目录 pwd

 

重启hadoop

./stop-all.sh

./start-all.sh

 

linux报错:

 

Error occurred during initialization of VM
Could not reserve enough space for object heap
Could not create the Java virtual machine.

 原因有二:一是java path(JAVA_HOME)配置有问题,可以echo $JAVA_HOME 看一下

                    二是linux内存溢出,或内存空间不足,

 



1.清理前内存使用情况 
free -m

2.开始清理  
echo 1 > /proc/sys/vm/drop_caches

3.清理后内存使用情况 
free -m

4.完成!


 

 

 

less|cat /proc/meminfo 查看内存

 

vi修改:vi 文件

              点击 i a什么滴进入修改

              点击 Esc进入命令行

              :wq 保存退出 :q退出 :q!强制退出 :wq!强制保存 :e!放弃修改,从上次保存开始编辑

 

查看大文件 :less more 文件

                         其他命令一样

 

举报

相关推荐

0 条评论