0
点赞
收藏
分享

微信扫一扫

node.js实现自定义npm包并发布

开源竞争:

自己没有办法完全掌握技术的时候就开源这个技术,培养出更多的技术依赖,让更多人完善你的技术,那么这不就是在砸罐子吗?一个行业里面总会有人砸罐子的,你不如先砸还能听个想。

客观现实:

{一年当中想学习的时间少,不想学习的时间多,想认真记录的时刻少,不想认真记录的时刻多。不想认真记录的时间多,认真记录的时间少。客观现实就是,专科里面学习氛围不是很好,自己带不动}

查看期末大数据项目的要求:

请同学们完成一主两从分布式集群搭建、

并开启hadoop、zookeeper、hbase等组件(使用预先完成的镜像包可以实现,但是前提的条件:预先处理好各个虚拟机的之间的网卡!查看自己相关的书籍(专业书籍名称:Hadoop大数据开发基础/大数据技术原理与应用/大数据导论)。)

在这里,采用直接已经安装成功的虚拟机配置:

注意:

(如果当你的虚拟机出现复制的时候,第三台从机出现问题,在VMware中可以进行选择对于虚拟机进行复制)

我们不需要双胞胎,我们需要一主两从的结构

改动点:

  1. 主机名
  2. ip地址

相关的知识点:

在Linux操作系统中修改虚拟机名称通常涉及两个方面:修改系统内部的主机名和修改虚拟化管理器中虚拟机的显示名称。以下是针对这两种情况的修改方法:

### 1. 修改系统内部的主机名

在Linux系统中,你可以通过修改`/etc/hostname`文件和`/etc/hosts`文件来更改系统的主机名。

#### 步骤如下:

1. **修改`/etc/hostname`文件**:


   打开终端,使用文本编辑器(如`nano`或`vi`)编辑`/etc/hostname`文件。

   ```bash
   sudo nano /etc/hostname
   ```

   将文件中的旧主机名替换为新主机名,然后保存并退出编辑器。

2. **修改`/etc/hosts`文件**:


   同样使用文本编辑器编辑`/etc/hosts`文件。

   ```bash
   sudo nano /etc/hosts
   ```

   找到与旧主机名相关的行,将其中的旧主机名替换为新主机名。确保IP地址和新主机名的对应关系正确。

3. **重启网络服务**(可选,取决于你的Linux发行版):


   有些系统可能需要重启网络服务以使更改生效。

   ```bash
   sudo systemctl restart networking
   ```

4. **重启系统**:


   为了让更改的主机名生效,你可能需要重启系统。

   ```bash
   sudo reboot
   ```

### 2. 修改虚拟化管理器中的虚拟机显示名称

如果你使用的是虚拟化软件(如VMware, VirtualBox等),你需要在虚拟化管理器中修改虚拟机的显示名称。

#### VMware Workstation/Fusion为例:

1. 打开VMware Workstation/Fusion。
2. 选择你想要重命名的虚拟机。
3. 右键点击虚拟机,选择“重命名”或者“设置”。
4. 在弹出的窗口中,找到虚拟机名称的字段,输入新的名称。
5. 点击“确定”或“保存”以确认更改。

#### VirtualBox为例:

1. 打开VirtualBox。
2. 选择你想要重命名的虚拟机。
3. 右键点击虚拟机,选择“设置”。
4. 在“常规”标签页下,找到“名称”字段,输入新的名称。
5. 点击“确定”以确认更改。

请注意,虚拟化管理器中的名称更改不会影响操作系统内部的主机名,这两个名称可以是不同的。如果你需要在操作系统内部更改主机名,请按照第一部分的步骤操作。
 

查看开启集群的进程。 


从0开始1的开始弄:

首先当然是最为关键的vmware了!

虚拟机搭建教程_网络虚拟机怎么搭建-CSDN博客

CentOS7最小化详细安装与CentOS7下载网址_centos7 下载-CSDN博客

易错的点:

(选择上面Install CentOS 7安装,而不是中间的那个)

在这里还要再添加两个软件:

  1. xftp(文件传输软件用的)
  2. xshell(用来输入文本命令的)

开始搭建之前,目前网上有两篇文章:

Hadoop的集群搭建windows基于VMware虚拟机超详细教程(一主二从)_master login-CSDN博客

第一个步骤(搭建虚拟机):

开始遇到的第一个错误:

这张图片显示的是Linux系统进入紧急模式(emergency mode)的界面。

(以下的内容来源于:kimi智能编辑助手,速度嘎嘎快!就用ai)

核心内容如下:

1. **进入紧急模式**:

系统提示用户已经进入紧急模式,这通常发生在系统启动过程中遇到问题时。

2. **查看系统日志**:

用户可以通过输入`journalctl -xb`命令来查看系统日志,以诊断启动过程中出现的问题。

3. **重启或恢复默认设置**:

用户可以通过输入`systemctl reboot`来重启系统,或者通过`systemctl default`或按`^D`来尝试重新启动到默认模式。

4. **维护模式**:

系统要求用户输入root密码以进入维护模式,但用户多次输入的密码都不正确。

5. **SMBus Host Controller未启用**:

日志中显示了一个警告,指出SMBus Host Controller未启用。SMBus是一种用于系统管理的总线,通常用于监控硬件状态。

6. **登录尝试失败**:

用户多次尝试输入root密码,但都显示“Login incorrect”(登录不正确)。

这个界面通常出现在系统启动失败,需要管理员介入进行故障排除和修复的情况下。管理员需要知道正确的root密码才能继续操作。如果忘记了密码,可能需要通过其他方式重置密码,例如使用单用户模式或从Live CD/USB启动并挂载文件系统。

第二个步骤:配置java环境:

基础环境-linux-安装jdk-解决bash: java: command not found..._-bash: java: command not found-CSDN博客

(如果有教材(Hadoop大数据开发基础)的同学可以直接按照课本上弄,课本上的没有问题,但是要注意虚拟环境,另一个关键:要开源,不开源什么事情都做不了!你不开源,我也不开源,他就要开源,他一开源,他挣钱了,你内心又过不去。)

请同学们把配置集群,开启集群的步骤,总结为word文档,写出步骤和命令,截图说明。

其实有的时候,学习计算机最大的问题:

没有记数和反馈

以10min为一个契机对其进行计数(每隔10min对其进行一次计数,微信小程序搜索躺平成长,里面有相关的数据统计,目前数据统计机制还不完善,但是最终会完善的。)


如何更好使用boss直聘:

大学期间(专科计算机期间):

我可以用ai干点什么?

躺平成长-代码开发(08)-第八天-CSDN博客

大学期间(专科期间,我要合群吗?)

是的,现在有AI可以帮助我们搭建Hadoop。根据搜索结果,有几个工具和平台可以辅助在Hadoop上部署和管理AI工作负载:

  1. Hadoop Submarine:这是一个统一的AI平台,允许工程师和数据科学家在分布式集群中运行机器学习和深度学习工作负载。Hadoop Submarine可以在资源管理平台(如YARN)上运行深度学习应用程序(如Tensorflow,Pytorch等),并支持多种机器学习框架,涵盖了整个机器学习过程,包括算法开发、模型批量训练、模型增量训练、模型在线服务和模型管理。

  2. TonY (TensorFlow on YARN):LinkedIn开源的一个框架,旨在让深度学习框架能够原生地运行在Apache Hadoop上。TonY支持多种主流深度学习框架,包括TensorFlow、PyTorch、MXNet和Horovod。它允许深度学习作业作为Hadoop应用程序直接运行,无需额外的资源管理层,提供了灵活性和可靠性。

这些工具和平台的出现,使得在Hadoop上部署和管理AI工作负载变得更加简单和高效。它们充分利用了Hadoop的分布式计算优势,为AI训练提供了强大的数据处理能力,并简化了部署和管理流程。

Hadoop Submarine 是一个旨在简化在 Hadoop 上运行分布式深度学习应用的项目。以下是关于 Hadoop Submarine 的一些关键功能和特点:

1. **简化分布式深度学习应用的启动和管理**:

Submarine 项目的目标是使分布式深度学习/机器学习应用程序易于启动、管理和监控。

2. **支持多种深度学习框架**:

Submarine 支持 TensorFlow、MXNet、PyTorch、Caffe、XGBoost 等多种深度学习框架,有时需要将这些框架组合使用以解决不同的问题。

3. **集成 TensorBoard**:

Submarine 允许用户通过 TensorBoard 访问所有的训练历史任务,方便监控训练状态和历史记录。

4. **云端数据科学家 NOTEBOOK**:

Submarine 提供了从 YARN 资源池获取云端 notebook 的能力,支持在 GPU 机器上使用笔记本编写算法。

5. **与 Zeppelin 集成**:

Submarine 与 Zeppelin 集成,Zeppelin 是一款基于网络的笔记本电脑,支持交互式数据分析,可以使用 SQL、Scala、Python 等来制作数据驱动的交互式协作文档。

6. **与 Azkaban 集成**:

Submarine 还集成了 Azkaban,这是一个工作流程调度服务,可以安排 Zeppelin 编写的 Hadoop Submarine Notebook,以调度具有执行依赖性的多个笔记本执行任务。

7. **提供安装程序**:

Submarine 提供了一个安装程序,用于运行时环境的安装,该安装程序完全由 Shell 脚本编写,提供了简单易用的菜单化操作方式,可以轻松便捷地安装好运行环境。

8. **项目状态**:

Alpha 版本的解决方案已经合并到 Hadoop 主干分支,3.2.0 版本的一部分仍处于活动开发/测试阶段。

Hadoop Submarine 通过提供全流程服务支持,包括数据采集、数据处理、数据清理、算法开发、资源调度、算法模型发布和作业调度,为深度学习场景提供了一个强大的平台。通过这些集成和功能,Submarine 旨在降低在 Hadoop 上部署和管理深度学习工作负载的复杂性。
 

开始干活,写完200个字,自己就开始投5个简历。

开始干活,写完200个字,再投5个简历。

举报

相关推荐

0 条评论