kangvcar

在阿里云服务器上部署Hadoop分布式集群

一、集群规划

HDFS集群规划：

内网IP地址	主机名	部署服务
172.31.152.253	master	NameNode,DataNode,JobHistoryServer
172.31.152.251	slave1	DataNode

kangvcar

ref:

• https://www.51cto.com/article/747440.html
• https://hadoop.apache.org/docs/r3.3.6/
• http://www.wenyoulong.com/articles/2023/10/20/1697765093569.html

core-site.xml

<configuration>
    <!-- 
        配置项: fs.defaultFS

kangvcar

在阿里云服务器上部署Hadoop伪集群（单机）

修改主机名为master：hostnamectl set-hostname master

配置IP与主机名映射关系：

vim /etc/hosts 末尾添加
<内网IP> master

kangvcar

#!/bin/bash

#####################################################
# Hadoop 伪分布式集群一键部署脚本 - CentOS 7
# 功能：
#   1. 检查并安装必要依赖 (wget, curl, tar, ssh)
#   2. 获取本机IP (优先内网) 并配置 /etc/hosts
#   3. 设置主机名为 'master'
#   4. 下载、解压并重命名 Java 和 Hadoop 安装包
#   5. 配置 Java 和 Hadoop 环境变量到 /etc/profile

kangvcar

#!/bin/bash

#####################################################
# Hadoop 基础环境部署脚本 - CentOS 7
# 功能：
#   1. 检查并安装必要依赖 (wget, curl, tar, ssh)
#   2. 获取本机IP (优先内网) 并配置 /etc/hosts
#   3. 设置主机名为 'master'
#   4. 下载、解压并重命名 Java 和 Hadoop 安装包
#   5. 配置 Java 和 Hadoop 环境变量到 /etc/profile

kangvcar

Hadoop伪分布式集群搭建极简说明

1. 设置主机名

hostnamectl set-hostname master

设置服务器主机名为master

2. 安装Java环境

kangvcar

---
created: <% tp.file.creation_date() %>
modified: <% tp.file.last_modified_date("YYYY-MM-DD HH:mm:ss") %>
tags: [""]
---
# <% tp.file.title %>

<< [[<% fileDate = moment(tp.file.title, 'YYYY-MM-DD_ddd').subtract(1, 'd').format('YYYY-MM-DD_ddd') %>|Yesterday]] | [[<% fileDate = moment(tp.file.title, 'YYYY-MM-DD_ddd').add(1, 'd').format('YYYY-MM-DD_ddd') %>|Tomorrow]] >>

---

kangvcar

一、必备插件

🌾Chinese（中文）

🤡Settings Sync（配置同步到云端）

🌈wakatime（编程时间及行为跟踪统计）

二、效率神器

kangvcar

# * Author        : kangvcar
# * Email         : kangvcar@gmail.com
# * Last modified : 2022-03-07 12:20
# * Filename      : kkstat.sh
# * Description   : 用于采集CentOS 7 系统运行性能数据，每分钟采集一次，存在/var/log/sa 目录下

# Check CentOS Version
v=`cat /etc/redhat-release|sed -r 's/.* ([0-9]+)\..*/\1/'`
if [ $v -eq 7 ]; then
    echo "==========CentOS 7============"

kangvcar

<title>Kubernetes 调度优化--重平衡策略方案整理</title>