要安装的清单： Scala 2.12.13 Spark 3.1.2 在Master节点上 安装scala 安装SDKMAN 1 2 curl -s "https://get.sdkman.io" | bash source ~/.bashrc 安装Scala 1 2 3 sdk install scala 2.12.13 sudo mkdir /opt/scala sudo cp -r ~/.sdkman/candidates/scala/2.12.13 /opt/scala/ 安装S

之前配置Hadoop的hdfs后还需要配置yarn 为了使用start-dfs.sh和start-yarn.sh自动远程启动datanode等

使用finger命令查看用户的详细信息 https://www.runoob.com/linux/linux-comm-finger.html 使用chfn编辑finger信息 https://linux.die.net/man/1/chfn

安装软件 为了集群上大家使用方便，在/opt目录下放置本次要使用的软件。 权限方面使用hadoop用户组来限制使用 下载安装JDK 使用graalv

参考链接：https://blog.csdn.net/a12345______/article/details/114545019 在用VM1

准备CUDA cuda版本最好与下面网址里的配置版本号完全一致 https://tensorflow.google.cn/install/source_windows#tested_build_configurations 例如 1 conda install -n tf cudatoolkit=10.1 cudnn=7.6.5 conda默认源里cudnn可能不是最新，可以到conda网