php大数据

每次到高考成绩出来即将报志愿这个时间段，广大考生和考生家长们都十分纠结：大学里的专业那么多，到底要选哪个专业好？这里就给大家介绍一下大学时学起来又苦又累的五个专业。大家可别一看到又苦又累这几个字瞬间跑了哟，这几个专业虽然学起来累，但毕业后、工作经验逐渐丰富后，这几个专业的毕业生全都是香饽饽，不仅工作稳定，而且薪酬也很不错。

第一、临床医学专业。临床医学专业是医学相关专业当中比较火爆的一个，但这个专业不仅学起来困难，而且学习时间非常长。临床医学专业的学生不仅需要比其他本科生多一年的本科学习，还需要额外添加三年研究生生涯和好几年的博士学习生涯。当然，到底是否要考研或者考博，其实是由学生自己决定的，但临床医学这个专业所对口的工作，哪怕只是一个小县城的普通医院，都需要员工有硕士以上甚至博士学历。而且这个专业在学习过程中一定不能临时抱佛脚，而是得多年如一日的长期积累、长期学习。

不过这个专业在毕业后拥有的工作和薪酬确实对得起这个专业在学习时的困难和压力。纵然现在医患关系非常紧张、医生都在强调自己工作的高强度和高压力。但不可否认的是，医生的社会地位和薪酬平均水平确实是远高于其他普通行业。近几年来，在选专业的时候，人们总说学CS（计算机）这种热门专业薪资水平会更好。但即便强如CS专业，其平均薪酬水平甚至还要低于医学专业。很多人对这点都不大相信，在外界看来，学CS的学生，本科毕业之后就能瞬间拿一两万的高薪。确实， CS行业高薪普遍，但这仅仅局限于学生毕业后10年内这个时间段，当我们把薪资水平的年龄要求放宽，从24岁一直算到退休年龄的60岁，CS专业大部分学生的薪酬都会被医学专业的学生赶上。

第二、法学专业。“法学狗”这个词是怎么来的？都是从“被法学迫害的学生”这里来的！法学是全国统考，这个专业需要学习的专业内容深度、专业范围广度、学习辛苦度都不亚于医学专业。法学生如果想要自己大学四年的学费不白交、大学的努力不白费，就一定要日复一日、月复一月、年复一年地将心思完全放在法理学上，而且还要制定详细计划，啥时候考司法考试、啥时候考研都得安排得明明白白。

法学和医学一样，必须依靠提升学历来拓宽自己未来的职业之路。比如，医学生如果只是普通本科毕业、没有硕士学历，那么其未来的可选职业、晋升之路就会比其他高学历的同行少很多、难很多。法学和医学一样，在法学生一年比一年多的现在，如果法学生不考司法考试、读研，本科毕业后和失业基本也就没啥区别了。当然，凡事儿都有例外，但我们大多数人都是普通人，都做不了那个“例外”。法学虽难学，但是一旦熬出头、通过司法考试、有高学历，后面的职业生涯里，赚的钱和社会地位就一定比很多其他行业的人多很多、高很多。

第三、 计算机相关专业。近几年来计算机相关专业扩展的比较多，比如软件工程、大数据分析、智能机器人、网络信息安全等专业都属于计算机相关专业。这些比较常见的专业，尤其是软件工程专业和大数据分析专业，只要学习阶段确确实实掌握了应有的专业技术，那么学生在毕业后基本上都能找到薪资待遇很不错的工作。但凡是和计算机相关的专业都特别难学，尤其是计算机应用科学这个专业，学的东西非常广泛。计算机相关专业的学生在大学期间就要熟悉数据库、C语言、Java、C++、PHP、Android、Python、计算机基础、计算机网络基础、计算机组成、线性代数、数据结构与算法……这些学科几乎每一个单独拎出来都能单独分成一个小行业分支，所以，人们总说计算机专业的学生，不是已经秃头，就是正在秃头。

但是，计算机专业有一个特点：只要学得好、薪酬少不了。一般而言，即便是普通本科院校出来的计算机毕业生，只要学生技术精通，都能够在深圳、上海这样的大城市拿到上万元的工资。但这个专业有个坏处：越老越不值钱。所以该专业的学生要么就在接近30岁时开始找退路，比如考研考博尝试去各大高校任教，要么拼了命地让自己技术越来越成熟、经验越来越丰富，让自己的“IT职业终点”尽可能往后推。

寄语：人生在世，岂能一生安顺？除了天生含着金钥匙出生的人，大部分的普通人都必须在学习阶段刻苦的学习，才能让自己将来的生活过好一点。不管大家选的是什么专业，既然已经选择了，就不要纠结于这个专业将来的发展，而是要脚踏实地的好好学习。好啦，你是否还有关于大学选专业方面的问题呢？欢迎提出你的问题。

1

站群软件系统：365建站器 10.0新版历时一年半，升级架构和内核，全新的速度和用户体验

2

升级改造优化数据库，避免超过2G就出错的问题

站群软件系统：365建站器 10.0升级改造优化数据库，去掉aceess数据库，修改其它数据库，避免超过2G就出错的问题

3

升级获取代码函数，自动同步浏览器cookies，便于获取数据

站群软件系统：365建站器 10.0升级获取代码函数，自动同步浏览器cookies，可以提交抓取效率，减少被拦截，同时还可以抓取登录后的数据

4

升级优化数据采集，站群软件系统：365建站器 10.0增加云规则批量下载功能

5

升级优化云模板，站群软件系统：365建站器 10.0增加批量下载功能

6

增加批量发布网站时，站群软件系统：365建站器 10.0可以批量修改优化已发布的网站tdk及栏目功能

7

升级优化采集显示窗口，站群软件系统：365建站器 10.0更加人性化

8

升级优化定时功能，站群软件系统：365建站器 10.0可挂机发布

9

升级优化批量发布功能，单任务升级成多任务，提升体验

10

增加批量发布时，采集源可以选择在线采集功能

11

优化智能采集，用户可自定义智能采集源，提高抓取效率

智能采集功能介绍：

智能采集功能不需要写采集规则，只输入网址或关键词就可以进行在线采集内容的功能，其原理是：

1、输入网址，通过网址自动爬取内容网址，进行采集内容入库

2、输入关键词，通过关键词去查找各搜索平台（可通过软件上的设置自定义）上的内容入库

智能采集功能使用教程：

用途1、不需要写采集规则，只输入网址或关键词进行在线采集内容入库

用途2、批量建站后，通过智能采集自动匹配栏目关键词进行采集，发布相关的内容入库

说明：搜索平台（可通过软件上的设置自定义）的设置

12

修正关键词挖掘出错的问题

13

升级优化数据分析功能，用户可自定义，增加百度站平台批量推送功能

14

升级优化模板工具，修正保存模板细节的问题

15

升级优化源码分页不兼容不显示的问题

站群软件系统：365建站器 10.0升级优化源码中分页不兼容不显示的问题

16

升级优化运行环境ZZphpserver功能和体验

17

增加是否开启网站来访统计让用户选择的功能

18

增加百度站长平台 批量提交及站长平台验证功能

19

修正源码在linux中不兼容，在php7.2/php7.4不兼容的问题

20

修正数据分析中查询数据出错，保存数据出现错误的问题

21

修正批量发布时，文章中包含&，导致文章被分割不完整的问题

22

升级优化自动链接功能

23

优化大数据备份还原时批量处理的速度，针对大数据还原批量写入速度提高10倍以上，针对备份采用分页备份解决大数据卡死的情况

24

解决网站后台网站列表在大数据下打开加载速度慢的情况

当用户服务器网站较多比如有几百个网站，几百万文章时，打开网站后台很慢，新版本采用缓存技术解决网站后台网站列表在大数据下打开加载速度慢的情况

25

增加http模拟工具，便于查看获取数据的情况

26

升级优化文章库功能，增加搜索功能，批量导出功能

27

增加按域名采集关键词并导入关键词库功能

28

优化服务器管理界面，让界面更简洁

29

优化各列表分页功能，并支持自定义分页

30

404错误页面增加百变功能

31

站群软件系统：365建站器 10.0修正用户反馈的其它问题和建议

随着社会大数据、人工智能、5G等互联网朝阳产业的蓬勃发展，社会兴起了一波编程热浪，从而衍生了很多IT类培训机构，但是入门类IT培训机构数量众多，使得地段IT人才市场呈现饱和形式，但是互联网作为朝阳产业，并且技术天花板高、跳槽速度快，那么如何在如此环境下选择比较好的机构进行系统培训呢？

首先，对机构所选的行业进行认识。像传统编程（Java，C，PHP等）已经在业内有20年左右的发展了，人才方面高校，机构每年进行输送，早已导致行业竞争压力大，起步薪资相对现在新兴领域也较低。像这几年比较火热的大数据、人工智能、5G等方面技术都可以作为选择。选择一家做这些一个方面或多个方面的机构去进行一段时间的深入学习，使得自己迅速进入这个行业，从而迅速达到企业上岗要求，早日进行发展。

其次，对机构整体的资质进行了解。一家好的机构有系统的课程，并且会得到政府、地方学校以及一些企业等等方面的支持。这一方面机构实力的体现，另一方面也是机构教学质量的体现。

然后，看从机构所学的可能是否切切实实企业项目中会用到。大家都知道选择培训一方面是想通过培训快速进入这个行业进行工作，另一方面也就为了个人之后的发展。那么一家机构教的东西如果是3、5年前企业在用，可能就不太适合现在企业模式了，因为互联网公司跟随着时代，很多技术3、5年左右都会有变动，所以你从培训机构里能学到当前社会企业所应用到的技能知识的话在你进入企业，项目之上会有更大的优势。

最后，看行业的整体一个方向。选择一个技术领域可以长久，还可以往新兴技术领域蔓延的技术更符合互联网时代的发展，技术发展你可以跟着，技术革新你可以迅速适应，伴随着的就是自己对领域的见解越来越多。

青岛莱牛教育作为山东省内第一家从事大数据方面人才培养的企业，近5年来，专注于大数据ETL方面人才培养（ETL可参考上篇文章什么是大数据ETL）。自成立至今，依托行业及人才优势发展迅速，已于2018年底顺利完成上市IPO阶段，同时北京、济南、德州、郑州等多地分公司运作成熟。

随着业务的不断开拓，旗下先后成立了负责软件开发、大数据项目外包服务的科技公司，负责开拓校企合作等项目的实业公司，负责全国品牌教育项目招商加盟的教育公司，以及负责北京、济南、德州、郑州等区域市场开拓的十余家市场分公司。

2018年3月青岛实训联盟场地建设完毕并且正式入驻，随着近几年主营业务的发展及 教育项目的快速推进，济南长清校区经过投建即将使用，青岛第二实训中心——市北启 迪校区现已进入装修阶段。

公司从创立伊始，便成为了青岛市大数据发展促进会第一期成员单位，并于第二年晋升为理事单位。同时，公司旗下的科技公司也是青岛市大数据发展促进会市北区专业委员会的第一届主要成员单位。

经过多年运营，莱牛已经为华为、文思海辉、我买网、支付通、神州数码、联想、新浪、搜狐、浪潮、方正、中国电信等中外知名IT公司培养输送 2000余名中高级软件人才，大量人才外派进政府、公安厅、银行、检察院等国企单位。

什么人可以学大数据？零基础可以学习大数据吗？很多人都心存疑虑，这些问题一直是自己学习大数据道路上的阻碍，小编为大家找到了答案，并且会告诉大家应该怎么学！做哪些准备？

首先，什么人可以学习？零基础可以学习大数据吗？答案是NO!是不可以的，没有计算机基础，没有掌握计算机开发语言是不能先学习大数据的，学习大数据首先可以先学Java技术，在间接学习大数据。

其次第二个问题，学习大数据应该要做哪些前期准备？

①掌握一门大数据开发语言。

Java

必须掌握J2SE，jdbc, JS,sql语句， servlet， jsp等 。

Python

必须掌握python语法，python面向对象，python 数据库等。

PHP,C++

②

熟悉Linux

数列Linux常用命令

在尚学堂百战程序员网站上我们可以轻松学习这些课程，对应推荐课程：

有哪些大数据班？如下：

●零基础大数据班

从零- (ava开发) f java高级框架 》大数据

●

大数据就业班

从零-java基础大数据库

大数据

●

大数据高手班

直接大数据学习

脱产班

周末班

线上班

本篇文章容大教育给大家分享一下PHP格式文件打开的方法有哪些，文章中会有详细的方法与代码列出，喜欢PHP开发技术的小伙伴可以随着小编一起来了解下。

php文件格式怎么打开？要搞清楚php文件用什么打开，首先我们来看php文件是什么文件，PHP是一个网页脚本，文件后缀名为.php，如下图：

但不同于html xml 标签语言，直接可以通过浏览器打开，php文件需要有PHP的运行环境才可以访问和打开，如果只是编辑PHP文件，只需要用：

php文件打开方式一：用记事本打开

右击.php文件，选择记事本打开，就可以看到文件代码啦！

php文件打开方式二：用Dreamweaver打开

Dreamweaver是网页编辑器，比较流行的网站开发工具，你可以直接把文件拖进去就可以打开php文件了

php文件打开方式三：Notepad++工具打开

也是代码编辑器，选择文件打开就行

php文件打开方式四：SublimeText工具打开

和上面方法一样，直接选择文件打开就行

除了记事本，其它代码编辑器工具都可以去php中文网php开发工具下载。

以上就是容大教育PHP在线学习小编给大家分享的PHP格式文件打开的方法，希望对小伙伴们有所帮助。

容大教育IT培训机构，能够为你提供良好的技术学习，能够更好地了解每个学习者的需求，根据每个学习者特定的需求为其配置最合适的资产组合，无疑更加符合学习者的需求。

我前面的文章有写一些门外汉入门程序开发需要做好的心理条件，还没看过的就移步到我的个人中心去查看。如果你现在做好心理准备了，决定入这一行了，那我代表广大初级程序员欢迎你！

目前程序开发市场中比较火热的是AI和大数据，但是老一辈语言开发依然活的很好，当你决定踏入这一脚的时候肯定要觉得往哪边踏，就像4年前众多开发雏鸟进入社会的时候面对新兴android&IOS移动应用开发和传统的后台开发一样，这个一开始是不能兼顾的，只能选一个，当初我自学和实习的时候选了移动开发，后面移动开发没落了，幸好当时学的是安卓，当时想到万一移动开发倒闭了，我还可以做java后台，目前开来我这个决定是对的，不知道当时学习IOS开发的现在混的怎么样，也可能去做C相关的了，具体我就不懂了，如果你是IOS开发的就请绕我一命，我说话不过脑子，大哥别杀我。目前看来AI和大数据应该不会短时间没落，应该算是未来的一个长久发展方向，首先对于0基础的你，肯定不适合全栈，也不要理会那些什么传统和新兴并行，你没这个精力也没这个时间，你只能选择一方。

你要认真考虑下，你是真的热爱编程还是只是为了找一份工作养家糊口，如果你只是为了找一份差不多的工作养家糊口，也没想要成为先进科技人才，那就去学传统的语言开发，像java、PHP什么的，这些方面技术更新不会非常快，虽然java 的jdk最近拼了命的更新，但是落地情况你应该懂的，中小公司很多程序框架都是基于旧的版本完善好的，公司老大苦心经营的好框架，如果一用新的jdk之类的，运行起来很容易蹦，大多数老大都不会主张推翻重做，况且老大也没这个时间。所以这种老牌语言开发在实际开发中不会更新频繁，你可以稍微轻松些。对于AI和大数据，现在各大厂一个厂一个样，你都不知道哪些是真正好的发展方向，各种组件随意组合，几天就蹦出来一个新的东西，随意有点换汤不换药，但是你要去学的，各种组件环境搞死你，对于你一个不是真的热爱编程的新手来说还是有点自知之明吧。如果你真的热爱编程，想从这方面有所建树，那就大胆去吧，虽然AI和大数据看似很庞大，但是又没人让你一个人搞定全部，你可以大框了解清楚，然后从一子方向进行深度学习或者算法研究或者代码实现，总有你牛X的一天。

再就是你要决定下你未来的定居地，如果你一心向往北上广深，那就适合AI和大数据，如果你还是要回老家三四线城市的话，那还是学习传统语言开发比较好，当你真正进入到三四线城市找工作的时候就会认识到，真的太难找了，传统语言开发还好一丢丢，像AI和大数据真的是白白。

【“珍妮啃参” 独家版权 盗取必究！】

咱们的CentOS Linux 8采用的是最小化安装的方式，在这种方式下，系统默认是没有安装Python的。另外，由于咱们只是在系统上部署了Hadoop、Zookeeper等软件，另外也部署了PHP，并没有在系统上部署Python，所以咱们需要给它装一个。

安装Python

先看看都有那些Python的rpm包，运行以下命令：

dnf search python

执行安装Python，系统会提示没找到，也会提示系统中存在python2和python36：

dnf -y install python

我们安装一下python36，执行以下命令：

dnf -y install python36

运行一下python，什么？系统居然还是没有python命令。这两天刚看到一个CentOS Linux 8的命令alternatives，这个是用来控制一个系统里面多个软件版本的情况用的。我们设置python3作为我们的默认python命令，指定下列命令：

alternatives --config python

这样就安装Python3并设定它作为我们默认使用的Python程序成功。

写一个测试的Python程序运行一下试试，具体如下：

vi hello.py

将以下内容粘贴进去：

我们的第一个Python程序执行成功了。

下面咱们编写Python的MapReduce程序，网上找了一个示例，修改了一下，具体内容如下。

准备Python数据分析程序

因为咱们的服务器已经开始运行了，所以没有办法在一台VMWare虚拟服务器上安装好Python然后复制几份过去了。这样咱们就在另外7台服务器上，分别执行上述的安装命令。最后保证每台服务器上的Python都能顺利的执行那个测试程序即可。

根据咱们的集群规划，主Rsync位于Hadoop222服务器，所以以下的程序编写部分我们在Hadoop222（192.168.1.222）上面操作。

编写Mapper程序

用Hadoop用户执行以下命令：

su hadoop

mkdir -p /wwwroot/hadoop/python

cd /wwwroot/hadoop/python

我们先准备一个简单的数据文件：

vi data.txt

把下列内容粘贴进去：

Hello world , Hello python !

Python is a programming language that lets you work more quickly and integrate your systems more effectively.

保存退出后，开始编写mapper.py程序：

vi mapper.py

把下列内容粘贴进去：

#!/usr/bin/python

#导入sys和re库

import sys

import re

#初始化全局字典dict

word_count = {}

#一行一行的接收输入的文字并处理

for line in sys.stdin:

#将输入的字符串去掉两头的空格，转换成小写字符

#并用“非字母数字及下划线”分隔成列表

word_list = re.split('\W', line.strip().lower())

#遍历列表的每个单词

for word in word_list:

#不统计空字符

if word.strip()=='' :

continue

#将获取到的单词标记1次

if word not in word_count.keys():

word_count[word] = 1

else:

#将获取到的单词标记增加1次

word_count[word] += 1

#将获取到的字典排序(按照key排序，正序）

d = sorted(word_count.items(), key=lambda item:item[0], reverse=False)

#遍历输出

for k,v in d:

print(str(k) + '\t' + str(v))

#mapper.py内容结束

给mapper.py赋予可执行权限：

chmod +x /wwwroot/hadoop/python/mapper.py

注意：代码格式不能错，特别是段落前的空格，因为空格也是Python必备的格式。

以上代码会将输入的字符串解析，并输出如下形式内容（单词正序排序）：

hello 1

world 5

zoo 2

解释：“world 5”的意思是world在文章中出现了5次

我们输入以下命令测试程序执行的效果：

cat data.txt | /wwwroot/hadoop/python/mapper.py

输出的内容与预期的结果一致。

编写Reducer程序

用Hadoop用户执行以下命令：

su hadoop

cd /wwwroot/hadoop/python

vi reducer.py

把下列内容粘贴进去：

#!/usr/bin/python

#导入sys和re库

import sys

#初始化全局字典dict

word_count = {}

#一行一行的接收输入的文字并处理

for line in sys.stdin:

#将输入的字符串用制表符（TAB）分隔成列表

ss = line.strip().split('\t')

#格式不对的不要（必须满足类似“hello 1”格式）

if len(ss) < 2:

continue

k = ss[0].strip()

v = int(ss[1].strip())

#将获取到的单词标记v次

if k not in word_count.keys():

word_count[k] = v

else:

#将获取到的单词标记增加v次

word_count[k] += v

#将获取到的字典排序(按照value排序，倒序）

d = sorted(word_count.items(), key=lambda item:item[1], reverse=True)

#遍历输出

for k,v in d:

print(str(k) + '\t' + str(v))

#reducer.py内容结束

给Reducer赋予可执行权限。

chmod +x /wwwroot/hadoop/python/reducer.py

注意：代码格式不能错，特别是段落前的空格，因为空格也是Python必备的格式。

这段代码的大意是汇总各Mapper的统计结果，最终得出每个单词出现了多少次数，按照出现次数倒序排序后以：

world 5

zoo 2

hello 1

这样的形式输出，接受的输入方式"hello 1"，也就是mapper.php输出的方式。

我们输入以下命令测试程序执行的效果：

cat data.txt | /wwwroot/hadoop/python/mapper.py| /wwwroot/hadoop/python/reducer.py

输出符合预期，这样咱们就能放在Hadoop上运行了。

执行10G数据计算

1、所有的服务器上都安装好Python；

2、保证mapper.py和reducer.py同步到各服务器上了；

3、为了对比PHP的计算效率，数据文件咱们还是使用PHP用的那个10G的文件。

我们在每台服务器上都执行以下上边的python程序，都能出结果，说明程序同步完毕，可以进行下一步了。

为了防止计算的结果会覆盖掉上次的，所以Hadoop不允许把计算的结果存在与上次相同的目录里面。咱们先把output删掉。当然，使用另外的目录也可以，这里就是演示一下怎么在HDFS里面删除目录。

执行命令：

hdfs dfs -rm -r /output

这样，咱们就可以正式开始Python计算10G文本文件的程序了，参考一下PHP的，Python执行代码如下：

hadoop jar /home/hadoop/hadoop/share/hadoop/tools/lib/hadoop-streaming-3.2.1.jar -mapper /wwwroot/hadoop/python/mapper.py -reducer /wwwroot/hadoop/python/reducer.py -input /input/* -output /output

我们可以看看系统资源占用情况，CPU不用说了一直持续100%的状态，内存占用一直在57.4左右徘徊，硬盘依然是轮流100%的占用。

程序执行完毕以后，下载执行的结果文件查看，结果符合预期。

最后再看看执行时间上与PHP的对比，下图上面是Python的数据，下图是PHP的数据。

总结

从最终的结果上看，可以得出结论如下：

1、程序的执行效率PHP更胜一筹，比Python少用了将近50%；

2、内存占用上Python比PHP少使用了将近6G的内存，资源占用少了10%

因为两个都是脚本语言，学习难度和开发难度都类似。但在进行大数据计算的时候，从结论上看还是各有优势的。

java和php都是软件开发语言，学习java和php哪个更有前途？java和php哪个好就业？要清楚这些问题，我们听听来IT界老师们是如何回答的。

1、php语言入门快，是一种内嵌式脚本语言，是介于HTML和编程语言之间的一种比较简单、易于理解的语言。php有一定的跨平台性，在IT行业使用比较广泛。

由于php入门快，因此，入门级的php程序员较多，如果想要拿到高薪的话，必须是技术过关，经验丰富的开发人员。2、php的缺点是，缺乏规模支持和多层结构支持，所以更适合应用于小型的商业站点。如果是大型电子商务站点的话，php肯定是不适合的。

从这里我们就能看出，学习php是比较容易瓶颈的，能够再学习知识，努力提升自己的技术，发挥自己的一技之长。3、java语言基本上可以在所有平台上的任意环境中开发，在任意环境中进行系统部署，扩展。由于它的跨平台性，JAVA也就是一次编写，到处运行。

市场上的新硬件和新操作系统应用，它也能第—个利用，几乎不需要再编辑和调试，加上它可以在UNNX、UNIX上部署，安全性好，所以是很多大型企业和安全性要求比较高的政府单位的首选。另外，JAVA走的是高 端路线，面对大型的Web应用程序开发，现在比较热的J2EE构架更是跨平台企业级编程的利器。总结：学习java起点要比php高一些，一般是大专及以上学历，或者有很好的基础。如果你对java开发非常感兴趣，又没有基础，可以到百度搜索了解一下。

此外java的起薪高、展空间大，因此大受程序员的欢迎，所以现在java培训市场热度很高。

以上只是小编的一点建议，不知各位IT届的大佬们是如何认知的，我们评论区见

首先，从当前PHP的应用情况和Web开发的发展前景来看，PHP语言依然有较多的应用场景，而且PHP会随着Web系统的拓展而应用在更多的领域，所以PHP在未来很长一段时间内都将是比较流行的编程语言之一。

PHP语言与Java、Python相比，虽然在应用场景上比较单一，主要应用在Web开发领域，但是由于PHP开发Web系统具有周期短、稳定性高、扩展性强等优势，所以PHP语言受到了程序员的青睐。可以说，PHP语言在设计上非常契合Web系统的开发环境，程序员在使用的过程中会明显感觉到非常方便，这是PHP能够在Web领域得到广泛应用的一个重要原因。

随着大数据和人工智能的快速发展，Python、Go等编程语言得到了更多的关注，但是目前大数据和人工智能的落地应用尚处在发展的初期，在生产环境下，大量的Web开发任务依然离不开PHP，而且未来大数据、人工智能、物联网等技术体系的落地应用，必然绕不过Web开发，所以PHP依然有大量的应用场景。从这个角度来看，PHP在短期内被替代的可能性还是非常小的。

PHP与Web系统的耦合度是非常高的，所以Web系统的发展趋势也能够在一定程度上决定PHP语言的应用前景，由于当前Web系统依然有比较大的想象空间，而且Web系统与物联网的结合也越来越紧密，所以PHP语言也将伴随着Web系统的发展而获得新的发展机会。

最后，当前IT行业内有大量的PHP程序员，这对于PHP语言的发展也具有非常积极的意义。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！

对于很多用户来说10G数据可能并不大，对这个数量级的数据分析能算得上是大数据吗？

当然算了，我们只是拿这个10G的数据作为一个例子，系统能处理10G的数据，理论上就能处理100G甚至是1T数据。这要看咱们的硬件配置情况和所需要耗费的时间。假如1T数据1台服务器需要5小时才能出结果，那我们用60台服务器去并行计算，可能2分钟结果就能出来了。

本文假设你已经查看过我的Hadoop大数据规划以及安装配置的文章，已经安装并配置好PHP软件，安装并配置好Rsync软件。

PHP还能进行大数据计算呢？

当然能了。

Hadoop本身是Java写的，所以顺理成章的，给Hadoop写MapReduce，人们会自然地想到Java。但Hadoop里面有个Contrib叫做Hadoop Streaming，这是一个小工具，为Hadoop提供Streaming支持。利用该Streaming提供的API，允许用户使用任何语言编写Map函数和Reduce函数。因此，PHP也可以借助该API来进行大数据计算与分析。

另外这里面牵涉到下面这个问题。

MapReduce是什么？

概念“Map（映射）”和“Reduce（归约）”，是它的主要思想，它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

从网上一搜就能搜到非常多的关于MapReduce的内容，写的都很好。但是不是很好理解。我根据我的理解直白的说明如下，欢迎拍砖：

1、一个超大数据文件（超过1T）切成6份（我们有6个DateNode），分别存到6台服务器上；

2、我们的计算程序分别在这6台服务器上计算自己的那份，得出结果，过程中可能会把自己的那份切成更小的份数（Hadoop默认一份为128M）；

3、6台服务器计算的结果再汇总到一个服务器上，进行汇总计算，得出最终结果。

以上例子“把数据分到6台服务器并计算出结果”就是对Map（映射）最直白的其中一种解释；而“6台服务器计算结果汇总到一起，得出最终结果”就是对Reduce（归约）最直白的其中一种解释。

这么一看，是不是就没什么神秘的了呢？

准备一个10G的数据文件

手头不容易找到10G那么大的文本文件，那咱就自己创造一个。随便打开一个英文网站，比如Firewalld的官网blog页面：

页面内全选（Ctrl+A），复制（Ctrl+C），然后打开CentOS Linux 8的SSH客户端。

新建一个文件名问10G.txt的文件，然后把刚才复制的内容粘贴进去，命令如下：

vi 10G.txt

然后就是不断的去找英文的内容，粘贴进去，感觉差不多了，进行下一步。

因为我们不可能一直复制出10G的文字那么多，那我们就利用CentOS Linux 8，自己复制自己，最终得出这么多内容，命令如下：

cat 10G.txt >> 11G.txt

cat 11G.txt >> 10G.txt

不断的重复这个过程，因为每次都翻倍，文件大小呈现指数级增长，很快我们就能得到一个10G的文件了。文件大小超过500M之后，会变的有点慢，有耐心的等一下。

将10G.txt上传至Hadoop的分布式存储系统HDFS，执行以下命令：

查看HDFS上的根目录：

hdfs dfs -ls /

在HDFS的根目录下简历input目录：

hdfs dfs -mkdir /input

查看input目录是否创建成功：

hdfs dfs -ls /

将10G.txt上传至HDFS的/input目录下：

hdfs dfs -put 10G.txt /input

查看10G.txt上传至/input目录是否成功：

hdfs dfs -ls /input

根据咱们设定的规则，HDFS会保存3个副本。也就是说咱们虽然上传了10G数据，但是HDFS会在整个系统上存储30G的数据。从上图最后一行的数据也能看的出来，第一个9.6G是咱们上传的数据量，后面的28.9G是HDFS实际存储的量。

WEB查看一下，每台服务器上存储了大约5G的数据，6台DataNode正好大约是30G（见上图）。

上传这10G文件的时候服务器的压力还是比较大的。CPU经常在75%徘徊，64G内存已经用去将近60G，磁盘的压力也很大。从截图中也能看到，上传开始时间“22:52:54”，上传结束时间“22:59:12”，花费了6分18秒的时间。这就是用一台服务器来模拟8台服务器的弱点。如果是真正的8台服务器，哪怕就是普通的PC安装的Linux系统搭建的服务器，只要装上万兆（10G）的网卡，再来个10块硬盘组Raid0，时间估计能压缩到1分钟以内。因为Hadoop技术上允许一部分DataNode掉线后系统正常运行，所以可以组Raid0提供存储服务来提高系统运行性能。

至此，这个10G的txt文件已经顺利的上传到了Hadoop的分布式存储服务HDFS上。

如果你还有多个文件要一起分析，都传到这个/input目录下即可。也就是说后面的分析程序是支持多个文件合并进行数据分析的，你不用自己手动把这几个文件合并到一个文件里面。

准备PHP数据分析程序

在集群的每台机器上安装PHP，并保持目录结构和配置文件一致，参考我的在CentOS Linux 8 上安装PHP的文章。并且已经安装并配置好了Rsync。

本文假定你已经做好了上述安装，如果没有做好，可以查看相关参考资料。

根据咱们的集群规划，主Rsync位于Hadoop222服务器，所以以下的程序编写部分我们在Hadoop222（192.168.1.222）上面操作。

编写Mapper程序

用root执行以下命令，配置好Hadoop用的PHP目录

mkdir -p /wwwroot/hadoop

chown -R hadoop:hadoop /wwwroot/hadoop

转为Hadoop用户执行以下操作：

su hadoop

vi /wwwroot/hadoop/mapper.php

输入以下内容：

#!/usr/bin/php

<?php

ini_set('memory_limit', '-1'); //内存使用不做限制，限制内存的事情交给系统自己解决

$word2count = array();

//STDIN (标准输入) = fopen(“php://stdin”, “r”);

//一行一行的读入数据

while (($line = fgets(STDIN)) !== false)

{

//删除前后的空格，字符转为小写

$line = strtolower(trim($line));

//“\W匹配：任意个非单词字符”

//通过“非单词字符”分割句子为“单词字符”

// PREG_SPLIT_NO_EMPTY返回分隔后的非空部分

$words = preg_split('/\W/', $line, 0, PREG_SPLIT_NO_EMPTY);

//单词计数增加

foreach ($words as $word)

{

if(!isset($word2count[$word]))

{

$word2count[$word] = 0;

}

$word2count[$word] += 1;

}

}

//输出结果到STDOUT（标准输出）

//我们这里的输出就是Reduce的输入

//即：reducer .php的输入

foreach ($word2count as $word => $count)

{

// PHP_EOL：换行符号，unix系列输出\n，windows系列输出\r\n，mac用输出\r

// chr(9)：制表符分隔tab-delimited

echo $word, chr(9), $count, PHP_EOL;

}

这段代码的大致意思是：把输入的每行文本中的单词找出来，并以:

zoo 1

hello 3

world 5

这样的形式输出出来。

编写Reducer程序

用Hadoop用户执行以下操作：

su hadoop

vi /wwwroot/hadoop/reducer.php

输入以下内容：

#!/usr/bin/php

<?php

ini_set('memory_limit', '-1'); //内存使用不做限制，限制内存的事情交给系统自己解决

$word2count = array();

//STDIN (标准输入) = fopen(“php://stdin”, “r”);

//一行一行的读入数据

while (($line = fgets(STDIN)) !== false) {

//删除两头的空格

$line = trim($line);

//分析我们从mapper.php获得的输入

list($word, $count) = explode(chr(9), $line);

//将count（当前为字符串）转换为int

$count = intval($count);

//计算单词的数量总和

if ($count > 0) $word2count[$word] += $count;

}

//按词汇分类sort the words lexigraphically

//这个集合不是必需的，我们这样做只是为了

//使我们的最终输出看起来更像官方的Hadoop单词计数示例

// ksort() 函数对关联数组按照键名进行升序排序。

ksort($word2count);

//输出结果到STDOUT（标准输出）

foreach ($word2count as $word => $count)

{

echo $word, chr(9), $count, PHP_EOL;

}

这段代码的大意是汇总各Mapper的统计结果，最终得出每个单词出现了多少次数，排序后以：

hello 2

world 1

zoo 5

这样的形式输出，接受的输入方式“hello 1”，也就是mapper.php输出的方式。

给Mapper和Reducer赋予可执行权限。

chmod +x /wwwroot/hadoop/mapper.php /wwwroot/hadoop/reducer.php

执行PHP的MapReduce进行大数据分析

上面已经完成数据上传，代码的编写。我们要在每台服务器上查看一下，是否已经将PHP代码同步到每一台服务器上了。

在每台服务器上都执行以下命令：

ll /wwwroot/hadoop/

必须保证每台服务器上都有上述的两个PHP文件，才能执行以下大数据计算的命令：

hadoop jar /home/hadoop/hadoop/share/hadoop/tools/lib/hadoop-streaming-3.2.1.jar -mapper /wwwroot/hadoop/mapper.php -reducer /wwwroot/hadoop/reducer.php -input /input/* -output /output

由于数据量比较大，所以数据计算的执行时间会比较长，需要耐心等待。

从服务器上的截图可以看到，服务器已经拿出100%的CPU资源，几乎100%的内存资源，每块硬盘轮流100%的资源，来完成咱们的大数据计算任务。

系统计算完毕之后，查看一下输出的结果，咱们设定的输出目录是HDFS的/output：

hdfs dfs -du -h /output

把输出结果下载下来查看：

hdfs dfs -get /output/part-00000

当然也可以在线查看，不过感觉不太方便，执行下述命令：

hdfs dfs -cat /output/part-00000

或者这个命令：

hdfs dfs -tail -f /output/part-00000

从上面的截图中可以看到，为了分析这10G的数据，程序执行的开始时间是“23:26:23”，程序执行的结束时间是“23:37:28”，共花费了11分5秒。

上述得到的结果是：字符串“0”在文件中出现了“36366795”次，字符串“00”在文件中出现了“105411”次，依次类推，整个计算结果的文件part-00000大小是30.9K。

总结

通过以上测试可以发现，用PHP做大数据分析真的非常容易。由于Hadoop提供了MapReduce接口，我们在编写PHP程序的时候，只需要关注逻辑处理即可，分片计算的部分Hadoop帮我们搞定了。

我们使用了一台服务器虚拟成8台服务器，对10G的数据进行分析，花费了11分5秒的时间。这个时间长度在可接受的范围之内，但如果做成多台真实的服务器进行计算，时间肯定会大幅缩减。如果有条件的时候，还真想试试。