6月5日,“大数据初步处置的推算机基础——解决大数据分析的生涯自理问题”钻研会在ONE游戏官网2号楼成功进行。本次钻研会由ONE游戏官网商务统计与经济计量系和北京大学商务智能中心结合主办。钻研会以大数据的初步处置为安身点,旨在通过单一的数据库使用和python编程使数据分析者能越发急剧和方便的实现用户对数据的分歧需要,从而解决数据分析者在独立实现数据处置工作和推算机处置上的有关难题。
本次钻研会的主讲人是中国人民大学统计学院的本科生陈昱。作为中国人民大学数据挖掘中心HADOOP集群掌管人和北京大学商务智能钻研中心基础数据掌管人,陈昱善于网络数据抓取、python编程和集群运算,尤其是在数据处置方面经验丰硕。在为期一天的钻研会上,他具体介绍了有关SQL数据库处置,Linux操作和python编程说话的有关知识。
(图一:主讲人陈昱介绍SQL数据库处置,Linux操作和python编程说话等有关知识)
上午的钻研会重要涉及“使用SQL查问处置结构化数据”和“把持linux服务器”两个专题。陈昱首先以一个产品销售链数据为情景,具体解说了SQL语句的用法。用法重要蕴含若何使用SQL进行数据的查问、过滤、提取,若何对数据进行单一推算以及某些高级查问语句。随后,陈昱还解说了若何操作Linux服务器。他首先介绍的是shell剧本说话的基础用法,而后具体概述了若何衔接远程服务器以及在服务器上进行大规模运算处置。上午的专题钻研会转让会者们越创造确若何提取数据并进行预处置,同时凭据自己的需要纯熟的使用服务器进行高机能的运算。

(图二:主讲人在为与会者解说若何现实操作提取数据并进行预处置)
下午的钻研会的关注点在“若何用python说话处置非结构化数据和复杂数据”。专题中,陈昱首先以新浪微博数据为例子为各人系统解说了python的根基操作说话。而后他介绍了复杂数据体式的构建,以及对中文文本数据的处置。最后,陈昱介绍了在大规模数据下对文件进行批量处置,从而高效的实现各类各样的数据需要对数据分析者的沉要性。
世界领域内的信息革命已经成为本世纪最大的主题,大数据时期的到来将为社会带来改革和发展。同时,重大的数据资源也为高效推算带来了新的挑战。本次钻研会通过对SQL数据库,Linux服务器和Python说话的介绍,使与会者能越发急剧、方便的实现各类数据需要,解决大数据分析中的生涯自理问题并援手他们更好的集中于数据分析建模工作,达成了预期的主张。我们相信,在钻研会的启迪和援手下,更多的数据分析工作者将更关注利用推算机技术进行大数据的处置及分析,从而更好的应对大数据时期的挑战!
行政办公室会务与活动部供稿