+```python
def get_vector(user, pipe=None):
r = redis.StrictRedis(host='localhost', port=6379, db=0)
@@ -953,19 +1019,20 @@ def get_vector(user, pipe=None):
if no_pipe:
return pipe.execute()
-- 说说标题
- 编程的基础能力
- 重构 @@ -409,45 +451,50 @@ git push -u origin master git push -u origin master
Github项目分析一
-用matplotlib生成图表
+用matplotlib生成图表
如何分析用户的数据是一个有趣的问题，特别是当我们有大量的数据的时候。 除了
-matlab，我们还可以用numpy+matplotlibpython github用户数据分析
+python github用户数据分析
数据可以在这边寻找到
-最后效果图
+
最后效果图
++ 
2014 01 01 +要解析的json文件位于
-data/2014-01-01-0.json，大小6.6M，显然我们可能需要用每次只读一行的策略，这足以解释为什么诸如sublime打开的时候很慢，而现在我们只需要里面的json数据中的创建时间。。== 这个文件代表什么？
+==这个文件代表什么？
2014年1月1日零时到一时，用户在github上的操作，这里的用户指的是很多。。一共有4814条数据，从commit、create到issues都有。
-python json文件解析
-
-然后再解析json -import json - for line in open(jsonfile): - line = f.readline()-import dateutil.parser +python json文件解析
++import json +for line in open(jsonfile): + line = f.readline()然后再解析json
+
+lin = json.loads(line) +date = dateutil.parser.parse(lin["created_at"])import dateutil.parser -lin = json.loads(line) -date = dateutil.parser.parse(lin["created_at"]) -这里用到了
-dateutil，因为新鲜出炉的数据是string需要转换为dateutil，再到数据放到数组里头。最后有就有了parse_datadef parse_data(jsonfile): f = open(jsonfile, “r”) dataarray = [] datacount = 0
-
plt.show()for line in open(jsonfile): - line = f.readline() - lin = json.loads(line) - date = dateutil.parser.parse(lin["created_at"]) - datacount += 1 - dataarray.append(date.minute) +
+ for line in open(jsonfile): + line = f.readline() + lin = json.loads(line) + date = dateutil.parser.parse(lin["created_at"]) + datacount += 1 + dataarray.append(date.minute) + + minuteswithcount = [(x, dataarray.count(x)) for x in set(dataarray)] + f.close() + return minuteswithcountdef parse_data(jsonfile): + f = open(jsonfile, "r") + dataarray = [] + datacount = 0 -minuteswithcount = [(x, dataarray.count(x)) for x in set(dataarray)] -f.close() -return minuteswithcount下面这句代码就是将上面的解析为
-
+minuteswithcount = [(x, dataarray.count(x)) for x in set(dataarray)]minuteswithcount = [(x, dataarray.count(x)) for x in set(dataarray)]这样的数组以便于解析
-
+[(0, 92), (1, 67), (2, 86), (3, 73), (4, 76), (5, 67), (6, 61), (7, 71), (8, 62), (9, 71), (10, 70), (11, 79), (12, 62), (13, 67), (14, 76), (15, 67), (16, 74), (17, 48), (18, 78), (19, 73), (20, 89), (21, 62), (22, 74), (23, 61), (24, 71), (25, 49), (26, 59), (27, 59), (28, 58), (29, 74), (30, 69), (31, 59), (32, 89), (33, 67), (34, 66), (35, 77), (36, 64), (37, 71), (38, 75), (39, 66), (40, 62), (41, 77), (42, 82), (43, 95), (44, 77), (45, 65), (46, 59), (47, 60), (48, 54), (49, 66), (50, 74), (51, 61), (52, 71), (53, 90), (54, 64), (55, 67), (56, 67), (57, 55), (58, 68), (59, 91)][(0, 92), (1, 67), (2, 86), (3, 73), (4, 76), (5, 67), (6, 61), (7, 71), (8, 62), (9, 71), (10, 70), (11, 79), (12, 62), (13, 67), (14, 76), (15, 67), (16, 74), (17, 48), (18, 78), (19, 73), (20, 89), (21, 62), (22, 74), (23, 61), (24, 71), (25, 49), (26, 59), (27, 59), (28, 58), (29, 74), (30, 69), (31, 59), (32, 89), (33, 67), (34, 66), (35, 77), (36, 64), (37, 71), (38, 75), (39, 66), (40, 62), (41, 77), (42, 82), (43, 95), (44, 77), (45, 65), (46, 59), (47, 60), (48, 54), (49, 66), (50, 74), (51, 61), (52, 71), (53, 90), (54, 64), (55, 67), (56, 67), (57, 55), (58, 68), (59, 91)]matplotlib
开始之前需要安装``matplotlib
-
+sudo pip install matplotlibsudo pip install matplotlib然后引入这个库
import matplotlib.pyplot as plt如上面的那个结果，只需要
@@ -458,55 +505,60 @@ return minuteswithcount最后代码可见
-#!/usr/bin/env python -# -*- coding: utf-8 -*- ++
-#!/usr/bin/env python +# -*- coding: utf-8 -*- -import json -import dateutil.parser -import numpy as np -import matplotlib.mlab as mlab -import matplotlib.pyplot as plt +import json +import dateutil.parser +import numpy as np +import matplotlib.mlab as mlab +import matplotlib.pyplot as plt -def parse_data(jsonfile): - f = open(jsonfile, "r") - dataarray = [] - datacount = 0 +def parse_data(jsonfile): + f = open(jsonfile, "r") + dataarray = [] + datacount = 0 - for line in open(jsonfile): - line = f.readline() - lin = json.loads(line) - date = dateutil.parser.parse(lin["created_at"]) - datacount += 1 + for line in open(jsonfile): + line = f.readline() + lin = json.loads(line) + date = dateutil.parser.parse(lin["created_at"]) + datacount += 1 dataarray.append(date.minute) - minuteswithcount = [(x, dataarray.count(x)) for x in set(dataarray)] + minuteswithcount = [(x, dataarray.count(x)) for x in set(dataarray)] f.close() - return minuteswithcount + return minuteswithcount -def draw_date(files): - x = [] - y = [] - mwcs = parse_data(files) - for mwc in mwcs: - x.append(mwc[0]) - y.append(mwc[1]) +def draw_date(files): + x = [] + y = [] + mwcs = parse_data(files) + for mwc in mwcs: + x.append(mwc[0]) + y.append(mwc[1]) - plt.figure(figsize=(8,4)) - plt.plot(x, y,label = files) + plt.figure(figsize=(8,4)) + plt.plot(x, y,label = files) plt.legend() plt.show() -draw_date("data/2014-01-01-0.json")每周分析
-继上篇之后，我们就可以分析用户的每周提交情况，以得出用户的真正的工具效率，每个程序员的工作时间可能是不一样的，如
+draw_date("data/2014-01-01-0.json")
每周分析
+继上篇之后，我们就可以分析用户的每周提交情况，以得出用户的真正的工具效率，每个程序员的工作时间可能是不一样的，如
++ 
Phodal Huang’s Report +这是我的每周情况，显然如果把星期六移到前面的话，随着工作时间的增长，在github上的使用在下降，作为一个
a fulltime hacker who works best in the evening (around 8 pm).不过这个是osrc的分析结果。
-python github 每周情况分析
+python github 每周情况分析
看一张分析后的结果
-
+
+ 
Feb Results +结果正好与我的情况相反？似乎图上是这么说的，但是数据上是这样的情况。
data ├── 2014-01-01-0.json @@ -534,97 +586,93 @@ draw_date("data/2014-01-01-0.json")
-6570, 7420, 11274, 12073, 12160, 12378, 12897, 8474, 7984, 12933, 13504, 13763, 13544, 12940, 7119, 7346, 13412, 14008, 12555python 数据分析
+python 数据分析
重写了一个新的方法用于计算提交数，直至后面才意识到其实我们可以算行数就够了，但是方法上有点hack
-
-- def get_minutes_counts_with_id(jsonfile): - datacount, dataarray = handle_json(jsonfile) - minuteswithcount = [(x, dataarray.count(x)) for x in set(dataarray)] - return minuteswithcount - - - def handle_json(jsonfile): - f = open(jsonfile, "r") - dataarray = [] - datacount = 0 - - for line in open(jsonfile): - line = f.readline() - lin = json.loads(line) - date = dateutil.parser.parse(lin["created_at"]) - datacount += 1 - dataarray.append(date.minute) - - f.close() - return datacount, dataarray - - - def get_minutes_count_num(jsonfile): - datacount, dataarray = handle_json(jsonfile) - return datacount - - - def get_month_total(): - """ - - :rtype : object - """ - monthdaycount = [] - for i in range(1, 20): - if i < 10: - filename = 'data/2014-02-0' + i.__str__() + '-0.json' - else: - filename = 'data/2014-02-' + i.__str__() + '-0.json' - monthdaycount.append(get_minutes_count_num(filename)) - return monthdaycount -接着我们需要去遍历每个结果，后面的后面会发现这个效率真的是太低了，为什么木有多线程？
-python matplotlib图表
-让我们的matplotlib来做这些图表的工作
-if __name__ == '__main__': - results = pd.get_month_total() - print results ++def get_minutes_counts_with_id(jsonfile): + datacount, dataarray = handle_json(jsonfile) + minuteswithcount = [(x, dataarray.count(x)) for x in set(dataarray)] + return minuteswithcount - plt.figure(figsize=(8, 4)) - plt.plot(results.__getslice__(0, 7), label="first week") - plt.plot(results.__getslice__(7, 14), label="second week") - plt.plot(results.__getslice__(14, 21), label="third week") + +def handle_json(jsonfile): + f = open(jsonfile, "r") + dataarray = [] + datacount = 0 + + for line in open(jsonfile): + line = f.readline() + lin = json.loads(line) + date = dateutil.parser.parse(lin["created_at"]) + datacount += 1 + dataarray.append(date.minute) + + f.close() + return datacount, dataarray + + +def get_minutes_count_num(jsonfile): + datacount, dataarray = handle_json(jsonfile) + return datacount + + +def get_month_total(): + """ + + :rtype : object + """ + monthdaycount = [] + for i in range(1, 20): + if i < 10: + filename = 'data/2014-02-0' + i.__str__() + '-0.json' + else: + filename = 'data/2014-02-' + i.__str__() + '-0.json' + monthdaycount.append(get_minutes_count_num(filename)) + return monthdaycount接着我们需要去遍历每个结果，后面的后面会发现这个效率真的是太低了，为什么木有多线程？
+python matplotlib图表
+让我们的matplotlib来做这些图表的工作
+
+ plt.show()if __name__ == '__main__': + results = pd.get_month_total() + print results + + plt.figure(figsize=(8, 4)) + plt.plot(results.__getslice__(0, 7), label="first week") + plt.plot(results.__getslice__(7, 14), label="second week") + plt.plot(results.__getslice__(14, 21), label="third week") plt.legend() - plt.show()蓝色的是第一周，绿色的是第二周，蓝色的是第三周就有了上面的结果。
我们还需要优化方法，以及多线程的支持。
Github项目分析二
让我们分析之前的程序，然后再想办法做出优化。网上看到一篇文章http://www.huyng.com/posts/python-performance-analysis/讲的就是分析这部分内容的。
-time python分析
+time python分析
分析程序的运行时间
-
+$time python handle.py$time python handle.py结果便是，但是对于我们的分析没有一点意义
-
-real 0m43.411s - user 0m39.226s - sys 0m0.618sline_profiler python
+
+real 0m43.411s + user 0m39.226s + sys 0m0.618sline_profiler python
这是 ##Mac OS X 10.9 line_profiler Install##
-
-然后在我们的sudo ARCHFLAGS="-Wno-error=unused-command-line-argument-hard-error-in-future" easy_install line_profilerparse_data.py的handle_json前面加上@profile--@profile -def handle_json(jsonfile): - f = open(jsonfile, "r") - dataarray = [] - datacount = 0 ++sudo ARCHFLAGS="-Wno-error=unused-command-line-argument-hard-error-in-future" easy_install line_profiler然后在我们的
+parse_data.py的handle_json前面加上@profile+
-@profile +def handle_json(jsonfile): + f = open(jsonfile, "r") + dataarray = [] + datacount = 0 - for line in open(jsonfile): - line = f.readline() - lin = json.loads(line) - date = dateutil.parser.parse(lin["created_at"]) - datacount += 1 + for line in open(jsonfile): + line = f.readline() + lin = json.loads(line) + date = dateutil.parser.parse(lin["created_at"]) + datacount += 1 dataarray.append(date.minute) f.close() - return datacount, dataarray -Line_profiler带了一个分析脚本
-kernprof.py，so
+ return datacount, dataarraykernprof.py -l -v handle.pyLine_profiler带了一个分析脚本
+kernprof.py，sokernprof.py -l -v handle.py我们便会得到下面的结果
Wrote profile results to handle.py.lprof Timer unit: 1e-06 s @@ -651,13 +699,13 @@ Line # Hits Time Per Hit % Time Line Contents 28 19 349 18.4 0.0 f.close() 29 19 20 1.1 0.0 return datacount, dataarray于是我们就发现我们的瓶颈就是从读取
-created_at，即创建时间。。。以及解析json，反而不是我们关心的IO，果然readline很强大。memory_profiler python
-memory_profiler install
-
-$ pip install -U memory_profiler -$ pip install psutilmemory_profiler python
+memory_profiler python
+memory_profiler install
++$ pip install -U memory_profiler +$ pip install psutilmemory_profiler python
如上，我们只需要在
-handle_json前面加上@profile
+python -m memory_profiler handle.pypython -m memory_profiler handle.py于是
-Filename: parse_data.py @@ -678,16 +726,16 @@ Line # Mem usage Increment Line Contents 25 26 f.close() 27 return datacount, dataarrayobjgraph python
-objgraph install
-
+pip install objgraphobjgraph python
+objgraph install
+pip install objgraph我们需要调用他
-
+import pdb;import pdb;以及在需要调度的地方加上
-
+pdb.set_trace()pdb.set_trace()接着会进入
-command模式
+(pdb) import objgraph -(pdb) objgraph.show_most_common_types()(pdb) import objgraph +(pdb) objgraph.show_most_common_types()然后我们可以找到。。
function 8259 dict 2137 @@ -704,110 +752,100 @@ type 705如果我们每次都要花同样的时间去做一件事，去扫那些数据的话，那么这是最好的打发时间的方法。
python SQLite3 查询数据
我们创建了一个名为
-userdata.db的数据库文件，然后创建了一个表，里面有owner,language,eventtype,name url
+def init_db(): - conn = sqlite3.connect('userdata.db') - c = conn.cursor() - c.execute('''CREATE TABLE userinfo (owner text, language text, eventtype text, name text, url text)''')def init_db(): + conn = sqlite3.connect('userdata.db') + c = conn.cursor() + c.execute('''CREATE TABLE userinfo (owner text, language text, eventtype text, name text, url text)''')接着我们就可以查询数据，这里从结果讲起。
--def get_count(username): - count = 0 - userinfo = [] - condition = 'select * from userinfo where owener = \'' + str(username) + '\'' - for zero in c.execute(condition): - count += 1 ++
-当我查询def get_count(username): + count = 0 + userinfo = [] + condition = 'select * from userinfo where owener = \'' + str(username) + '\'' + for zero in c.execute(condition): + count += 1 userinfo.append(zero) - return count, userinfo - -gmszone的时候，也就是我自己就会有如下的结果 -
- + return count, userinfo-(u'gmszone', u'ForkEvent', u'RESUME', u'TeX', u'https://github.com/gmszone/RESUME') -(u'gmszone', u'WatchEvent', u'iot-dashboard', u'JavaScript', u'https://github.com/gmszone/iot-dashboard') -(u'gmszone', u'PushEvent', u'wechat-wordpress', u'Ruby', u'https://github.com/gmszone/wechat-wordpress') -(u'gmszone', u'WatchEvent', u'iot', u'JavaScript', u'https://github.com/gmszone/iot') -(u'gmszone', u'CreateEvent', u'iot-doc', u'None', u'https://github.com/gmszone/iot-doc') -(u'gmszone', u'CreateEvent', u'iot-doc', u'None', u'https://github.com/gmszone/iot-doc') -(u'gmszone', u'PushEvent', u'iot-doc', u'TeX', u'https://github.com/gmszone/iot-doc') -(u'gmszone', u'PushEvent', u'iot-doc', u'TeX', u'https://github.com/gmszone/iot-doc') -(u'gmszone', u'PushEvent', u'iot-doc', u'TeX', u'https://github.com/gmszone/iot-doc') -109 -当我查询
+gmszone的时候，也就是我自己就会有如下的结果(u'gmszone', u'ForkEvent', u'RESUME', u'TeX', u'https://github.com/gmszone/RESUME') +(u'gmszone', u'WatchEvent', u'iot-dashboard', u'JavaScript', u'https://github.com/gmszone/iot-dashboard') +(u'gmszone', u'PushEvent', u'wechat-wordpress', u'Ruby', u'https://github.com/gmszone/wechat-wordpress') +(u'gmszone', u'WatchEvent', u'iot', u'JavaScript', u'https://github.com/gmszone/iot') +(u'gmszone', u'CreateEvent', u'iot-doc', u'None', u'https://github.com/gmszone/iot-doc') +(u'gmszone', u'CreateEvent', u'iot-doc', u'None', u'https://github.com/gmszone/iot-doc') +(u'gmszone', u'PushEvent', u'iot-doc', u'TeX', u'https://github.com/gmszone/iot-doc') +(u'gmszone', u'PushEvent', u'iot-doc', u'TeX', u'https://github.com/gmszone/iot-doc') +(u'gmszone', u'PushEvent', u'iot-doc', u'TeX', u'https://github.com/gmszone/iot-doc') +109一共有109个事件，有
-值得注意的是。 -Watch,Create,Push,Fork还有其他的， 项目主要有iot,RESUME,iot-dashboard,wechat-wordpress, 接着就是语言了，Tex,Javascript,Ruby,接着就是项目的url了。
+--rw-r--r-- 1 fdhuang staff 905M Apr 12 14:59 userdata.db -值得注意的是。
+-rw-r--r-- 1 fdhuang staff 905M Apr 12 14:59 userdata.db这个数据库文件有905M，不过查询结果相当让人满意，至少相对于原来的结果来说。
Python SQLite3
Python自带了对SQLite3的支持，然而我们还需要安装SQLite3
-
+brew install sqlite3brew install sqlite3或者是
-
+sudo port install sqlite3sudo port install sqlite3或者是Ubuntu的
-
+sudo apt-get install sqlite3sudo apt-get install sqlite3openSUSE自然就是
-
+sudo zypper install sqlite3sudo zypper install sqlite3不过，用yast2也很不错，不是么。。
Pythont Github Sqlite3数据导入
需要注意的是这里是需要python2.7，起源于对gzip的上下文管理器的支持问题
--def handle_gzip_file(filename): - userinfo = [] - with gzip.GzipFile(filename) as f: - events = [line.decode("utf-8", errors="ignore") for line in f] +
+ c.close()def handle_gzip_file(filename): + userinfo = [] + with gzip.GzipFile(filename) as f: + events = [line.decode("utf-8", errors="ignore") for line in f] - for n, line in enumerate(events): - try: - event = json.loads(line) - except: + for n, line in enumerate(events): + try: + event = json.loads(line) + except: - continue + continue - actor = event["actor"] - attrs = event.get("actor_attributes", {}) - if actor is None or attrs.get("type") != "User": - continue + actor = event["actor"] + attrs = event.get("actor_attributes", {}) + if actor is None or attrs.get("type") != "User": + continue - key = actor.lower() + key = actor.lower() - repo = event.get("repository", {}) - info = str(repo.get("owner")), str(repo.get("language")), str(event["type"]), str(repo.get("name")), str( - repo.get("url")) + repo = event.get("repository", {}) + info = str(repo.get("owner")), str(repo.get("language")), str(event["type"]), str(repo.get("name")), str( + repo.get("url")) userinfo.append(info) - return userinfo + return userinfo -def build_db_with_gzip(): +def build_db_with_gzip(): init_db() - conn = sqlite3.connect('userdata.db') - c = conn.cursor() + conn = sqlite3.connect('userdata.db') + c = conn.cursor() - year = 2014 - month = 3 + year = 2014 + month = 3 - for day in range(1,31): - date_re = re.compile(r"([0-9]{4})-([0-9]{2})-([0-9]{2})-([0-9]+)\.json.gz") + for day in range(1,31): + date_re = re.compile(r"([0-9]{4})-([0-9]{2})-([0-9]{2})-([0-9]+)\.json.gz") - fn_template = os.path.join("march", - "{year}-{month:02d}-{day:02d}-{n}.json.gz") - kwargs = {"year": year, "month": month, "day": day, "n": "*"} - filenames = glob.glob(fn_template.format(**kwargs)) + fn_template = os.path.join("march", + "{year}-{month:02d}-{day:02d}-{n}.json.gz") + kwargs = {"year": year, "month": month, "day": day, "n": "*"} + filenames = glob.glob(fn_template.format(**kwargs)) - for filename in filenames: - c.executemany('INSERT INTO userinfo VALUES (?,?,?,?,?)', handle_gzip_file(filename)) + for filename in filenames: + c.executemany('INSERT INTO userinfo VALUES (?,?,?,?,?)', handle_gzip_file(filename)) conn.commit() - c.close() -executemany可以插入多条数据，对于我们的数据来说，一小时的文件大概有五六千个会符合我们上面的安装，也就是有actor又有type才是我们需要记录的数据，我们只需要统计用户的那些事件，而非全部的事件。python 遍历文件
我们需要去遍历文件，然后找到合适的部分，这里只是要找
2014-03-01到2014-03-31的全部事件，而光这些数据的gz文件就有1.26G，同上面那些解压为json文件显得不合适，只能用遍历来处理。这里参考了osrc项目中的写法，或者说直接复制过来。
首先是正规匹配
-
+date_re = re.compile(r"([0-9]{4})-([0-9]{2})-([0-9]{2})-([0-9]+)\.json.gz")date_re = re.compile(r"([0-9]{4})-([0-9]{2})-([0-9]{2})-([0-9]+)\.json.gz")不过主要的还是在于
glob.globglob是python自己带的一个文件操作相关模块，用它可以查找符合自己目的的文件，就类似于Windows下的文件搜索，支持通配符操作。
@@ -820,25 +858,25 @@ def build_db_with_gzip():结合了前面两篇我们终于可以成功地读取出用户数据、处理，再接着可以找相近的用户。
Python Redis
查询用户事件总数
-
+import redis - r = redis.StrictRedis(host='localhost', port=6379, db=0) - pipe = pipe = r.pipeline() - pipe.zscore('osrc:user',"gmszone") - pipe.execute()import redis +r = redis.StrictRedis(host='localhost', port=6379, db=0) +pipe = pipe = r.pipeline() +pipe.zscore('osrc:user',"gmszone") +pipe.execute()系统返回了
-227.0,试试别人。
+>>> pipe.zscore('osrc:user',"dfm") -<redis.client.StrictPipeline object at 0x104fa7f50> ->>> pipe.execute() -[425.0] ->>>>>> pipe.zscore('osrc:user',"dfm") +<redis.client.StrictPipeline object at 0x104fa7f50> +>>> pipe.execute() +[425.0] +>>>看看主要是在哪一天提交的
-
+>>> pipe.hgetall('osrc:user:gmszone:day') -<redis.client.StrictPipeline object at 0x104fa7f50> ->>> pipe.execute() -[{'1': '51', '0': '41', '3': '17', '2': '34', '5': '28', '4': '22', '6': '34'}]>>> pipe.hgetall('osrc:user:gmszone:day') +<redis.client.StrictPipeline object at 0x104fa7f50> +>>> pipe.execute() +[{'1': '51', '0': '41', '3': '17', '2': '34', '5': '28', '4': '22', '6': '34'}]结果大致如下图所示:
- SMTWTFS +
SMTWTFS 看看主要的事件是？
>>> pipe.zrevrange("osrc:user:gmszone:event".format("gmszone"), 0, -1,withscores=True) @@ -847,40 +885,38 @@ def build_db_with_gzip(): [[('PushEvent', 154.0), ('CreateEvent', 41.0), ('WatchEvent', 18.0), ('GollumEvent', 8.0), ('MemberEvent', 3.0), ('ForkEvent', 2.0), ('ReleaseEvent', 1.0)]] >>>- 
Main Event +
Main Event 蓝色的就是push事件，黄色的是create等等。
到这里我们算是知道了OSRC的数据库部分是如何工作的。
-Python redis 查询
+Python redis 查询
主要代码如下所示
--def get_vector(user, pipe=None): +
+ if no_pipe: + return pipe.execute()def get_vector(user, pipe=None): - r = redis.StrictRedis(host='localhost', port=6379, db=0) - no_pipe = False - if pipe is None: - pipe = pipe = r.pipeline() - no_pipe = True + r = redis.StrictRedis(host='localhost', port=6379, db=0) + no_pipe = False + if pipe is None: + pipe = pipe = r.pipeline() + no_pipe = True - user = user.lower() - pipe.zscore(get_format("user"), user) - pipe.hgetall(get_format("user:{0}:day".format(user))) - pipe.zrevrange(get_format("user:{0}:event".format(user)), 0, -1, - withscores=True) - pipe.zcard(get_format("user:{0}:contribution".format(user))) - pipe.zcard(get_format("user:{0}:connection".format(user))) - pipe.zcard(get_format("user:{0}:repo".format(user))) - pipe.zcard(get_format("user:{0}:lang".format(user))) - pipe.zrevrange(get_format("user:{0}:lang".format(user)), 0, -1, - withscores=True) + user = user.lower() + pipe.zscore(get_format("user"), user) + pipe.hgetall(get_format("user:{0}:day".format(user))) + pipe.zrevrange(get_format("user:{0}:event".format(user)), 0, -1, + withscores=True) + pipe.zcard(get_format("user:{0}:contribution".format(user))) + pipe.zcard(get_format("user:{0}:connection".format(user))) + pipe.zcard(get_format("user:{0}:repo".format(user))) + pipe.zcard(get_format("user:{0}:lang".format(user))) + pipe.zrevrange(get_format("user:{0}:lang".format(user)), 0, -1, + withscores=True) - if no_pipe: - return pipe.execute() -结果在上一篇中显示出来了，也就是
-
+[227.0, {'1': '51', '0': '41', '3': '17', '2': '34', '5': '28', '4': '22', '6': '34'}, [('PushEvent', 154.0), ('CreateEvent', 41.0), ('WatchEvent', 18.0), ('GollumEvent', 8.0), ('MemberEvent', 3.0), ('ForkEvent', 2.0), ('ReleaseEvent', 1.0)], 0, 0, 0, 11, [('CSS', 74.0), ('JavaScript', 60.0), ('Ruby', 12.0), ('TeX', 6.0), ('Python', 6.0), ('Java', 5.0), ('C++', 5.0), ('Assembly', 5.0), ('C', 3.0), ('Emacs Lisp', 2.0), ('Arduino', 2.0)]][227.0, {'1': '51', '0': '41', '3': '17', '2': '34', '5': '28', '4': '22', '6': '34'}, [('PushEvent', 154.0), ('CreateEvent', 41.0), ('WatchEvent', 18.0), ('GollumEvent', 8.0), ('MemberEvent', 3.0), ('ForkEvent', 2.0), ('ReleaseEvent', 1.0)], 0, 0, 0, 11, [('CSS', 74.0), ('JavaScript', 60.0), ('Ruby', 12.0), ('TeX', 6.0), ('Python', 6.0), ('Java', 5.0), ('C++', 5.0), ('Assembly', 5.0), ('C', 3.0), ('Emacs Lisp', 2.0), ('Arduino', 2.0)]]有意思的是在这里生成了和自己相近的人
-
+['alesdokshanin', 'hjiawei', 'andrewreedy', 'christj6', '1995eaton']['alesdokshanin', 'hjiawei', 'andrewreedy', 'christj6', '1995eaton']osrc最有意思的一部分莫过于flann，当然说的也是系统后台的设计的一个很关键及有意思的部分。
Python Github
邻近算法是在这个分析过程中一个很有意思的东西。
@@ -888,18 +924,18 @@ def get_vector(user, pipe=None):邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法可以说是整个数据挖掘分类技术中最简单的方法了。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用她最接近的k个邻居来代表。
换句话说，我们需要一些样本来当作我们的分析资料，这里东西用到的就是我们之前的。
-
+[227.0, {'1': '51', '0': '41', '3': '17', '2': '34', '5': '28', '4': '22', '6': '34'}, [('PushEvent', 154.0), ('CreateEvent', 41.0), ('WatchEvent', 18.0), ('GollumEvent', 8.0), ('MemberEvent', 3.0), ('ForkEvent', 2.0), ('ReleaseEvent', 1.0)], 0, 0, 0, 11, [('CSS', 74.0), ('JavaScript', 60.0), ('Ruby', 12.0), ('TeX', 6.0), ('Python', 6.0), ('Java', 5.0), ('C++', 5.0), ('Assembly', 5.0), ('C', 3.0), ('Emacs Lisp', 2.0), ('Arduino', 2.0)]][227.0, {'1': '51', '0': '41', '3': '17', '2': '34', '5': '28', '4': '22', '6': '34'}, [('PushEvent', 154.0), ('CreateEvent', 41.0), ('WatchEvent', 18.0), ('GollumEvent', 8.0), ('MemberEvent', 3.0), ('ForkEvent', 2.0), ('ReleaseEvent', 1.0)], 0, 0, 0, 11, [('CSS', 74.0), ('JavaScript', 60.0), ('Ruby', 12.0), ('TeX', 6.0), ('Python', 6.0), ('Java', 5.0), ('C++', 5.0), ('Assembly', 5.0), ('C', 3.0), ('Emacs Lisp', 2.0), ('Arduino', 2.0)]]在代码中是构建了一个points.h5的文件来分析每个用户的points，之后再记录到hdf5文件中。
+ 0.12334802 0.14977974 0. 0.18061674 0. 0. 0. + 0.00881057 0. 0. 0.03524229 0. 0. + 0.01321586 0. 0. 0. 0.6784141 0. + 0.07929515 0.00440529 1. 1. 1. 0.08333333 + 0.26431718 0.02202643 0.05286344 0.02643172 0. 0.01321586 + 0.02202643 0. 0. 0. 0. 0. 0. + 0. 0. 0.00881057 0. 0. 0. 0. + 0. 0. 0. 0. 0. 0. 0. + 0. 0. 0. 0. 0.00881057][ 0.00438596 0.18061674 0.2246696 0.14977974 0.07488987 0.0969163 - 0.12334802 0.14977974 0. 0.18061674 0. 0. 0. - 0.00881057 0. 0. 0.03524229 0. 0. - 0.01321586 0. 0. 0. 0.6784141 0. - 0.07929515 0.00440529 1. 1. 1. 0.08333333 - 0.26431718 0.02202643 0.05286344 0.02643172 0. 0.01321586 - 0.02202643 0. 0. 0. 0. 0. 0. - 0. 0. 0.00881057 0. 0. 0. 0. - 0. 0. 0. 0. 0. 0. 0. - 0. 0. 0. 0. 0.00881057]这里分析到用户的大部分行为，再找到与其行为相近的用户，主要的行为有下面这些:
- 每星期的情况 @@ -908,58 +944,58 @@ def get_vector(user, pipe=None):
- 最多的语言
osrc中用于解析的代码
-def parse_vector(results): - points = np.zeros(nvector) - total = int(results[0]) +
+ return pointsdef parse_vector(results): + points = np.zeros(nvector) + total = int(results[0]) - points[0] = 1.0 / (total + 1) + points[0] = 1.0 / (total + 1) - # Week means. - for k, v in results[1].iteritems(): - points[1 + int(k)] = float(v) / total + # Week means. + for k, v in results[1].iteritems(): + points[1 + int(k)] = float(v) / total - # Event types. - n = 8 - for k, v in results[2]: - points[n + evttypes.index(k)] = float(v) / total + # Event types. + n = 8 + for k, v in results[2]: + points[n + evttypes.index(k)] = float(v) / total - # Number of contributions, connections and languages. - n += nevts - points[n] = 1.0 / (float(results[3]) + 1) - points[n + 1] = 1.0 / (float(results[4]) + 1) - points[n + 2] = 1.0 / (float(results[5]) + 1) - points[n + 3] = 1.0 / (float(results[6]) + 1) + # Number of contributions, connections and languages. + n += nevts + points[n] = 1.0 / (float(results[3]) + 1) + points[n + 1] = 1.0 / (float(results[4]) + 1) + points[n + 2] = 1.0 / (float(results[5]) + 1) + points[n + 3] = 1.0 / (float(results[6]) + 1) - # Top languages. - n += 4 - for k, v in results[7]: - if k in langs: - points[n + langs.index(k)] = float(v) / total - else: - # Unknown language. - points[-1] = float(v) / total + # Top languages. + n += 4 + for k, v in results[7]: + if k in langs: + points[n + langs.index(k)] = float(v) / total + else: + # Unknown language. + points[-1] = float(v) / total - return points这样也就返回我们需要的点数，然后我们可以用
-get_points来获取这些def get_points(usernames): - r = redis.StrictRedis(host='localhost', port=6379, db=0) - pipe = r.pipeline() +
+ results = get_vector(usernames) + points = np.zeros([len(usernames), nvector]) + points = parse_vector(results) + return pointsdef get_points(usernames): + r = redis.StrictRedis(host='localhost', port=6379, db=0) + pipe = r.pipeline() - results = get_vector(usernames) - points = np.zeros([len(usernames), nvector]) - points = parse_vector(results) - return points就会得到我们的相应的数据，接着找找和自己邻近的，看看结果。
+ 0. 0.09210526 0. 0.22368421 0.01315789 0. 0. + 0. 0. 0. 0.01315789 0. 0. + 0.01315789 0. 0. 0. 0.73684211 0. 0. + 0. 1. 1. 1. 0.2 0.42105263 + 0.09210526 0. 0. 0. 0. 0.23684211 + 0. 0. 0.03947368 0. 0. 0. 0. + 0. 0. 0. 0. 0. 0. 0. + 0. 0. 0. 0. 0. 0. 0. + 0. 0. 0. 0. ][ 0.01298701 0.19736842 0. 0.30263158 0.21052632 0.19736842 - 0. 0.09210526 0. 0.22368421 0.01315789 0. 0. - 0. 0. 0. 0.01315789 0. 0. - 0.01315789 0. 0. 0. 0.73684211 0. 0. - 0. 1. 1. 1. 0.2 0.42105263 - 0.09210526 0. 0. 0. 0. 0.23684211 - 0. 0. 0.03947368 0. 0. 0. 0. - 0. 0. 0. 0. 0. 0. 0. - 0. 0. 0. 0. 0. 0. 0. - 0. 0. 0. 0. ]真看不出来两者有什么相似的地方 。。。。
Github项目分析
之前曾经分析过一些Github的用户行为，现在我们先来说说Github上的Star吧。(截止: 2015年3月9日23时。)
@@ -1094,7 +1130,7 @@ def get_vector(user, pipe=None):Github 100天
我也是蛮拼的，虽然我想的只是在Github上连击100~200天，然而到了今天也算不错。
- 
Longest Streak +
Longest Streak 在停地造轮子的过程中，也不停地造车子。在那篇连续冲击365天的文章出现之前，我们公司的大大(https://github.com/dreamhead)也曾经在公司内部说过，天天commit什么的。当然这不是我的动力，在连击140天之前
@@ -1105,7 +1141,7 @@ def get_vector(user, pipe=None):
对比了一下365天连击的commit，我发现我在total上整整多了近0.5倍。
同时这似乎也意味着，我每天的commit数与之相比多了很多。
在连击20的时候，有这样的问题: 为了commit而commit代码，最后就放弃了。
@@ -1125,7 +1161,9 @@ def get_vector(user, pipe=None):这也就是为什么那个repo有这样的一行:
-
做到98%的覆盖率也算蛮拼的，当然还有Code Climate也达到了4.0，也有了112个commits。因此也带来了一些提高:
- 提高了代码的质量(code climate比jslint更注重重复代码等等一些bad smell)。 @@ -1136,7 +1174,7 @@ def get_vector(user, pipe=None):
- Gulp
- Require.js
(ps:从印度回来之后，由于女朋友在泰国实习，有了更多的时间可以看书、写代码)
有意思的是越到中间的一些时间，commits的次数上去了，除了一些简单的pull request，还有一些新的轮子出现了。
这是上一星期的commits，这也就意味着，在一星期里面，我需要在8个repo里切换。而现在我又有了一个新的idea，这时就发现了一堆的问题:
-
@@ -1159,7 +1197,7 @@ def get_vector(user, pipe=None):
Github 200天Showcase
今天是我连续泡在Github上的第200天，也是蛮高兴的，终于到达了:
故事的背影是: 去年国庆完后要去印度接受毕业生培训——就是那个神奇的国度。但是在去之前已经在项目待了九个多月，项目上的挑战越来越少，在印度的时间又算是比较多。便给自己设定了一个长期的goal，即100~200天的longest streak。
或许之前你看到过一篇文章让我们连击，那时已然140天，只是还是浑浑噩噩。到了今天，渐渐有了一个更清晰地思路。
@@ -1193,7 +1231,7 @@ def get_vector(user, pipe=None):google map solr polygon 搜索
代码: https://github.com/phodal/gmap-solr
技能树
@@ -1207,7 +1245,7 @@ def get_vector(user, pipe=None):
代码: https://github.com/phodal/skillock
技能树Sherlock
@@ -1221,12 +1259,12 @@ def get_vector(user, pipe=None):
代码: https://github.com/phodal/sherlock
Django Ionic ElasticSearch 地图搜索
- ElasticSearch @@ -1237,7 +1275,7 @@ def get_vector(user, pipe=None):
- React @@ -1249,7 +1287,7 @@ def get_vector(user, pipe=None):
- ElasticSearch @@ -1279,10 +1317,10 @@ def get_vector(user, pipe=None):
- MongoDB
- Redis
代码: https://github.com/phodal/django-elasticsearch
简历生成器
代码: https://github.com/phodal/resume
Nginx 大数据学习
#Github 365天
+Github 365天
给你一年的时间，你会怎样去提高你的水平？？？
正值这难得的sick leave（万恶的空气），码文一篇来记念一个过去的366天里。尽管想的是在今年里写一个可持续的开源框架，但是到底这依赖于一个好的idea。在我的Github 孵化器 页面上似乎也没有一个特别让我满意的想法，虽然上面有各种不样有意思的ideas。多数都是在过去的一年是完成的，然而有一些也是还没有做到的。
说说标题
@@ -1301,10 +1339,10 @@ def get_vector(user, pipe=None):而如果没有测试，其他都是扯淡。写好测试很难，写个测试算是一件容易的事。只是有些容易我们会为了测试而测试。
在我写EchoesWorks和Lan的过程中，我尽量去保证足够高的测试覆盖率。
从测试开始的TDD，会保证方法是可测的。从功能到测试则可以提供工作次效率，但是只会让测试成为测试，而不是代码的一部分。
测试是代码的最后一公里。所以，尽可能的为你的Github上的项目添加测试。
@@ -1331,7 +1369,7 @@ def get_vector(user, pipe=None):组合相比于创造过程是一个更有挑战性的过程，我们需要在这过程去设计胶水来粘合这些代码，并在最终可以让他工作。这好比是我们在平时接触到的任务划分，每个人负责相应的模块，最后整合。
想似的我在写lan的时候，也是类似的，但是不同的是我已经设计了一个清晰的架构图。
而在我们实现的编码过程也是如此，使用不同的框架，并且让他们能工作。如早期玩的moqi.mobi，基于Backbone、RequireJS、Underscore、Mustache、Pure CSS。在随后的时间里，用React替换了View层，就有了backbone-react的练习。
技术同人一样，需要不断地往高一级前进。我们只需要不断地Re-Practise。