扫一扫
关注 HG 公众号
发现更多开源乐趣

Python 项目

兴趣是最好的老师,HelloGitHub 就是帮你找到编程的兴趣。

CPython-Internals

第 66 期 Star 3.0k Watch 303 Fork 307 中文
图文并茂的 Python 源码阅读笔记项目。阅读的是比较新的 CPython 3.8 版本,重点是项目一直在更新维护

static void take_gil(PyThreadState *tstate)
{
    /* 忽略 */
    while (_Py_atomic_load_relaxed(&_PyRuntime.ceval.gil.locked)) {
        /* 只要 gil 是锁住的状态, 进入这个循环 */
        int timed_out = 0;
        unsigned long saved_switchnum;

        saved_switchnum = _PyRuntime.ceval.gil.switch_number;
        /* 释放 gil.mutex, 并在以下两种条件下唤醒
           1. 等待 INTERVAL 微秒(默认 5000) 
           2. 还没有等待到 5000 微秒但是收到了 gil.cond 的信号
        */
        COND_TIMED_WAIT(_PyRuntime.ceval.gil.cond, _PyRuntime.ceval.gil.mutex,
                        INTERVAL, timed_out);
        /* 当前持有 gil.mutex 这把互斥锁 */
        if (timed_out &&
            _Py_atomic_load_relaxed(&_PyRuntime.ceval.gil.locked) &&
            _PyRuntime.ceval.gil.switch_number == saved_switchnum) {
            /* 如果超过了等待时间, 并且这段等待时间里 gil 的持有者没有变更过, 则尝试让当前持有 gil 的线程进行释放gil
            把 gil_drop_request 值设为 1, 持有锁的线程看到这个值的时候, 会尝试放弃 gil */
            SET_GIL_DROP_REQUEST();
        }
        /* 继续回到 while 循环, 检查 gil 是否为锁住状态 */
    }
    /* 忽略 */
}

ray

第 65 期 Star 17.9k Watch 420 Fork 3.0k
基于 Python 的分布式计算框架,采用动态图计算模型。使用起来很方便可通过装饰器的方式,仅需修改极少的的代码,让原本运行在单机的 Python 代码轻松实现分布式计算。目前多用于机器学习方面

import ray
ray.init()

@ray.remote
def f(x):
    return x * x

futures = [f.remote(i) for i in range(4)]
print(ray.get(futures))

ray

mypy

第 66 期 Star 11.6k Watch 209 Fork 1.9k
Python 静态类型检查库。既然 Python 是一门动态类型语言,为啥还要检查类型呢?有了静态类型检测则无需运行代码,就可以发现程序中潜在的错误。还可以加入到 git hook 中,实现在提交代码前自动检查。详情查看这篇文章

termpair

第 65 期 Star 1.2k Watch 17 Fork 52
浏览器远程+实时操作命令行的工具。让开发者安全实时的共享终端,特别适合服务器非桌面系统的环境。有了它下次再遇到问题,求助大佬远程协助就方便多了

# 安装
pip install termpair
# 起服务
termpair serve
# 生成远程控制终端的链接
termpair share

termpair

pyinstrument

第 65 期 Star 3.5k Watch 51 Fork 149
简单易用的 Python 代码性能分析库,优化 Python 代码的工具。支持 Python 3.7+ 能够分析异步代码,仅需一条命令即可显示具体到函数的耗时,快速指出影响代码性能的地方,帮助提高代码性能让你的代码快人一步

# 命令模式
Usage: pyinstrument [options] scriptfile [arg] ...
# 代码片段模式
from pyinstrument import Profiler

profiler = Profiler()
profiler.start()
# 要分析的代码
profiler.stop()

profiler.print()
# 还支持 flask 等 Web 框架

pyinstrument

Pokemon-Terminal

第 66 期 Star 3.8k Watch 51 Fork 205
适用于多种终端的口袋妖怪主题工具。支持 iTerm2、ConEmu、Terminology、Windows 的终端,已经收集了 719 个小精灵
Pokemon-Terminal

OnlineJudge

第 64 期 Star 4.3k Watch 182 Fork 1.2k
青岛大学开源的在线评测系统(OJ),采用 Django+Vue.js 实现。功能如下:

  • 基于 Docker 的一键部署
  • 支持 ACM/OI 两种比赛模式、实时/非实时评判
  • 丰富的可视化图表,一图胜千言
  • 支持多种编程语言:C/C++、Java、Python2/3
  • 比赛用户 IP 限制 (CIDR ranges)

OnlineJudge

weiboSpider

第 65 期 Star 4.6k Watch 121 Fork 1.3k 中文
Python 写的微博爬虫,命令行直接启动。支持获取微博用户、内容字段丰富。虽然爬虫的实战项目很多,但能一直更新的很少,因为只要数据源变动爬虫就要跟进迭代。这个项目更新稳定回复问题及时实属不易,希望大家在享受项目带来的便利同时也可以 Star 支持一下

# 安装
$ git clone https://github.com/dataabc/weiboSpider.git
$ cd weiboSpider
$ pip install -r requirements.txt
# 启动
$ python3 -m weibo_spider

bigdata_analyse

第 64 期 Star 1.2k Watch 24 Fork 211 中文
大数据分析实战项目的集合。该项目包含了淘宝、租房、招聘等数据的分析实例,不仅有 Python、SQL、HQL 的实例代码,还附上了数据集下载地址。想学习大数据的同学们,万事俱备就差你来学了
bigdata_analyse

JDMemberCloseAccount

第 64 期 Star 910 Watch 25 Fork 295 中文
用 Python 操作 selenium 的实战项目。该项目以全自动退出京东加入的店铺会员为例,介绍了 Python 自动化的知识和方案
JDMemberCloseAccount