Python on oinume journal

gcloudコマンドを使わずにGoogle Cloud Storageにファイルをアップロードする

Mon, 21 Aug 2017 09:00:00 +0900

概要

gcloudコマンドを使わずにPythonとgoogle-cloudを使ってGoogle Cloud Storage(GCS)に頑張ってファイルをアップロードしてみる。google-cloudはPython向けのGoogle Cloud Platformの何かを操作するためのクライアントライブラリ。GCPの以下の機能の操作がサポートされている。

Better Heroku Schedulerを探したらCustom clock processesにたどり着いた

Sun, 11 Dec 2016 23:12:19 +0900

これはHeroku Advent Calendar 2016の11日目の記事です。

HerokuではHeroku Schedulerというcronのようなサービスがあるのですが、使い込むうちに「Daily, Hourly, Every 10 minutesの単位でしかジョブを動かせない」という制限がつらくなってきたので、より良い代替であるCustom clock processesを試してみたという話。

Parsing MySQL's URL in Python3

Mon, 14 Dec 2015 00:32:58 +0900

Just add urllib.parse.uses_netloc.append("mysql") if you want to parse URL such as mysql://root:pass@localhost/demo.

#!/usr/bin/env python

import urllib.parse
urllib.parse.uses_netloc.append("mysql")

if __name__ == "__main__":
    url_str = "mysql://root:pass@localhost/demo"
    url = urllib.parse.urlparse(url_str)
    print("URL={0}".format(url_str))
    print("host={0}, user={1}, password={2}, database={3}".format(
        url.hostname, url.username, url.password, url.path[1:]))

$ python3 url_parse.python
URL=mysql://root:pass@localhost/demo
host=localhost, user=root, password=pass, database=demo

DMM英会話でお気に入りの先生の空きレッスンが登録されたらメールで通知するヤツ作った

Mon, 07 Dec 2015 09:00:00 +0900

2016/11/25追記

後継のlekcijeというサービスを作ったのでぜひこちらをご利用下さい。

www.lekcije.com

動機

どのSkype英会話でもそうだと思うんだけど、人気のある先生はすぐ予約が埋まっちゃう
でもスケジュールをいちいち検索してチェックするのはダルい

というわけで作りました。

Logging into dmm.com by Selenium

Mon, 26 Oct 2015 08:50:00 +0900

I use Selenium to log into dmm.com because dmm.com requires JavaScript enabled browser. Here is a sample code. You can see Firefox is launched and automatically logging into dmm.com if you use Firefox instead of PhantomJS.

login_dmm.py

#!/usr/bin/env python
# encoding: utf-8

import os
from selenium import webdriver

driver = webdriver.PhantomJS()
#driver = webdriver.Firefox()
driver.get("https://www.dmm.com/my/-/login/=/path=DRVESVwZTldRDlBRRFdIUwwIGFVfVEs_")
login_id = driver.find_element_by_id("login_id")
login_id.send_keys(os.environ["DMM_LOGIN_ID"])
password = driver.find_element_by_id("password")
password.send_keys(os.environ["DMM_LOGIN_PASSWORD"])
driver.find_element_by_tag_name("form").submit()
print(driver.page_source)

driver.quit()

Run

$ brew install phantomjs
$ pip install selenium
$ DMM_LOGIN_ID=your_id DMM_LOGIN_PASSWORD=your_password python ./login_dmm.py

gunicornをローカル開発環境のWebサーバとして使う

Sun, 12 Oct 2014 22:20:07 +0900

--reloadオプションがバージョン19.0からサポートされたので、下記のような感じで起動するとローカルの開発サーバとして使える。

$ gunicorn --access-logfile - --log-file - --reload -b 127.0.0.1:3000 -w 1 app:app

--access-logfile: "-"を指定するとstderrにアクセスログが出る
--log-file: ↑と同様に"-"を指定するとstderrにエラーログが出る
--reload: ソースコードが変更されたらリロードする
-b: bindするアドレスとポートの指定
-w: ワーカー数

Flask + BeakerでセッションデータをRedisに保存する

Fri, 28 Mar 2014 01:47:13 +0900

やりたいこと

Redisをセッションデータの保存先にしたい

Beakerって？

様々なデータストアにセッションデータを保存するWSGI Middleware。WSGIレイヤーなのでFlask以外のWAF(bottleとか)でも使えるはず。

nodemonを使ってFlaskなWebアプリを自動でリロード

Sat, 15 Mar 2014 18:12:28 +0900

最近のWebアプリケーションフレームワークだと、「開発している時はファイルの変更を検知して自動でアプリを再起動する」みたいな機能がある。PythonのFlaskで開発している場合は

Python3に対応したtomahawk 0.7.0をリリース

Mon, 03 Mar 2014 01:37:59 +0900

久々にtomahawkの新しいバージョンをリリース。今回はずっと放置していたPython3対応(Python3.2+)をやっとこさ完了した。

Python3はいろいろ変わり過ぎていてもう諦めようかなーと思っていたんだけど、去年のPyCon APACでsixっていうモジュールを知って、「これ使えばけっこう簡単にPython3対応できるのかー」と思ってやってみた。でも実際はそんな簡単にはいかず、特にunicodeとbytesの違いでけっこうハマってしまったけど。

あとは今回のバージョンから、ReadTheDocsでホスティングしてるドキュメントのテーマをReadTheDocs謹製のものにしてみた。おかげでドキュメントのかっこよさはだいぶ増したはず。

Pythonで開発されている有名なサービス

Sat, 18 Jan 2014 12:41:57 +0900

他にもあったらコメントで教えて欲しいっす。

traceモジュールを使ってPythonプログラムの挙動を把握する

Sun, 21 Jul 2013 09:57:18 +0900

Pythonにはtraceモジュールというものが標準ライブラリであって、これを使うとpythonプログラムを実行した時に、どのモジュールのどの関数を呼んでいるかの情報を出力することができる。使いどころとしては、使っているライブラリやツールが「これ実際どう動いてるんだろう？」っていうのを把握したい時に重宝すると思う。pdbなんかのデバッガでもいいんだけど、「ブワッとトレース実行した結果を出しておいてあとで一気に見る」みたいな時に特に有用だと思う。

使ってみよう

ためしにtomahawkをtrace使って実行してみた。

$ python -m trace -t /usr/local/bin/tomahawk -h localhost uptime

実行には -m trace と -t (--trace) オプションをつける。実行結果はこんな感じ。

 --- modulename: tomahawk, funcname: <module>
tomahawk(4): import sys
tomahawk(6): try:
tomahawk(7):     import bootstrap
tomahawk(10): except:
tomahawk(11):     pass
tomahawk(13): from tomahawk.command import CommandMain
 --- modulename: __init__, funcname: <module>
__init__.py(1): from tomahawk.constants import *
 --- modulename: constants, funcname: <module>
...

やってみるとわかるけど、標準ライブラリのコードまで延々とトレース実行される... 「標準ライブラリの中はどうでもいいんだよ」ということであれば、--ignore-module=os,sys みたいな感じで除外するモジュールをカンマ区切りで指定できる。

Markdownをアメブロ向けのHTMLに変換するヤツ作った

Sat, 06 Jul 2013 01:41:55 +0900

会社のエンジニアブログを書いていて、あまりにもアメブロのエディタがしんどかったのでカッとなって作ってしまった。これでエンジニアブログ書くのが捗ると思う。heroku上のサンプルはここ。

使った技術

Python 2.7
misaka - MarkdownをHTMLに変換するライブラリ
heroku

herokuはGitリポジトリにpushするだけでディプロイ出来て便利だなーと思った。

Pythonでローカル変数の値をprintfデバッグしたい

Wed, 05 Jun 2013 14:06:54 +0900

a = 1

b = 2

print("locals = " + str(locals()))

こんな風に書くとローカル変数の値が簡単にデバッグできるかなーと思った。

locals = {'a': 1, 'b': 2, '__builtins__': <module '__builtin__' (built-in)>, '__file__': '/Users/oinuma_kazuhiro/Dropbox/code/python/locals.py', '__package__': None, '__name__': '__main__', '__doc__': None}

ただ、余計なものまで表示されてしまうので、特定の変数だけprintしたい場合は下記のようにする。

Pythonで標準出力をキャプチャする

Sun, 20 May 2012 08:05:57 +0900

PerlだとCapture::TinyというCPANモジュールがあるのだけど、Pythonだとやり方がわからなかったので調べてみたところ、Capture stdout from a script in Python - Stack Overflowで色々とやり方が紹介されている。

普通に標準出力の内容を文字列として取りたいだけなら下記でいいんじゃないかと思われる。Python詳しくないのでもっとスマートな方法があれば教えてほしいです。

pythonbrewで新しいPythonをインストールできるようにする

Sat, 14 Apr 2012 16:04:25 +0900

Python-2.7.3がリリースされたので早速入れようと思ったら

$ pythonbrew install 2.7.3

ERROR: Unknown python version: `Python-2.7.3`

と言われて残念な気持ちになったので、どうすればpythonbrewで新しいPythonがインストールできるか調べてみた。

python-mode + auto-complete-mode + ac-pythonでPythonのコード補完

Wed, 18 Jan 2012 15:01:48 +0900

Pythonの補完をEmacsでシンプルに最小労力で手早く使えるようにする - 牌語備忘録 - pygoの通りなんですが、手っ取り早くEmacsでPythonのコード補完を実現できた。ちなみにpython-modeでもac-pythonは問題なく動いてる。これ設定したらコード書くスピードが今までの1.5倍ぐらい速くなったっす！

Pythonでモジュール内のクラスを抽出する

Sat, 26 Nov 2011 00:11:45 +0900

inspectを使えば簡単にできる。

class MyClass(object):

pass

def func():

pass

な感じのmymodule.py があるとして

#!/usr/bin/env python

import inspect

import mymodule

for name, member in inspect.getmembers(mymodule):

if inspect.isclass(member):

print "%s is class." % name

みたいにやれば mymodule からクラスだけ抜き出せる。

inspectというモジュールはリンク先のマニュアルをざっと見てもらえばわかるように、モジュールやクラスや関数のメタ情報を色々取れるので超絶便利である。これは本当にすごい。

[tmkm-amazon]4048686291[/tmkm-amazon]

pydoc -g でモジュールのドキュメントが読める

Fri, 14 Oct 2011 17:10:00 +0900

Shellで

$ pydoc -g

ってやったら↓のようなダイアログが出てきて

"open browser" クリックしたら、ブラウザで標準モジュールやインストールされているモジュールのドキュメントが読めましたとさ。Pythonすげー。

Flask + python-oauth2 + python-twitterでTwitter APIを叩く

Sat, 10 Sep 2011 16:09:16 +0900

いろいろ面倒だった。

Pythonでファイルを読み込むスマートなやり方

Mon, 13 Jun 2011 13:06:59 +0900

結論から言うと下記が最もスマートでモダンな書き方っぽい。

with open('/tmp/test.txt') as f:
    for line in f:
       print line

下記はファイルの中味が全部メモリに乗っちゃうから危険。

f = open('/tmp/test.txt') for line in f.readlines(): print line f.close()

MySQLでデータベースの全テーブルを強制的にInnoDBに変換するPythonスクリプト

Mon, 21 Feb 2011 11:02:44 +0900

仕事でMyISAMなテーブルをInnoDBにしたかったのでこんなん書いた。

$ ~/to_innodb.py -h localhost -u root mydatabase

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# INSTALL ====================

# $ sudo easy_install argparse

# $ sudo easy_install mysql-python

import argparse

import MySQLdb

import os

def main():

AppEngine for PythonでImportError: No module named cgiとなる場合の対処方法

Wed, 29 Dec 2010 11:12:36 +0900

おそらくvirtualenv使ってると発生するのだと思うのですが、AppEngine for Pythonで下記のようなエラーがでました。

File "/Applications/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/ext/webapp/__init__.py", line 61, in

import cgi

PythonからGrowlを利用する

Fri, 10 Dec 2010 12:12:32 +0900

GrowlというMacの通知インターフェースをPythonから使ってみたというお話。

Growl Python bindingをインストール

まずはGrowl本家からGrowl SDKをダウンロードしてダブルクリックし、

EmacsでPythonの設定

Sat, 03 Jul 2010 16:07:01 +0900

最近Pythonいいなぁと思ってPython始めているのですが、コードを書くにあたってエディタの設定も多少しとかないと、ということでEmacsでPython回りの設定をしました。あんまりヘビーなことはしないので、とりあえず今回はpython-mode.elとflymakeの設定だけしています。