月別アーカイブ: 2014年6月

mysqldumpでAUTO_INCREMENTの初期値をはずしたい

2014年6月30日mysqlMySQLpr

何もオプションを付けずにmysqldumpすると

DROP TABLE IF EXISTS `users`;
/*!40101 SET @saved_cs_client = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `users` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`username` varchar(50) DEFAULT NULL,
`password` varchar(50) DEFAULT NULL,
`created` datetime DEFAULT NULL,
`modified` datetime DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

DROP TABLE IF EXISTS `users`;

/*!40101 SET @saved_cs_client = @@character_set_client */;

/*!40101 SET character_set_client = utf8 */;

CREATE TABLE `users` (

`id` int(10) unsigned NOT NULL AUTO_INCREMENT,

`username` varchar(50) DEFAULT NULL,

`password` varchar(50) DEFAULT NULL,

`created` datetime DEFAULT NULL,

`modified` datetime DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=MyISAM AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;

/*!40101 SET character_set_client = @saved_cs_client */;

となります。AUTO_INCREMENTの初期値が引き継がれてしまっていて邪魔ですね。

mysqldump --skip-opt -u hoge -p hoge_db

1	mysqldump --skip-opt -u hoge -p hoge_db

とすればすっきりしたdumpが吐出されます。

/*!40101 SET @saved_cs_client = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `users` (
`id` int(10) unsigned NOT NULL,
`username` varchar(50) DEFAULT NULL,
`password` varchar(50) DEFAULT NULL,
`created` datetime DEFAULT NULL,
`modified` datetime DEFAULT NULL,
PRIMARY KEY (`id`)
);
/*!40101 SET character_set_client = @saved_cs_client */;

/*!40101 SET @saved_cs_client = @@character_set_client */;

/*!40101 SET character_set_client = utf8 */;

CREATE TABLE `users` (

`id` int(10) unsigned NOT NULL,

`username` varchar(50) DEFAULT NULL,

`password` varchar(50) DEFAULT NULL,

`created` datetime DEFAULT NULL,

`modified` datetime DEFAULT NULL,

PRIMARY KEY (`id`)

);

/*!40101 SET character_set_client = @saved_cs_client */;

でもDBエンジンとか文字エンコーディングとかが抜けてると、使い物にならないですね。そこでこうするらしいです。

mysqldump --opt --single-transaction -u hoge -p -d hoge_db | sed 's/ AUTO_INCREMENT=[0-9]*\b//'

1	mysqldump --opt --single-transaction -u hoge -p -d hoge_db \| sed 's/ AUTO_INCREMENT=[0-9]*\b//'

DROP TABLE IF EXISTS `users`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!40101 SET character_set_client = utf8 */;
CREATE TABLE `users` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `username` varchar(50) DEFAULT NULL,
  `password` varchar(50) DEFAULT NULL,
  `created` datetime DEFAULT NULL,
  `modified` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*!40101 SET character_set_client = @saved_cs_client */;

DROP TABLE IF EXISTS `users`;

/*!40101 SET @saved_cs_client = @@character_set_client */;

/*!40101 SET character_set_client = utf8 */;

CREATE TABLE `users` (

`id` int(10) unsigned NOT NULL AUTO_INCREMENT,

`username` varchar(50) DEFAULT NULL,

`password` varchar(50) DEFAULT NULL,

`created` datetime DEFAULT NULL,

`modified` datetime DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=MyISAM DEFAULT CHARSET=utf8;

/*!40101 SET character_set_client = @saved_cs_client */;

sedで文字列変換なんて、なかなかの力技！

参考

stackoverflow – mysqldump – Export structure only without autoincrement

MySQL Documentation 7.11. mysqldump — データベースバックアッププログラム

クローリングで使うXPathのサンプル

2014年6月29日PHPpr

XPathというのはXPathを扱うための言語構文です。SQLや正規表現のように、PHPをはじめ多くの言語で使うことができる、すばらしく便利な言語です。これを使えば、単にHTML内の特定の文字列を取り出すだけでなく、文字列関数を使った加工まで出来てしまいます。

クローリングするのにわりと使うであろうXPathをいくつか書いてみます。

PHPでXPathを扱うにはPHPコアに含まれるDOMXPathクラスを使う方法、SimpleXMLを使う方法があります。PHPのXPathは1.0の対応です。2.0にはまだ対応していないようです。

HTMLをXMLとして読み込んで使うやり方

いろいろ試してみて、安定した方法が分かってきました。最近はDOMXPathをよく使っています。文字化け対策でutf8のHTMLをHTML-ENTITIESにすると良いようです。

$html = file_get_contents('http://example.jp');
$html = mb_convert_encoding($html, 'HTML-ENTITIES', 'utf-8');
$dom = new DOMDocument();
$dom->preserveWhiteSpace = false; // 連続した空白をまとめる
@$dom->loadHTML($html);
$domXPath = new DOMXPath($dom);
try{
  $xpath = '(ここにXPATHを入力)';
  $xpath_record = $domXPath->evaluate($xpath);
  if (is_string($xpath_record)){
    $result = $xpath_record;
  } else {
    foreach ($xpath_record as $node){
     $result = $node->textContent;
    }
  }
  var_dump($result);
} catch(Exception $e){
  echo '捕捉した例外: ',  $e->getMessage(), "\n";
}

$html = file_get_contents('http://example.jp');

$html = mb_convert_encoding($html, 'HTML-ENTITIES', 'utf-8');

$dom = new DOMDocument();

$dom->preserveWhiteSpace = false; // 連続した空白をまとめる

@$dom->loadHTML($html);

$domXPath = new DOMXPath($dom);

try{

$xpath = '(ここにXPATHを入力)';

$xpath_record = $domXPath->evaluate($xpath);

if (is_string($xpath_record)){

$result = $xpath_record;

} else {

foreach ($xpath_record as $node){

$result = $node->textContent;

}

var_dump($result);

} catch(Exception $e){

echo '捕捉した例外: ', $e->getMessage(), "\n";

}

「次へ」もしくは「Next」と書かれたリンクのURLを取得する

//a[./text()="次へ" or ./text()="Next"]/@href

1	//a[./text()="次へ" or ./text()="Next"]/@href

2番目以降のliを取り出す

//ul/li[position()>=2]

1	//ul/li[position()>=2]

取り出した値を好きなPHPの関数で処理する

最初に名前空間に登録して使います。

$xpath = new DOMXPath($dom);
$xpath->registerNamespace("php", "http://php.net/xpath");
$xpath->registerPHPFunctions(); //すべての関数を許可する

$xpath = new DOMXPath($dom);

$xpath->registerNamespace("php", "http://php.net/xpath");

$xpath->registerPHPFunctions(); //すべての関数を許可する

php:function('getPrefecture',//p[@rel="v:addr"])

1	php:function('getPrefecture',//p[@rel="v:addr"])

クラスを使う場合は、staticで静的関数にしないと使えません。

php:function('MyClass::getPrefecture',//p[@rel="v:addr"])

1	php:function('MyClass::getPrefecture',//p[@rel="v:addr"])

のように使えます。

テーブルの行の中でTHヘッダをみて好きな行のTDを取得する

//table[@class="rst-data"]/tbody/tr/td[preceding-sibling::th="電話番号"]

1	//table[@class="rst-data"]/tbody/tr/td[preceding-sibling::th="電話番号"]

リンクURLの中に「*- 」が含まれていた場合は後半のみ取得、含まれていない場合はそのまま取得する

concat(substring-after(//div[@class="rstname-wrap"]/strong/a[contains(@href,'*-')]/@href,"*-"),//div[@class="rstname-
wrap"]/strong/a[not(contains(@href,'*-'))]/@href)

1 2	concat(substring-after(//div[@class="rstname-wrap"]/strong/a[contains(@href,'-')]/@href,"-"),//div[@class="rstname- wrap"]/strong/a[not(contains(@href,'*-'))]/@href)

他のサンプル

AutoPagerize WikiのXPath Cookbook

MicrosoftDeveloperNetwork XPathの例

wikipediaのXPathのページ（サンプルではないけど分かりやすいので最初に読むといい）

【cakePHP】繰り返しrequestActionを呼び出すのをApp::usesにしたらメモリ使用量が抑えられた

2014年6月12日cakePHPcakePHPpr

cakePHPのシェルコマンドモードから繰り返しrequestActionを呼び出すコードを実行すると、２０００回くらい繰り返したところでメモリオーバーで停止していたのを解決しました。

PHPバージョンが5.2なもので、バージョンアップすればガーベッジコレクションが効いてなんとかなるかも（PHP マニュアル >機能 >ガベージコレクション）、とも思ったのですが、お客様のサーバーだし、そもそもメモリーを使い続けるのがおかしいのでなんとかしてみます。

まず、メモリ使用量の計測

<?php
App::import('Vendor', 'Pear/Mail/mimeDecode');
App::uses("ItemsController", "Controller");

class CollectPriceShell extends AppShell {
    // モデルを使用する場合はここに記述。
    public $uses = array('Item');

    // メソッドを無名にする場合は "main" を用いる
    public function main() {
        $items = $this->Item->find('all');
        foreach($items as $item){
            $url = sprintf("/items/update_supply/%d/csv", $item['Item']['id']);
            $result = $this->requestAction($url);
            echo sprintf( '%8s %8dk : %s', ($result) ? 'Success' : 'Failed', memory_get_usage() / 1024, $url)."\n";
        }
    }
}

<?php

App::import('Vendor', 'Pear/Mail/mimeDecode');

App::uses("ItemsController", "Controller");

class CollectPriceShell extends AppShell {

// モデルを使用する場合はここに記述。

public $uses = array('Item');

// メソッドを無名にする場合は "main" を用いる

public function main() {

$items = $this->Item->find('all');

foreach($items as $item){

$url = sprintf("/items/update_supply/%d/csv", $item['Item']['id']);

$result = $this->requestAction($url);

echo sprintf( '%8s %8dk : %s', ($result) ? 'Success' : 'Failed', memory_get_usage() / 1024, $url)."\n";

}

結果：

Success 15995k : /items/update_supply/8243/csv
Success 16055k : /items/update_supply/8244/csv
Success 16111k : /items/update_supply/8246/csv
Success 16172k : /items/update_supply/8249/csv
Success 16228k : /items/update_supply/8251/csv
Success 16285k : /items/update_supply/8252/csv
Success 16341k : /items/update_supply/8253/csv
Success 16403k : /items/update_supply/8254/csv
Success 16458k : /items/update_supply/8256/csv
Success 16515k : /items/update_supply/8258/csv
Success 16571k : /items/update_supply/8259/csv
Success 16633k : /items/update_supply/8260/csv
Success 16689k : /items/update_supply/8261/csv
Success 16746k : /items/update_supply/8263/csv
Success 16811k : /items/update_supply/8264/csv
Success 16866k : /items/update_supply/8265/csv

Success 15995k : /items/update_supply/8243/csv

Success 16055k : /items/update_supply/8244/csv

Success 16111k : /items/update_supply/8246/csv

Success 16172k : /items/update_supply/8249/csv

Success 16228k : /items/update_supply/8251/csv

Success 16285k : /items/update_supply/8252/csv

Success 16341k : /items/update_supply/8253/csv

Success 16403k : /items/update_supply/8254/csv

Success 16458k : /items/update_supply/8256/csv

Success 16515k : /items/update_supply/8258/csv

Success 16571k : /items/update_supply/8259/csv

Success 16633k : /items/update_supply/8260/csv

Success 16689k : /items/update_supply/8261/csv

Success 16746k : /items/update_supply/8263/csv

Success 16811k : /items/update_supply/8264/csv

Success 16866k : /items/update_supply/8265/csv

どんどんメモリ使ってますね。requestActionがかなりメモリを消費する関数だって事は分かっているので、ここをもう少し低レベルなものに置き換えます。単純にControllerクラスを呼び出すのがいいでしょうが、cakePHPにはApp::usesを使った便利な呼び出しがあります。

<?php
App::import('Vendor', 'Pear/Mail/mimeDecode');
App::uses("ItemsController", "Controller");

class CollectPriceShell extends AppShell {
    // モデルを使用する場合はここに記述。
    public $uses = array('Item');

    // メソッドを無名にする場合は "main" を用いる
    public function main() {
        $items = $this->Item->find('all');
        $ItemsController = new ItemsController;
        $ItemsController->constructClasses();
        $ItemsController->request = new CakeRequest(); // request->is('get')とかしてるなら必要 14/06/16 追記
        $ItemsController->startupProcess();
        foreach($items as $item){
            $url = sprintf("/items/update_supply/%d/csv", $item['Item']['id']);
            $ItemsController->request->params['requested'] = 1;
            $result = $ItemsController->update_supply($item['Item']['id']);
            echo sprintf( '%8s %8dk : %s', ($result) ? 'Success' : 'Failed', memory_get_usage() / 1024, $url)."\n";
        }
    }
}

<?php

App::import('Vendor', 'Pear/Mail/mimeDecode');

App::uses("ItemsController", "Controller");

class CollectPriceShell extends AppShell {

// モデルを使用する場合はここに記述。

public $uses = array('Item');

// メソッドを無名にする場合は "main" を用いる

public function main() {

$items = $this->Item->find('all');

$ItemsController = new ItemsController;

$ItemsController->constructClasses();

$ItemsController->request = new CakeRequest(); // request->is('get')とかしてるなら必要 14/06/16 追記

$ItemsController->startupProcess();

foreach($items as $item){

$url = sprintf("/items/update_supply/%d/csv", $item['Item']['id']);

$ItemsController->request->params['requested'] = 1;

$result = $ItemsController->update_supply($item['Item']['id']);

echo sprintf( '%8s %8dk : %s', ($result) ? 'Success' : 'Failed', memory_get_usage() / 1024, $url)."\n";

}

 Success    15051k : /items/update_supply/8243/csv
 Success    15065k : /items/update_supply/8244/csv
 Success    15073k : /items/update_supply/8246/csv
 Success    15088k : /items/update_supply/8249/csv
 Success    15096k : /items/update_supply/8251/csv
 Success    15106k : /items/update_supply/8252/csv
 Success    15116k : /items/update_supply/8253/csv
 Success    15131k : /items/update_supply/8254/csv
 Success    15139k : /items/update_supply/8256/csv
 Success    15148k : /items/update_supply/8258/csv
 Success    15158k : /items/update_supply/8259/csv
 Success    15172k : /items/update_supply/8260/csv
 Success    15181k : /items/update_supply/8261/csv
 Success    15191k : /items/update_supply/8263/csv
 Success    15210k : /items/update_supply/8264/csv
 Success    15218k : /items/update_supply/8265/csv

Success 15051k : /items/update_supply/8243/csv

Success 15065k : /items/update_supply/8244/csv

Success 15073k : /items/update_supply/8246/csv

Success 15088k : /items/update_supply/8249/csv

Success 15096k : /items/update_supply/8251/csv

Success 15106k : /items/update_supply/8252/csv

Success 15116k : /items/update_supply/8253/csv

Success 15131k : /items/update_supply/8254/csv

Success 15139k : /items/update_supply/8256/csv

Success 15148k : /items/update_supply/8258/csv

Success 15158k : /items/update_supply/8259/csv

Success 15172k : /items/update_supply/8260/csv

Success 15181k : /items/update_supply/8261/csv

Success 15191k : /items/update_supply/8263/csv

Success 15210k : /items/update_supply/8264/csv

Success 15218k : /items/update_supply/8265/csv

改善された！ちょっとづつ増えていますが、16Mくらいで安定して、増え続けるという事はありませんでした。

最初にApp::uses(“ItemsController”, “Controller”);で使用する事を宣言しておきます。App::importでもいいのですが、cakePHP2ではusesの方が使用する時だけ呼び出すのでいいっぽいです。

使用する時は$ItemsController = new ItemsController;で宣言して、いつも通り$ItemsController->action()でいいのですが、これだとbeforeFilterが実行されません。
$ItemsController->constructClasses();
$ItemsController->startupProcess();
をクラスの宣言直後に行う事で、初期化されるようになりました。

コントローラーの変数は直接操作できるので、$ItemsController->request->params[‘requested’] = 1のようにリクエスト変数をいじってrequest_actionと同じパラメータにすることもできます。

昔の落書き絵、今はこんなに描けないので保存してみる

2014年6月7日未分類お絵描きpr

古いノートを整理していて、余白のところに落書きがしてあったりするんで、よく絵を描いてたなぁ、デザイナーやってたこともあったなぁと思い出したりしました。

高校三年生の時に授業中に描いてた落書き。志賀直哉の「赤西蠣太」と川端康成の「伊豆の踊り子」。

二十歳の時の落書き。この時はゲーム会社でCGデザイナーしてました。
決して上手ではありませんが、１枚目と違って訓練を積んだプロのスケッチと言えるのではないでしょうか（言わせて…）。

捨てるに忍びないので、スキャンしました。で、１枚に並べるときに使ったのが「FireAlpaca」というお絵描きソフト。無料だし、使いやすくていいですね！Windowsだと昔買ったPhotoShopやFireWorksがあるんですが、古くてOS Xでは使えず。Windowsで使っていたPaint.NETのような無料のものを探したのですが、Macだとなかなかないのが意外でした。

こうしてみてみると、描いている時に楽しかったな、という事や、上達していくプロセス、すべてプログラムと一緒だな、と感じます。

今、ほとんど絵を描かないのですがこの時より下手なはずです。もし今描くなら、紙に鉛筆で描く、ということに慣れる必要があります。
線や直線、フリーハンドを１０分ほど練習して、それからとにかく描きまくる、ということを毎日行う。
鉛筆ならさすがによく使うものだから２週間くらいで絵描きの入り口に立てるかも。でも絵筆とか、CGソフトで仕上げるとなると、入り口に立つまでに３ヶ月ほど。

絵描きが水彩画から油彩画に転向するように、プログラマは新しいエディタや言語を習得するとき、どんなプログラマでもいったん下手になります。そこから慣れていき、思い通りに出来るようになるまでが、多くの人が挫折するくらい大変で、だけど楽しい時期です。

【PHPStorm】FTPアップロードでタイムスタンプが更新できないエラー

2014年6月4日開発環境向上PHPStormpr

PHPStormのFTPアップロードで

Failed to change timestamp of the file ‘xxxxxxx’

というエラーが表示されることがありました。

詳細なログをみてみると

org.apache.commons.vfs2.FileSystemException: Could not set the last modified timestamp of “sftp://xxxxxxxxxxxxxxxxxxxxx”.

ちなみに詳細なログをとるには、Help>Configure Debug Log Settingsのリストにcom.jetbrains.plugins.webDeploymentを加えると、Help>Show Log in FinderでDeproymentに関するログが見ることが出来るようになります。

ログみてもよくわからなかったのですが、どうもMDTMコマンドにサーバーが対応していないとか、そんな問題らしいです。深くは調べてないです。

エラーをなくすには、Tools>Deproyment>OptionsでPreserve files timestampsのチェックを外すといいです。

参考：FTP: support UTIME commands to change files timestamps (MFMT or MDTM currently used)

ぼくの答えはいつもNo…そしてYes！

愛媛県南予在住現在フリーのウェブプログラマです。お仕事募集中です。

月別アーカイブ: 2014年6月

mysqldumpでAUTO_INCREMENTの初期値をはずしたい

参考

クローリングで使うXPathのサンプル

HTMLをXMLとして読み込んで使うやり方

「次へ」もしくは「Next」と書かれたリンクのURLを取得する

2番目以降のliを取り出す

取り出した値を好きなPHPの関数で処理する

テーブルの行の中でTHヘッダをみて好きな行のTDを取得する

リンクURLの中に「*- 」が含まれていた場合は後半のみ取得、含まれていない場合はそのまま取得する

他のサンプル

【cakePHP】繰り返しrequestActionを呼び出すのをApp::usesにしたらメモリ使用量が抑えられた

昔の落書き絵、今はこんなに描けないので保存してみる

【PHPStorm】FTPアップロードでタイムスタンプが更新できないエラー