phpMyAdminでインポートファイルのサイズを増やす

2009/12/25 | MySQL, PHPの基本

MySQLのダンプデータが60MBほどあった。phpMyAdminでインポートしようと思ったのだが、アップロードできるファイルの最大は16MBとなっていた。60MBのファイルと言っても所詮テキストファイルだから圧縮してしまえば12MBになるから、アップロード自体は出来る。しかしいろいろ考えて、アップロード出来る容量を増やすことにした。

ここのサイズ指定は、単純にphp.iniの設定に依存しているらしい。おそらく.htaccessを設置すれば事足りるだろうが、設置するとInternal Server Errorが表示されてしまう。とりあえずローカルな環境(Windows)で試そうと思っているのだが、なにか問題でもあるのだろうか。

本筋でないことに時間を割くのが嫌なので、php.iniを変更することにした。よくよく考えればおバカな話だが、読み込んでいるphp.iniがどのファイルか分からなくて、何回変更しても、変更した設定が有効にならなかった(正しいファイルを変更していないのだから当たり前)。初心に帰って、phpinfo()で表示されるphp.iniの場所を頼りに設定ファイルを編集した。

Windows版Xamppでは、xampp/apache/bin/php.iniを使用しているらしいことがわかったので、そのファイルを編集した(xampp/php/配下にもphp.iniやphp5.iniがあるので注意が必要)。修正箇所は以下の3つ。

  • memory_limit 512M
  • post_max_size 256M
  • upload_max_filesize 128M

なんとも大盤振る舞いだが、ローカルな環境だから気にしないでいい。php.iniを修正したので、修正後はapacheの再起動が必要。再起動後にphpMyAdminのインポートの項目を見ると「最長: 131kKiB」となっていたkKiBだからMiB、つまり131MiBになった。これで無事一発で処理が完了した。

もし処理が遅い場合はmax_execution_timeの設定を増やしておけば良いかもしれない。

日付関連の便利な関数

2009/12/09 | MySQL

今、MySQLが熱い。MySQLの日付関連の便利な関数(もしくは使い方)を列挙しておく。

  • SELECT NOW();
    現在の日時。年-月-日 時:分:秒。
  • SELECT CURDATE();
    今日。年-月-日。
  • SELECT DATE(CURRENT_DATE( )-1);
    昨日。年-月-日。DATE_ADD関数とか使うほうがいいかも。
  • SELECT UNIX_TIMESTAMP();
    現在のUNIX TIMESTAMP。
  • SELECT FROM_UNIXTIMESTAMP(UNIX_TIMESTAMP());
    UNIX TIMESTAMP値から日付を返す。年-月-日。

他にもいろいろある。類似の関数で時刻出したりとかもできる。VIEW作るときに幅が広がりそう。

持続的接続を理解するために(その8)

2009/12/08 | apache, MySQL

ここまでやってきてだいぶん理解が深まった。「apacheの子プロセスごとに持続的接続が管理される」かどうかを今一度調べないといけないが、仮にそうだとすると、世間のブログで書かれていることには結構嘘が多いことになる(嘘というかしったかぶり)。

例えばとあるブログで「同じホスト、ユーザ、パスワードのコネクションであれば前回のコネクションを使いまわす」という記述があるが、前述の論理にもとづけばこれは嘘。処理する子プロセスが違えば、当然コネクションなんて残っていない(初めからそんなものは存在しない)ので、最初から接続することになる。

何度かいろいろな処理があるうちに、たまたま、以前に使用したプロセスが処理を担当することになった時だけ、以前使用したコネクションが使いまわせることになる。

難しいことをさらっと書いてあるブログは多数存在するけれど、全てが信用できるわけではないって改めて理解した。

持続的接続を理解するために(その7)

2009/12/07 | apache, MySQL

なんとなく持続的接続が理解できたような気がする。一部想像で話を進めてきた感はあるが、そこは改めて調べないといけない。で、ここまでの一連の流れの中で、設定すべき箇所を列挙しておくことにする。

apacheの設定

http://httpd.apache.org/docs/2.2/ja/mod/prefork.htm

  • MaxClients
    最大同時リクエスト数を設定。でも当然apacheで使用できるメモリは決まっていて、個々の子プロセスで使用できるメモリ量は、子プロセス数が多いほど割り当てが少なくなる。だからちょうどよさそうなところを割り当てる必要あり。 preforkの場合は子プロセス数に相当するがworkerで設定したapacheでは、この値はスレッド数に相当することに注意。
    値を増やす際はServerLimit値も増やすこと。
  • ServerLimit
    preforkの場合はMaxClientsと同じ値を設定する。
  • StartServers
    apache(親プロセス)起動時に起動させる子プロセスの数。preforkならデフォルト5。
  • MinSpareServers
    アイドル状態にある子プロセスの最小値。つまり常にいくつの子プロセスを待機させておくか。実際の待機数がここで設定した値よりも小さくなると、親プロセスが最大1秒に1個の割合で新しい子プロセスを生成する。
  • MaxSpareServers
    アイドル状態にある子プロセスの最大値。待機中の子プロセスがここで設定した値よりも多い場合は破棄される。例えば一時的にリクエストが増えた場合はそれに応じて子プロセスが起動されるが、リクエストがなくなると必然的に子プロセスが待機状態となる。子プロセスが残っているということはその分メモリを使用している(他にも使っていると思う)ことになるので、必要な分は残し、不要な部分は破棄する。
  • MaxRequestsPerChild
    子プロセスの処理回数の上限。デフォルトは1000。
    子プロセスは基本的に処理状態と待機状態を繰り返す。ここで設定した値を最大処理数として何度でも処理を実行する。しかしお行儀の悪いPHPプログラムとかその他の原因でメモリリークを引き起こすことがある。子プロセスに割り当てられたメモリを一度に食いきってしまうようなことがあると、その子プロセスは落ちるから、当該アクセスに限りエラーとなるが、少しずつリークした場合、当然その子プロセスで使用できる メモリの量が減る。そうしてメモリリークがたまると、結局どこかで落ちてしまう。ここで値を設定しておくと、自動的に子プロセスが再起動されるわけで、メモリリークも解消される。
    いちおうこのディレクティブはKeepAliveディレクティブにも関連するらしいが、それはまた後日調べることにする。

PHPの設定(以前にも書いたけどおさらい)

http://www.php.net/manual/ja/mysql.configuration.php

  • mysql.allow_persistent
    持続的接続を可能にするか否か 。デフォルト1(接続可能)。
  • mysql.max_persistent
    プロセスごとの持続的MySQL接続の最大数。デフォルト-1(無制限)。
  • mysql.max_links
    プロセスごとの接続最大数。デフォルト-1(無制限)。
  • mysql.connect_timeout
    タイムアウト時間。デフォルト60(単位は秒)。接続しようと試みて、ここで指定した時間を過ぎても応答が帰ってこなかったらエラー。最初に接続を確立する際(connect)や、SQLを投げた際に結果が返ってくるまでにかかる時間で最大どのくらい待ってやるか、ということ。

あー、よく調べた。一つ賢くなった。

持続的接続を理解するために(その6)

2009/12/06 | apache, MySQL
一つの制御用プロセス(親)が子プロセスを起動します。子プロセスはThreadsPerChildディレクティブで指定された一定数のサーバスレッドと接続をlistenするスレッドを一つ作ります。Listenerスレッドは接続が来たときにサーバプロセスに渡します。
子プロセスの位置づけだ。子プロセスは、親プロセス(制御用に起動された子プロセスを管理するプロセス)によって起動される。起動された子プロセスはさらに複数のスレッドを作成する(とりあえず今回は単位を子プロセスまでに絞るのでスレッドのことは調べなかった)。
Apacheはスペアの、つまりアイドルなサーバスレッドのプールを常に維持していて、それらは入ってくるリクエストに答えられるように待機しています。このようにして、クライアントはリクエストの応答が得られるようになるために新しいスレッドやプロセスが生成されるのを待たなくてもよいようになっています。起動初期時のプロセス総数は、StartServersディレクティブで設定されます。その後の稼働中に、Apacheは全プロセスのアイドルスレッドの合計数を見積もって、MinSpareThreadsとMaxSpareThreadsで指定された範囲の中にこの数が収まるようにforkしたりkillしたりします。この操作は非常に自律的なので、これらのディレクティブをデフォルト値から変更する必要はめったにないでしょう。同時に応答することのできるクライアント数の最大数(つまり全プロセス中の総スレッド数の最大値)はMaxClientsディレクティブで決定されます。活動中の子プロセス数の最大値はMaxClientsをThreadsPerChildで割ったものになります。
子プロセスはリクエストのたびに起動されるのではなく(そういうこともあるかもしれないが)、apache起動時(親プロセス起動時)に、設定(httpd.conf等)にしたがって複数の子プロセスを起動する(当然起動直後はアイドル状態だ)。その後、apache(親プロセス)は、アイドル状態にあるスレッド(子プロセス下で動いている)の合計数を見積もって、設定されている上限値と下限値の間で、自動でfork(起動)とkill(破棄)をする。

いちおうapacheがprefolkである(もしくは1.3系である)という前提で調査を進めた。apacheのマニュアルを見る。

http://httpd.apache.org/docs/2.2/ja/mod/prefork.html

一つのコントロールプロセスが、コネクションに対してlistenして、しかるべき時に応答する子プロセスを起動します。Apacheは常に幾つかのスペアかアイドルなサーバプロセスを維持していて、それらは入ってきたリクエストに応答できるように待機しています。このようにしてクライアントは、リクエストが応答される前に、新しい子プロセスがforkされるのを待たなくてもよいようになっています。

つまり親プロセスがポートをlistenしていて、リクエストがあると子プロセスに処理をさせるといった具合。といっても子プロセスはリクエストのたびに生成(fork)されるのではなく、親プロセスによって、サーバ設定に従い、自動的に適切な数の子プロセスをforkしたりkill(破棄)したりする。

持続的接続とは関係ないけれど、PHPに関連する部分を一つ見つけた。

通常Unixでは親プロセスは80番ポートにバインドするためにrootで起動されますが、子プロセスやスレッドはもっと低い権限のユーザでApacheによって起動されます。UserとGroupディレクティブはApacheの子プロセスの権限を設定するのに用いられます。子プロセスはクライアントに送るコンテンツ全てを読めないといけませんが、可能な限り必要最小限の権限のみを持っているようにするべきです。

apacheはrootで起動するのに、なぜapacheで(PHPで)作成したファイルの所有者がapacheになるのか(httpd.confで設定したユーザになるのか)ということに関連している。apache自体(親プロセス)はrootが起動するのだが、その親プロセスが、より権限の小さい(httpd.confで設定された)ユーザやグループの権限で子プロセスを起動する。そういう権限で動作している子プロセスの元で動いているPHPなわけだから、PHPで作成したファイルの所有者はapacheになる。

今までは「httpd.conf」でUserとGroupで設定するから、と単純に思っていたけど、動作を紐解くとそういう原理になっていたわけか。意外と面白いかも。


守谷市(まちの情報ポータル) 無料アンケートレンタルjpForm.net