隠居SEの備忘録

selenium + headless chrome でのダウンロードが失敗する

最近、selenium + chrome (headless) + タスクスケジューラで動かしてるプログラムがよくコケるようになった。
気にはなってたけど、手動で動かすと動いていたので調査を後回しにしてたら、今日全く動かなくなった。
仕方ないので重い腰を上げて調査したら、headlessでなければ動くのとエラーが出る時は以下のようなエラーが出ることが分かった。

[1212/084929.223:INFO:CONSOLE(11)] "Uncaught (in promise) NotAllowedError: play() failed because the user didn't interact with the document first. https://goo.gl/xX8pDD", source: https://～～～ (11)

どうやら動画再生回りでコケている模様。
でも、取得してるページは特に動画を扱うページではないんだけど．．．
広告かな？

キーワードを試行錯誤しつつググって以下のページを発見。
chrome(v66以降)でseleniumテストが動画の自動再生でハングする - Qiita
なので、書いてあるとおり、

--autoplay-policy=no-user-gesture-required

と言うオプションを追加したら、解決しました。

[munin] [FATAL] There is nothing to do here, since there are no nodes with any plugins.

９月１２日にmuninがアップデートされてから、
５分置きにエラーメールが送られてくるようになりました。

送り主は /usr/bin/munin-cron

[FATAL] There is nothing to do here, since there are no nodes with any plugins. Please refer to http://munin-monitoring.org/wiki/FAQ_no_graphs at /usr/share/munin/munin-html line 40

最初はあまり気にしてなかったのですが、
あまりに沢山通知が来るし、ログは膨らむし、どうやらグラフの更新も止まってるようなので、
指示されたページに書かれたことをすべてやってみるも、
全く効果なし＿|￣|○ il||l

ネット検索でもなかなか有益な情報が得られず、結構時間を無駄にしましたが、
検索条件を１ヶ月に絞ったらあっさりヒット。

munin で [FATAL] There is nothing to do here, since there are no nodes with any plugins. メールが届きまくる：犬ターネット

/etc/munin/munin.conf
のlocalhostのところのコメントを外すだけでした。

#
# A simple host tree
#
[localhost]
      address 127.0.0.1
      use_node_name yes

有益な情報をありがとうございますm(__)m

libsepol.print_missing_requirements: munin's global requirements were not met: type/attribute munin_services_plugin_t (No such file or directory).

タイトルのエラー、結構悩みました。

audit.logにmunin関係のエラーがたくさん出てたので、
ポリシーの修正を試みたところ、タイトルのようなエラーが出ました。

# grep munin /var/log/audit/audit.log | audit2allow -M munin
# semodule -i munin.pp
libsepol.print_missing_requirements: munin's global requirements were not met: type/attribute munin_services_plugin_t (No such file or directory).
libsemanage.semanage_link_sandbox: Link packages failed (No such file or directory).
semodule:  Failed!

munin_services_plugin_t が登録されて無いのか？と思って、

semanage permissive -a munin_services_plugin_t

したりもしましたが、全く効果なし。

他にもいろいろやりましたが、どれもハズレ。

ネット検索も色々やってみたものの、回答には結びつかず。

で、半ば諦めかけた頃になって、答えにたどり着きました。

# grep munin /var/log/audit/audit.log | audit2allow -M munin2
# semodule -i munin2.pp

なら通る。
そう、munin.ppと言う名前が既に使われているからダメな模様。
名前を変えればいいだけでしたとさ。

う～ん、難しい＿|￣|○ il||l

正しいSQLインジェクション対策とは

ネットを徘徊していて、
未だSQLインジェクション対策について誤解されている方が多いのかな？と感じることがあったので、
ここに正しいSQLインジェクション対策とはどう言うものかを簡単に記載しておきます。

そのために、まずSQLインジェクションとは何かをかいつまんで説明します。

SQLインジェクションとは、SQL文に差し込まれたデータによってSQL文が改変され、
意図しない結果を返してしまうことを言います。

$id = "1234";
$pass = "' or pass != '";
select * from account_table where id = '$id' and pass = '$pass';

select * from account_table where id = '1234' and pass = '' or pass != '';

そしてその原因は、外部から入力されたデータ（入力データ由来の保存データも含む）を用いて動的にSQL文を組み立てることにあります。
（上記はデータの差し込みですが、order by句などでカラム名を差し込む場合も同じです）

ですから、正しいSQLインジェクション対策とは、
動的にSQL文を生成しないことになります。

そして、静的SQL文のみでアプリケーションを組み立てるには、
プレースホルダを使わなければならないと言うことです。

ですから、プレースホルダを使っていても、
外部から入力されたデータがSQL文に混入するような動的SQL文の構築を行っていたのでは、
全く意味はありません。

ソート順をユーザーに選択させるようなシーンは滅多にないでしょうし、
必要な場合でも結果をすべて読み込むようなケースであれば、
アプリ側でソートすれば済む話です。
（私は、ソートのような単純処理は、DBサーバー側ではなくAPサーバー側で行う派です。
　理由は、Apサーバーの方がスケールアウトが容易だからです）

もちろん、読み込むカラムも、絞り込み条件も、ソート順もユーザーが任意に指定できるようにするような、
DB管理ソフトのようなものでは動的SQLの構築は避けられませんが、
そのようなアプリケーションを組む人がいったいどれだけ居ると言うのでしょうか？
（そのような場合でも、enumを利用するなど、入力データを用いないようにすることはできますが）

そのようなレアケースを軸とした対策ではなく、
プログラマのスキルによらず確実に対応できるようにすることこそが、
正しい対策です。

動的SQLの生成は止めましょう。
プログラムの先頭でprepareしておいても正しく動くプログラムを目指しましょう。

ApacheからPostgresにアクセスできない

個人でサーバー内DBを使ってゴニョゴニョする程度だったら、
Sqlite3が一番軽いしメンテも楽だし．．．ってことでずっとSqlite3使ってたのですが、
ネットワーク越しにDB閲覧しようと思ったら、
Sqlite3だと極端に重くなってしまいました。

原因がSqlite3にあるのかWebDAVにあるのかは不明ですが、
ちゃんとしたDBエンジンを使うタイミングかと思い、
現役時代ぶりにPostgresをインストールしてみました。

インストールや設定は難なく終了し、
データの取り込みも行い、
さて、同じサーバー上のcgiからアクセスするかと言う段になって、
何故か繋がらない(- -;ｳｰﾑ
同じcgiでバッチならちゃんと動くのに。

と言うことでログを漁ると、

httpd/error_log

[Fri Sep 21 12:33:03 2018] [error] DBI connect('dbname=foo','',...) failed: could not connect to server: Permission denied\n\tIs the server running locally and accepting\n\tconnections on Unix domain socket "/var/run/postgresql/.s.PGSQL.5432"? at /usr/share/perl5/foo/DBI.pm line 125\nCompilation failed in require at /home/foo/html/view.cgi line 9.\nBEGIN failed--compilation aborted at /home/foo/html/view.cgi line 9.\n

と言うわけで、アクセス権がない模様。

考えられる原因は３つ。
ひとつはpostgresの設定。
しかし、postgresのログには何も出ていないので、postgresに到達できていないと考えるべき。

次に考えられるのはiptables。しかし、
sysconfig/iptables

-A INPUT -i lo -j ACCEPT

と言う具合に、iptablesの設定はローカルアクセスを制限していないので、これも違う。

と言うことは、３つ目の可能性であるSELinuxのポリシー制限。
と言うわけでログを確認すると、
audit.log

type=AVC msg=audit(1537500783.022:18112): avc:  denied  { connectto } for  pid=3214 comm="httpd" path="/var/run/postgresql/.s.PGSQL.5432" scontext=unconfined_u:system_r:httpd_t:s0 tcontext=unconfined_u:system_r:initrc_t:s0 tclass=unix_stream_socket

と言うことで、どうやらpostgresのsocketにアクセス権がないらしい。

事前に、ApacheからDBにアクセスするための設定として、

[root@foo foo]# setsebool -P httpd_can_network_connect_db 1

と言うコマンドを入れておいたのですが、不十分だったようです。

と言うわけで、以下のように設定を生成して追加。

[root@foo foo]# cat /var/log/audit/audit.log | grep postgres | audit2allow -M postgres
[root@foo foo]# semodule -i postgres.pp

以下のような設定が生成されたようです。

module postgres 1.0;

require {
        type postgresql_db_t;
        type httpd_t;
        type initrc_t;
        class unix_stream_socket connectto;
        class dir read;
        class file getattr;
}

#============= httpd_t ==============
allow httpd_t initrc_t:unix_stream_socket connectto;
allow httpd_t postgresql_db_t:dir read;
allow httpd_t postgresql_db_t:file getattr;

これで一応、アクセスができるようになりました。めでたしめでたし。

[Android] Parcelableを実装しているのにデータが復元できない

いくつかのカスタムビューでParcelableを使ってデータを退避してる筈なのに、
何故か一部のカスタムビューだけデータが復元できませんでした。

追いかけてみると、onSaveInstanceStateやonRestoreInstanceStateのイベント自体は発生しているのですが、writeToParcelが呼び出されず、データが保存されていない様子。
リソースIDが割り当てられていなかったり重複していると正しく保存されないことは知っていたので、
真っ先に確認するも、他では使っていない判りやすい名前を使っているので、重複は考えにくい。

でも、よくよく探してみると、重複してました(￣∇￣*)ゞﾃﾍｯ

元々Activityに直接書いていた複雑な構造のビューを切り出してカスタムビューにしたので、
カスタムビュー自体にIDがセットされていて、
そのカスタムビューをActivityに載せた時に、そちらにも同じIDをセットしてしまっていました。
その結果、ひとつのビューに２つのIDが振られてしまい、
正しく保存できなくなっていたようです。

activity.xml

  <jp.foo.bar.mycustomview
    android:layout_width="wrap_content"
    android:layout_height="match_parent"
    android:id="@+id/myCustomView" />

custumview.xml

<!--?xml version="1.0" encoding="utf-8"?-->
<relativelayout xmlns:android="http://schemas.android.com/apk/res/android"
  android:layout_width="wrap_content"
  android:layout_height="match_parent"
  android:id="@+id/myCustomView">  ←これが余計

</relativelayout>

半日無駄にした(^^;

#AndroidStudio #Parcelable

[Android][Java] 関数をスレッド化する

Androidは時間のかかる処理をUIスレッド上で行うことは、
端末が固まったように見えるのでご法度と言うことらしいので、
スレッド化を試してみました。

でも、無意味にスレッド化しても仕方ないので、
関数を簡単にスレッド化したり、
効果が見込めないと戻せるようにするための書き方を記載しておきます。
もちろん、スレッドなので、戻り値を求めるような関数には使えません。

対象となる関数は、仮に

private void funcFoo( int Var ){

}

とします。

まずは引数をスレッドに渡すために、
引数の値をすべて保持するThreadクラスを継承したワーカーを作ります。
ポイントは、関数が要求する引数と同じ変数を内部に定義し、
コンストラクタで渡し、run()メソッドから元の関数を呼び出します。

private class funcFooThread extends Thread{
    //引数に使う変数
    int Var;
    //コンストラクタ
    public funcFooThread( int Var ) {
        this.Var = Var;
    }
    //スレッド処理
    public void run(){
        funcFoo( Var );
    }
}

あとは、今まで関数を呼び出していたところで、
新しいスレッドを関数と同じ引数で作り、start();するだけです。

funcFooThread thread = new funcFooThread( Var );
thread.start();

これなら、スレッドが上手く機能しなかった時も、
簡単に戻せます。

実のところ、作ってるアプリが動作中に固まったように見えたと言うことではなく、

I/Choreographer: Skipped 280 frames!  The application may be doing too much work on its main thread.

と言う警告が出てたので、重いビューを生成してる場所をスレッド化してみたのですが．．．
今のところ効果がありません(- -;ｳｰﾑ

#AndroidStudio #Java #Thread

[Android] リソースファイル内での空白の扱い

リソースファイルに空白が複数入った文字列を定義して、

<string name="format_summary1">Games:%1$d     Total:%2$d     Avg:%3$.1f</string>

これをTextViewに表示したところ、htmlのように空白が詰められました。

Games:0 Total:0 Avg:0

XMLにそんな仕様あったけ？などと思ったのですが、かと言って に変えてもエラーが出るだけ。
試しに文字列をダブルクォーテーションで囲ってみたら、
スペースが詰められることはありませんでした。

<string name="format_summary1">"Games:%1$d     Total:%2$d     Avg:%3$.1f"</string>

#AndroidStudio #Resource

[Android] Multiple substitutions specified in non-positional format; did you mean to add the formatted="false" attribute?

<string name="format_summary">Games:%d  Total:%d  Avg:%.1f</string>

こんな値をリソースファイルに書いたら、

Multiple substitutions specified in non-positional format; did you mean to add the formatted="false" attribute?

と言うエラーが出た。

位置指定されていない複数の置換が指定されたフォーマットだよ。
もしかして、非フォーマットデータだった？

と言う意味らしい。

つまり、位置指定するか、アトリビュートを追加しろと言うことですね。

位置指定するならこう。

<string name="format_summary">Games:%1$d  Total:%2$d  Avg:%3$.1f</string>

アトリビュートを追加するならこう。

<string name="format_summary" formatted="false">Games:%d  Total:%d  Avg:%.1f</string>

#AndroidStudio #Resource

[Android] ContentProviderでGROUP BYを最もスマートに利用する方法

ContentProviderのqueryにGROUP BYやHAVINGの引数がないものだから、
ネット検索してみると、Where句に続けて書いてみるとか色々苦心されているのが伺えた。

でも、みんなトリッキーな手法に頼り過ぎ。
考えすぎ。

素直にView作れば済む話ですよね？

DBを作る時に、BaseColumnsをimplementsしてテーブルの定義をしますが、
View用に新たに定義を作ればOK。
CREATE TABLEする時にCREATE VIEWするだけです。

#AndroidStudio #ContentProvider #GROUP BY