『無線局等情報検索』の仕様変更

切り替えから1週間が経とうとしています.これまでに判ってきたことをまとめます:

(1) 「時点」の表示の取りやめ
(2) 準リアルタイム更新化
(3) HTTPS化
(4) UTF-8化


「時点」の表示の取りやめ


●従来
入口のページに以下のような表示がありました:
 検索対象データ日付:
  平成27年3月21日現在

 データ更新日:
  平成27年4月13日

また,各検索結果にも,日付が都度都度付記されていました:
(平成27年3月21日現在)

●いま
いかなる日付表示もなくなりました.
ゲスの勘ぐりですが,「改元に備えて伏せた(逃げた)」のではないでしょうか.

●対策例
API経由で叩きますと...
https://www.tele.soumu.go.jp/musen/list?ST=1&OF=3&DA=1&OW=AT&DC=1&SC=1&MA=JG1KTC
2019-01-10

のように,「データ更新日」を得ることができます.

●ところが!
この「lastUpdateDate」,「我々の参照した日の,2日前の日付」に,自動設定されているっぽいです(次節).


準リアルタイム更新化


●従来
おおむね以下の頻度でした:
・3~4週間の遅延
・隔週更新

旧方式の末期の改版状況は下表のとおりでした(2018年):
検索対象データ日付データ更新日
10/06 時点10/29 掲載
10/20 時点11/17 掲載
11/03 時点11/26 掲載
11/17 時点12/17 掲載

●いま
準リアルタイム化されました.

下表が,新システムへの移行後の観測結果です.
日々,ちょこまか動いています:
参照した日アマチュア局の数lastUpdateDate掲載範囲
1/7観測417096件1/5付の更新12/8付の免許まで
1/8観測416933件1/6付の更新1/4付の免許まで
1/9観測416933件1/7付の更新1/4付の免許まで
1/10観測416499件1/8付の更新1/7付の免許まで
1/11観測416500件1/9付の更新1/8付の免許まで
1/12観測416379件1/10付の更新1/9付の免許まで
1/13観測416379件1/11付の更新1/9付の免許まで

【1/13追記】

切り替えは 0時JST のよう.

●対策
何か調べようとしたら,「その日のうち」に取得しないと,データに不一致が生じかねません.
調べようとしたその局が,翌日には消えている可能性があります.

    たとえば,「出力まで含めた全局の一覧」を作ろうとしますと,
    416,000検索が必要ですから,2日半かかります.
    これを1日でこなそうとしますと,スケールアウト
    ――PCを2~3台に増やして分散させる――しかないです.

●ところが!
どうも,アヤシイ.
各総通ごとに採録範囲を調べました.けっこうバラついています.
エリア1/11参照1/12参照
1平26.1.8~平31.1.7平26.1.8~平31.1.7
2平26.1.8~平31.1.7平26.1.8~平31.1.7
3平26.1.5~平31.1.4平26.1.5~平31.1.4
4平26.1.9~平31.1.7平26.1.9~平31.1.7
5平26.1.9~平31.1.8平26.1.9~平31.1.8
6平25.12.9~平30.12.8平25.12.9~平30.12.8
7平25.12.9~平30.12.8平25.12.9~平30.12.8
8平25.12.9~平30.12.5平26.1.10~平31.1.9
↑更新されている
9平25.12.13~平30.12.6平25.12.13~平30.12.6
0平26.1.8~平31.1.7平26.1.8~平31.1.7
JR6平26.1.7~平30.12.27平26.1.7~平30.12.27

●考察
・これから,上述した
 ・1/11観測 … 416500件
 ・1/12観測 … 416379件
 という差の理由は,
 「北海道総通のデータ(だけ)の入れ替えに伴うもの」ということが判ります.

    註.
    × たんに121局減った.
     「増えた局数」にくらべ,「減った局数」が,121局多かった.

・いまほんとうに「lastUpdateDate」が「1/10」なのでしたら,
 「載っている局の免許日」は「平26.1.11~平31.1.10」の範囲
 でなければならないわけです.
 ところが.
 「5年」を超えて古い局も含まれています.

    現時点,最古は「平25.12.9」付免許の局まで載っています.

・最短,3日間で載ってきます.
 例:「1/9」付の免許の局が,「1/12」にはもう見られます.

 載っていなくてアンカバーの疑いをかけられる可能性が,低くなります.
 (従来は,載るまでに3週間程度かかっていました.)

 未知の記念局も,察知しやすくなります...毎日検索すれば.


HTTPS化


●従来
HTTPでした.

●いま
「https://」で呼ばないと,結果が得られなくなりました.
HTTPで呼んでも,HTTPSに落ちます.

以下は応答の冒頭部の例.
左端の数字および「-」は,行の番目.
0-HTTP/1.1 200 200
1-Cache-Control: max-age=0, must-revalidate, private
2-Connection: Keep-Alive
3-Date: Fri, 11 Jan 2019 14:11:19 GMT
4-Pragma: no-cache
5-Server: Apache
6-Content-Type: text/html;charset=CP943C
7-Client-Date: Fri, 11 Jan 2019 14:11:20 GMT
8-Client-Peer: 202.232.144.172:443
9-Client-Response-Num: 1
10-Client-SSL-Cert-Issuer: /C=JP/O=SECOM Trust Systems CO.,LTD./CN=SECOM Passport for Web SR 3.0 CA
11-Client-SSL-Cert-Subject: /C=JP/ST=TOKYO/L=CHIYODA-KU/O=Ministry of Internal Affairs and Communications/CN=www.tele.soumu.go.jp
12-Client-SSL-Cipher: AES128-SHA
13-Client-SSL-Socket-Class: IO::Socket::SSL
14-Client-Transfer-Encoding: chunked
15-Content-Script-Type: text/javascript
16-Content-Style-Type: text/css
17-Content-Style-Type: text/css
18-Keep-Alive: timeout=15, max=67
19-Link: </css/style.css>; rel="stylesheet"
20-Link: </assets/css/sjis_style.css>; rel="stylesheet"
21-Link: </musen/css/search.css>; rel="stylesheet"; type="text/css"
22-Set-Cookie: JSESSIONID=6FB2AA64E5AB2FEFE721A9AE5EC646E9; Path=/musen; HttpOnly
23-Set-Cookie: citrix_ns_id=7oSjSko5RUj6m1b9v8yOgSn7kCw0003; Domain=.tele.soumu.go.jp; Path=/; HttpOnly
24-Strict-Transport-Security: max-age=10886400
25-Title: 総務省 電波利用ホームページ | 無線局免許状等情報
26-X-Cache-Control-Orig:
27-X-Content-Type-Options: nosniff
28-X-Expires-Orig: None
29-X-Meta-DC.Date: 2006-02-20
30-X-Meta-DC.Language: ja-jp
31-X-Meta-Description: ツ電ツ波ツ猟伉用,ツ鳴ウツ静シツ凝・ツ姪・仰・ツ登ツ録,ツ湘堋催・ツアツマツチツδ・ア
32-X-Meta-Format-Detection: telephone=no
33-X-Meta-Keywords: ツ電ツ波ツ猟伉用,ツ鳴ウツ静シツ凝・ツ姪・仰・ツ登ツ録,ツ湘堋催・ツアツマツチツδ・ア
34-X-Meta-Robots: index,follow
35-X-Meta-Viewport: width=1160
36-X-UA-Compatible: IE=edge
37-X-XSS-Protection: 1; mode=block
38-


UTF-8化


●従来
Shift_JISだけでした.

●いま
デフォルトがUTF-8になりました.

救われる例:
手前味噌ですが,英訳スクリプトの

『JJ1WTL'S LICENSE DATA SEARCH』
http://motobayashi.net/callsign/licensesearch.html

では,「社団名は日本語のまま」残して表示しています...訳しようがありませんし.
このたびUTF-8化をしましたので,これからはDXの方が見ても,文字バケの可能性が少なくなりました.

なお,Shift_JISを指定することもできます.
パラメータで「MC=2」とすればOKです(MC: Moji Codeらしい).


『無線局等情報検索』を利用している“サンデープログラマー”のみなさんに,被害が及んでいることと存じます.

・JH0IXE 『EASY LICENSE SEARCH』
 →なくなっていました.

・JH0MGJ 『免許情報楽ちん検索』
 →「エラーページ(ページ・アクセス・エラー)」に.

・JL3AMK 『License Data Lookup for JA』
 →動作!

・N1YN 『コールサイン検索ブログパーツ』
 →(未確認).

この記事へのコメント

この記事へのトラックバック