①業績データの取得

ここは完成しています。

Qiitaの方にとても素晴らしいコードの記事があったので殆ど苦労しませんでした。

こちらの記事では有価証券報告書を対象としておりますが、私が欲しいのは決算短信です。

その為、全くのコピペでは無いですが殆ど同じやり方で実現可能でした。

いくつか躓きやポイントがあったので、そのメモを残します。

有報キャッチャーの利用

企業情報を機械的に取得する為のAPIを提供しているサービスです。

先ほどの記事に解かり易い説明がなされているのでここでは省いてしまいます。

いや、そうだよ。って感じですが、企業の報告する文書の種別がちゃんと解っていないせいで、どこから決算短信を取得できるのか有報キャッチャー上を彷徨ってしまいました。

上記記事では「有価証券報告書」を対象としていたので、対象URLや一部の分岐の条件を変える必要がありました。

とは言え、ほぼ丸コピーに近いのでちょっとここはサンプルコードを載せるわけにはいかないです。

ここは進捗率50%くらいです。

上記①で取得してきた決算短信、というか企業の報告資料は「xbrl」という形式で提供されます。

「xbrl」は構造的にはhtmlと同じxmlです。

しかし、この「xbrl」が非常に難解で突破出来ていないです。

本読んでガッツリ学習が必要なところなのでしょうが、もっとラクにやりたいと思っています。

xbrl全体を理解するのは困難な道のりですが、四半期決算の業績を抜くくらいなら大した知識無くサクッと済ませられるでしょう。。たぶん。

ここでも躓きとポイントを載せます。

さっき「xbrl」で提供されるって言ったばっかりですが、、、違いますｗ

決算短信は拡張子がhtml(正確にはhtm)として提供される模様です。

内部のタグの命名はxbrlの記述に即しています（たぶん）。

有価証券報告書とかはきちんと「.xbrl」の拡張子で提供されます。

この差異と、先ほどの決算短信は適時開示情報である件も合わさって、決算短信のxbrlがどこにも無いー！となり、更に有報キャッチャー上を彷徨いました。

XBRLは複雑です。あまりxbrlの中身の解析までを対象とした記事も少ない気がします。

しかし難しいとは言え、所詮xmlです。

Pythonでxmlをパースする良い方法無いかなーと思って発見したのが、BeautifulSoupというPythonのパッケージです。

Webスクレイピングでhtmlの中身を解析するためによく使われるパッケージの様で、検索すると沢山の記事が出てきます。

これがトンデモ無いスグレモノで、xmlの任意の属性をまるでsqlの様に条件付けしてデータを取得することが出来ます。

ここはもうちょっと見せられる感じに仕上がったらサンプルコードを載せたいと思っています。

データ構造については以下の様に考えています。

レイヤー	一般的な意味	今回の設計での役割
ログ層	非加工の生データ（非正規化データ）を保持するレイヤー	xbrlのタグ1つ1つの要素と値をそのまま保持する。キー値にファイル名を持たせる。
集約層	ログ層のデータを正規化して保持するレイヤー	キー値は証券コードと決算期間。売上高などの四半期決算業績データを持つ。ここまで出来ると決算プロ並になる。
集計層	集約層のデータを加工、集計等行い、分析に使い易く保持するレイヤー	累積でない四半期決算の情報など、加工データを持たせる。