| DataStageジョブチェックリスト | |
| | | | |
| ジョブ構成 | | |
| | ステージ数 | |
| | | 設計標準化ガイドで指定した数（最大25）を超えて定義していないか？ |
| | 使用ステージ | |
| | | 設計標準化ガイドで定義済のステージを適切に使用しているか？ |
| | | ステージの選定が適切か？ |
| | ソート | | |
| | | ソートステージの入力リンクで、Sortにチェックされていないか？ |
| | | 不要なソートが入っていないか？ |
| | | Sortが効率的に定義されているか？ |
| | | ソート順ごとに処理がまとめられているか？ |
| | | ソート済のデータの対応が正しくできているか？ |
| | | その後の処理に不要なカラムまでソートしていないか？ |
| | | キーでVarChar長さ指定なしは、パフォーマンス悪いか？（要確認） |
| | | 共有コンテナでソート処理、Join処理を行っていないか？⇒ソート、Join後のDataSetを保存した方が効率的でないか？ |
| | 図の構成 | | |
| | | プロジェクトの全体方針に準拠しているか？ |
| | | 見やすいか？ |
| | | コメントが適切に記述されているか？ |
| | | ステージ名、リンク名が設計通りに設定されているか？ |
| | | | |
| | 不必要カラム | |
| | | 後ろのステージで不必要なカラムを前のステージで定義して使用していないか？ |
| | | 使わないカラムを分割していないか？ |
| | | 使用しないカラムはCopyステージ等で落とされているか？ |
| | 共有コンテナ | |
| | | 共有コンテナ内でSort処理を実行していないか？ |
| | | 共有コンテナを使用するために、呼ぶだし側のフローが複雑になっていないか？ 今回のプロジェクトでは、呼び出し側で項目を分け、明細・集約レコードを分割し、最終的にJoinで結合している。
| ステージ | | | | | | Lookup | | | | | | | 対象データはメモリに充分乗るか？ | | | | 不必要なカラムが定義されていないか？ | | | | 対象データは他のジョブと共通で使用できないか？ 前もってLookupFileSetにすることができないか？ | | | Join | | | | | | | 前もって結合キー・昇順でソートされているか？ | | | | Left, Rightの件数の関係が適切か？ | | | | Joinするのに不要なカラムまでないか？ | | | | 参照側の件数が少ないのに、Joinを使用していないか？⇒Lookupにすれば、前もって行うSortが不要になる。 | | | | 同じデータへのJoinを複数回実行していないか？⇒可能であれば、１つにまとめる。 | | | Aggregator | | | | | | 集計キーは正しいか？ | | | | 集計タイプは、Sortになっているか？ | | | | | | | | | Transformer | | | | | | 代替ステージがあるか？ | | | | Routine、mallocなどclearしているか？再帰的に取得していないか？ | | | | | | | | | | | | | | ジョブパラメータ | | | | | 可変にすべきものが定義されているか？ | | | | | | | | パーティション | | | | | | ガイドに乗っ取っているか？ | | | | 適切に同一が使用されているか？ | | | node数は、構成ファイルで定義したものを使用しているか？ | | | 順次の場合は設計通りに定義されているか？ | | | ソート、集計を考慮したパーティションを選定しているか？ | | | | | | | | 文字コード | | | | | | 漢字として扱う必要のあるカラムは、unicode拡張で定義されているか？ | | | 漢字として扱う必要のないカラムは、unicode拡張で定義されていないか？ | | | 文字コードは設計どおりに定義しているか？ |
|
コメント
コメントを投稿