スキップしてメイン コンテンツに移動

投稿

注目

DSジョブチェックリスト

  DataStageジョブチェックリスト ジョブ構成 ステージ数 設計標準化ガイドで指定した数(最大25)を超えて定義していないか? 使用ステージ 設計標準化ガイドで定義済のステージを適切に使用しているか? ステージの選定が適切か? ソート ソートステージの入力リンクで、Sortにチェックされていないか? 不要なソートが入っていないか? Sortが効率的に定義されているか? ソート順ごとに処理がまとめられているか? ソート済のデータの対応が正しくできているか? その後の処理に不要なカラムまでソートしていないか? キーでVarChar長さ指定なしは、パフォーマンス悪いか?(要確認) 共有コンテナでソート処理、Join処理を行っていないか?⇒ソート、Join後のDataSetを保存した方が効率的でないか? 図の構成 プロジェクトの全体方針に準拠しているか? 見やすいか? コメントが適切に記述されているか? ステージ名、リンク名が設計通りに設定されているか? 不必要カラム 後ろのステージで不必要なカラムを前のステージで定義して使用していないか? 使わないカラムを分割していないか? 使用しないカラムはCopyステージ等で落とされているか? 共有コンテナ 共有コンテナ内でSort処理を実行していないか? 共有コンテナを使用するために、呼ぶだし側のフローが複雑になっていないか? 今回のプロジェクトでは、呼び出し側で項目を分け、明細・集約レコードを分割し、最終的にJoinで結合している。 ステージ Lookup 対象データはメモリに充分乗るか? 不必要なカラムが定義されていないか? 対象データは他のジョブと共通で使用できないか? 前もってLookupFileSetにすることができないか? Join 前もって結合キー・昇順でソートされているか? Left, Rightの件数の関係が適切か? Joinするのに不要なカラムまでないか? 参照側の件数が少ないのに、Joinを使用していないか?⇒Lookupにすれば、前もって行うSortが不要になる。 同じデータへのJoinを複数回実行していないか?⇒可能であれば、1つにまとめる。 Aggregator 集計キーは正しいか? 集計タイプは、Sortになっているか? Transformer 代替ステージがあるか? Routine、m...

最新の投稿

vimdiffの色の設定

レンズの倍率はカメラレンズの何mmに該当するか

仁藤さん:鳥、スリランカ

田中さんのブログ;鳥さん天国

ハスラー電源

鳥見 有効な観察記録

kafka log fileのサイズを変更する

赤そばの里:ノビタキ

OMレンズ発売年月