Transformer loop

同じキーが複数行存在するデータの振り分け方法

キー項目が複数行重複するデータをキー項目ごとに、別の数値項目の値によりグループ分けする処理をDataStage Transformerステージで実装する。
 以下は、key1が同一でnumが同一のグループAと numが異なるグループBに振り分ける例である。

 

1)最大値、最小値を算出し、最大値＝最小値がグループAとなる

 事前処理としてTransformerの前にkey1でSortしておく必要がある。

 2)合計値を算出し、合計値＝NumRows*numがグループAとなる

※　Transformerでユニークな番号を振る方法
ステージ変数cnt等を設定し以下の式で計算する。
(@INROWNUM - 1) * @NUMPARTITIONS + @PARTITIONNUM + 1

以上