APT_BUFFERING_POLICY=force_bufferingの仕様
■ サポートの回答
1) 追加でAPT_BUFFERING_POLICY=force_bufferingに設定した場合について確認させてください。 基本的にはジョブの設定が優先されるという認識でおります。 プロジェクトの環境設定に「APT_BUFFERING_POLICY=force_buffering」、バッファサイズ32MBを設定した状態でジョブのステージに強制バッファリングおよび、バッファサイズ3MBを指定した場合、ジョブのステージに指定したバッファリングサイズ3MBが優先されて実行されるという認識でよろしいでしょうか。 2) APT_BUFFERING_POLICY=force_bufferingをプロジェクトに設定した場合、DataStageジョブの中にコンテナがある場合、コンテナの中のリンクについてもbufferが追加されると想定していますが正しいでしょうか? ■ 回答 1)ご認識のとおりです。 ステージで明示的に設定している場合は、ステージの設定が優先されます。 2)ご認識のとおりです。 コンテナの中のステージに対してもbuffer operator が追加されます。
以下、追加質問につきまして、製品サポートより返答がございましたので以下にご報告いたします。
■ お問い合わせ内容
>1.メモリの確保は、データを実際に読み込むタイミングに行われます。
>バッファ・オペレーターは、データ・時間の経過とともにこのメモリの割り当てと解放を行います。
例えば、1レコードのデータサイズが1024 bytesとし、1000行のデータが流れてきたとします。
すると1024 x 1000 = 約1Mbytesなので、1Mbytesだけメモリーを確保し使用するという理解で正しいでしょうか?(ヘッダーなどあるかと思うので詳細は無視したとします)
■ 回答
ご理解のとおりです。
コメント
コメントを投稿