APT_BUFFERING_POLICY=force_bufferingの仕様

 ■ サポートの回答

1) 追加でAPT_BUFFERING_POLICY=force_bufferingに設定した場合について確認させてください。 基本的にはジョブの設定が優先されるという認識でおります。 プロジェクトの環境設定に「APT_BUFFERING_POLICY=force_buffering」、バッファサイズ32MBを設定した状態でジョブのステージに強制バッファリングおよび、バッファサイズ3MBを指定した場合、ジョブのステージに指定したバッファリングサイズ3MBが優先されて実行されるという認識でよろしいでしょうか。 2) APT_BUFFERING_POLICY=force_bufferingをプロジェクトに設定した場合、DataStageジョブの中にコンテナがある場合、コンテナの中のリンクについてもbufferが追加されると想定していますが正しいでしょうか? ■ 回答 1)ご認識のとおりです。 ステージで明示的に設定している場合は、ステージの設定が優先されます。 2)ご認識のとおりです。 コンテナの中のステージに対してもbuffer operator が追加されます。

以下、追加質問につきまして、製品サポートより返答がございましたので以下にご報告いたします。 ■ お問い合わせ内容 >1.メモリの確保は、データを実際に読み込むタイミングに行われます。 >バッファ・オペレーターは、データ・時間の経過とともにこのメモリの割り当てと解放を行います。 例えば、1レコードのデータサイズが1024 bytesとし、1000行のデータが流れてきたとします。 すると1024 x 1000 = 約1Mbytesなので、1Mbytesだけメモリーを確保し使用するという理解で正しいでしょうか?(ヘッダーなどあるかと思うので詳細は無視したとします) ■ 回答 ご理解のとおりです。

コメント

人気の投稿