参照先バッファー化によるパフォーマンス向上~M関数でサクッと動かす~

Power Queryで大量データを扱っていると、

  • クエリの更新が遅い
  • マージ処理で待ち時間が長い
  • Excelが固まったように見える

ということがあります。

そんなときに有効な方法の一つが、M関数の

Table.Buffer

です。

この記事では、

  • Table.Bufferとは何か
  • なぜ高速化できるのか
  • 実際の設定方法
  • 使用時の注意点

を実例付きで解説します。

この記事でできること

✅ Table.Bufferの役割を理解する

✅ Power Queryを高速化する

✅ バッファー化の設定方法を学ぶ

✅ 使用時の注意点を理解する

早見表

内容関数
テーブルをメモリに保持Table.Buffer
リストをメモリに保持List.Buffer
レコードをメモリに保持Binary.Buffer

バッファー化より前に試して頂きたいこと

クエリで取得したデータが大量でも、結局、最後に「フィルタ処理」「列の削除」をして処理する対象を絞り込んでいるケースがありますよね。

この場合、なるべく早めの段階で「フィルタ処理」「列の削除」をしてください。

例えば、1万行取得しているが、フィルタ処理をして100行に絞りこんでいるとします。

STEP1:ソースステップ(1万行取得)
STEP2:列の分割
↓
↓
↓
STEP10:フィルタ処理(1万行⇒100行)

STEP10でフィルタ処理をしていたとします。

この場合、STEP1~STEP9はそれぞれで1万行を処理していることになります。

ですので、この最後のステップで行っている処理を前倒しすれば、そのまま処理負担が軽減されます。

バッファー化の概念

バイキングの事例

ここではバイキングで料理を食べるシーンを例にとって考えてみましょう。

バイキングに行くと上の画像のように、料理がまとめて皿の上にのっています。

もし、皿を使っていなかったら、厨房に行って料理人の方に欲しい料理を作ってもらうしかありません。

都度、厨房に行って料理が一から作成するのを待っていたらものすごく時間がかかります。

つまり、料理人が料理をするスピード・タイミングとあなたが料理を食べるスピード・タイミングには「ズレ」があります。

このズレを皿が吸収してくれています。

バッファー化の実際

この「バイキングの皿を利用する」のと同じことをデータの世界で行うがバッファー化です。

仮にクエリのステップ内にマージや追加により参照しているクエリがあったとします。

この場合は、上の皿のようにバッファー化を行っておきましょう!

バッファー化の効果

使用しているクエリ

上の画像は今回解説に使用するクエリの依存関係を示した図です。

図の下の方に「売上結果_NO」と「売上結果_Buffering」という2つのクエリがあります。

この2つのクエリの違いは、マージして参照しているクエリが違っているだけです。

・売上結果_NO ➡ 商品台帳/バッファー化なし

・売上結果_Buffering ➡ 商品台帳_Buffering/バッファー化あり

参照しているクエリの違いは、バッファー化がある・なしの違いだけです。

商品台帳クエリ内にある12行のレコードを、皿に盛りつけておき、取り易いようにしておくイメージです。

効果検証

次のGIF画像では、バッファー化の有無の違いが「実際の時間」で分かるようになっています。

同じ1万行のデータを読込んでいますが、待ち時間の違いが明らかだと思います。

では、バッファー化の効果を解説したので、具体的なバッファー化処理・手順の解説に移ります。

バッファー化処理

Table.Buffer

バッファー化には、「Table.Buffer」というM関数を使用します。

書き方は次のようになります。

=Table.Buffer(テーブル名)

次の画像は売上結果_Bufferingクエリが参照している「商品台帳_Buffering」のエディタの画像です

数式バーの中に注目して頂くと、M関数/Table.Bufferの()の中に前ステップ名が入っています。

これがバッファー化処理です。

処理の仕方

この処理はどう行うかを解説します。

数式バーで「関数マーク」をクリックすると、ステップが追加されて前ステップを参照できます。

ちなみに、ステップの追加を行うと、適用したステップの欄は次のようになっています。

数式バーでは、前ステップ名をTable.Buffer()で包みます。これがバッファー化の処理です。

<まとめ>

いかがでしたでしょうか?

バッファー化と聞くと難しそうですが、結構、簡単な処理だったと思います

要は、料理をまとめて皿の上に盛り付けておくイメージです

マージ処理や参照クエリが多い場合はぜひ、「バッファー化の有無」の違いを実際に手を動かして体感してみてください

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です