HarioNote

<p>表題にある通りMackerelにあるメトリクスのデータをcsvでダウンロードして使いたかったのでやってみたときの備忘録です。</p>
<h2>前提</h2>
<ul>
<li>Node.js(TypeScript)を使ってやります。</li>
<li>Node.jsのインストール手順は省略します。</li>
</ul>
<h2>手順</h2>
<h3>1. Node.jsのプロジェクト作成</h3>
<p>適当なフォルダ(今回は<code>mackerel-csv-converter</code>とします)を作って以下の内容のpackage.jsonファイルを作成します。</p>
<pre><code class="language-json">{
  &quot;name&quot;: &quot;mackerel-csv-converter&quot;,
  &quot;version&quot;: &quot;1.0.0&quot;,
  &quot;description&quot;: &quot;Convert Mackerel API response to CSV&quot;,
  &quot;main&quot;: &quot;dist/index.js&quot;,
  &quot;scripts&quot;: {
    &quot;build&quot;: &quot;tsc&quot;,
    &quot;start&quot;: &quot;node dist/index.js&quot;
  },
  &quot;dependencies&quot;: {
    &quot;axios&quot;: &quot;^1.6.7&quot;,
    &quot;csv-writer&quot;: &quot;^1.6.0&quot;,
    &quot;dotenv&quot;: &quot;^16.4.1&quot;
  },
  &quot;devDependencies&quot;: {
    &quot;@types/node&quot;: &quot;^20.11.16&quot;,
    &quot;typescript&quot;: &quot;^5.3.3&quot;
  }
} 

</code></pre>
<p>同じディレクトリに<code>tsconfig.json</code>ファイルも作成して以下の内容をコピペします。</p>
<pre><code class="language-json">{
  &quot;compilerOptions&quot;: {
    &quot;target&quot;: &quot;es2020&quot;,
    &quot;module&quot;: &quot;commonjs&quot;,
    &quot;outDir&quot;: &quot;./dist&quot;,
    &quot;rootDir&quot;: &quot;./src&quot;,
    &quot;strict&quot;: true,
    &quot;esModuleInterop&quot;: true,
    &quot;skipLibCheck&quot;: true,
    &quot;forceConsistentCasingInFileNames&quot;: true
  },
  &quot;include&quot;: [&quot;src/**/*&quot;],
  &quot;exclude&quot;: [&quot;node_modules&quot;]
} 
</code></pre>
<h3>2. npm install</h3>
<p>package.jsonと同じディレクトリで<code>npm install</code>を実行。</p>
<h3>3. Mackerelの管理画面で「APIキー」と「ホストID」を確認して控えておく</h3>
<p>管理画面にアクセスし左上の「オーガニゼーション詳細ページへ」をクリック。<br>
<img src="https://storage.googleapis.com/newt-files/671f5dd4-935a-4499-8940-22478d6d7899/2025-02-24_1.webp" alt="2025-02-24_1.webp"><br>
「APIキー」タブがあるのでそこでAPIキーをコピーして控えておく。（なければ作成してください）<br>
<img src="https://storage.googleapis.com/newt-files/5ab4be6e-9ed1-4204-8340-64c85179ae90/2025-02-24_2.webp" alt="2025-02-24_2.webp"></p>
<p>左ペインの「ホスト」からメトリクスをダウンロードしたいホストのIDを確認して控えておく。<br>
<img src="https://storage.googleapis.com/newt-files/f1511fed-d3ca-446f-b54d-76dc7e0c43de/2025-02-24_3.webp" alt="2025-02-24_3.webp"><br>
<img src="https://storage.googleapis.com/newt-files/ba26dcb5-2cd4-4e7b-b538-858303682542/2025-02-24_4.webp" alt="2025-02-24_4.webp"></p>
<h3>4. ホストにあるメトリクス一覧をcurlで取得する</h3>
<p>控えておいたAPIキーとホストIDで以下のコマンドを実行して、取得可能なメトリクス名一覧を取得します。</p>
<pre><code>curl -H &quot;X-Api-Key: &lt;APIキー&gt;&quot; &quot;https://api.mackerelio.com/api/v0/hosts/&lt;ホストID&gt;/metric-names&quot;
</code></pre>
<p>実行するとjson形式でレスポンスが来るはずです。</p>
<h3>5. metric-names.json作成</h3>
<p>package.jsonと同じディレクトリに<code>metric-names.json</code>というファイルを作成して、先程取得したレスポンスをコピペして保存します。</p>
<pre><code class="language-json">{
  &quot;names&quot;: [
    &quot;cpu.guest.percentage&quot;,
    &quot;cpu.idle.percentage&quot;,
    &quot;cpu.iowait.percentage&quot;,
    ...省略
  ]
}
</code></pre>
<h3>6. <code>.env</code>ファイル作成</h3>
<p>package.jsonと同じディレクトリに<code>.env</code>ファイルを作成し以下のようにAPIキーとホストIDを書いておきます。</p>
<pre><code>MACKEREL_API_KEY=&lt;APIキー&gt;
MACKEREL_HOST_ID=&lt;ホストID&gt; 
</code></pre>
<h3>7. index.ts作成</h3>
<p>package.jsonと同じディレクトリに<code>src</code>フォルダを作成し、その中に<code>index.ts</code>ファイルを作成し、以下のコードをコピペして保存します。</p>
<pre><code class="language-ts">import axios from 'axios';
import { createObjectCsvWriter } from 'csv-writer';
import dotenv from 'dotenv';
import path from 'path';

dotenv.config();

interface MetricValue {
  time: number;
  value: number;
}

interface MetricData {
  metrics: MetricValue[];
  name: string;
}

interface GroupedMetricData {
  [timestamp: number]: {
    time: number;
    [metric: string]: number | null;
  };
}

const MACKEREL_API_KEY = process.env.MACKEREL_API_KEY;
const MACKEREL_HOST_ID = process.env.MACKEREL_HOST_ID;

if (!MACKEREL_API_KEY || !MACKEREL_HOST_ID) {
  console.error('環境変数 MACKEREL_API_KEY と MACKEREL_HOST_ID を設定してください。');
  process.exit(1);
}

const fetchMetrics = async (metricName: string, from: number, to: number): Promise&lt;MetricData&gt; =&gt; {
  const url = `https://api.mackerelio.com/api/v0/hosts/${MACKEREL_HOST_ID}/metrics`;
  const response = await axios.get(url, {
    headers: {
      'X-Api-Key': MACKEREL_API_KEY,
    },
    params: {
      name: metricName,
      from,
      to,
    },
  });

  return {
    name: metricName,
    metrics: response.data.metrics,
  };
};

const convertToCsv = async (groupName: string, data: GroupedMetricData, outputDir: string) =&gt; {
  // ヘッダーを動的に生成
  const firstRecord = Object.values(data)[0];
  const metrics = Object.keys(firstRecord).filter(key =&gt; key !== 'time');
  const header = [
    { id: 'time_jst', title: 'TIMESTAMP_JST' },
    ...metrics.map(metric =&gt; {
      // ドットが含まれない場合は元の名前をそのまま使用
      if (!metric.includes('.')) {
        return {
          id: metric,
          title: metric,
        };
      }
      // ドットが含まれる場合はプレフィックスを除去
      return {
        id: metric,
        title: metric.split('.').slice(1).join('.'),
      };
    }),
  ];

  const csvWriter = createObjectCsvWriter({
    path: path.join(outputDir, `${groupName}.csv`),
    header,
  });

  // 時刻でソートされた配列に変換
  const records = Object.entries(data)
    .sort(([timeA], [timeB]) =&gt; parseInt(timeA) - parseInt(timeB))
    .map(([_, record]) =&gt; ({
      time_jst: new Date(record.time * 1000 + (9 * 60 * 60 * 1000)).toISOString(),
      ...metrics.reduce((acc, metric) =&gt; ({
        ...acc,
        [metric]: record[metric],
      }), {}),
    }));

  await csvWriter.writeRecords(records);
  console.log(`${groupName}.csv を作成しました。`);
};

// データ取得期間の定数を定義（メモ：最小は2024-09-24）
const START_DATE = '2025-01-01T00:00:00+09:00'; // 開始日時をJST（日本時間）で指定
const HOURS_PER_REQUEST = 20; // 1リクエストあたりの時間範囲（時間）
const SECONDS_PER_HOUR = 3600;

// 日付文字列からUNIXタイムスタンプを取得する関数（JSTを考慮）
const getUnixTimestamp = (dateStr: string): number =&gt; {
  // タイムゾーン付きの日付文字列をパースしてUNIXタイムスタンプを取得
  return Math.floor(new Date(dateStr).getTime() / 1000);
};

// 指定された期間のメトリクスを取得する関数
const fetchMetricsForPeriod = async (metricName: string, from: number, to: number): Promise&lt;MetricValue[]&gt; =&gt; {
  const timeRangeInSeconds = to - from;
  const timeRangeInHours = timeRangeInSeconds / SECONDS_PER_HOUR;
  const metrics: MetricValue[] = [];
  const totalRequests = Math.ceil(timeRangeInHours / HOURS_PER_REQUEST);
  let currentRequest = 1;

  console.log(`${metricName}: ${totalRequests}回のリクエストに分割して取得します...`);

  // 20時間ごとにリクエストを分割
  for (let currentFrom = from; currentFrom &lt; to; currentFrom += HOURS_PER_REQUEST * SECONDS_PER_HOUR) {
    const currentTo = Math.min(currentFrom + HOURS_PER_REQUEST * SECONDS_PER_HOUR, to);
    console.log(`${metricName}: ${currentRequest}/${totalRequests} リクエスト実行中...`);
    const data = await fetchMetrics(metricName, currentFrom, currentTo);
    metrics.push(...data.metrics);
    currentRequest++;
  }

  console.log(`${metricName}: 全${metrics.length}件のデータを取得しました。`);
  return metrics;
};

const main = async () =&gt; {
  try {
    // 現在時刻（JST）から5分前までのデータを取得
    const FIVE_MINUTES = 5 * 60; // 5分を秒に変換
    const now = new Date();
    // JSTでの現在時刻を取得
    const to = Math.floor(now.getTime() / 1000) - FIVE_MINUTES;
    const from = getUnixTimestamp(START_DATE);

    // メトリクス名のリストを読み込み
    const metricNames = require('../metric-names.json').names;

    // メトリクス名をグループ化
    const groupedMetrics: { [prefix: string]: string[] } = {};
    metricNames.forEach((name: string) =&gt; {
      let groupKey: string;
      const parts = name.split('.');
      
      if (parts[0] === 'custom') {
        // custom.xxx.yyy.zzzの形式の場合、xxx-yyyをグループキーとして使用
        groupKey = `${parts[1]}-${parts[2]}`;
      } else if (parts[0].startsWith('loadavg')) {
        // loadavgから始まるメトリクスは全てloadavgグループに
        groupKey = 'loadavg';
      } else {
        // それ以外は最初の部分でグルーピング
        groupKey = parts[0];
      }

      if (!groupedMetrics[groupKey]) {
        groupedMetrics[groupKey] = [];
      }
      groupedMetrics[groupKey].push(name);
    });

    // 出力ディレクトリを作成
    const outputDir = path.join(__dirname, '../output');
    require('fs').mkdirSync(outputDir, { recursive: true });

    // グループごとにデータを取得してCSVに変換
    for (const [groupName, metrics] of Object.entries(groupedMetrics)) {
      try {
        console.log(`${groupName}グループのデータを取得中...`);
        const groupData: GroupedMetricData = {};

        // グループ内の各メトリクスのデータを取得
        for (const metricName of metrics) {
          const metricData = await fetchMetricsForPeriod(metricName, from, to);
          
          // データをグループ化して整理
          metricData.forEach(metric =&gt; {
            if (!groupData[metric.time]) {
              const initialMetrics = metrics.reduce&lt;{ [key: string]: number | null }&gt;((acc, name) =&gt; {
                acc[name] = null;
                return acc;
              }, {});
              
              groupData[metric.time] = {
                time: metric.time,
                ...initialMetrics,
              };
            }
            groupData[metric.time][metricName] = metric.value;
          });
        }

        await convertToCsv(groupName, groupData, outputDir);
      } catch (error) {
        console.error(`${groupName}グループの処理中にエラーが発生しました:`, error);
      }
    }

    console.log('すべての処理が完了しました。');
  } catch (error) {
    console.error('エラーが発生しました:', error);
    process.exit(1);
  }
};

main(); 
</code></pre>
<p>コードの<code>const START_DATE</code>の中身は、ダウンロードしたいメトリクスの範囲の開始日時を任意で変更してください。</p>
<pre><code class="language-ts">const START_DATE = '2025-01-01T00:00:00+09:00';
</code></pre>
<p>※ END_DATEに該当するものはなく、現在時刻になるようになっています。</p>
<p>他はとくに修正しなくてokです。<br>
※ <code>HOURS_PER_REQUEST</code>の値は大きくするとapiから返却されるデータの粒度が変わるので注意してください。</p>
<h3>8. ビルドする</h3>
<p>ターミナルで<code>npm run build</code>を実行します。<br>
<code>dist</code>というディレクトリが作成されます。</p>
<h3>9. 実行する</h3>
<p><code>npm run start</code>を実行します。<br>
<code>output</code>ディレクトリが作成され、その中にメトリクスデータをダウンロードして作られたcsvデータが出力されます。</p>
<p>以上。</p>


#Node.js

Mackerel上にあるメトリックデータをcsvでダウンロード保存してみたときの備忘録