Mackerel上にあるメトリックデータをcsvでダウンロード保存してみたときの備忘録

2/24/2025

表題にある通りMackerelにあるメトリクスのデータをcsvでダウンロードして使いたかったのでやってみたときの備忘録です。

前提

Node.js(TypeScript)を使ってやります。
Node.jsのインストール手順は省略します。

手順

1. Node.jsのプロジェクト作成

適当なフォルダ(今回はmackerel-csv-converterとします)を作って以下の内容のpackage.jsonファイルを作成します。

json

{
  "name": "mackerel-csv-converter",
  "version": "1.0.0",
  "description": "Convert Mackerel API response to CSV",
  "main": "dist/index.js",
  "scripts": {
    "build": "tsc",
    "start": "node dist/index.js"
  },
  "dependencies": {
    "axios": "^1.6.7",
    "csv-writer": "^1.6.0",
    "dotenv": "^16.4.1"
  },
  "devDependencies": {
    "@types/node": "^20.11.16",
    "typescript": "^5.3.3"
  }
}

同じディレクトリにtsconfig.jsonファイルも作成して以下の内容をコピペします。

json

{
  "compilerOptions": {
    "target": "es2020",
    "module": "commonjs",
    "outDir": "./dist",
    "rootDir": "./src",
    "strict": true,
    "esModuleInterop": true,
    "skipLibCheck": true,
    "forceConsistentCasingInFileNames": true
  },
  "include": ["src/**/*"],
  "exclude": ["node_modules"]
}

2. npm install

package.jsonと同じディレクトリでnpm installを実行。

3. Mackerelの管理画面で「APIキー」と「ホストID」を確認して控えておく

管理画面にアクセスし左上の「オーガニゼーション詳細ページへ」をクリック。

「APIキー」タブがあるのでそこでAPIキーをコピーして控えておく。（なければ作成してください）

左ペインの「ホスト」からメトリクスをダウンロードしたいホストのIDを確認して控えておく。

4. ホストにあるメトリクス一覧をcurlで取得する

控えておいたAPIキーとホストIDで以下のコマンドを実行して、取得可能なメトリクス名一覧を取得します。

curl -H "X-Api-Key: <APIキー>" "https://api.mackerelio.com/api/v0/hosts/<ホストID>/metric-names"

実行するとjson形式でレスポンスが来るはずです。

5. metric-names.json作成

package.jsonと同じディレクトリにmetric-names.jsonというファイルを作成して、先程取得したレスポンスをコピペして保存します。

json

{
  "names": [
    "cpu.guest.percentage",
    "cpu.idle.percentage",
    "cpu.iowait.percentage",
    ...省略
  ]
}

6. `.env`ファイル作成

package.jsonと同じディレクトリに.envファイルを作成し以下のようにAPIキーとホストIDを書いておきます。

MACKEREL_API_KEY=<APIキー>
MACKEREL_HOST_ID=<ホストID>

7. index.ts作成

package.jsonと同じディレクトリにsrcフォルダを作成し、その中にindex.tsファイルを作成し、以下のコードをコピペして保存します。

import axios from 'axios';
import { createObjectCsvWriter } from 'csv-writer';
import dotenv from 'dotenv';
import path from 'path';

dotenv.config();

interface MetricValue {
  time: number;
  value: number;
}

interface MetricData {
  metrics: MetricValue[];
  name: string;
}

interface GroupedMetricData {
  [timestamp: number]: {
    time: number;
    [metric: string]: number | null;
  };
}

const MACKEREL_API_KEY = process.env.MACKEREL_API_KEY;
const MACKEREL_HOST_ID = process.env.MACKEREL_HOST_ID;

if (!MACKEREL_API_KEY || !MACKEREL_HOST_ID) {
  console.error('環境変数 MACKEREL_API_KEY と MACKEREL_HOST_ID を設定してください。');
  process.exit(1);
}

const fetchMetrics = async (metricName: string, from: number, to: number): Promise<MetricData> => {
  const url = `https://api.mackerelio.com/api/v0/hosts/${MACKEREL_HOST_ID}/metrics`;
  const response = await axios.get(url, {
    headers: {
      'X-Api-Key': MACKEREL_API_KEY,
    },
    params: {
      name: metricName,
      from,
      to,
    },
  });

  return {
    name: metricName,
    metrics: response.data.metrics,
  };
};

const convertToCsv = async (groupName: string, data: GroupedMetricData, outputDir: string) => {
  // ヘッダーを動的に生成
  const firstRecord = Object.values(data)[0];
  const metrics = Object.keys(firstRecord).filter(key => key !== 'time');
  const header = [
    { id: 'time_jst', title: 'TIMESTAMP_JST' },
    ...metrics.map(metric => {
      // ドットが含まれない場合は元の名前をそのまま使用
      if (!metric.includes('.')) {
        return {
          id: metric,
          title: metric,
        };
      }
      // ドットが含まれる場合はプレフィックスを除去
      return {
        id: metric,
        title: metric.split('.').slice(1).join('.'),
      };
    }),
  ];

  const csvWriter = createObjectCsvWriter({
    path: path.join(outputDir, `${groupName}.csv`),
    header,
  });

  // 時刻でソートされた配列に変換
  const records = Object.entries(data)
    .sort(([timeA], [timeB]) => parseInt(timeA) - parseInt(timeB))
    .map(([_, record]) => ({
      time_jst: new Date(record.time * 1000 + (9 * 60 * 60 * 1000)).toISOString(),
      ...metrics.reduce((acc, metric) => ({
        ...acc,
        [metric]: record[metric],
      }), {}),
    }));

  await csvWriter.writeRecords(records);
  console.log(`${groupName}.csv を作成しました。`);
};

// データ取得期間の定数を定義（メモ：最小は2024-09-24）
const START_DATE = '2025-01-01T00:00:00+09:00'; // 開始日時をJST（日本時間）で指定
const HOURS_PER_REQUEST = 20; // 1リクエストあたりの時間範囲（時間）
const SECONDS_PER_HOUR = 3600;

// 日付文字列からUNIXタイムスタンプを取得する関数（JSTを考慮）
const getUnixTimestamp = (dateStr: string): number => {
  // タイムゾーン付きの日付文字列をパースしてUNIXタイムスタンプを取得
  return Math.floor(new Date(dateStr).getTime() / 1000);
};

// 指定された期間のメトリクスを取得する関数
const fetchMetricsForPeriod = async (metricName: string, from: number, to: number): Promise<MetricValue[]> => {
  const timeRangeInSeconds = to - from;
  const timeRangeInHours = timeRangeInSeconds / SECONDS_PER_HOUR;
  const metrics: MetricValue[] = [];
  const totalRequests = Math.ceil(timeRangeInHours / HOURS_PER_REQUEST);
  let currentRequest = 1;

  console.log(`${metricName}: ${totalRequests}回のリクエストに分割して取得します...`);

  // 20時間ごとにリクエストを分割
  for (let currentFrom = from; currentFrom < to; currentFrom += HOURS_PER_REQUEST * SECONDS_PER_HOUR) {
    const currentTo = Math.min(currentFrom + HOURS_PER_REQUEST * SECONDS_PER_HOUR, to);
    console.log(`${metricName}: ${currentRequest}/${totalRequests} リクエスト実行中...`);
    const data = await fetchMetrics(metricName, currentFrom, currentTo);
    metrics.push(...data.metrics);
    currentRequest++;
  }

  console.log(`${metricName}: 全${metrics.length}件のデータを取得しました。`);
  return metrics;
};

const main = async () => {
  try {
    // 現在時刻（JST）から5分前までのデータを取得
    const FIVE_MINUTES = 5 * 60; // 5分を秒に変換
    const now = new Date();
    // JSTでの現在時刻を取得
    const to = Math.floor(now.getTime() / 1000) - FIVE_MINUTES;
    const from = getUnixTimestamp(START_DATE);

    // メトリクス名のリストを読み込み
    const metricNames = require('../metric-names.json').names;

    // メトリクス名をグループ化
    const groupedMetrics: { [prefix: string]: string[] } = {};
    metricNames.forEach((name: string) => {
      let groupKey: string;
      const parts = name.split('.');
      
      if (parts[0] === 'custom') {
        // custom.xxx.yyy.zzzの形式の場合、xxx-yyyをグループキーとして使用
        groupKey = `${parts[1]}-${parts[2]}`;
      } else if (parts[0].startsWith('loadavg')) {
        // loadavgから始まるメトリクスは全てloadavgグループに
        groupKey = 'loadavg';
      } else {
        // それ以外は最初の部分でグルーピング
        groupKey = parts[0];
      }

      if (!groupedMetrics[groupKey]) {
        groupedMetrics[groupKey] = [];
      }
      groupedMetrics[groupKey].push(name);
    });

    // 出力ディレクトリを作成
    const outputDir = path.join(__dirname, '../output');
    require('fs').mkdirSync(outputDir, { recursive: true });

    // グループごとにデータを取得してCSVに変換
    for (const [groupName, metrics] of Object.entries(groupedMetrics)) {
      try {
        console.log(`${groupName}グループのデータを取得中...`);
        const groupData: GroupedMetricData = {};

        // グループ内の各メトリクスのデータを取得
        for (const metricName of metrics) {
          const metricData = await fetchMetricsForPeriod(metricName, from, to);
          
          // データをグループ化して整理
          metricData.forEach(metric => {
            if (!groupData[metric.time]) {
              const initialMetrics = metrics.reduce<{ [key: string]: number | null }>((acc, name) => {
                acc[name] = null;
                return acc;
              }, {});
              
              groupData[metric.time] = {
                time: metric.time,
                ...initialMetrics,
              };
            }
            groupData[metric.time][metricName] = metric.value;
          });
        }

        await convertToCsv(groupName, groupData, outputDir);
      } catch (error) {
        console.error(`${groupName}グループの処理中にエラーが発生しました:`, error);
      }
    }

    console.log('すべての処理が完了しました。');
  } catch (error) {
    console.error('エラーが発生しました:', error);
    process.exit(1);
  }
};

main();

コードのconst START_DATEの中身は、ダウンロードしたいメトリクスの範囲の開始日時を任意で変更してください。

const START_DATE = '2025-01-01T00:00:00+09:00';

※ END_DATEに該当するものはなく、現在時刻になるようになっています。

他はとくに修正しなくてokです。
※ HOURS_PER_REQUESTの値は大きくするとapiから返却されるデータの粒度が変わるので注意してください。

8. ビルドする

ターミナルでnpm run buildを実行します。
distというディレクトリが作成されます。

9. 実行する

npm run startを実行します。
outputディレクトリが作成され、その中にメトリクスデータをダウンロードして作られたcsvデータが出力されます。

以上。

Share this post

Mackerel上にあるメトリックデータをcsvでダウンロード保存してみたときの備忘録

前提

手順

1. Node.jsのプロジェクト作成

2. npm install

3. Mackerelの管理画面で「APIキー」と「ホストID」を確認して控えておく

4. ホストにあるメトリクス一覧をcurlで取得する

5. metric-names.json作成

6. .envファイル作成

7. index.ts作成

8. ビルドする

9. 実行する

6. `.env`ファイル作成