HarioNote

<p>表題にある通りMackerelにあるメトリクスのデータをcsvでダウンロードして使いたかったのでやってみたときの備忘録です。</p>
<h2>前提</h2>
<ul>
<li>Node.js(TypeScript)を使ってやります。</li>
<li>Node.jsのインストール手順は省略します。</li>
</ul>
<h2>手順</h2>
<h3>1. Node.jsのプロジェクト作成</h3>
<p>適当なフォルダ(今回は<code>mackerel-csv-converter</code>とします)を作って以下の内容のpackage.jsonファイルを作成します。</p>
<pre><code class="language-json">{
  &quot;name&quot;: &quot;mackerel-csv-converter&quot;,
  &quot;version&quot;: &quot;1.0.0&quot;,
  &quot;description&quot;: &quot;Convert Mackerel API response to CSV&quot;,
  &quot;main&quot;: &quot;dist/index.js&quot;,
  &quot;scripts&quot;: {
    &quot;build&quot;: &quot;tsc&quot;,
    &quot;start&quot;: &quot;node dist/index.js&quot;
  },
  &quot;dependencies&quot;: {
    &quot;axios&quot;: &quot;^1.6.7&quot;,
    &quot;csv-writer&quot;: &quot;^1.6.0&quot;,
    &quot;dotenv&quot;: &quot;^16.4.1&quot;
  },
  &quot;devDependencies&quot;: {
    &quot;@types/node&quot;: &quot;^20.11.16&quot;,
    &quot;typescript&quot;: &quot;^5.3.3&quot;
  }
} 

</code></pre>
<p>同じディレクトリに<code>tsconfig.json</code>ファイルも作成して以下の内容をコピペします。</p>
<pre><code class="language-json">{
  &quot;compilerOptions&quot;: {
    &quot;target&quot;: &quot;es2020&quot;,
    &quot;module&quot;: &quot;commonjs&quot;,
    &quot;outDir&quot;: &quot;./dist&quot;,
    &quot;rootDir&quot;: &quot;./src&quot;,
    &quot;strict&quot;: true,
    &quot;esModuleInterop&quot;: true,
    &quot;skipLibCheck&quot;: true,
    &quot;forceConsistentCasingInFileNames&quot;: true
  },
  &quot;include&quot;: [&quot;src/**/*&quot;],
  &quot;exclude&quot;: [&quot;node_modules&quot;]
} 
</code></pre>
<h3>2. npm install</h3>
<p>package.jsonと同じディレクトリで<code>npm install</code>を実行。</p>
<h3>3. Mackerelの管理画面で「APIキー」と「ホストID」を確認して控えておく</h3>
<p>管理画面にアクセスし左上の「オーガニゼーション詳細ページへ」をクリック。<br>
<img src="https://storage.googleapis.com/newt-files/671f5dd4-935a-4499-8940-22478d6d7899/2025-02-24_1.webp" alt="2025-02-24_1.webp"><br>
「APIキー」タブがあるのでそこでAPIキーをコピーして控えておく。（なければ作成してください）<br>
<img src="https://storage.googleapis.com/newt-files/5ab4be6e-9ed1-4204-8340-64c85179ae90/2025-02-24_2.webp" alt="2025-02-24_2.webp"></p>
<p>左ペインの「ホスト」からメトリクスをダウンロードしたいホストのIDを確認して控えておく。<br>
<img src="https://storage.googleapis.com/newt-files/f1511fed-d3ca-446f-b54d-76dc7e0c43de/2025-02-24_3.webp" alt="2025-02-24_3.webp"><br>
<img src="https://storage.googleapis.com/newt-files/ba26dcb5-2cd4-4e7b-b538-858303682542/2025-02-24_4.webp" alt="2025-02-24_4.webp"></p>
<h3>4. ホストにあるメトリクス一覧をcurlで取得する</h3>
<p>控えておいたAPIキーとホストIDで以下のコマンドを実行して、取得可能なメトリクス名一覧を取得します。</p>
<pre><code>curl -H &quot;X-Api-Key: &lt;APIキー&gt;&quot; &quot;https://api.mackerelio.com/api/v0/hosts/&lt;ホストID&gt;/metric-names&quot;
</code></pre>
<p>実行するとjson形式でレスポンスが来るはずです。</p>
<h3>5. metric-names.json作成</h3>
<p>package.jsonと同じディレクトリに<code>metric-names.json</code>というファイルを作成して、先程取得したレスポンスをコピペして保存します。</p>
<pre><code class="language-json">{
  &quot;names&quot;: [
    &quot;cpu.guest.percentage&quot;,
    &quot;cpu.idle.percentage&quot;,
    &quot;cpu.iowait.percentage&quot;,
    ...省略
  ]
}
</code></pre>
<h3>6. <code>.env</code>ファイル作成</h3>
<p>package.jsonと同じディレクトリに<code>.env</code>ファイルを作成し以下のようにAPIキーとホストIDを書いておきます。</p>
<pre><code>MACKEREL_API_KEY=&lt;APIキー&gt;
MACKEREL_HOST_ID=&lt;ホストID&gt; 
</code></pre>
<h3>7. index.ts作成</h3>
<p>package.jsonと同じディレクトリに<code>src</code>フォルダを作成し、その中に<code>index.ts</code>ファイルを作成し、以下のコードをコピペして保存します。</p>
<pre><code class="language-ts">import axios from 'axios';
import { createObjectCsvWriter } from 'csv-writer';
import dotenv from 'dotenv';
import path from 'path';

dotenv.config();

interface MetricValue {
  time: number;
  value: number;
}

interface MetricData {
  metrics: MetricValue[];
  name: string;
}

interface GroupedMetricData {
  [timestamp: number]: {
    time: number;
    [metric: string]: number | null;
  };
}

const MACKEREL_API_KEY = process.env.MACKEREL_API_KEY;
const MACKEREL_HOST_ID = process.env.MACKEREL_HOST_ID;

if (!MACKEREL_API_KEY || !MACKEREL_HOST_ID) {
  console.error('環境変数 MACKEREL_API_KEY と MACKEREL_HOST_ID を設定してください。');
  process.exit(1);
}

const fetchMetrics = async (metricName: string, from: number, to: number): Promise&lt;MetricData&gt; =&gt; {
  const url = `https://api.mackerelio.com/api/v0/hosts/${MACKEREL_HOST_ID}/metrics`;
  const response = await axios.get(url, {
    headers: {
      'X-Api-Key': MACKEREL_API_KEY,
    },
    params: {
      name: metricName,
      from,
      to,
    },
  });

  return {
    name: metricName,
    metrics: response.data.metrics,
  };
};

const convertToCsv = async (groupName: string, data: GroupedMetricData, outputDir: string) =&gt; {
  // ヘッダーを動的に生成
  const firstRecord = Object.values(data)[0];
  const metrics = Object.keys(firstRecord).filter(key =&gt; key !== 'time');
  const header = [
    { id: 'time_jst', title: 'TIMESTAMP_JST' },
    ...metrics.map(metric =&gt; {
      // ドットが含まれない場合は元の名前をそのまま使用
      if (!metric.includes('.')) {
        return {
          id: metric,
          title: metric,
        };
      }
      // ドットが含まれる場合はプレフィックスを除去
      return {
        id: metric,
        title: metric.split('.').slice(1).join('.'),
      };
    }),
  ];

  const csvWriter = createObjectCsvWriter({
    path: path.join(outputDir, `${groupName}.csv`),
    header,
  });

  // 時刻でソートされた配列に変換
  const records = Object.entries(data)
    .sort(([timeA], [timeB]) =&gt; parseInt(timeA) - parseInt(timeB))
    .map(([_, record]) =&gt; ({
      time_jst: new Date(record.time * 1000 + (9 * 60 * 60 * 1000)).toISOString(),
      ...metrics.reduce((acc, metric) =&gt; ({
        ...acc,
        [metric]: record[metric],
      }), {}),
    }));

  await csvWriter.writeRecords(records);
  console.log(`${groupName}.csv を作成しました。`);
};

// データ取得期間の定数を定義（メモ：最小は2024-09-24）
const START_DATE = '2025-01-01T00:00:00+09:00'; // 開始日時をJST（日本時間）で指定
const HOURS_PER_REQUEST = 20; // 1リクエストあたりの時間範囲（時間）
const SECONDS_PER_HOUR = 3600;

// 日付文字列からUNIXタイムスタンプを取得する関数（JSTを考慮）
const getUnixTimestamp = (dateStr: string): number =&gt; {
  // タイムゾーン付きの日付文字列をパースしてUNIXタイムスタンプを取得
  return Math.floor(new Date(dateStr).getTime() / 1000);
};

// 指定された期間のメトリクスを取得する関数
const fetchMetricsForPeriod = async (metricName: string, from: number, to: number): Promise&lt;MetricValue[]&gt; =&gt; {
  const timeRangeInSeconds = to - from;
  const timeRangeInHours = timeRangeInSeconds / SECONDS_PER_HOUR;
  const metrics: MetricValue[] = [];
  const totalRequests = Math.ceil(timeRangeInHours / HOURS_PER_REQUEST);
  let currentRequest = 1;

  console.log(`${metricName}: ${totalRequests}回のリクエストに分割して取得します...`);

  // 20時間ごとにリクエストを分割
  for (let currentFrom = from; currentFrom &lt; to; currentFrom += HOURS_PER_REQUEST * SECONDS_PER_HOUR) {
    const currentTo = Math.min(currentFrom + HOURS_PER_REQUEST * SECONDS_PER_HOUR, to);
    console.log(`${metricName}: ${currentRequest}/${totalRequests} リクエスト実行中...`);
    const data = await fetchMetrics(metricName, currentFrom, currentTo);
    metrics.push(...data.metrics);
    currentRequest++;
  }

  console.log(`${metricName}: 全${metrics.length}件のデータを取得しました。`);
  return metrics;
};

const main = async () =&gt; {
  try {
    // 現在時刻（JST）から5分前までのデータを取得
    const FIVE_MINUTES = 5 * 60; // 5分を秒に変換
    const now = new Date();
    // JSTでの現在時刻を取得
    const to = Math.floor(now.getTime() / 1000) - FIVE_MINUTES;
    const from = getUnixTimestamp(START_DATE);

    // メトリクス名のリストを読み込み
    const metricNames = require('../metric-names.json').names;

    // メトリクス名をグループ化
    const groupedMetrics: { [prefix: string]: string[] } = {};
    metricNames.forEach((name: string) =&gt; {
      let groupKey: string;
      const parts = name.split('.');
      
      if (parts[0] === 'custom') {
        // custom.xxx.yyy.zzzの形式の場合、xxx-yyyをグループキーとして使用
        groupKey = `${parts[1]}-${parts[2]}`;
      } else if (parts[0].startsWith('loadavg')) {
        // loadavgから始まるメトリクスは全てloadavgグループに
        groupKey = 'loadavg';
      } else {
        // それ以外は最初の部分でグルーピング
        groupKey = parts[0];
      }

      if (!groupedMetrics[groupKey]) {
        groupedMetrics[groupKey] = [];
      }
      groupedMetrics[groupKey].push(name);
    });

    // 出力ディレクトリを作成
    const outputDir = path.join(__dirname, '../output');
    require('fs').mkdirSync(outputDir, { recursive: true });

    // グループごとにデータを取得してCSVに変換
    for (const [groupName, metrics] of Object.entries(groupedMetrics)) {
      try {
        console.log(`${groupName}グループのデータを取得中...`);
        const groupData: GroupedMetricData = {};

        // グループ内の各メトリクスのデータを取得
        for (const metricName of metrics) {
          const metricData = await fetchMetricsForPeriod(metricName, from, to);
          
          // データをグループ化して整理
          metricData.forEach(metric =&gt; {
            if (!groupData[metric.time]) {
              const initialMetrics = metrics.reduce&lt;{ [key: string]: number | null }&gt;((acc, name) =&gt; {
                acc[name] = null;
                return acc;
              }, {});
              
              groupData[metric.time] = {
                time: metric.time,
                ...initialMetrics,
              };
            }
            groupData[metric.time][metricName] = metric.value;
          });
        }

        await convertToCsv(groupName, groupData, outputDir);
      } catch (error) {
        console.error(`${groupName}グループの処理中にエラーが発生しました:`, error);
      }
    }

    console.log('すべての処理が完了しました。');
  } catch (error) {
    console.error('エラーが発生しました:', error);
    process.exit(1);
  }
};

main(); 
</code></pre>
<p>コードの<code>const START_DATE</code>の中身は、ダウンロードしたいメトリクスの範囲の開始日時を任意で変更してください。</p>
<pre><code class="language-ts">const START_DATE = '2025-01-01T00:00:00+09:00';
</code></pre>
<p>※ END_DATEに該当するものはなく、現在時刻になるようになっています。</p>
<p>他はとくに修正しなくてokです。<br>
※ <code>HOURS_PER_REQUEST</code>の値は大きくするとapiから返却されるデータの粒度が変わるので注意してください。</p>
<h3>8. ビルドする</h3>
<p>ターミナルで<code>npm run build</code>を実行します。<br>
<code>dist</code>というディレクトリが作成されます。</p>
<h3>9. 実行する</h3>
<p><code>npm run start</code>を実行します。<br>
<code>output</code>ディレクトリが作成され、その中にメトリクスデータをダウンロードして作られたcsvデータが出力されます。</p>
<p>以上。</p>


Mackerel上にあるメトリックデータをcsvでダウンロード保存してみたときの備忘録

<p>スマホを複数台使用する場合に、メインでない方の充電をうっかり忘れることがよくあったので、iPhoneの「ショートカット」アプリを利用して、「サブ機→メイン機」にLINEで報告させるようにしました。</p>
<h2>前提</h2>
<ul>
<li>メイン機とサブ機でLINEがインストールされておりそれぞれ異なるアカウントであること<br>
※ LINEじゃなくても「メッセージ」とかで同様のことが多分できると思います。</li>
</ul>
<h2>やり方</h2>
<h3>サブ機で「ショートカット」アプリをインストールしておく</h3>
<p>App Storeからインストールできます。（最近はデフォで入っていると思われる）<br>
<img src="https://storage.googleapis.com/newt-files/c2f2285b-9017-4fa5-9762-7eeea75d5e7c/S__3530766.webp" alt="S__3530766.webp"></p>
<h3>ショートカットでオートメーションを作成する</h3>
<p>ショートカットを起動し、「オートメーション」タブにて「個人用オートメーションを作成」をタップします。</p>
<p><img src="https://storage.googleapis.com/newt-files/947176e5-ae17-414c-9ca2-5dc592ff92ff/S__3530755_0.webp" alt="S__3530755_0.webp"></p>
<p>新規オートメーション画面にて「バッテリー残量」を選択。<br>
<img src="https://storage.googleapis.com/newt-files/dffc2da8-d953-4c40-8d7f-4af058a99584/S__3530758_0.webp" alt="S__3530758_0.webp"></p>
<p>「〇〇%より下」を選択します。<br>
〇〇%の値は好きな値にしましょう。設定したら「次へ」<br>
<img src="https://storage.googleapis.com/newt-files/34c789c7-ce23-482e-8305-f5fad8473de4/S__3530759.webp" alt="S__3530759.webp"></p>
<p>条件を満たしたときに実行するアクションの設定画面にて「アクションを追加」をタップ。<br>
<img src="https://storage.googleapis.com/newt-files/33e44197-35b0-4df2-be1d-439e3904be40/S__3530760.webp" alt="S__3530760.webp"></p>
<p>Appタブや「お使いのAppからの提案」などからLINEと送りたい相手（今回はメイン機のLINEアカウント）を選択。<br>
<img src="https://storage.googleapis.com/newt-files/bc903844-6dc1-4ee7-b903-2b04e8da55a2/S__3530761.webp" alt="S__3530761.webp"></p>
<p>送りたいメッセージを「メッセージ」の欄に入力し、送りたい相手も確認して「次へ」<br>
<img src="https://storage.googleapis.com/newt-files/6e95164a-154d-40ba-8843-e54ad29045cb/S__3530762.webp" alt="S__3530762.webp"></p>
<p>「実行の前に尋ねる」はOFFにして、「実行時に通知」もOFF（こちらはどっちでも良い）にする。<br>
各内容を確認したら「完了」をタップ。<br>
<img src="https://storage.googleapis.com/newt-files/53f0ed44-23ae-4146-a821-2f9ce6a853d7/S__3530732.webp" alt="S__3530732.webp"></p>
<p>以上でオートメーションの作成ができました。<br>
これでバッテリー残量が少なくなったらメイン機に知らせてくれるようになりました。<br>
<img src="https://storage.googleapis.com/newt-files/a24c889f-79e9-45f5-90e3-3d00a1e3cd9d/S__3530765.webp" alt="S__3530765.webp"></p>
<p>以上！</p>


Articles in 2025

Mackerel上にあるメトリックデータをcsvでダウンロード保存してみたときの備忘録

iPhoneのバッテリー残量が少なくなったら自動でLINEで報告させる【2台持ち/ショートカット】