HarioNote

<p>表題にある通りMackerelにあるメトリクスのデータをcsvでダウンロードして使いたかったのでやってみたときの備忘録です。</p>
<h2>前提</h2>
<ul>
<li>Node.js(TypeScript)を使ってやります。</li>
<li>Node.jsのインストール手順は省略します。</li>
</ul>
<h2>手順</h2>
<h3>1. Node.jsのプロジェクト作成</h3>
<p>適当なフォルダ(今回は<code>mackerel-csv-converter</code>とします)を作って以下の内容のpackage.jsonファイルを作成します。</p>
<pre><code class="language-json">{
  &quot;name&quot;: &quot;mackerel-csv-converter&quot;,
  &quot;version&quot;: &quot;1.0.0&quot;,
  &quot;description&quot;: &quot;Convert Mackerel API response to CSV&quot;,
  &quot;main&quot;: &quot;dist/index.js&quot;,
  &quot;scripts&quot;: {
    &quot;build&quot;: &quot;tsc&quot;,
    &quot;start&quot;: &quot;node dist/index.js&quot;
  },
  &quot;dependencies&quot;: {
    &quot;axios&quot;: &quot;^1.6.7&quot;,
    &quot;csv-writer&quot;: &quot;^1.6.0&quot;,
    &quot;dotenv&quot;: &quot;^16.4.1&quot;
  },
  &quot;devDependencies&quot;: {
    &quot;@types/node&quot;: &quot;^20.11.16&quot;,
    &quot;typescript&quot;: &quot;^5.3.3&quot;
  }
} 

</code></pre>
<p>同じディレクトリに<code>tsconfig.json</code>ファイルも作成して以下の内容をコピペします。</p>
<pre><code class="language-json">{
  &quot;compilerOptions&quot;: {
    &quot;target&quot;: &quot;es2020&quot;,
    &quot;module&quot;: &quot;commonjs&quot;,
    &quot;outDir&quot;: &quot;./dist&quot;,
    &quot;rootDir&quot;: &quot;./src&quot;,
    &quot;strict&quot;: true,
    &quot;esModuleInterop&quot;: true,
    &quot;skipLibCheck&quot;: true,
    &quot;forceConsistentCasingInFileNames&quot;: true
  },
  &quot;include&quot;: [&quot;src/**/*&quot;],
  &quot;exclude&quot;: [&quot;node_modules&quot;]
} 
</code></pre>
<h3>2. npm install</h3>
<p>package.jsonと同じディレクトリで<code>npm install</code>を実行。</p>
<h3>3. Mackerelの管理画面で「APIキー」と「ホストID」を確認して控えておく</h3>
<p>管理画面にアクセスし左上の「オーガニゼーション詳細ページへ」をクリック。<br>
<img src="https://storage.googleapis.com/newt-files/671f5dd4-935a-4499-8940-22478d6d7899/2025-02-24_1.webp" alt="2025-02-24_1.webp"><br>
「APIキー」タブがあるのでそこでAPIキーをコピーして控えておく。（なければ作成してください）<br>
<img src="https://storage.googleapis.com/newt-files/5ab4be6e-9ed1-4204-8340-64c85179ae90/2025-02-24_2.webp" alt="2025-02-24_2.webp"></p>
<p>左ペインの「ホスト」からメトリクスをダウンロードしたいホストのIDを確認して控えておく。<br>
<img src="https://storage.googleapis.com/newt-files/f1511fed-d3ca-446f-b54d-76dc7e0c43de/2025-02-24_3.webp" alt="2025-02-24_3.webp"><br>
<img src="https://storage.googleapis.com/newt-files/ba26dcb5-2cd4-4e7b-b538-858303682542/2025-02-24_4.webp" alt="2025-02-24_4.webp"></p>
<h3>4. ホストにあるメトリクス一覧をcurlで取得する</h3>
<p>控えておいたAPIキーとホストIDで以下のコマンドを実行して、取得可能なメトリクス名一覧を取得します。</p>
<pre><code>curl -H &quot;X-Api-Key: &lt;APIキー&gt;&quot; &quot;https://api.mackerelio.com/api/v0/hosts/&lt;ホストID&gt;/metric-names&quot;
</code></pre>
<p>実行するとjson形式でレスポンスが来るはずです。</p>
<h3>5. metric-names.json作成</h3>
<p>package.jsonと同じディレクトリに<code>metric-names.json</code>というファイルを作成して、先程取得したレスポンスをコピペして保存します。</p>
<pre><code class="language-json">{
  &quot;names&quot;: [
    &quot;cpu.guest.percentage&quot;,
    &quot;cpu.idle.percentage&quot;,
    &quot;cpu.iowait.percentage&quot;,
    ...省略
  ]
}
</code></pre>
<h3>6. <code>.env</code>ファイル作成</h3>
<p>package.jsonと同じディレクトリに<code>.env</code>ファイルを作成し以下のようにAPIキーとホストIDを書いておきます。</p>
<pre><code>MACKEREL_API_KEY=&lt;APIキー&gt;
MACKEREL_HOST_ID=&lt;ホストID&gt; 
</code></pre>
<h3>7. index.ts作成</h3>
<p>package.jsonと同じディレクトリに<code>src</code>フォルダを作成し、その中に<code>index.ts</code>ファイルを作成し、以下のコードをコピペして保存します。</p>
<pre><code class="language-ts">import axios from 'axios';
import { createObjectCsvWriter } from 'csv-writer';
import dotenv from 'dotenv';
import path from 'path';

dotenv.config();

interface MetricValue {
  time: number;
  value: number;
}

interface MetricData {
  metrics: MetricValue[];
  name: string;
}

interface GroupedMetricData {
  [timestamp: number]: {
    time: number;
    [metric: string]: number | null;
  };
}

const MACKEREL_API_KEY = process.env.MACKEREL_API_KEY;
const MACKEREL_HOST_ID = process.env.MACKEREL_HOST_ID;

if (!MACKEREL_API_KEY || !MACKEREL_HOST_ID) {
  console.error('環境変数 MACKEREL_API_KEY と MACKEREL_HOST_ID を設定してください。');
  process.exit(1);
}

const fetchMetrics = async (metricName: string, from: number, to: number): Promise&lt;MetricData&gt; =&gt; {
  const url = `https://api.mackerelio.com/api/v0/hosts/${MACKEREL_HOST_ID}/metrics`;
  const response = await axios.get(url, {
    headers: {
      'X-Api-Key': MACKEREL_API_KEY,
    },
    params: {
      name: metricName,
      from,
      to,
    },
  });

  return {
    name: metricName,
    metrics: response.data.metrics,
  };
};

const convertToCsv = async (groupName: string, data: GroupedMetricData, outputDir: string) =&gt; {
  // ヘッダーを動的に生成
  const firstRecord = Object.values(data)[0];
  const metrics = Object.keys(firstRecord).filter(key =&gt; key !== 'time');
  const header = [
    { id: 'time_jst', title: 'TIMESTAMP_JST' },
    ...metrics.map(metric =&gt; {
      // ドットが含まれない場合は元の名前をそのまま使用
      if (!metric.includes('.')) {
        return {
          id: metric,
          title: metric,
        };
      }
      // ドットが含まれる場合はプレフィックスを除去
      return {
        id: metric,
        title: metric.split('.').slice(1).join('.'),
      };
    }),
  ];

  const csvWriter = createObjectCsvWriter({
    path: path.join(outputDir, `${groupName}.csv`),
    header,
  });

  // 時刻でソートされた配列に変換
  const records = Object.entries(data)
    .sort(([timeA], [timeB]) =&gt; parseInt(timeA) - parseInt(timeB))
    .map(([_, record]) =&gt; ({
      time_jst: new Date(record.time * 1000 + (9 * 60 * 60 * 1000)).toISOString(),
      ...metrics.reduce((acc, metric) =&gt; ({
        ...acc,
        [metric]: record[metric],
      }), {}),
    }));

  await csvWriter.writeRecords(records);
  console.log(`${groupName}.csv を作成しました。`);
};

// データ取得期間の定数を定義（メモ：最小は2024-09-24）
const START_DATE = '2025-01-01T00:00:00+09:00'; // 開始日時をJST（日本時間）で指定
const HOURS_PER_REQUEST = 20; // 1リクエストあたりの時間範囲（時間）
const SECONDS_PER_HOUR = 3600;

// 日付文字列からUNIXタイムスタンプを取得する関数（JSTを考慮）
const getUnixTimestamp = (dateStr: string): number =&gt; {
  // タイムゾーン付きの日付文字列をパースしてUNIXタイムスタンプを取得
  return Math.floor(new Date(dateStr).getTime() / 1000);
};

// 指定された期間のメトリクスを取得する関数
const fetchMetricsForPeriod = async (metricName: string, from: number, to: number): Promise&lt;MetricValue[]&gt; =&gt; {
  const timeRangeInSeconds = to - from;
  const timeRangeInHours = timeRangeInSeconds / SECONDS_PER_HOUR;
  const metrics: MetricValue[] = [];
  const totalRequests = Math.ceil(timeRangeInHours / HOURS_PER_REQUEST);
  let currentRequest = 1;

  console.log(`${metricName}: ${totalRequests}回のリクエストに分割して取得します...`);

  // 20時間ごとにリクエストを分割
  for (let currentFrom = from; currentFrom &lt; to; currentFrom += HOURS_PER_REQUEST * SECONDS_PER_HOUR) {
    const currentTo = Math.min(currentFrom + HOURS_PER_REQUEST * SECONDS_PER_HOUR, to);
    console.log(`${metricName}: ${currentRequest}/${totalRequests} リクエスト実行中...`);
    const data = await fetchMetrics(metricName, currentFrom, currentTo);
    metrics.push(...data.metrics);
    currentRequest++;
  }

  console.log(`${metricName}: 全${metrics.length}件のデータを取得しました。`);
  return metrics;
};

const main = async () =&gt; {
  try {
    // 現在時刻（JST）から5分前までのデータを取得
    const FIVE_MINUTES = 5 * 60; // 5分を秒に変換
    const now = new Date();
    // JSTでの現在時刻を取得
    const to = Math.floor(now.getTime() / 1000) - FIVE_MINUTES;
    const from = getUnixTimestamp(START_DATE);

    // メトリクス名のリストを読み込み
    const metricNames = require('../metric-names.json').names;

    // メトリクス名をグループ化
    const groupedMetrics: { [prefix: string]: string[] } = {};
    metricNames.forEach((name: string) =&gt; {
      let groupKey: string;
      const parts = name.split('.');
      
      if (parts[0] === 'custom') {
        // custom.xxx.yyy.zzzの形式の場合、xxx-yyyをグループキーとして使用
        groupKey = `${parts[1]}-${parts[2]}`;
      } else if (parts[0].startsWith('loadavg')) {
        // loadavgから始まるメトリクスは全てloadavgグループに
        groupKey = 'loadavg';
      } else {
        // それ以外は最初の部分でグルーピング
        groupKey = parts[0];
      }

      if (!groupedMetrics[groupKey]) {
        groupedMetrics[groupKey] = [];
      }
      groupedMetrics[groupKey].push(name);
    });

    // 出力ディレクトリを作成
    const outputDir = path.join(__dirname, '../output');
    require('fs').mkdirSync(outputDir, { recursive: true });

    // グループごとにデータを取得してCSVに変換
    for (const [groupName, metrics] of Object.entries(groupedMetrics)) {
      try {
        console.log(`${groupName}グループのデータを取得中...`);
        const groupData: GroupedMetricData = {};

        // グループ内の各メトリクスのデータを取得
        for (const metricName of metrics) {
          const metricData = await fetchMetricsForPeriod(metricName, from, to);
          
          // データをグループ化して整理
          metricData.forEach(metric =&gt; {
            if (!groupData[metric.time]) {
              const initialMetrics = metrics.reduce&lt;{ [key: string]: number | null }&gt;((acc, name) =&gt; {
                acc[name] = null;
                return acc;
              }, {});
              
              groupData[metric.time] = {
                time: metric.time,
                ...initialMetrics,
              };
            }
            groupData[metric.time][metricName] = metric.value;
          });
        }

        await convertToCsv(groupName, groupData, outputDir);
      } catch (error) {
        console.error(`${groupName}グループの処理中にエラーが発生しました:`, error);
      }
    }

    console.log('すべての処理が完了しました。');
  } catch (error) {
    console.error('エラーが発生しました:', error);
    process.exit(1);
  }
};

main(); 
</code></pre>
<p>コードの<code>const START_DATE</code>の中身は、ダウンロードしたいメトリクスの範囲の開始日時を任意で変更してください。</p>
<pre><code class="language-ts">const START_DATE = '2025-01-01T00:00:00+09:00';
</code></pre>
<p>※ END_DATEに該当するものはなく、現在時刻になるようになっています。</p>
<p>他はとくに修正しなくてokです。<br>
※ <code>HOURS_PER_REQUEST</code>の値は大きくするとapiから返却されるデータの粒度が変わるので注意してください。</p>
<h3>8. ビルドする</h3>
<p>ターミナルで<code>npm run build</code>を実行します。<br>
<code>dist</code>というディレクトリが作成されます。</p>
<h3>9. 実行する</h3>
<p><code>npm run start</code>を実行します。<br>
<code>output</code>ディレクトリが作成され、その中にメトリクスデータをダウンロードして作られたcsvデータが出力されます。</p>
<p>以上。</p>


Mackerel上にあるメトリックデータをcsvでダウンロード保存してみたときの備忘録

<p>以前書いた「<a href="https://harionote.net/article/mackerel-centos-6">CentOS 6にMackerelエージェントを入れてみた</a>」という記事の続きのような内容です。</p>
<p>表題の通りMackerelのPostgreSQL用のプラグイン「<a href="https://mackerel.io/ja/docs/entry/plugins/mackerel-plugin-postgres">mackerel-plugin-postgres</a>」というものがあることを知ったので、今回の作業環境にインストールされていたPostgreSQL9.4という結構古いバージョンで動かすとどうなるのか試してみました。</p>
<h2>前提</h2>
<ul>
<li>Mackerelエージェント自体のインストールは済んでいるものとします。（まだの場合は「<a href="https://harionote.net/article/mackerel-centos-6">CentOS 6にMackerelエージェントを入れてみた</a>」を参考にしてみてください）</li>
<li>OSのバージョンが古くyumコマンドが使えないのでmkrの導入ができないため、今回はMackerelプラグインのインストールにmkrコマンドは使いません。</li>
<li>環境はCentOS6.9, インストールされているPostgreSQLのバージョンは9.4です。</li>
<li>上記環境は検証用の環境であり、上記環境で運用することを推奨する記事ではありません。</li>
</ul>
<h2>やったこと</h2>
<h3>プラグインをダウンロード</h3>
<p><a href="https://github.com/mackerelio/mackerel-agent-plugins/releases">https://github.com/mackerelio/mackerel-agent-plugins/releases</a><br>
にアクセスして最新版のAssetsをダウンロードします。</p>
<p>今回は「mackerel-agent-plugins-0.86.0-1.el7.centos.x86_64.rpm」にしました。<br>
（ここは各々の環境に合わせて選択してください）</p>
<h3>導入</h3>
<p>先ほどダウンロードしたrpmファイルをサーバーにアップロードします。<br>
私の場合、<code>mackerel-agent</code>というディレクトリを作成して、そこでMackerelエージェントを導入していたので、そこに配置しました。<br>
（<code>mackerel-agent.conf</code>があるディレクトリにrpmファイルを配置しました。）</p>
<p>配置したら以下のコマンドを実行してインストールします。</p>
<pre><code class="language-bash">sudo rpm -ivh mackerel-agent-plugins-0.85.0-1.el7.centos.x86_64.rpm
</code></pre>
<p>インストールしてもディレクトリ内に特に変化はないです。</p>
<p>次にMackerelの設定ファイルを編集します。</p>
<pre><code>vim mackerel-agent.conf
</code></pre>
<p>以下の2行を追加します。</p>
<pre><code>[plugin.metrics.postgres]
command = &quot;/usr/bin/mackerel-plugin-postgres -user 【ユーザー名】 -password 【パスワード】 -database postgres&quot;
</code></pre>
<p>※ -databaseはデフォルト値がpostgresだから明示的に指定しなくてもいいかも。</p>
<p>メトリクスはデフォルトではpostgresにあるのでpostgresを指定することで取得できるようになります。<br>
この辺の詳細は公式のドキュメントを読むと詳細が書いてあると思います。</p>
<p>ここまでできたらエージェントを再起動します。<br>
私の環境では<code>mackerel-agent-conf</code>があるディレクトリでコマンドを実行します。<br>
まずは標準出力も見たいので、nohupせずに普通に以下を実行します。</p>
<pre><code class="language-bash">sudo ./mackerel-agent --conf=./mackerel-agent.conf
</code></pre>
<p>startした旨のメッセージのあとに「xxx does not exist」といったメッセージが出力されました。<br>
やはり使用しているPostgreSQLのバージョンが9.4と古いので、MackerelのPostgreSQLプラグインが取得しようとしたメトリクスをPostgreSQLが持っておらずそのようなメッセージが表示されているっぽいですね。</p>
<p>とりあえず大きな問題はなさそうなので、一度エージェントをkillコマンドで終了して、今度はnohupコマンド付きで実行してバックグラウンドで起動し続けるようにします。</p>
<p>（killするための起動中のMackerelエージェントのプロセスは以下で確認します。実行したコマンドのプロセスidを確認してそれをkillします。）</p>
<pre><code>ps aux | grep mackerel
</code></pre>
<p>nohup付きで実行するコマンドは以下のような感じです。</p>
<pre><code>sudo nohup ./mackerel-agent --conf=./mackerel-agent.conf &gt; /dev/null 2&gt;&amp;1 &amp;
</code></pre>
<h3>Mackerelで確認する</h3>
<p>しばらく待ってMackerelの管理画面で確認してみます。<br>
「ホスト」で確認してみると、「カスタムメトリック」の欄が追加され表示されていました。<br>
<img src="https://storage.googleapis.com/newt-files/2f755933-0e64-42ef-85b0-4baf40556465/2024-10-14_1.webp" alt="2024-10-14_1.webp"></p>
<p>ちなみにMackerelエージェント実行時に「xxx does not exist」となっていたメトリクスは項目が表示されているが値が常に0になったりしてました。</p>
<p>以上です。</p>
<h2>余談</h2>
<p>プラグインで取得できるメトリクスは公式の「<a href="https://mackerel.io/ja/docs/entry/plugins/mackerel-plugin-postgres#:~:text=%E3%83%AA%E3%83%9D%E3%82%B8%E3%83%88%E3%83%AA-,%E7%9B%A3%E8%A6%96%E3%81%A7%E3%81%8D%E3%82%8B%E3%83%A1%E3%83%88%E3%83%AA%E3%83%83%E3%82%AF,-PostgreSQL%20%E3%81%AE%E7%B5%B1%E8%A8%88">監視できるメトリック</a>」で確認できます。</p>
<p>PostgreSQLのどのバージョンでどのようなメトリクスが存在しているかは、<br>
<a href="https://www.postgresql.jp/document/">PostgreSQL日本語ドキュメント</a><br>
でドキュメントを開き、「<code>データベース活動状況の監視</code>」の章を開くと「統計情報コレクタ」や「累積統計システム」みたいなタイトルのページがあるのでそこで確認できます。</p>


mackerel-plugin-postgresをPostgreSQL9.4 on CentOS6.9という環境で動かしてみた

<p>今回は表題の通り、（かなり前にサポートが終了していますが）CentOS6に<a href="https://ja.mackerel.io/">Mackerel</a>のエージェントをインストールしてみました。<br>
※ 本記事の内容は実験的にやってみただけであり、サポートが終了しているOSの使用を推奨するものではありません。</p>
<h2>前提</h2>
<ul>
<li><a href="https://ja.mackerel.io/">Mackerel</a>のSignUpが完了している前提で進みます。</li>
<li>今回の環境は厳密にはCentOS6.9となっております。</li>
</ul>
<h2>手順</h2>
<p>基本的にはMackerelの管理ページにて、「新規ホストの登録」のページに表示される「その他Linux」の欄の手順におおよそ従います。<br>
<img src="https://storage.googleapis.com/newt-files/c986b386-6338-4125-94ed-3b6109ac4228/2024-09-23_1.webp" alt="2024-09-23_1.webp"></p>
<p><img src="https://storage.googleapis.com/newt-files/aff6f462-8748-445e-b1eb-b0a5f44a0b16/2024-09-23_2.webp" alt="2024-09-23_2.webp"></p>
<p>作業ディレクトリはどこでもokですが、私は今回はてきとうにmackerelディレクトリを作って作業しました。</p>
<p>まずエージェントをダウンロード。</p>
<pre><code class="language-bash">curl -O https://mackerel.io/file/agent/tgz/mackerel-agent-latest.tar.gz
</code></pre>
<p>解凍して移動。</p>
<pre><code class="language-bash">tar -xzvf ./mackerel-agent-latest.tar.gz
cd mackerel-agent
</code></pre>
<p>このあと公式の手順では<code>sudo mackerel-agent init -apikey=&quot;xxxxx&quot;</code>というコマンドを実行して設定ファイルに設定を記述するのですが、うまくいかなかったので自分でやります。</p>
<pre><code class="language-bash">vim ./mackerel-agent.conf
</code></pre>
<p>4行目あたりに<code>apikey = &quot;&quot;</code>といったコメントがあるので、「#」を消してコメントを解除して</p>
<pre><code>apikey = &quot;自分のapikey&quot;
</code></pre>
<p>のようにします。<br>
apikeyは公式の手順書の<code>sudo mackerel-agent init...</code>に表示されているapikeyが自身のapikeyなのでそれを入力すればokです。</p>
<p>記入したら保存します。</p>
<p>ここまでできたらエージェントを起動してみます。</p>
<pre><code class="language-bash">sudo ./mackerel-agent --conf=./mackerel-agent.conf
</code></pre>
<p>特にエラー等の出力が出ないことが確認できたら一度終了して、nohupを使ってバックグラウンドで起動し続けてもらうように起動します。</p>
<pre><code>sudo nohup ./mackerel-agent --conf=./mackerel-agent.conf &gt; /dev/null 2&gt;&amp;1 &amp;
</code></pre>
<p>※ <code>/dev/null</code>はログ出力がファイルに出力されて保存されないようにするための記述です。こうすることでログファイルが作られて永遠に肥大化してしまうといった事態を避けます。</p>
<p>起動しているかプロセスを確認するには以下を実行します。</p>
<pre><code class="language-bash">ps aux | grep mackerel
</code></pre>
<p>終了したいときは一番親の「sudo nohup」から始まっているプロセスのIDをkillすればokです。<br>
例えば</p>
<pre><code class="language-bash">root     12345  (略) sudo nohup ./mackerel-agent --conf=./mackerel-agent.conf
</code></pre>
<p>なら</p>
<pre><code class="language-bash">sudo kill 12345 
</code></pre>
<p>でokです。</p>
<p>あとはサーバー起動時に自動で立ち上げるようにしておくべきですがここでは割愛します。</p>
<p>少し話がそれましたが、起動できたらMackerelの管理画面で確認してみます。<br>
左ペインで「ホスト」を選択してみます。<br>
<img src="https://storage.googleapis.com/newt-files/92f09eb2-1491-4779-90f5-3040903b5342/2024-09-23_3.webp" alt="2024-09-23_3.webp"><br>
ちゃんと表示が増えているので問題なさそうです。</p>
<p>ホストをクリックするとサーバーの情報や取得できているメトリクスの値が表示されます。<br>
<img src="https://storage.googleapis.com/newt-files/8410bd15-5317-46ca-8a43-3c920a0a8d71/2024-09-23_4.webp" alt="2024-09-23_4.webp"></p>
<p>「システムメトリック」という欄にて以下のデータが取得できていました。<br>
※ 各メトリックの説明は公式Docの「<a href="https://mackerel.io/ja/docs/entry/spec/metrics">メトリック仕様</a>」を参照してください。</p>
<ol>
<li>loadavg</li>
<li>cpu</li>
<li>memory</li>
<li>disk</li>
<li>interface</li>
<li>filesystem</li>
</ol>
<p>以上です。</p>
<p>古いOSでも意外とサクッとメトリクスが取れることが確認できて満足でした～</p>


#Mackerel

Mackerel上にあるメトリックデータをcsvでダウンロード保存してみたときの備忘録

mackerel-plugin-postgresをPostgreSQL9.4 on CentOS6.9という環境で動かしてみた

CentOS 6にMackerelエージェントを入れてみた