close
プログラミング クラウド Microsoft Azure 情報処理資格 基本情報技術者 IT基礎 応用情報技術者 開発・設計方法 オブジェクト指向 内定者・新人研修 プログラミング基礎 アルゴリズム コンピュータ数学 内定者研修 新人研修 ヒューマンスキル プロジェクトマネジメント プレゼンテーション リーダーシップ 組織マネジメント ネゴシエーション ロジカルシンキング Java UI/UX HTTP JavaScript基礎 情報処理資格 ネットワークスペシャリスト ネットワーク インターネットルーティング応用 IPアドレス データベース応用 SQL応用 パフォーマンスチューニング データベース設計 ER図 概念設計(データベース) 論理設計(データベース) IT資格 Linux基礎 OS・システム基盤 セキュリティ TCP/IP OSI参照モデル データベースセキュリティ ファイアウォール 標的型攻撃 SQLインジェクション ネットワーク基本設計 CCNA Cisco プロジェクトマネジメント資格 情報処理資格プロジェクトマネージャ 情報処理安全確保支援士 人事給与 財務会計 管理会計 簿記 生産管理 在庫管理 ERP バランススコアカード 情報処理資格 ITアーキテクト 情報処理資格 ITストラテジスト 情報処理資格 ITサービスマネジメント 情報処理資格 システム監査 PMBOK® PMP® プロジェクト計画 WBS リスクコントロール ITIL ITサービスマネジメント 要求定義 要件定義 見積手法 ビジネスインダストリ 業種・業界知識 業務知識 提案力 ソフトウェアテスト基礎 情報処理資格 データベーススペシャリスト ハードウェア基礎 外部設計(基本設計) 内部設計(詳細設計) データベース基礎 SQL基礎 RDBMS 物理設計(データベース) C++ Ruby MVC基礎 Webアプリケーション開発 JavaEE Javaプログラミング応用 フレームワーク MVC応用 Spring フレームワーク ソフトウェアテスト応用 テスト手法 Junit スマートフォンアプリ開発 Androidアプリ開発 C# 基礎 C# 応用 負荷テスト Javaプログラミング基礎 ソフトウェアテスト コーチング メンタリング HTML/CSS サーバー構築 仮想化技術 KVS (NoSQL) アジャイル スクラム ファシリテーション C言語 ITパスポート JSTQB データサイエンス 単体テスト ユニットテスト キャリアアップ インターネットルーティング基礎 パケット解析 LAN構築 データベース データサイエンティスト トレンド 障害対応 インフラ監視 HTTP/2.0 コンピュータサイエンス VPN ネットワーク物理設計 データベース障害 JavaScript モダンJS (Modern JavaScript) 応用 MVS応用 バックアップ/リカバリ 分散処理 Hadoop Hive Python AI 深層学習(DeepLearning) CentOS Linux応用 Zabbix シェルスクリプト Infrastructure as Code Windowsサーバー基礎 内部設計 Docker DevOps Windowsサーバー応用 NginX chef Ainsible ロジカルライティング R テスト自動化 Jenkins Git 継続的インテグレーション (CI) バージョン管理 Vagrant 要求分析 Redmine 継続的インテグレーション(CI) 継続的デリバリー (CD) ヒューマンリソース管理 Web API マイクロサービス コミュニケーション 業務知識/業界知識 マーケティング 語学 AWS 法務 IoT ビジネスマナー OJT 業務効率化 表計算ソフト オフィスソフト コンプライアンス フロントエンド Subversion PHP 関数型プログラミング Laravel モダンJS (Modern JavaScript) 基礎 Android Studio 機械学習 iOSアプリ開発 ぷプログラミング React 次世代高度IT人材 共創 IPA Raspberry Pi Xamarin スクリプト言語 GoF CUI VBA 資格 ビジネス文書 jQuery 研修参加レポート マネジメント OSPF テーブル設計 アンガーマネジメント クリティカル・シンキング PDU 経営改善 Pマーク 問題解決技法 サイバー攻撃 エンジニア 参加してみた エンゲージメントマネジメント 労働関連法 新人育成 ネットワーク構築 情報セキュリティマネジメント デザインパターン リファクタリング マルチスレッドプログラミング ベンダーコントロール Modern JavaScript 冗長化 VLAN インフラエンジニア チームビルディング テストケース リーダブルコード セキュリティ入門 ネットワーク入門 Node.js npm gulp ビルドツール Python入門 冗長化入門 インフラ実機演習 プロジェクト管理 Active Directory ネットワーク管理 コンテナ 正規化理論 Haskell 品質管理 OpenStack シンギュラリティ DBA中級 プロトコル UX 基本設計 FinTech トラブルシューティング 並列処理 見える化 PMO ロジカルコミュニケーション Deep Learning 実機演習 インデックス設計 超上流工程 BGP Excel C-CENT Selenide プライベートクラウド アセンブラ コンピュータ基礎 工数見積 CCENT 法律知識 失敗から学ぶ プロジェクト失敗事例 PDCA プログラミング入門 非エンジニア向け 4Biz DNS セルフマネジメント 片付け術 サーバーダウン サーバー タイムマネジメント GO言語 プロダクトマネジメント プロダクトマネージャ LVS ロードバランサー 負荷分散 仮想通過 犯罪心理学 情報漏えい SEカレッジ導入事例 IT研修を聞いてみた 会社規模 (100~300名) IT研修制度を聞いてみた CentOS7 開発環境構築 数学力 数字力 財務 IT人材 UI Machine Learning Go言語 (golang) データマイニング 統計学 新人教育 やり直し数学 RDB つながる工場 モチベーション

Linuxサーバーにおけるトラブル調査と解決 研修コースに参加してみた

今回参加した研修コースは Linuxサーバーにおけるトラブル調査と解決 です。

参加してみると実際に様々なシーンで擬似的にトラブルを起こし、その解決を実際やってみる、という演習中心のコースでした。

またそのトラブルシーンもサーバーでよく起こりがちなもののうち、緊急性の低いトラブルから重要度の高いトラブルにレベルアップしていったので、ゲーム感覚で演習することができました。 本番では起こってほしくないことですが、とても良い疑似体験ができました。

発生してしまったトラブルへの対策で一番効くのは訓練なので、サーバーに携わるエンジニアにはぜひ一度体験して頂きたいコースです。

では、どんな内容だったのか、レポートします!!

 

想定している受講者

  • ネットワーク技術(主要なハードウェアとプロトコル)に関する基礎知識があること

 

受講目標

  • Linuxサーバで発生する問題の原因調査をする基本的な手法を習得する

 

講師紹介

サーバー、ネットワークのカテゴリではお馴染みの 岩木 慎一さん が登壇されました。お天気の話題からアイスブレイクするのも、いつものお馴染みです。

今日は実機で色々トラブルシュートしましょう、ということで早速、コースがスタートです。

 

トラブルシューティングの基本

 

  • 解決策の中で再発防止策を考える
  • 正常性の確認が出来なければ、また原因の切り分けをやる
  • 切り分けしながら調査対象を絞り込んでいく
  • 記録取ることは重要
    • あとあと効いてくる
    • ときどき手書きで乱雑になっていたりするので、読めるようにしましょう

 

原因の調査方法

 

  • 階層ごとに調査していく
    • ハードウェア
      • 特に電源など物理的なもの: ケーブルが抜けていたり、間違って刺さっていたり
    • OS・ネットワーク設定
      • DNSなど
  • なぜ下から?
    • 下のレイヤーで起こった問題は、当然ながら上のレイヤーで解決できない
    • 下のほうが深刻度が高い。とくにハードウェア周りは忘れがち

 

アプリケーションエラーも嫌ですが、インフラがトラブルになると、ゴソッとシステムが死ぬので、恐怖でしかありません。監視とアラート通知で予め回避したいものです。

ちなみに、2017年2月にGitLab (GitHubのようなリポジトリ管理のOSS/有償版もある) で本番データベースを失うという、見もけもよだつトラブルがありましたが、なんとYoutubeでトラブルシューティングの模様を中継するということがありました。

 

 

強すぎる。。とはいえ、Twitter上では応援メッセージが飛び交うなど、開発者に愛されているサービスとはこういうことなんだなぁ、と感じます。

 

原因の調査で使うディレクトリやログファイル

  • /etc で設定ファイルをよく見に行きます
  • CentOS6等の場合 /etc/udev の配下のディレクトリに自動認識した eth0 や eth1 などのデバイスを定義したファイルがあるので確認できます( /etc/udev/rules.d/ の中)
  • /var/log でログファイル、いわゆるシスログを確認します
  • CentOSのApacheの場合、 /var/www の下にホームページのファイルがあります

 

原因の調査 ~ログファイル

ログを見ることは必須ですね。

 

調査するときのコマンド ~システム

続いて、よく使うコマンドを紹介いただきました。

 

なお、ネットワーク系ではCentOS 7で使えなくなっているコマンドがあります。

また、そのほかよく使うコマンドを紹介いただき、実際紹介されたコマンドを使って、いよいよトラブルシューティング演習です。

 

トラブルシューティング演習

みっちり、シーン別に2時間トラブルシューティングです。
なお、最初に講師からアドバイスがあるのではなく、まずは自分で調べながら解決します。

ここではそのシーンをいくつかピックアップします。

 

root パスワードが不明

 

  • そもそもパスワードはユーザーを識別するため
  • linux ではシングルユーザーモードを使う
  • 起動中に e を押して起動メニューを編集し、シングルユーザーモードで起動する

 

CPU高負荷

  • top などのコマンドで負荷の掛かっている処理を確認
  • kill で処理をストップ

 

急ぎ、トラブルを解消した後、そのあとでなぜ高負荷になったのか原因を追求すること。

 

サーバーに接続できない

  • ps aux | grep httpd で httpd があるか確認
  • 無いので、service httpd status でステータスを確認 -> 動いてなかった!
  • service httpd start で起動 -> まだ表示されない
  • 通信制限が掛かっているかどうか確認 ldd /usr/bin/sbin/sshd | grep libwrap
  • 特に掛かってない

(以降は講座参加されてからのお楽しみ)

 

よくあるパターンですが、このシーンでは多段階でトラブルを仕込んでいました。テスト -> 移行時に起こりがちというヒントでした。

 

その他アプリケーション (MySQL) でトラブルが発生したシーンを演習して、このコースは終了となりました。

 

まとめ

このコースでは実際にサーバートラブルを疑似体験し、極力、自力で解決してみるという演習中心のコースでした。

なかなかトラブルは起こしたくないものの、実際、起こったときに対処できるよう訓練が必要です。演習してみると、やはり色々なことを調査しなくてはならず、総合力が問われるものでした。

訓練という意味では、Netflixという動画配信サービスでは Chaos testing という、実際にトラフィックや何かを突然カオス状態にするという訓練を行っていて、実際、AWSのトラブルを回避したという事例があります。

 

 

このコースの延長線で、講座形式ではなく、時間制限を設けて、ノーヒントでトラブルシューティングするコンテストがあっても面白いかも知れませんね。

いずれにせよ、トラブルシューティングの訓練として、またインフラエンジニアの総合力テストとしても、とてもオススメのトレーニングです!

 

 


SEカレッジが気になった方はこちらからお気軽にお問合わせください!!

お問い合わせフォーム

SEカレッジの詳細をご覧になりたい方はこちら!!

SEカレッジ

特集・キャンペーン

よくある質問集

タグ一覧

研修参加レポート参加してみたJava基本情報技術者セキュリティプロジェクトマネジメントLinux基礎プログラミングプログラミング基礎SQL基礎PythonコミュニケーションAIオブジェクト指向ソフトウェアテストJavaScriptマネジメントデータベースSQL応用ネットワーク入門ファイアウォールRDBMS仮想化技術ネットワークトレンドコーチングテスト自動化テーブル設計DockerIoTCCNA情報処理資格アルゴリズム資格Linux応用Javaプログラミング応用マルチスレッドプログラミングビジネス文書インフラ実機演習ビジネスマナーjQueryデータベース設計Raspberry Piエンジニア障害対応ヒューマンスキルパケット解析ER図C# 基礎プレゼンテーションOSPFデータサイエンスPMBOK®コンテナ単体テストJavaプログラミング基礎新人研修シェルスクリプトアジャイルTCP/IPクラウドUI/UX経営改善ロジカルライティングデータベース基礎LAN構築デザインパターン簿記JavaEEHTML/CSSPマークデータベースセキュリティVLANJavaScript基礎問題解決技法インフラエンジニア要求定義SQLインジェクション物理設計(データベース)ロジカルシンキングアンガーマネジメントネットワーク構築テストケース見える化ソフトウェアテスト基礎業務効率化品質管理スクラムCiscoActive Directory冗長化ITILITパスポートデータベース応用CentOSセキュリティ入門マーケティング次世代高度IT人材ロジカルコミュニケーション工数見積リファクタリングDeep Learningデータベース障害データサイエンティスト内定者研修DBA中級パフォーマンスチューニング新人育成Zabbix非エンジニア向け関数型プログラミング法律知識ベンダーコントロール要件定義WBSインターネットルーティング応用応用情報技術者プロジェクト管理Modern JavaScriptUX情報セキュリティマネジメントIPアドレスBGPWebアプリケーション開発機械学習PMOOSI参照モデルプロジェクト失敗事例表計算ソフトJunitIT人材GoFエンゲージメントマネジメントセルフマネジメント仮想通過VPNUIITサービスマネジメント片付け術AWS犯罪心理学サーバー構築CCENT情報漏えい正規化理論IPAインデックス設計IT基礎LVSプロトコルインターネットルーティング基礎SEカレッジ導入事例Haskell超上流工程4BizMVC基礎ロードバランサーモダンJS (Modern JavaScript) 基礎データマイニングクリティカル・シンキング失敗から学ぶchefgulpテスト手法財務アセンブラInfrastructure as Codeリスクコントロールタイムマネジメント会社規模 (100~300名)スクリプト言語DNSリーダブルコード業務知識/業界知識負荷分散統計学インフラ監視Microsoft Azureビルドツール基本設計IT資格コンピュータ基礎Windowsサーバー基礎GO言語CentOS7OpenStackExcelネットワーク管理HTTPやり直し数学PDCAプロダクトマネジメントPython入門フロントエンドFinTech内部設計IT研修制度を聞いてみたシンギュラリティC-CENT労働関連法共創RDBプログラミング入門継続的インテグレーション (CI)プロダクトマネージャ冗長化入門PHPC# 応用ネゴシエーションMachine LearningトラブルシューティングOS・システム基盤フレームワーク開発環境構築Selenideプロジェクト計画サーバーダウンNode.jsつながる工場サイバー攻撃チームビルディング継続的インテグレーション(CI)Go言語 (golang)並列処理Windowsサーバー応用ソフトウェアテスト応用数字力プライベートクラウドサーバーnpm

過去の記事