close
プログラミング クラウド Microsoft Azure 情報処理資格 基本情報技術者 IT基礎 応用情報技術者 開発・設計方法 オブジェクト指向 内定者・新人研修 プログラミング基礎 アルゴリズム コンピュータ数学 内定者研修 新人研修 ヒューマンスキル プロジェクトマネジメント プレゼンテーション リーダーシップ 組織マネジメント ネゴシエーション ロジカルシンキング Java UI/UX HTTP JavaScript基礎 情報処理資格 ネットワークスペシャリスト ネットワーク インターネットルーティング応用 IPアドレス データベース応用 SQL応用 パフォーマンスチューニング データベース設計 ER図 概念設計(データベース) 論理設計(データベース) IT資格 Linux基礎 OS・システム基盤 セキュリティ TCP/IP OSI参照モデル データベースセキュリティ ファイアウォール 標的型攻撃 SQLインジェクション ネットワーク基本設計 CCNA Cisco プロジェクトマネジメント資格 情報処理資格プロジェクトマネージャ 情報処理安全確保支援士 人事給与 財務会計 管理会計 簿記 生産管理 在庫管理 ERP バランススコアカード 情報処理資格 ITアーキテクト 情報処理資格 ITストラテジスト 情報処理資格 ITサービスマネジメント 情報処理資格 システム監査 PMBOK® PMP® プロジェクト計画 WBS リスクコントロール ITIL ITサービスマネジメント 要求定義 要件定義 見積手法 ビジネスインダストリ 業種・業界知識 業務知識 提案力 ソフトウェアテスト基礎 情報処理資格 データベーススペシャリスト ハードウェア基礎 外部設計(基本設計) 内部設計(詳細設計) データベース基礎 SQL基礎 RDBMS 物理設計(データベース) C++ Ruby MVC基礎 Webアプリケーション開発 JavaEE Javaプログラミング応用 フレームワーク MVC応用 Spring フレームワーク ソフトウェアテスト応用 テスト手法 Junit スマートフォンアプリ開発 Androidアプリ開発 C# 基礎 C# 応用 負荷テスト Javaプログラミング基礎 ソフトウェアテスト コーチング メンタリング HTML/CSS サーバー構築 仮想化技術 KVS (NoSQL) アジャイル スクラム ファシリテーション C言語 ITパスポート JSTQB データサイエンス 単体テスト ユニットテスト キャリアアップ インターネットルーティング基礎 パケット解析 LAN構築 データベース データサイエンティスト トレンド 障害対応 インフラ監視 HTTP/2.0 コンピュータサイエンス VPN ネットワーク物理設計 データベース障害 JavaScript モダンJS (Modern JavaScript) 応用 MVS応用 バックアップ/リカバリ 分散処理 Hadoop Hive Python AI 深層学習(DeepLearning) CentOS Linux応用 Zabbix シェルスクリプト Infrastructure as Code Windowsサーバー基礎 内部設計 Docker DevOps Windowsサーバー応用 NginX chef Ainsible ロジカルライティング R テスト自動化 Jenkins Git 継続的インテグレーション (CI) バージョン管理 Vagrant 要求分析 Redmine 継続的インテグレーション(CI) 継続的デリバリー (CD) ヒューマンリソース管理 Web API マイクロサービス コミュニケーション 業務知識/業界知識 マーケティング 語学 AWS 法務 IoT ビジネスマナー OJT 業務効率化 表計算ソフト オフィスソフト コンプライアンス フロントエンド Subversion PHP 関数型プログラミング Laravel モダンJS (Modern JavaScript) 基礎 Android Studio 機械学習 iOSアプリ開発 ぷプログラミング React 次世代高度IT人材 共創 IPA Raspberry Pi Xamarin スクリプト言語 GoF CUI VBA 資格 ビジネス文書 jQuery 研修参加レポート マネジメント OSPF テーブル設計 アンガーマネジメント クリティカル・シンキング PDU 経営改善 Pマーク 問題解決技法 サイバー攻撃 エンジニア 参加してみた エンゲージメントマネジメント 労働関連法 新人育成 ネットワーク構築 情報セキュリティマネジメント デザインパターン リファクタリング マルチスレッドプログラミング ベンダーコントロール Modern JavaScript 冗長化 VLAN インフラエンジニア チームビルディング テストケース リーダブルコード セキュリティ入門 ネットワーク入門 Node.js npm gulp ビルドツール Python入門 冗長化入門 インフラ実機演習 プロジェクト管理 Active Directory ネットワーク管理 コンテナ 正規化理論 Haskell 品質管理 OpenStack シンギュラリティ DBA中級 プロトコル UX 基本設計 FinTech トラブルシューティング 並列処理 見える化 PMO ロジカルコミュニケーション Deep Learning 実機演習 インデックス設計 超上流工程 BGP Excel C-CENT Selenide プライベートクラウド アセンブラ コンピュータ基礎 工数見積 CCENT 法律知識 失敗から学ぶ プロジェクト失敗事例 PDCA プログラミング入門 非エンジニア向け 4Biz DNS セルフマネジメント 片付け術 サーバーダウン サーバー タイムマネジメント GO言語

Linuxサーバーにおけるトラブル調査と解決 研修コースに参加してみた

今回参加した研修コースは Linuxサーバーにおけるトラブル調査と解決 です。

参加してみると実際に様々なシーンで擬似的にトラブルを起こし、その解決を実際やってみる、という演習中心のコースでした。

またそのトラブルシーンもサーバーでよく起こりがちなもののうち、緊急性の低いトラブルから重要度の高いトラブルにレベルアップしていったので、ゲーム感覚で演習することができました。 本番では起こってほしくないことですが、とても良い疑似体験ができました。

発生してしまったトラブルへの対策で一番効くのは訓練なので、サーバーに携わるエンジニアにはぜひ一度体験して頂きたいコースです。

では、どんな内容だったのか、レポートします!!

 

想定している受講者

  • ネットワーク技術(主要なハードウェアとプロトコル)に関する基礎知識があること

 

受講目標

  • Linuxサーバで発生する問題の原因調査をする基本的な手法を習得する

 

講師紹介

サーバー、ネットワークのカテゴリではお馴染みの 岩木 慎一さん が登壇されました。お天気の話題からアイスブレイクするのも、いつものお馴染みです。

今日は実機で色々トラブルシュートしましょう、ということで早速、コースがスタートです。

 

トラブルシューティングの基本

 

  • 解決策の中で再発防止策を考える
  • 正常性の確認が出来なければ、また原因の切り分けをやる
  • 切り分けしながら調査対象を絞り込んでいく
  • 記録取ることは重要
    • あとあと効いてくる
    • ときどき手書きで乱雑になっていたりするので、読めるようにしましょう

 

原因の調査方法

 

  • 階層ごとに調査していく
    • ハードウェア
      • 特に電源など物理的なもの: ケーブルが抜けていたり、間違って刺さっていたり
    • OS・ネットワーク設定
      • DNSなど
  • なぜ下から?
    • 下のレイヤーで起こった問題は、当然ながら上のレイヤーで解決できない
    • 下のほうが深刻度が高い。とくにハードウェア周りは忘れがち

 

アプリケーションエラーも嫌ですが、インフラがトラブルになると、ゴソッとシステムが死ぬので、恐怖でしかありません。監視とアラート通知で予め回避したいものです。

ちなみに、2017年2月にGitLab (GitHubのようなリポジトリ管理のOSS/有償版もある) で本番データベースを失うという、見もけもよだつトラブルがありましたが、なんとYoutubeでトラブルシューティングの模様を中継するということがありました。

 

 

強すぎる。。とはいえ、Twitter上では応援メッセージが飛び交うなど、開発者に愛されているサービスとはこういうことなんだなぁ、と感じます。

 

原因の調査で使うディレクトリやログファイル

  • /etc で設定ファイルをよく見に行きます
  • CentOS6等の場合 /etc/udev の配下のディレクトリに自動認識した eth0 や eth1 などのデバイスを定義したファイルがあるので確認できます( /etc/udev/rules.d/ の中)
  • /var/log でログファイル、いわゆるシスログを確認します
  • CentOSのApacheの場合、 /var/www の下にホームページのファイルがあります

 

原因の調査 ~ログファイル

ログを見ることは必須ですね。

 

調査するときのコマンド ~システム

続いて、よく使うコマンドを紹介いただきました。

 

なお、ネットワーク系ではCentOS 7で使えなくなっているコマンドがあります。

また、そのほかよく使うコマンドを紹介いただき、実際紹介されたコマンドを使って、いよいよトラブルシューティング演習です。

 

トラブルシューティング演習

みっちり、シーン別に2時間トラブルシューティングです。
なお、最初に講師からアドバイスがあるのではなく、まずは自分で調べながら解決します。

ここではそのシーンをいくつかピックアップします。

 

root パスワードが不明

 

  • そもそもパスワードはユーザーを識別するため
  • linux ではシングルユーザーモードを使う
  • 起動中に e を押して起動メニューを編集し、シングルユーザーモードで起動する

 

CPU高負荷

  • top などのコマンドで負荷の掛かっている処理を確認
  • kill で処理をストップ

 

急ぎ、トラブルを解消した後、そのあとでなぜ高負荷になったのか原因を追求すること。

 

サーバーに接続できない

  • ps aux | grep httpd で httpd があるか確認
  • 無いので、service httpd status でステータスを確認 -> 動いてなかった!
  • service httpd start で起動 -> まだ表示されない
  • 通信制限が掛かっているかどうか確認 ldd /usr/bin/sbin/sshd | grep libwrap
  • 特に掛かってない

(以降は講座参加されてからのお楽しみ)

 

よくあるパターンですが、このシーンでは多段階でトラブルを仕込んでいました。テスト -> 移行時に起こりがちというヒントでした。

 

その他アプリケーション (MySQL) でトラブルが発生したシーンを演習して、このコースは終了となりました。

 

まとめ

このコースでは実際にサーバートラブルを疑似体験し、極力、自力で解決してみるという演習中心のコースでした。

なかなかトラブルは起こしたくないものの、実際、起こったときに対処できるよう訓練が必要です。演習してみると、やはり色々なことを調査しなくてはならず、総合力が問われるものでした。

訓練という意味では、Netflixという動画配信サービスでは Chaos testing という、実際にトラフィックや何かを突然カオス状態にするという訓練を行っていて、実際、AWSのトラブルを回避したという事例があります。

 

 

このコースの延長線で、講座形式ではなく、時間制限を設けて、ノーヒントでトラブルシューティングするコンテストがあっても面白いかも知れませんね。

いずれにせよ、トラブルシューティングの訓練として、またインフラエンジニアの総合力テストとしても、とてもオススメのトレーニングです!

 

 


SEカレッジが気になった方はこちらからお気軽にお問合わせください!!

お問い合わせフォーム

SEカレッジの詳細をご覧になりたい方はこちら!!

SEカレッジ

特集・キャンペーン

よくある質問集

タグ一覧

参加してみた研修参加レポートJava基本情報技術者プロジェクトマネジメントLinux基礎プログラミング基礎セキュリティプログラミングコミュニケーションSQL基礎ネットワーク入門オブジェクト指向SQL応用ソフトウェアテストマネジメントファイアウォールPythonAIコーチングテスト自動化データベースLinux応用情報処理資格インフラ実機演習Javaプログラミング応用アルゴリズムRDBMSネットワーク障害対応データベース設計新人研修CCNA資格マルチスレッドプログラミングビジネス文書Docker単体テストIoTRaspberry Pi仮想化技術エンジニアJavaScriptJavaプログラミング基礎トレンドビジネスマナーアジャイルSQLインジェクション物理設計(データベース)ロジカルシンキング経営改善パケット解析デザインパターンVLANヒューマンスキルOSPFLAN構築UI/UX問題解決技法インフラエンジニアテーブル設計C# 基礎プレゼンテーションjQueryネットワーク構築JavaScript基礎要求定義シェルスクリプトActive Directory冗長化WBS業務効率化スクラムセキュリティ入門TCP/IPロジカルライティングソフトウェアテスト基礎リファクタリングCiscoマーケティングデータベース基礎クラウドITILデータサイエンスデータベース応用新人育成簿記JavaEEデータベース障害アンガーマネジメント関数型プログラミングZabbixPMBOK®テストケースパフォーマンスチューニング内定者研修品質管理IT基礎PMOプロジェクト失敗事例要件定義GoFインターネットルーティング応用エンゲージメントマネジメント次世代高度IT人材ロジカルコミュニケーションPマーク工数見積表計算ソフトJunitIPアドレスCentOSWebアプリケーション開発コンテナVPNOSI参照モデルDBA中級AWS正規化理論IPAサーバー構築インデックス設計データベースセキュリティ法律知識ベンダーコントロールITサービスマネジメントプロトコル見える化Modern JavaScriptプロジェクト管理UXインターネットルーティング基礎情報セキュリティマネジメントスクリプト言語BGPDNSリーダブルコード機械学習chef基本設計コンピュータ基礎Infrastructure as Codeビルドツールテスト手法OpenStackExcelセルフマネジメント業務知識/業界知識MVC基礎応用情報技術者ネットワーク管理インフラ監視PDCAFinTechER図Windowsサーバー基礎リスクコントロールPython入門シンギュラリティITパスポートC-CENT労働関連法片付け術共創HTML/CSSDeep Learningプログラミング入門トラブルシューティングIT資格CCENT内部設計冗長化入門フロントエンドSelenideNode.jsHTTPサイバー攻撃非エンジニア向けチームビルディング継続的インテグレーション (CI)C# 応用並列処理データサイエンティストプライベートクラウドnpmHaskell超上流工程4Biz継続的インテグレーション(CI)モダンJS (Modern JavaScript) 基礎ネゴシエーションクリティカル・シンキングOS・システム基盤失敗から学ぶWindowsサーバー応用アセンブラプロジェクト計画gulpソフトウェアテスト応用

過去の記事