close
プログラミング クラウド Microsoft Azure 情報処理資格 基本情報技術者 IT基礎 応用情報技術者 開発・設計方法 オブジェクト指向 内定者・新人研修 プログラミング基礎 アルゴリズム コンピュータ数学 内定者研修 新人研修 ヒューマンスキル プロジェクトマネジメント プレゼンテーション リーダーシップ 組織マネジメント ネゴシエーション ロジカルシンキング Java UI/UX HTTP JavaScript基礎 情報処理資格 ネットワークスペシャリスト ネットワーク インターネットルーティング応用 IPアドレス データベース応用 SQL応用 パフォーマンスチューニング データベース設計 ER図 概念設計(データベース) 論理設計(データベース) IT資格 Linux基礎 OS・システム基盤 セキュリティ TCP/IP OSI参照モデル データベースセキュリティ ファイアウォール 標的型攻撃 SQLインジェクション ネットワーク基本設計 CCNA Cisco プロジェクトマネジメント資格 情報処理資格プロジェクトマネージャ 情報処理安全確保支援士 人事給与 財務会計 管理会計 簿記 生産管理 在庫管理 ERP バランススコアカード 情報処理資格 ITアーキテクト 情報処理資格 ITストラテジスト 情報処理資格 ITサービスマネジメント 情報処理資格 システム監査 PMBOK® PMP® プロジェクト計画 WBS リスクコントロール ITIL ITサービスマネジメント 要求定義 要件定義 見積手法 ビジネスインダストリ 業種・業界知識 業務知識 提案力 ソフトウェアテスト基礎 情報処理資格 データベーススペシャリスト ハードウェア基礎 外部設計(基本設計) 内部設計(詳細設計) データベース基礎 SQL基礎 RDBMS 物理設計(データベース) C++ Ruby MVC基礎 Webアプリケーション開発 JavaEE Javaプログラミング応用 フレームワーク MVC応用 Spring フレームワーク ソフトウェアテスト応用 テスト手法 Junit スマートフォンアプリ開発 Androidアプリ開発 C# 基礎 C# 応用 負荷テスト Javaプログラミング基礎 ソフトウェアテスト コーチング メンタリング HTML/CSS サーバー構築 仮想化技術 KVS (NoSQL) アジャイル スクラム ファシリテーション C言語 ITパスポート JSTQB データサイエンス 単体テスト ユニットテスト キャリアアップ インターネットルーティング基礎 パケット解析 LAN構築 データベース データサイエンティスト トレンド 障害対応 インフラ監視 HTTP/2.0 コンピュータサイエンス VPN ネットワーク物理設計 データベース障害 JavaScript モダンJS (Modern JavaScript) 応用 MVS応用 バックアップ/リカバリ 分散処理 Hadoop Hive Python AI 深層学習(DeepLearning) CentOS Linux応用 Zabbix シェルスクリプト Infrastructure as Code Windowsサーバー基礎 内部設計 Docker DevOps Windowsサーバー応用 NginX chef Ainsible ロジカルライティング R テスト自動化 Jenkins Git 継続的インテグレーション (CI) バージョン管理 Vagrant 要求分析 Redmine 継続的インテグレーション(CI) 継続的デリバリー (CD) ヒューマンリソース管理 Web API マイクロサービス コミュニケーション 業務知識/業界知識 マーケティング 語学 AWS 法務 IoT ビジネスマナー OJT 業務効率化 表計算ソフト オフィスソフト コンプライアンス フロントエンド Subversion PHP 関数型プログラミング Laravel モダンJS (Modern JavaScript) 基礎 Android Studio 機械学習 iOSアプリ開発 ぷプログラミング React 次世代高度IT人材 共創 IPA Raspberry Pi Xamarin スクリプト言語 GoF CUI VBA 資格 ビジネス文書 jQuery 研修参加レポート マネジメント OSPF テーブル設計 アンガーマネジメント クリティカル・シンキング PDU 経営改善 Pマーク 問題解決技法 サイバー攻撃 エンジニア 参加してみた エンゲージメントマネジメント 労働関連法 新人育成 ネットワーク構築 情報セキュリティマネジメント デザインパターン リファクタリング マルチスレッドプログラミング ベンダーコントロール Modern JavaScript 冗長化 VLAN インフラエンジニア チームビルディング テストケース リーダブルコード セキュリティ入門 ネットワーク入門 Node.js npm gulp ビルドツール Python入門 冗長化入門 インフラ実機演習 プロジェクト管理 Active Directory ネットワーク管理 コンテナ 正規化理論 Haskell 品質管理 OpenStack シンギュラリティ DBA中級 プロトコル UX 基本設計 FinTech トラブルシューティング 並列処理 見える化 PMO ロジカルコミュニケーション Deep Learning インデックス設計 超上流工程 BGP Excel C-CENT Selenide プライベートクラウド アセンブラ コンピュータ基礎 工数見積 CCENT 法律知識 失敗から学ぶ プロジェクト失敗事例 PDCA プログラミング入門 非エンジニア向け 4Biz DNS セルフマネジメント 片付け術 サーバーダウン サーバー タイムマネジメント GO言語 プロダクトマネジメント プロダクトマネージャ LVS ロードバランサー 負荷分散 仮想通過 犯罪心理学 情報漏えい SEカレッジ導入事例 IT研修を聞いてみた 会社規模 (100~300名) IT研修制度を聞いてみた CentOS7 開発環境構築 数字力 財務 IT人材 UI Machine Learning Go言語 (golang) データマイニング 統計学 新人教育 やり直し数学 RDB つながる工場 モチベーション WebSocket WebWorker HTML5 CSS3 Bootstrap 微分・積分 システム設計 決断力 LAMP環境 トレ担 教育研修担当者向け ルーティング Linux入門 図解術 目標設定 試験対策 インタビュー技法 Vue.js ブロックチェーン 会社規模 (~50名) DHCP 仕掛け学 BSC 財務諸表 自己分析 RIP スタティックルート バッファオーバーフロー DoS攻撃 システム開発 会社規模 (~99名) Wireshark パケットキャプチャ 管理職研修 部下育成 ワークあり 文章力 情報システム部門向け プロジェクトリーダー プロジェクトマネージャ 塗り絵 リスク管理 法改定 会社の仕組み Chainer AI人材 会話術 会社規模 (~25名) テスト技法 組織規模 51名~99名 組織規模:~199名 [組織規模]199名まで 組織規模 199名まで 組織規模199名まで 会社規模199名まで 会社規模49名まで 会社規模99名まで アプリ開発 サーバサイドJava 営業知識 Cloud 栄養学 基本コマンド ウォーターフォールモデル

Linuxサーバーにおけるトラブル調査と解決 研修コースに参加してみた

今回参加した研修コースは Linuxサーバーにおけるトラブル調査と解決 です。

参加してみると実際に様々なシーンで擬似的にトラブルを起こし、その解決を実際やってみる、という演習中心のコースでした。

またそのトラブルシーンもサーバーでよく起こりがちなもののうち、緊急性の低いトラブルから重要度の高いトラブルにレベルアップしていったので、ゲーム感覚で演習することができました。 本番では起こってほしくないことですが、とても良い疑似体験ができました。

発生してしまったトラブルへの対策で一番効くのは訓練なので、サーバーに携わるエンジニアにはぜひ一度体験して頂きたいコースです。

では、どんな内容だったのか、レポートします!!

 

想定している受講者

  • ネットワーク技術(主要なハードウェアとプロトコル)に関する基礎知識があること

 

受講目標

  • Linuxサーバで発生する問題の原因調査をする基本的な手法を習得する

 

講師紹介

サーバー、ネットワークのカテゴリではお馴染みの 岩木 慎一さん が登壇されました。お天気の話題からアイスブレイクするのも、いつものお馴染みです。

今日は実機で色々トラブルシュートしましょう、ということで早速、コースがスタートです。

 

トラブルシューティングの基本

 

  • 解決策の中で再発防止策を考える
  • 正常性の確認が出来なければ、また原因の切り分けをやる
  • 切り分けしながら調査対象を絞り込んでいく
  • 記録取ることは重要
    • あとあと効いてくる
    • ときどき手書きで乱雑になっていたりするので、読めるようにしましょう

 

原因の調査方法

 

  • 階層ごとに調査していく
    • ハードウェア
      • 特に電源など物理的なもの: ケーブルが抜けていたり、間違って刺さっていたり
    • OS・ネットワーク設定
      • DNSなど
  • なぜ下から?
    • 下のレイヤーで起こった問題は、当然ながら上のレイヤーで解決できない
    • 下のほうが深刻度が高い。とくにハードウェア周りは忘れがち

 

アプリケーションエラーも嫌ですが、インフラがトラブルになると、ゴソッとシステムが死ぬので、恐怖でしかありません。監視とアラート通知で予め回避したいものです。

ちなみに、2017年2月にGitLab (GitHubのようなリポジトリ管理のOSS/有償版もある) で本番データベースを失うという、見もけもよだつトラブルがありましたが、なんとYoutubeでトラブルシューティングの模様を中継するということがありました。

 

 

強すぎる。。とはいえ、Twitter上では応援メッセージが飛び交うなど、開発者に愛されているサービスとはこういうことなんだなぁ、と感じます。

 

原因の調査で使うディレクトリやログファイル

  • /etc で設定ファイルをよく見に行きます
  • CentOS6等の場合 /etc/udev の配下のディレクトリに自動認識した eth0 や eth1 などのデバイスを定義したファイルがあるので確認できます( /etc/udev/rules.d/ の中)
  • /var/log でログファイル、いわゆるシスログを確認します
  • CentOSのApacheの場合、 /var/www の下にホームページのファイルがあります

 

原因の調査 ~ログファイル

ログを見ることは必須ですね。

 

調査するときのコマンド ~システム

続いて、よく使うコマンドを紹介いただきました。

 

なお、ネットワーク系ではCentOS 7で使えなくなっているコマンドがあります。

また、そのほかよく使うコマンドを紹介いただき、実際紹介されたコマンドを使って、いよいよトラブルシューティング演習です。

 

トラブルシューティング演習

みっちり、シーン別に2時間トラブルシューティングです。
なお、最初に講師からアドバイスがあるのではなく、まずは自分で調べながら解決します。

ここではそのシーンをいくつかピックアップします。

 

root パスワードが不明

 

  • そもそもパスワードはユーザーを識別するため
  • linux ではシングルユーザーモードを使う
  • 起動中に e を押して起動メニューを編集し、シングルユーザーモードで起動する

 

CPU高負荷

  • top などのコマンドで負荷の掛かっている処理を確認
  • kill で処理をストップ

 

急ぎ、トラブルを解消した後、そのあとでなぜ高負荷になったのか原因を追求すること。

 

サーバーに接続できない

  • ps aux | grep httpd で httpd があるか確認
  • 無いので、service httpd status でステータスを確認 -> 動いてなかった!
  • service httpd start で起動 -> まだ表示されない
  • 通信制限が掛かっているかどうか確認 ldd /usr/bin/sbin/sshd | grep libwrap
  • 特に掛かってない

(以降は講座参加されてからのお楽しみ)

 

よくあるパターンですが、このシーンでは多段階でトラブルを仕込んでいました。テスト -> 移行時に起こりがちというヒントでした。

 

その他アプリケーション (MySQL) でトラブルが発生したシーンを演習して、このコースは終了となりました。

 

まとめ

このコースでは実際にサーバートラブルを疑似体験し、極力、自力で解決してみるという演習中心のコースでした。

なかなかトラブルは起こしたくないものの、実際、起こったときに対処できるよう訓練が必要です。演習してみると、やはり色々なことを調査しなくてはならず、総合力が問われるものでした。

訓練という意味では、Netflixという動画配信サービスでは Chaos testing という、実際にトラフィックや何かを突然カオス状態にするという訓練を行っていて、実際、AWSのトラブルを回避したという事例があります。

 

 

このコースの延長線で、講座形式ではなく、時間制限を設けて、ノーヒントでトラブルシューティングするコンテストがあっても面白いかも知れませんね。

いずれにせよ、トラブルシューティングの訓練として、またインフラエンジニアの総合力テストとしても、とてもオススメのトレーニングです!

 

 


SEカレッジが気になった方はこちらからお気軽にお問合わせください!!

お問い合わせフォーム

SEカレッジの詳細をご覧になりたい方はこちら!!

SEカレッジ

特集・キャンペーン

よくある質問集

タグ一覧

参加してみた研修参加レポートJavaセキュリティプロジェクトマネジメント基本情報技術者Linux基礎Pythonプログラミングオブジェクト指向コミュニケーションプログラミング基礎AISQL基礎ネットワークマネジメントヒューマンスキルJavaScriptテーブル設計ソフトウェアテストデータベースファイアウォールビジネスマナー資格ビジネス文書C# 基礎SQL応用エンジニア仮想化技術IoTPMBOK®jQueryパケット解析アルゴリズムネットワーク入門RDBMSLinux応用トレンドDockerデータベース設計障害対応情報処理資格教育研修担当者向けコーチングデータベース基礎プレゼンテーションコンテナ問題解決技法データサイエンステスト自動化ロジカルシンキングデザインパターンシェルスクリプトER図PマークCCNALAN構築要求定義マルチスレッドプログラミングIT研修制度を聞いてみたJavaプログラミング応用Raspberry Piインフラ実機演習新人研修Javaプログラミング基礎SEカレッジ導入事例アジャイルOSPFSQLインジェクションVLAN財務リファクタリングHTML/CSSアンガーマネジメント工数見積ロジカルライティング新人育成JavaScript基礎単体テスト簿記ITILActive Directory経営改善エンゲージメントマネジメントロジカルコミュニケーションUI/UXTCP/IPインフラエンジニアJavaEEDeep LearningIT基礎プログラミング入門サイバー攻撃CentOSWBSベンダーコントロールC# 応用データサイエンティストデータベースセキュリティネットワーク構築応用情報技術者非エンジニア向けクラウド物理設計(データベース)LVSプロジェクト管理機械学習パフォーマンスチューニングModern JavaScript品質管理GoFZabbix次世代高度IT人材冗長化ソフトウェアテスト基礎試験対策セキュリティ入門プロジェクトマネージャWebアプリケーション開発スクラムPython入門関数型プログラミングITパスポート統計学データベース応用Cisco業務効率化会社の仕組みDBA中級要件定義マーケティング正規化理論内定者研修サーバー構築クリティカル・シンキングVPNプロトコルテストケースAWSインデックス設計図解術見える化データベース障害法律知識UX情報セキュリティマネジメントOS・システム基盤MVC基礎ロードバランサーPMOPHPインターネットルーティング応用CSS3テスト手法CentOS7BGPITサービスマネジメントプロジェクト失敗事例IPアドレスインタビュー技法セルフマネジメントJunit塗り絵会社規模49名までExcel仮想通過IPAルーティングPDCA会社規模199名までIT人材トラブルシューティングHTTP/2.0Vue.js片付け術HTTPOSI参照モデルWindowsサーバー基礎犯罪心理学リスク管理Linux入門プロダクトマネージャ会社規模99名までUICCENT表計算ソフトフレームワーク情報漏えいMachine Learning決断力自己分析法改定HTML5インターネットルーティング基礎Wireshark営業知識Go言語 (golang)LAMP環境失敗から学ぶ継続的インテグレーション(CI)RIPタイムマネジメントビルドツール会話術数字力基本設計アセンブラWindowsサーバー応用DNSOpenStackつながる工場パケットキャプチャ負荷分散ネットワーク管理共創CloudデータマイニングPMP®スタティックルートGO言語テスト技法FinTechインフラ監視Bootstrapコンピュータ基礎chefOJTシンギュラリティモチベーション労働関連法Infrastructure as Code業務知識/業界知識管理職研修概念設計(データベース)栄養学プロジェクト計画バッファオーバーフロープロダクトマネジメント冗長化入門Laravel微分・積分コンピュータ数学Node.jsWebSocketC-CENTチームビルディングリーダーシップアプリ開発IT資格基本コマンド新人教育DoS攻撃モダンJS (Modern JavaScript) 基礎並列処理財務会計システム設計財務諸表サーバーダウンnpmChainer開発環境構築WebWorkerSelenide内部設計見積手法ネゴシエーション情報システム部門向けHaskellスクリプト言語ウォーターフォールモデルやり直し数学リスクコントロールシステム開発サーバサイドJavaPDU継続的インテグレーション (CI)サーバーgulpフロントエンドAI人材プライベートクラウドビジネスインダストリ目標設定4Bizリーダブルコードソフトウェアテスト応用プロジェクトリーダーRDB超上流工程Microsoft Azure

過去の記事