記載されているパイプラインは、ギガバイトより大きい電子顕微鏡データセットのセグメンテーション用に設計され、細胞全体の形態を抽出します。セルを3Dで再構築すると、個々のニーズに合わせて設計されたカスタマイズされたソフトウェアを使用して、3Dで直接定性的および定量的な分析を実行し、また、仮想現実を使用してビューの閉塞を克服することができます。
電子顕微鏡(EM)を用いた生体組織のシリアル断面化とその後の高解像度イメージングにより、高解像度画像スタックのセグメンテーションと再構成を可能にし、2Dでは解決できなかった超構造パターンを明らかにする画像。実際、後者はミトコンドリアの場合のように、形態学の誤解につながる可能性があります。したがって、3Dモデルの使用は、より一般的であり、形態に基づく機能的仮説の定式化に適用される。現在までに、光または電子画像スタックから生成された3Dモデルを使用すると、定量化と同様に、質的、視覚的な評価を行い、3Dで直接実行することがより便利になります。これらのモデルは非常に複雑なことが多いため、オクルージョンを克服し、3D 構造を最大限に活用するためには、仮想現実環境を設定することも重要です。ここでは、画像セグメンテーションから再構成および解析までのステップバイステップガイドについて詳しく説明する。
電子顕微鏡セットアップのための最初の提案されたモデルは、自動化されたシリアルセクションとイメージングを可能にする19811;このような自動化された、改良されたセットアップの普及は、EMを使用して画像大型サンプルを画像化する過去10年間で増加しました2,3,そして、印象的な緻密な再構成または完全な形態を示す作品は、直後に4、 5,6,7,8,9,10.
大規模なデータセットの作成には、イメージ セグメンテーション用のパイプラインを改善する必要が生じています。RECONSTRUCTおよびTrakEM211、12のようなシリアルセクションの手動区分のためのソフトウェア用の用具は透過的な電子顕微鏡(TEM)のために設計されていた。プロセス全体が非常に時間がかかる可能性があるため、これらのツールは、最先端の自動 EM シリアル セクション技法 (3DEM) を使用して自動的に生成できる数千ものシリアルマイクログラフを処理する場合には適切ではありません。ブロック面走査電子顕微鏡(SBEM)3または集集されたイオンビーム走査型電子顕微鏡(FIB-SEM)2.このため、科学者は、セグメンテーション効率を向上させるために、半自動化ツールと完全に自動化されたツールの開発に力を入れてきました。機械学習13または最先端の、トレーニングされていないピクセル分類アルゴリズム14に基づく完全に自動化されたツールは、より大きなコミュニティで使用するように改善されています。それにもかかわらず、セグメンテーションはまだ完全に信頼性が低く、多くの作品は、セグメンテーション時間の面で非効率的であるが、まだ完全な信頼性を提供する手作業に基づいています。ilastik15などの半自動化ツールは、実際の校正フレームワークを提供せず、統合できるセグメンテーションの即時読み出しをある程度修正できるため、より優れた妥協点を表します。並列16で TrakEM2 を使用しています。
大規模なセグメンテーションは、現在まで、主にコネクトミクスに限定されています。したがって、コンピュータ科学者は、大規模な、アノテートされたデータセットの統合可視化のためのフレームワークを提供し、シナプス接点17、18の存在によって推測される接続パターンを分析することに最も興味を持っています。それにもかかわらず、正確な3D再構成は、3D構造の定性的評価ではなく、定量的形態解析に使用できます。NeuroMorph19、20、グリコーゲン分析10などのツールは、長さ、表面積、体積の3D再構成、および雲点の分布に関する測定を完全に行うために開発されました。元の EM スタック8、10を破棄します。アストロサイトは、視覚的な手がかりや反復的な構造パターンの欠如が、研究者に個々の構造単位の機能に関するヒントを与え、その結果、星星細胞プロセスの適切なオントロジーの欠如を与えるので、興味深いケーススタディを表します。21は、分析ツールの設計に挑戦します。最近の試みの1つは、天球プロセスの視覚的な探求と星球プロセスと神経質との間の質的関係の推論を可能にするAbstractocyte22でした。
それにもかかわらず、EMの下で切除された組織をイメージングの利便性は、無傷の脳サンプルに隠された情報の量が膨大であり、単一のセクション画像を解釈することで、この問題を克服できるという事実から来ています。脳内の構造の密度は非常に高いので、一度に見える少数の物体の3D再構成は、それらを視覚的に区別することが不可能になります。そこで、複雑な構造を観察する改良型として、バーチャルリアリティ(VR)の活用を提案した。我々は、閉塞(3D空間における第2の目的の可視性の遮断である)を克服し、校正を含む再構成の定性的評価を容易にするために、アストロサイト23に焦点を当て、定量化空間内のポイント数を使用するフィーチャの数。最近では、グリコーゲン顆粒を発光体23と考えることで、ニューライトの乳酸シャトル確率の地図を可視化する手法であるGLAM(グリコーゲン由来乳酸吸収モデル)を用いてVR視覚探査を組み合わせました。特に、VRを用いてGLAMが生成する光のピークを定量化しました。
ここで説明する方法は、FIB-SEM などの高解像度イメージング技術またはその他の自動シリアル断面およびイメージング技術から来ているかどうかにかかわらず、マルチスケール EM データセットのセグメンテーションと 3D 再構築に役立つステップ バイ ステップ ガイドです。FIB-SEMは、焦点を合わせられたイオンビームを使用して5nmの薄いセクションを切断することにより、ボクセルサイズで完全な等方性に達する可能性があるという利点があり、FOVは、FOの場合はカットティッシュの堆積に起因する可能性のある側アーティファクトのために15〜20 μmに制限される可能性があります。V がこの値を超えています。このようなアーティファクトは、ダイヤモンドナイフを使用して顕微鏡室内のシリアルセクションを切断するSBEMなどの他の技術を使用して回避することができます。この後者の場合、z解像度は最高で約 20 nm (通常は 50 nm) ですが、FOV は大きくなる可能性がありますが、目的の領域ではピクセル解像度が損なわれる必要があります。このような制限(倍率対FOV)を克服するための1つの解決策は、タイルに関心のある領域を分割し、より高い解像度でそれらのそれぞれを取得することです。ここでは、代表結果の SBEM スタック データセット (i) と代表的な結果の FIB-SEM スタック データセット (ii) の両方の結果を示しました。
より大きなデータセットや大規模なデータセットの生成がますます一般的になるにつれて、ピクセル分類と自動画像セグメンテーションのためのツールを作成する取り組みが増えています。それにもかかわらず、現在までに、人間の校正に匹敵する信頼性を証明したソフトウェアは存在しないため、どんなに時間がかかるとしても、依然として必要です。一般に、データセット (ii) の場合のように、ダウンサンプリングできる小さなデータセットは、校正時間を含め、1 週間に 1 人のエキスパート ユーザーによって密集して再構築できます。
ここで提示されるプロトコルは、特にフィジー(バージョン2.0.0-rc-65/1.65b)、ilastik(バージョン1.3.2 rc2)、ブレンダー(2.79)の3つのソフトウェアプログラムを使用することを含みます。フィジーは、生物学的画像解析のためのプラグインを搭載したImageJのリリースです。それは堅牢なソフトウェアアーキテクチャを持っており、生命科学者のための共通のプラットフォームであり、画像セグメンテーションのための最初で最も広く使用されているプラグインの1つであるTrakEM2が含まれているので示唆されています。最近多くのユーザーが経験する問題の 1 つは、互換性の問題を引き起こし、Java 6 から Java 8 への移行です。したがって、フィジーが正常に動作できるように、可能であれば Java 8 への更新を控えることをお勧めします。ilastikは、ピクセル分類のためのフレームワークの数を提供する強力なソフトウェアです, それぞれが文書化され、彼らのウェブサイト上で説明.EMスタックの半自動セグメンテーションに使用される彫刻モジュールは、多くの時間を節約できるため便利であり、経験豊富なユーザーの手作業に費やす時間を数ヶ月から数日に短縮できます。秒単位でセグメント化されます。前処理ステップはハードウェアの観点からは非常に強く、ここで示す SBEM スタック (26 GB) のような非常に大きなデータセットは、メモリに収まるように特殊な戦略を必要とします。妥協の視野と解決策。したがって、この場合、ダウンサンプリングは適切なソリューションではない可能性があります。ソフトウェアの最新リリースは、強力なLinuxワークステーションで数時間で前処理を行うことができますが、セグメンテーションには数分かかるでしょうし、スタックをスクロールしても比較的遅くなります。この方法は、TrakEM2 を使用して最初の大まかなセグメンテーションに使用し、校正を行います。最後に、Blenderは、NeuroMorphやグリコーゲン分析などのアドオンとしてメインGUIに埋め込むことができるPythonスクリプトでカスタマイズできる強力な3Dレンダリングエンジンを備えた3Dモデリングソフトウェアです。このソフトウェアの柔軟性には、例えばフィジーとは対照的に、大規模なデータセットのオンラインビジュアライゼーション用に設計されていないという欠点があります。したがって、大きなメシ (1 GB を超える) を視覚化してナビゲートすると、時間がかかり、効率的でない場合があります。このため、メッシュの複雑さを軽減するが、対象とする構造の元の形態を妨げないように注意する手法を選択することをお勧めします。リメッシュ機能は便利で、NeuroMorph バッチインポートツールの埋め込み機能です。この関数の問題は、元のメッシュの頂点の数に応じて、最終的な解像度に関連するオクトツリーの深度値をそれに応じて変更する必要があることです。小さなオブジェクトは小さなオクトツリーの深さ(例えば4)で再メッシュできますが、同じ値は、より大きな値を必要とする大きなオブジェクトの形態を破壊する可能性があります(フルセルなどの非常に大きなメッシュの場合は、最高で6~8、または9)。オブジェクトのサイズが明確でない場合は、このプロセスを反復的に行い、異なるオクトツリーの深さをテストすることをお勧めします。
前述のように、考慮すべき 1 つの側面は、使用されているソフトウェアに関連する再構築と分析に専念する計算能力です。この原稿の代表的な結果に示されているすべての操作は、AMD FirePro D500グラフィックスカード、64 GBのRAM、および8コアを搭載したインテルXeon E5 CPUを搭載したMacProを使用して得られました。フィジーは、大規模なデータセットを処理するための優れたソフトウェア アーキテクチャを備えています。したがって、2.5 GHz Intel i7 CPU と 16 GB の RAM を搭載した MacBook Pro など、ハードウェアパフォーマンスの優れたラップトップを使用することをお勧めします。ilastik ソフトウェアは、特に前処理ステップの間に、ハードウェア リソースの面でより厳しいです。イメージ スタックのダウンサンプリングは、ソフトウェアからのハードウェア要求を制限し、ユーザーがラップトップでスタックを処理できるようにする良いトリックですが (通常、x、y、zで 500 ピクセル未満の場合)、ハイエンドの使用を推奨します。このソフトウェアをスムーズに実行するためのコンピュータ。私たちは、16コアと500 GBのRAMを搭載したインテルXeon Gold 6150 CPUを搭載したワークステーションを使用しています。
正確な3D再構成を提供すると、科学者は元の顕微鏡写真を廃棄し、3Dモデル上で直接作業して、同じタイプの細胞と異なるタイプの細胞を比較するために有用な形態測定データを抽出し、VRを利用することができます。形態学の定性的および定量的評価。特に、後者の使用は、視覚的閉塞を提示する緻密または複雑な形態の分析の場合に有益であることが証明されている(すなわち、観察者とfiの間に置かれた第2の3D空間における対象物の視界の閉塞rst オブジェクト)を使用すると、3D での表現や解析が困難になります。この例では、経験豊富なユーザーがデータセットを観察し、オブジェクトをカウントするのに約 4 時間かかっていました。VR分析に費やす時間は、VRの病気(ある程度は車の病気に関連する可能性がある)がユーザーエクスペリエンスに悪影響を及ぼす可能性があるため、異なる場合があります。この場合、ユーザーは他の分析ツールを好み、VR 専用の時間を制限する可能性があります。
最後に、これらすべてのステップは、画像スタックを生成する他の顕微鏡検査および非EM技術に適用することができる。EMは、一般的に、バイナリマスク(信号対黒の背景)に匹敵するもの、原則的に3Dで容易にレンダリングすることができる蛍光顕微鏡と比較して、処理とセグメント化が困難な画像を生成します。多くの場合、処理を行う必要があります。
The authors have nothing to disclose.
この研究は、キング・アブドゥッラー科学技術大学(KAUST)競争研究助成金(CRG)がP.J.Mに「脳エネルギー代謝の統合モデリングのためのKAUST-BBPアライアンス」を助成しました。
Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |