AI Model Documentation Model Type Consistency
As AI models become more prevalent, their documentation is vital. This tracks whether the documented model 'type' (e.g., CNN, RNN, Transformer) actually matches common architectural patterns for that type.
- Observations
- 177
- Tracking since
- Last updated
Percentage of Models with Inconsistent Documentation
The percentage of analyzed AI models where the documented model type does not clearly match the inferred architectural type, or where documentation is missing.
| 0 | 6 | 12 | 18 | |||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 03 Sep | ||||||||||||||||||||||||
| 05 Sep | ||||||||||||||||||||||||
| 06 Sep | ||||||||||||||||||||||||
| 07 Sep | ||||||||||||||||||||||||
| 08 Sep | ||||||||||||||||||||||||
| 09 Sep | ||||||||||||||||||||||||
| 10 Sep | ||||||||||||||||||||||||
| 11 Sep | ||||||||||||||||||||||||
| 12 Sep | ||||||||||||||||||||||||
| 13 Sep | ||||||||||||||||||||||||
| 14 Sep | ||||||||||||||||||||||||
| 15 Sep | ||||||||||||||||||||||||
| 16 Sep | ||||||||||||||||||||||||
| 17 Sep | ||||||||||||||||||||||||
| 18 Sep | ||||||||||||||||||||||||
| 19 Sep | ||||||||||||||||||||||||
| 20 Sep | ||||||||||||||||||||||||
| 21 Sep | ||||||||||||||||||||||||
| 22 Sep | ||||||||||||||||||||||||
| 23 Sep | ||||||||||||||||||||||||
| 24 Sep | ||||||||||||||||||||||||
| 25 Sep | ||||||||||||||||||||||||
| 26 Sep | ||||||||||||||||||||||||
| 27 Sep | ||||||||||||||||||||||||
| 28 Sep | ||||||||||||||||||||||||
| 29 Sep | ||||||||||||||||||||||||
| 30 Sep | ||||||||||||||||||||||||
| 01 Oct |
Darker = higher percentage of models with inconsistent documentation. Empty cells are hours with no collection.
| When | Percentage of Models with Inconsistent Documentation |
|---|---|
| 0.0% | |
| 0.0% | |
| 0.0% | |
| 0.0% | |
| 0.0% | |
| 0.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 0.0% | |
| 0.0% |
Score for Architectural Misrepresentation
A score (0-100) indicating the proportion of models where an explicit model type was documented, but it differed from the inferred architecture.
| 0 | 6 | 12 | 18 | |||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 03 Sep | ||||||||||||||||||||||||
| 05 Sep | ||||||||||||||||||||||||
| 06 Sep | ||||||||||||||||||||||||
| 07 Sep | ||||||||||||||||||||||||
| 08 Sep | ||||||||||||||||||||||||
| 09 Sep | ||||||||||||||||||||||||
| 10 Sep | ||||||||||||||||||||||||
| 11 Sep | ||||||||||||||||||||||||
| 12 Sep | ||||||||||||||||||||||||
| 13 Sep | ||||||||||||||||||||||||
| 14 Sep | ||||||||||||||||||||||||
| 15 Sep | ||||||||||||||||||||||||
| 16 Sep | ||||||||||||||||||||||||
| 17 Sep | ||||||||||||||||||||||||
| 18 Sep | ||||||||||||||||||||||||
| 19 Sep | ||||||||||||||||||||||||
| 20 Sep | ||||||||||||||||||||||||
| 21 Sep | ||||||||||||||||||||||||
| 22 Sep | ||||||||||||||||||||||||
| 23 Sep | ||||||||||||||||||||||||
| 24 Sep | ||||||||||||||||||||||||
| 25 Sep | ||||||||||||||||||||||||
| 26 Sep | ||||||||||||||||||||||||
| 27 Sep | ||||||||||||||||||||||||
| 28 Sep | ||||||||||||||||||||||||
| 29 Sep | ||||||||||||||||||||||||
| 30 Sep | ||||||||||||||||||||||||
| 01 Oct |
Darker = higher score for architectural misrepresentation. Empty cells are hours with no collection.
| When | Score for Architectural Misrepresentation |
|---|---|
| 0.0% | |
| 0.0% | |
| 0.0% | |
| 0.0% | |
| 0.0% | |
| 0.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 4.0% | |
| 0.0% | |
| 0.0% |
Ratio of Unclear to Clear Architectural Descriptions
The ratio of models with unclear or inconsistent architectural descriptions (missing, mismatched types, or cannot infer) to models with clear and consistent descriptions.
| 0 | 6 | 12 | 18 | |||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 03 Sep | ||||||||||||||||||||||||
| 05 Sep | ||||||||||||||||||||||||
| 06 Sep | ||||||||||||||||||||||||
| 07 Sep | ||||||||||||||||||||||||
| 08 Sep | ||||||||||||||||||||||||
| 09 Sep | ||||||||||||||||||||||||
| 10 Sep | ||||||||||||||||||||||||
| 11 Sep | ||||||||||||||||||||||||
| 12 Sep | ||||||||||||||||||||||||
| 13 Sep | ||||||||||||||||||||||||
| 14 Sep | ||||||||||||||||||||||||
| 15 Sep | ||||||||||||||||||||||||
| 16 Sep | ||||||||||||||||||||||||
| 17 Sep | ||||||||||||||||||||||||
| 18 Sep | ||||||||||||||||||||||||
| 19 Sep | ||||||||||||||||||||||||
| 20 Sep | ||||||||||||||||||||||||
| 21 Sep | ||||||||||||||||||||||||
| 22 Sep | ||||||||||||||||||||||||
| 23 Sep | ||||||||||||||||||||||||
| 24 Sep | ||||||||||||||||||||||||
| 25 Sep | ||||||||||||||||||||||||
| 26 Sep | ||||||||||||||||||||||||
| 27 Sep | ||||||||||||||||||||||||
| 28 Sep | ||||||||||||||||||||||||
| 29 Sep | ||||||||||||||||||||||||
| 30 Sep | ||||||||||||||||||||||||
| 01 Oct |
Darker = higher ratio of unclear to clear architectural descriptions. Empty cells are hours with no collection.
| When | Ratio of Unclear to Clear Architectural Descriptions |
|---|---|
| 0.47 ratio | |
| 0.56 ratio | |
| 0.32 ratio | |
| 0.32 ratio | |
| 0.32 ratio | |
| 0.25 ratio | |
| 0.32 ratio | |
| 0.47 ratio | |
| 0.47 ratio | |
| 0.56 ratio | |
| 0.67 ratio | |
| 0.56 ratio | |
| 0.67 ratio | |
| 0.67 ratio | |
| 0.47 ratio | |
| 0.47 ratio | |
| 0.47 ratio | |
| 0.56 ratio | |
| 0.56 ratio | |
| 0.47 ratio | |
| 0.56 ratio | |
| 0.47 ratio | |
| 0.39 ratio | |
| 0.47 ratio | |
| 0.39 ratio | |
| 0.47 ratio | |
| 0.39 ratio | |
| 0.47 ratio |
Sources
Every figure on this page was read from these pages.
Why this isn't published anywhere else
While there are discussions and research on AI model documentation and consistency, there isn't a dedicated public resource specifically tracking 'AI Model Documentation Model Type Consistency', but some sources touch on related aspects of model consistency.
Uniqueness score 0.90 — assessed against live web search results when this subject was created.